寫數(shù)據(jù)流程 2022-09-02
1. 客戶端發(fā)出請求hdfs dfs -put /etc/profile /qf/data。2. namenode查看維護的目錄結構，檢查/qf/data是否存在，如不存在直接報錯”no such ...詳情>
Spark Streaming的窗口大小，每個窗口處理的數(shù)據(jù)量大小。 2022-09-02
該問題一定要根據(jù)業(yè)務需求來確定，比如要實現(xiàn)的需求為：統(tǒng)計每分鐘的前一個小時的在線人數(shù)。上面需求的窗口大?。ù翱陂L度）為1小時，然后再統(tǒng)...詳情>
SparkStreaming的批次間隔，處理完的的數(shù)據(jù)存在哪里 2022-09-02
批次間隔為SparkStreaming處理實時需求的時間間隔，需要根據(jù)業(yè)務需求來確定批次間隔。實時需求的處理結果一般是保存在能快速讀取的數(shù)據(jù)庫中來...詳情>
MapReduce的原理（重點） 2022-09-02
MapperTask 使用邏輯切片的方式劃分block，調(diào)用InputFormat中的算法進行劃分，TextInputFormat默認按照128M進行劃分（默認一個block至少有一片...詳情>
多線程的用處 2022-09-01
這樣可以為不同的任務步驟建立線程。網(wǎng)絡程序設計為提高網(wǎng)絡的利用效率，我們可能使用多線程，對每個連接用一個線程去處理。數(shù)據(jù)共享 同一個進...詳情>
什么是線程 2022-09-01
為了減少系統(tǒng)開銷，從進程中演化出了線程。線程存在于進程中，共享進程的資源。線程是進程中的獨立控制流，由環(huán)境(包括寄存器組和程序計數(shù)器)...詳情>
線程和進程區(qū)別 2022-09-01
在進程切換時候，涉及到整個當前進程 CPU 環(huán)境的保存以及新被調(diào)度運行的進程的 CPU 環(huán)境的設置；并發(fā)性： 不僅進程間可以并發(fā)執(zhí)行，而且在一個...詳情>
大數(shù)據(jù)面試題：ClickHouse為什么快？Git是什么？ 2022-09-01
Git是什么，介紹一下。Git是一個分布式版本控制器，相比較SVN來說，每個人都是一個版本的控制者，而且代表管理方便，使用簡單，現(xiàn)在git已經(jīng)整...詳情>
共享內(nèi)存特點 2022-09-01
1、 共享內(nèi)存是進程間共享數(shù)據(jù)的一種最快的方法。一個進程向共享的內(nèi)存區(qū)域?qū)懭肓藬?shù)據(jù)，共享這個內(nèi)存區(qū)域的所有進程就可以立刻看到其中的內(nèi)容...詳情>
物聯(lián)網(wǎng)面試題之共享內(nèi)存篇 2022-09-01
什么是共享內(nèi)存？共享內(nèi)存是允許兩個或者多個進程共享給定的存儲區(qū)域。進程間通信為什么要使用共享內(nèi)存？在linux進程間通信的方式中，共享內(nèi)存...詳情>
熱問標簽 更多>>
在線提問
專業(yè)導師線上坐鎮(zhèn)，解答個性化學習難題
提交問題
京公網(wǎng)安備 11010802030320號