hadoop原理與實務(wù)應(yīng)用-資料下載頁
2025-09-20 21:05本頁面
【導(dǎo)讀】Hadoop是由Google雲(yún)端架構(gòu)得到啟發(fā)而開始的開。究開發(fā)，並以Hadoop做為雲(yún)端算的平臺。Hadoop是以java寫成，可以提供大量資料的分散。Hadoop可分為算及儲存兩大部份，前者由Map. Reduce負(fù)責(zé)，後者則由HDFS負(fù)責(zé)。HDFS儲存的資料分散在不同的機(jī)器上，所以應(yīng)用。容易造成網(wǎng)路的阻塞，所以HDFS提供一個介面，讓應(yīng)用程式將自己移動到資料存放的節(jié)點附近，HDFS是master/slave架構(gòu)，由三種角色組成。HDFS的基本儲存單位稱為資料塊。HDFS中的檔案會被切割成一個循環(huán)的資料塊串列。使用者若需要存取HDFS上的檔案時，必須經(jīng)過下。doop上達(dá)到平行化，以便分析巨量的數(shù)據(jù)資料。MapReduce可以分兩個步驟進(jìn)行。會傳送到Reduce函式。Master會監(jiān)控SlaveWorker的狀態(tài)。降低網(wǎng)路傳輸?shù)念l寬要求。閒的節(jié)點去處理。
【正文】 Map Task3 Reduce Task1 Reduce Task2 Reduce Task3 File 4. Hadoop MapReduce運作原理 圖片來源 : Hadoop MapReduce的特性 ? 提供高可靠度的運算 各個資料片段沒有相依性，若有某節(jié)點發(fā)生錯誤 則 Master會將該節(jié)點的工作重新分配給其他節(jié)點 去處理。 ? 提供容錯機(jī)制 Master會監(jiān)控 Slave Worker的狀態(tài)。 ? 降低網(wǎng)路傳輸?shù)念l寬要求 Master分配工作時，會先考量存取較近的資料片 段。 ? 提供負(fù)載平衡 將 Loading較重的節(jié)點內(nèi)的工作，分配給其它較空 閒的節(jié)點去處理。 Master Slave Switch IP: Namenode JobTracker TaskTracker Datanode HDFS IP: Datanode TaskTracker Hadoop模擬環(huán)境之系統(tǒng)架構(gòu)圖 HDFS THANKS FOR YOUR LISTENING
教學(xué)課件相關(guān)推薦
鄂ICP備17016276號-1