hadoop原理與實務應用-資料下載頁
2025-09-20 21:05本頁面
【導讀】Hadoop是由Google雲端架構得到啟發(fā)而開始的開。究開發(fā)，並以Hadoop做為雲端算的平臺。Hadoop是以java寫成，可以提供大量資料的分散。Hadoop可分為算及儲存兩大部份，前者由Map. Reduce負責，後者則由HDFS負責。HDFS儲存的資料分散在不同的機器上，所以應用。容易造成網路的阻塞，所以HDFS提供一個介面，讓應用程式將自己移動到資料存放的節(jié)點附近，HDFS是master/slave架構，由三種角色組成。HDFS的基本儲存單位稱為資料塊。HDFS中的檔案會被切割成一個循環(huán)的資料塊串列。使用者若需要存取HDFS上的檔案時，必須經過下。doop上達到平行化，以便分析巨量的數據資料。MapReduce可以分兩個步驟進行。會傳送到Reduce函式。Master會監(jiān)控SlaveWorker的狀態(tài)。降低網路傳輸的頻寬要求。閒的節(jié)點去處理。
【正文】 Map Task3 Reduce Task1 Reduce Task2 Reduce Task3 File 4. Hadoop MapReduce運作原理 圖片來源 : Hadoop MapReduce的特性 ? 提供高可靠度的運算 各個資料片段沒有相依性，若有某節(jié)點發(fā)生錯誤 則 Master會將該節(jié)點的工作重新分配給其他節(jié)點 去處理。 ? 提供容錯機制 Master會監(jiān)控 Slave Worker的狀態(tài)。 ? 降低網路傳輸的頻寬要求 Master分配工作時，會先考量存取較近的資料片 段。 ? 提供負載平衡 將 Loading較重的節(jié)點內的工作，分配給其它較空 閒的節(jié)點去處理。 Master Slave Switch IP: Namenode JobTracker TaskTracker Datanode HDFS IP: Datanode TaskTracker Hadoop模擬環(huán)境之系統(tǒng)架構圖 HDFS THANKS FOR YOUR LISTENING
教學課件相關推薦
鄂ICP備17016276號-1