【導(dǎo)讀】Hadoop是由Google雲(yún)端架構(gòu)得到啟發(fā)而開始的開。究開發(fā),並以Hadoop做為雲(yún)端算的平臺。Hadoop是以java寫成,可以提供大量資料的分散。Hadoop可分為算及儲存兩大部份,前者由Map. Reduce負(fù)責(zé),後者則由HDFS負(fù)責(zé)。HDFS儲存的資料分散在不同的機(jī)器上,所以應(yīng)用。容易造成網(wǎng)路的阻塞,所以HDFS提供一個介面,讓應(yīng)用程式將自己移動到資料存放的節(jié)點附近,HDFS是master/slave架構(gòu),由三種角色組成。HDFS的基本儲存單位稱為資料塊。HDFS中的檔案會被切割成一個循環(huán)的資料塊串列。使用者若需要存取HDFS上的檔案時,必須經(jīng)過下。doop上達(dá)到平行化,以便分析巨量的數(shù)據(jù)資料。MapReduce可以分兩個步驟進(jìn)行。會傳送到Reduce函式。Master會監(jiān)控SlaveWorker的狀態(tài)。降低網(wǎng)路傳輸?shù)念l寬要求。閒的節(jié)點去處理。