【正文】 一個集群只有一個NameNode的設(shè)計大大簡化了系統(tǒng)架構(gòu)。16. (5分)如何為一個hadoop任務設(shè)置mappers的數(shù)量？答：map的數(shù)量通常是由hadoop集群的DFS塊大小確定的，也就是輸入文件的總塊數(shù)，正常的map數(shù)量的并行規(guī)模大致是每一個Node是10~100個，對于CPU消耗較小的作業(yè)可以設(shè)置Map數(shù)量為300個左右，但是由于hadoop的沒一個任務在初始化時需要一定的時間，因此比較合理的情況是每個map執(zhí)行的時間至少超過1分鐘。決定多少時間周期性的去cp一下namenode，記錄namenode中的metadata及其它數(shù)據(jù)。34. (每空1分)HA產(chǎn)生的背景是： 為了解決單NN可能出現(xiàn)宕機導致集群不可用或數(shù)據(jù)丟失的問題 。24. (每空1分)historyServer默認的WebUI訪問端口號為： 19888 。12. (每空1分)HDFS還可以對已經(jīng)存儲的Block進行多副本備份，將每個Block至少復制到 3 個相互獨立的硬件上，這樣可以快速恢復損壞的數(shù)據(jù)。3. (每空1分) ResourceManager 程序通常與 NameNode 在一個節(jié)點啟動。備份 datanode 被升級為首選 datanode ，并在其余2個 datanode 中備份復制數(shù)據(jù)。29. (每空1分)hadoop集群默認機架感知是啟用的。39. (每空2分)map任務將其輸出寫入到 本地磁盤 。其中NameNode作為主服務器，管理文件系統(tǒng)的命名空間和客戶端對文件的訪問操作；集群中的DataNode管理存儲的數(shù)據(jù)5. (3分)三個datanode中當有一個datanode出現(xiàn)錯誤時會怎樣？答：當有一個datanode出現(xiàn)錯誤的時候，namenode會將那個datanode上的數(shù)據(jù)拷貝到其他的節(jié)點去進行存儲。當然為了提高集群的并發(fā)效率，可以設(shè)置一個默認的map數(shù)量，當用戶的map數(shù)量較小或者比本身自動分割的值還小時可以使用一個相對交大的默認值，從而提高整體hadoop集群的效率。21. (3分)完全分布模式又有什么注意點？答：完全分布模式通常被用于生產(chǎn)環(huán)境，這里我們使用N臺主機組成一個Hadoop集群，Hadoop守護進程運行在每臺主機之上。答：1) Client向NameNode發(fā)起文件讀取的請求。用戶可以通過實現(xiàn)自定義的Partitioner來控制哪個key被分配給哪個Reducer。答：1使用root賬戶登錄2 修改IP3 修改host主機名4 配置SSH免密碼登錄5 關(guān)閉防火墻6 安裝JDK7 解壓hadoop安裝包8 配置hadoop的核心文件 ， , ， 9 配置hadoop環(huán)境變量10 格式化 hadoop namenode format11 啟動節(jié)點 2. (3分)請列出正常的hadoop集群中hadoop都分別需要啟動哪些進程，他們的作用分別都是什么，請盡量列的詳細一些。spill map端merge reduce端copy—merge224。19. (每空1分)hadoop創(chuàng)建多級目錄（如：/a/b/c）的命令為： hadoop fs –mkdir –p /a/b/c 。8. (每空2分) namenode 是集群的主服務器，主要是用于對HDFS中所有的文件及內(nèi)容數(shù)據(jù)進行維護，并不斷讀取記錄集群中 datanode 主機情況與工作