hadoop常見筆試題答案-預覽頁
【正文】 件儲存與計算的需求。9. (每空2分) datanode 在HDFS集群中擔任任務具體執(zhí)行角色，是集群的工作節(jié)點。12. (每空1分)HDFS還可以對已經存儲的Block進行多副本備份，將每個Block至少復制到 3 個相互獨立的硬件上，這樣可以快速恢復損壞的數據?？蛻舳讼騈amenode報告錯誤信息，并直接向提供備份的 datanode 中寫入數據。 16. (每空1分)啟動hdfs的shell腳本為： 。20. (每空1分)hadoop顯示根目錄命令為： hadoop fs –lsr 。24. (每空1分)historyServer默認的WebUI訪問端口號為： 19888 。28. (每空1分)默認NameNode周期性從DataNode接收心跳信號的時間間隔為： 3s 。 Partition224。reduce函數。34. (每空1分)HA產生的背景是： 為了解決單NN可能出現(xiàn)宕機導致集群不可用或數據丟失的問題 。38. (每空2分)biner是通過 Reducer 類來定義的。42. (每空2分)序列化用于分布式數據處理的兩大領域為： 進程間通信 和 永久存儲 。答：namenode：管理集群，存儲數據的原信息，并管理記錄datanode中的文件信息。決定多少時間周期性的去cp一下namenode，記錄namenode中的metadata及其它數據。4. (3分)hdfs的體系結構答：HDFS采用了主從（Master/Slave）結構模型，一個HDFS集群是由一個NameNode和若干個DataNode組成的。8. (5分)在一個運行的hadoop任務中，什么是InputSplit？答： InputSplit是MapReduce對文件進行處理和運算的輸入單位，只是一個邏輯概念，每個InputSplit并沒有對文件實際的切割，只是記錄了要處理的數據的位置(包括文件的path和hosts)和長度(由start和length決定)，默認情況下與block一樣大。 hadoop有一個默認的分區(qū)類，HashPartioer類，通過對輸入的k2去hash值來確認map輸出的k2，v2送到哪一個reduce中去執(zhí)行。16. (5分)如何為一個hadoop任務設置mappers的數量？答：map的數量通常是由hadoop集群的DFS塊大小確定的，也就是輸入文件的總塊數，正常的map數量的并行規(guī)模大致是每一個Node是10~100個，對于CPU消耗較小的作業(yè)可以設置Map數量為300個左右，但是由于hadoop的沒一個任務在初始化時需要一定的時間，因此比較合理的情況是每個map執(zhí)行的時間至少超過1分鐘。這個方法能夠用來增加map任務的個數，但是不能設定任務的個數小于Hadoop系統(tǒng)通過分割輸入數據得到的值。 2) NameNode根據文件大小和文件塊配置情況，返回給Client它所管理部分DataNode的信息。 2) NameNode返回文件存儲的DataNode的信息。一個集群只有一個NameNode的設計大大簡化了系統(tǒng)架構。20. (3分)偽分布模式中的注意點？答：偽分布式（Pseudo）適用于開發(fā)和測試環(huán)境，在這個模式中，所有守護進程都在同一臺機器上運行。
規(guī)章制度相關推薦
鄂ICP備17016276號-1