hadoop常見筆試題答案(完整版)
【正文】 job 是客戶端需要執(zhí)行的一個工作單元。bine224。26. (每空1分)HDFS中namenode的RPC端口號為： 8021 ，其作用是： 接收Client連接的RPC端口，用于獲取文件系統metadata信息 。18. (每空1分)停止hdfs的shell腳本為： 。如果所有的 datanode 都報告讀取失敗，那么整個任務就讀取失敗。一般來說，一個集群中會有一個 namenode 和多個 datanode 共同工作。Hadoop測試題一．填空題，1分（41空），2分（42空）共125分1. (每空1分) datanode 負責HDFS數據存儲。8. (每空2分) namenode 是集群的主服務器，主要是用于對HDFS中所有的文件及內容數據進行維護，并不斷讀取記錄集群中 datanode 主機情況與工作狀態(tài)，并通過讀取與寫入鏡像日志文件的方式進行存儲。14. (每空2分)對于寫出操作過程中出現的問題， FSDataOutputStream 并不會立即關閉。19. (每空1分)hadoop創(chuàng)建多級目錄（如：/a/b/c）的命令為： hadoop fs –mkdir –p /a/b/c 。27. (每空2分)Mapper類中有 4 個函數。spill map端merge reduce端copy—merge224。37. (每空1分)Hadoop將作業(yè)分成若干個 task 來執(zhí)行，其中包括： maptask 和 reducetask 。答：1使用root賬戶登錄2 修改IP3 修改host主機名4 配置SSH免密碼登錄5 關閉防火墻6 安裝JDK7 解壓hadoop安裝包8 配置hadoop的核心文件 ， , ， 9 配置hadoop環(huán)境變量10 格式化 hadoop namenode format11 啟動節(jié)點 2. (3分)請列出正常的hadoop集群中hadoop都分別需要啟動哪些進程，他們的作用分別都是什么，請盡量列的詳細一些。Partition的主要作用就是指定輸出到reduce的個數的。用戶可以通過實現自定義的Partitioner來控制哪個key被分配給哪個Reducer。同樣，Map任務的個數也能通過使用JobConf (int num)方法來手動地設置。答：1) Client向NameNode發(fā)起文件讀取的請求。單機模式適用于開發(fā)過程中運行MapReduce程序，這也是最少使用的一個模式。21. (3分)完全分布模式又有什么注意點？答：完全分布模式通常被用于生產環(huán)境，這里我們使用N臺主機組成一個Hadoop集群，Hadoop守護進程運行在每臺主機之上。 3) Client讀取文件信息。當然為了提高集群的并發(fā)效率，可以設置一個默認的map數量，當用戶的map數量較小或者比本身自動分割的值還小時可以使用一個相對交大的默認值，從而提高整體hadoop集群的效率。13. (3分)什么是biner？答：biner就是規(guī)約操作，通過對map輸出的數量進行規(guī)約，可以減少reduce的數量，提高執(zhí)行效率。其中NameNode作為主服務器，管理文件系統的命名空間和客戶端對文件的訪問操作；集群中的DataNode管理存儲的數據5. (3分)三個datanode中當有一個datanode出現錯誤時會怎樣？答：當有一
規(guī)章制度相關推薦
鄂ICP備17016276號-1