hadoop常見筆試題答案(存儲版)
【正文】 為64KB, 65MB, 127MB，Hadoop框架會把這些文件拆分為多少塊？答：64k一個block65MB兩個文件：64MB是一個block，1MB是一個block127MB兩個文件：64MB是一個block,63MB是一個block10. (5分)hadoop中RecordReader的作用是什么？答：RecorderReader是一個接口，主要是用來讀取文件的輸入鍵值對的，我們也可以自定義輸入的key,value對的讀取規(guī)則。具體的數(shù)據(jù)分片是這樣的，InputFormat在默認情況下會根據(jù)hadoop集群的DFS塊大小進行分片，每一個分片會由一個map任務來進行處理。 3) Client將文件劃分為多個Block，根據(jù)DataNode的地址信息，按順序?qū)懭氲矫恳粋€DataNode塊中。19. (3分)Hadoop單機（本地）模式中的注意點？答：在單機模式（standalone）中不會存在守護進程，所有東西都運行在一個JVM上。在分布式環(huán)境下，主節(jié)點和從節(jié)點會分開。HDFS典型的部署是在一個專門的機器上運行NameNode，集群中的其他機器各運行一個DataNode；也可以在運行NameNode的機器上同時運行DataNode，或者一臺機器上運行多個DataNode。答：1) Client向NameNode發(fā)起文件寫入的請求。在其他的時候，可以依據(jù)情況，使用biner，來減少map的輸出數(shù)量，減少拷貝到reduce的文件，從而減輕reduce的壓力，節(jié)省網(wǎng)絡開銷，提升執(zhí)行效率15. (5分)簡述Hadoop中replication（復本）放置策略？答：Hadoop的默認布局策略是在運行客戶端的節(jié)點上放第一個復本；第二個復本放在與第一個不同且隨機另外選擇的機架中的節(jié)點上（離架）；第三個復本與第二個復本放在同一個機架上，且隨機選擇另一個節(jié)點。7. (3分)NameNode與SecondaryNameNode的區(qū)別與聯(lián)系？答：secondaryNameNode更像是Namenode的一個冷備份，當namenode宕機之后，可以從SecondaryNamenode上面恢復部分數(shù)據(jù)。 41. (每空2分)HDFS會對寫入的所有數(shù)據(jù)計算 校驗和 ，并在讀取數(shù)據(jù)時驗證 校驗和 。33. (每空2分)Hadoop集群中有三種作業(yè)調(diào)度算法，分別為 FIFO調(diào)度 ， 計算能力調(diào)度 和 公平調(diào)度 。30. (每空2分)Hadoop Map/Reduce Shuffle過程： inputsplitmap函數(shù)—內(nèi)存緩沖區(qū)224。23. (每空1分)ResourceManager默認的WebUI訪問端口號為： 8088 。15. (每空1分)格式化HDFS系統(tǒng)的命令為： hdfs namenode –format 。11. (每空1分) block 是HDFS的基本存儲單元，默認大小是 128M 。5. (每空1分)Hadoop集群搭建中常用的4個配置文件為： 、 、 、 。4. (每空1分)hadoop運行的模式有： 單機模式 、 偽分布模式 、 完全分布式 。10. (每空2分) namenode 負責接受客戶端發(fā)送過來的信息，然后將文件存儲位置信息發(fā)送給 client ，由 client 直接與 datanode 進行聯(lián)系，
規(guī)章制度相關(guān)推薦
鄂ICP備17016276號-1