hadoop常見筆試題答案(文件)
【正文】 )NameNode與SecondaryNameNode的區(qū)別與聯(lián)系？答：secondaryNameNode更像是Namenode的一個(gè)冷備份，當(dāng)namenode宕機(jī)之后，可以從SecondaryNamenode上面恢復(fù)部分?jǐn)?shù)據(jù)。用戶可以通過實(shí)現(xiàn)自定義的Partitioner來控制哪個(gè)key被分配給哪個(gè)Reducer。在其他的時(shí)候，可以依據(jù)情況，使用biner，來減少map的輸出數(shù)量，減少拷貝到reduce的文件，從而減輕reduce的壓力，節(jié)省網(wǎng)絡(luò)開銷，提升執(zhí)行效率15. (5分)簡(jiǎn)述Hadoop中replication（復(fù)本）放置策略？答：Hadoop的默認(rèn)布局策略是在運(yùn)行客戶端的節(jié)點(diǎn)上放第一個(gè)復(fù)本；第二個(gè)復(fù)本放在與第一個(gè)不同且隨機(jī)另外選擇的機(jī)架中的節(jié)點(diǎn)上（離架）；第三個(gè)復(fù)本與第二個(gè)復(fù)本放在同一個(gè)機(jī)架上，且隨機(jī)選擇另一個(gè)節(jié)點(diǎn)。同樣，Map任務(wù)的個(gè)數(shù)也能通過使用JobConf (int num)方法來手動(dòng)地設(shè)置。答：1) Client向NameNode發(fā)起文件寫入的請(qǐng)求。答：1) Client向NameNode發(fā)起文件讀取的請(qǐng)求。HDFS典型的部署是在一個(gè)專門的機(jī)器上運(yùn)行NameNode，集群中的其他機(jī)器各運(yùn)行一個(gè)DataNode；也可以在運(yùn)行NameNode的機(jī)器上同時(shí)運(yùn)行DataNode，或者一臺(tái)機(jī)器上運(yùn)行多個(gè)DataNode。單機(jī)模式適用于開發(fā)過程中運(yùn)行MapReduce程序，這也是最少使用的一個(gè)模式。在分布式環(huán)境下，主節(jié)點(diǎn)和從節(jié)點(diǎn)會(huì)分開。21. (3分)完全分布模式又有什么注意點(diǎn)？答：完全分布模式通常被用于生產(chǎn)環(huán)境，這里我們使用N臺(tái)主機(jī)組成一個(gè)Hadoop集群，Hadoop守護(hù)進(jìn)程運(yùn)行在每臺(tái)主機(jī)之上。19. (3分)Hadoop單機(jī)（本地）模式中的注意點(diǎn)？答：在單機(jī)模式（standalone）中不會(huì)存在守護(hù)進(jìn)程，所有東西都運(yùn)行在一個(gè)JVM上。 3) Client讀取文件信息。 3) Client將文件劃分為多個(gè)Block，根據(jù)DataNode的地址信息，按順序?qū)懭氲矫恳粋€(gè)DataNode塊中。當(dāng)然為了提高集群的并發(fā)效率，可以設(shè)置一個(gè)默認(rèn)的map數(shù)量，當(dāng)用戶的map數(shù)量較小或者比本身自動(dòng)分割的值還小時(shí)可以使用一個(gè)相對(duì)交大的默認(rèn)值，從而提高整體hadoop集群的效率。具體的數(shù)據(jù)分片是這樣的，InputFormat在默認(rèn)情況下會(huì)根據(jù)hadoop集群的DFS塊大小進(jìn)行分片，每一個(gè)分片會(huì)由一個(gè)map任務(wù)來進(jìn)行處理。13. (3分)什么是biner？答：biner就是規(guī)約操作，通過對(duì)map輸出的數(shù)量進(jìn)行規(guī)約，可以減少reduce的數(shù)量，提高執(zhí)行效率。9. (3分)參考下列M/R系統(tǒng)的場(chǎng)景：hdfs塊大小為64MB，輸入類為FileInputFormat，有3個(gè)文件的大小分別為64KB, 65MB, 127MB，Hadoop框架會(huì)把這些文件拆分為多少塊？答：64k一個(gè)block65MB兩個(gè)文件：64MB是一個(gè)block，1MB是一個(gè)block127MB兩個(gè)文件：64MB是一個(gè)block,63MB是一個(gè)block10. (5分)hadoop中RecordReader的作用是什么？答：RecorderReader是一個(gè)接口，主要是用來讀取文件的輸入鍵值對(duì)的，我們也可以自定義輸入的key,value對(duì)的讀取規(guī)則。其中NameNode作為主服務(wù)器，管理文件系統(tǒng)的命名空間和客戶端對(duì)文件的訪問操作；集群中的Da
規(guī)章制度相關(guān)推薦
鄂ICP備17016276號(hào)-1