hadoop常見筆試題答案-資料下載頁
2024-08-16 10:44本頁面
【正文】 量，減少拷貝到reduce的文件，從而減輕reduce的壓力，節(jié)省網(wǎng)絡(luò)開銷，提升執(zhí)行效率15. (5分)簡述Hadoop中replication（復(fù)本）放置策略？答：Hadoop的默認(rèn)布局策略是在運(yùn)行客戶端的節(jié)點(diǎn)上放第一個(gè)復(fù)本；第二個(gè)復(fù)本放在與第一個(gè)不同且隨機(jī)另外選擇的機(jī)架中的節(jié)點(diǎn)上（離架）；第三個(gè)復(fù)本與第二個(gè)復(fù)本放在同一個(gè)機(jī)架上，且隨機(jī)選擇另一個(gè)節(jié)點(diǎn)。16. (5分)如何為一個(gè)hadoop任務(wù)設(shè)置mappers的數(shù)量？答：map的數(shù)量通常是由hadoop集群的DFS塊大小確定的，也就是輸入文件的總塊數(shù)，正常的map數(shù)量的并行規(guī)模大致是每一個(gè)Node是10~100個(gè)，對(duì)于CPU消耗較小的作業(yè)可以設(shè)置Map數(shù)量為300個(gè)左右，但是由于hadoop的沒一個(gè)任務(wù)在初始化時(shí)需要一定的時(shí)間，因此比較合理的情況是每個(gè)map執(zhí)行的時(shí)間至少超過1分鐘。具體的數(shù)據(jù)分片是這樣的，InputFormat在默認(rèn)情況下會(huì)根據(jù)hadoop集群的DFS塊大小進(jìn)行分片，每一個(gè)分片會(huì)由一個(gè)map任務(wù)來進(jìn)行處理。，這個(gè)參數(shù)設(shè)置的map數(shù)量僅僅是一個(gè)提示，只有當(dāng)InputFormat 。同樣，Map任務(wù)的個(gè)數(shù)也能通過使用JobConf (int num)方法來手動(dòng)地設(shè)置。這個(gè)方法能夠用來增加map任務(wù)的個(gè)數(shù)，但是不能設(shè)定任務(wù)的個(gè)數(shù)小于Hadoop系統(tǒng)通過分割輸入數(shù)據(jù)得到的值。當(dāng)然為了提高集群的并發(fā)效率，可以設(shè)置一個(gè)默認(rèn)的map數(shù)量，當(dāng)用戶的map數(shù)量較小或者比本身自動(dòng)分割的值還小時(shí)可以使用一個(gè)相對(duì)交大的默認(rèn)值，從而提高整體hadoop集群的效率。17. (3分)hdfs文件寫入的流程？答：1) Client向NameNode發(fā)起文件寫入的請(qǐng)求。 2) NameNode根據(jù)文件大小和文件塊配置情況，返回給Client它所管理部分DataNode的信息。 3) Client將文件劃分為多個(gè)Block，根據(jù)DataNode的地址信息，按順序?qū)懭氲矫恳粋€(gè)DataNode塊中。18. (3分)hdfs文件讀取的流程？答：1) Client向NameNode發(fā)起文件讀取的請(qǐng)求。 2) NameNode返回文件存儲(chǔ)的DataNode的信息。 3) Client讀取文件信息。HDFS典型的部署是在一個(gè)專門的機(jī)器上運(yùn)行NameNode，集群中的其他機(jī)器各運(yùn)行一個(gè)DataNode；也可以在運(yùn)行NameNode的機(jī)器上同時(shí)運(yùn)行DataNode，或者一臺(tái)機(jī)器上運(yùn)行多個(gè)DataNode。一個(gè)集群只有一個(gè)NameNode的設(shè)計(jì)大大簡化了系統(tǒng)架構(gòu)。19. (3分)Hadoop單機(jī)（本地）模式中的注意點(diǎn)？答：在單機(jī)模式（standalone）中不會(huì)存在守護(hù)進(jìn)程，所有東西都運(yùn)行在一個(gè)JVM上。這里同樣沒有DFS，使用的是本地文件系統(tǒng)。單機(jī)模式適用于開發(fā)過程中運(yùn)行MapReduce程序，這也是最少使用的一個(gè)模式。20. (3分)偽分布模式中的注意點(diǎn)？答：偽分布式（Pseudo）適用于開發(fā)和測(cè)試環(huán)境，在這個(gè)模式中，所有守護(hù)進(jìn)程都在同一臺(tái)機(jī)器上運(yùn)行。21. (3分)完全分布模式又有什么注意點(diǎn)？答：完全分布模式通常被用于生產(chǎn)環(huán)境，這里我們使用N臺(tái)主機(jī)組成一個(gè)Hadoop集群，Hadoop守護(hù)進(jìn)程運(yùn)行在每臺(tái)主機(jī)之上。這里會(huì)存在Namenode運(yùn)行的主機(jī)，Datanode運(yùn)行的主機(jī)，以及task tracker運(yùn)行的主機(jī)。在分布式環(huán)境下，主節(jié)點(diǎn)和從節(jié)點(diǎn)會(huì)分開。
規(guī)章制度相關(guān)推薦
鄂ICP備17016276號(hào)-1