hadoop常見筆試題答案-文庫(kù)吧在線文庫(kù)
【正文】 從而進(jìn)行部分文件的運(yùn)算與操作。NameNode對(duì)錯(cuò)誤的DataNode進(jìn)行標(biāo)記以便后續(xù)對(duì)其進(jìn)行處理。22. (每空1分)namenode默認(rèn)的WebUI訪問端口號(hào)為： 50070 。是否正確： 錯(cuò)誤 。32. (每空2分)默認(rèn)情況下，一個(gè)同時(shí)運(yùn)行了namenode，secondarynamenode和ResourceManager的主節(jié)點(diǎn)，所使用的內(nèi)存容量為 3000 M。40. (每空2分)reduce的輸出通常存儲(chǔ)在 HDFS 中以實(shí)現(xiàn)可靠存儲(chǔ)。6. (3分)文件大小默認(rèn)為 64M，改為 128M 有什么影響？答：更改文件的block塊大小，需要根據(jù)我們的實(shí)際生產(chǎn)中來(lái)更改block的大小，如果block定義的太小，大的文件都會(huì)被切分成太多的小文件，減慢用戶上傳效率，如果block定義的太大，那么太多的小文件可能都會(huì)存到一個(gè)block塊中，雖然不浪費(fèi)硬盤資源，可是還是會(huì)增加namenode的管理內(nèi)存壓力。biner的輸入輸出類型必須和mapper的輸出以及reducer的輸入類型一致14. (3分)分別舉例什么情況要使用 biner，什么情況不使用？答：求平均數(shù)的時(shí)候就不需要用biner，因?yàn)椴粫?huì)減少reduce執(zhí)行數(shù)量。17. (3分)hdfs文件寫入的流程？這里會(huì)存在Namenode運(yùn)行的主機(jī)，Datanode運(yùn)行的主機(jī)，以及task tracker運(yùn)行的主機(jī)。這里同樣沒有DFS，使用的是本地文件系統(tǒng)。18. (3分)hdfs文件讀取的流程？這個(gè)參數(shù)設(shè)置的map數(shù)量?jī)H僅是一個(gè)提示，只有當(dāng)InputFormat 。屬于split和mapper之間的一個(gè)過程，將inputsplit輸出的行為一個(gè)轉(zhuǎn)換記錄，成為keyvalue的記錄形式提供給mapper11. (3分)Map階段結(jié)束后，Hadoop框架會(huì)處理：Partitioning, Shuffle和Sort，在這幾個(gè)階段都發(fā)生了什么？答：Partition是對(duì)輸出的key,value進(jìn)行分區(qū)，可以自定義分區(qū)，按照業(yè)務(wù)需求，將map的輸出歸分到多個(gè)不同的文件中 將map的輸出作為輸入傳給reducer 稱為shuffle sort是排序的過程，將map的輸出，作為reduce的輸入之前，我們可以自定義排序，按照key來(lái)對(duì)map的輸出進(jìn)行排序12. (5分)如果沒有定義partitioner，那數(shù)據(jù)在被送達(dá)reducer前是如何被分區(qū)的？答：()時(shí)被調(diào)用。（2）hadoop fs rmr /tmp/aaa或者h(yuǎn)dfs dfs –rmr /tmp/aaa（3）增加一個(gè)新的節(jié)點(diǎn)在新的節(jié)點(diǎn)上執(zhí)行 start datanode 然后在主節(jié)點(diǎn)中執(zhí)行 hdfs dfsadmin refreshNodes 刪除一個(gè)節(jié)點(diǎn)的時(shí)候，只需要在主節(jié)點(diǎn)執(zhí)行 hdfs dfsadmin –refreshnodes3. (3分)請(qǐng)簡(jiǎn)述mapreduce中的bine和partition的作用答：biner是發(fā)生在map的最后一個(gè)階段，其原理也是一個(gè)小型的reducer，主要作用是減少輸出到reduce的個(gè)數(shù)，減少reducer的輸入，提高reducer的執(zhí)行效率。二．簡(jiǎn)答題，3分（17題），5分（5題）共75分1. (3分)簡(jiǎn)要描述如何安裝配置apache的一個(gè)開源hadoop，只描述即可，無(wú)需列出具體步驟，列出具體步驟更好。36. (每空1分)
規(guī)章制度相關(guān)推薦
鄂ICP備17016276號(hào)-1