hadoop常見筆試題答案-wenkub.com
2025-08-04 10:44 本頁面
【正文】 這里會存在Namenode運行的主機(jī)，Datanode運行的主機(jī)，以及task tracker運行的主機(jī)。這里同樣沒有DFS，使用的是本地文件系統(tǒng)。18. (3分)hdfs文件讀取的流程？17. (3分)hdfs文件寫入的流程？這個參數(shù)設(shè)置的map數(shù)量僅僅是一個提示，只有當(dāng)InputFormat 。biner的輸入輸出類型必須和mapper的輸出以及reducer的輸入類型一致14. (3分)分別舉例什么情況要使用 biner，什么情況不使用？答：求平均數(shù)的時候就不需要用biner，因為不會減少reduce執(zhí)行數(shù)量。屬于split和mapper之間的一個過程，將inputsplit輸出的行為一個轉(zhuǎn)換記錄，成為keyvalue的記錄形式提供給mapper11. (3分)Map階段結(jié)束后，Hadoop框架會處理：Partitioning, Shuffle和Sort，在這幾個階段都發(fā)生了什么？答：Partition是對輸出的key,value進(jìn)行分區(qū)，可以自定義分區(qū)，按照業(yè)務(wù)需求，將map的輸出歸分到多個不同的文件中 將map的輸出作為輸入傳給reducer 稱為shuffle sort是排序的過程，將map的輸出，作為reduce的輸入之前，我們可以自定義排序，按照key來對map的輸出進(jìn)行排序12. (5分)如果沒有定義partitioner，那數(shù)據(jù)在被送達(dá)reducer前是如何被分區(qū)的？答：()時被調(diào)用。6. (3分)文件大小默認(rèn)為 64M，改為 128M 有什么影響？答：更改文件的block塊大小，需要根據(jù)我們的實際生產(chǎn)中來更改block的大小，如果block定義的太小，大的文件都會被切分成太多的小文件，減慢用戶上傳效率，如果block定義的太大，那么太多的小文件可能都會存到一個block塊中，雖然不浪費硬盤資源，可是還是會增加namenode的管理內(nèi)存壓力。（2）hadoop fs rmr /tmp/aaa或者h(yuǎn)dfs dfs –rmr /tmp/aaa（3）增加一個新的節(jié)點在新的節(jié)點上執(zhí)行 start datanode 然后在主節(jié)點中執(zhí)行 hdfs dfsadmin refreshNodes 刪除一個節(jié)點的時候，只需要在主節(jié)點執(zhí)行 hdfs dfsadmin –refreshnodes3. (3分)請簡述mapreduce中的bine和partition的作用答：biner是發(fā)生在map的最后一個階段，其原理也是一個小型的reducer，主要作用是減少輸出到reduce的個數(shù)，減少reducer的輸入，提高reducer的執(zhí)行效率。二．簡答題，3分（17題），5分（5題）共75分1. (3分)簡要描述如何安裝配置apache的一個開源hadoop，只描述即可，無需列出具體步驟，列出具體步驟更好。40. (每空2分)reduce的輸出通常存儲在 HDFS 中以實現(xiàn)可靠存儲。36. (每空1分) job 是客戶端需要執(zhí)行的一個工作單元。32. (每空2分)默認(rèn)情況下，一個同時運行了namenode，secondarynamenode和ResourceManager的主節(jié)點，所使用的內(nèi)存容量為 3000 M。bine224。是否正確： 錯誤 。26. (每空1分)HDFS中namenode的RPC端口號為： 8021 ，其作用是： 接收Client連接的RPC端口，用
規(guī)章制度相關(guān)推薦
鄂ICP備17016276號-1