hadoop常見筆試題答案-wenkub
2022-09-04 10:44:54 本頁面
【正文】 于獲取文件系統(tǒng)metadata信息 。22. (每空1分)namenode默認(rèn)的WebUI訪問端口號為： 50070 。18. (每空1分)停止hdfs的shell腳本為： 。NameNode對錯(cuò)誤的DataNode進(jìn)行標(biāo)記以便后續(xù)對其進(jìn)行處理。如果所有的 datanode 都報(bào)告讀取失敗，那么整個(gè)任務(wù)就讀取失敗。10. (每空2分) namenode 負(fù)責(zé)接受客戶端發(fā)送過來的信息，然后將文件存儲位置信息發(fā)送給 client ，由 client 直接與 datanode 進(jìn)行聯(lián)系，從而進(jìn)行部分文件的運(yùn)算與操作。一般來說，一個(gè)集群中會有一個(gè) namenode 和多個(gè) datanode 共同工作。4. (每空1分)hadoop運(yùn)行的模式有： 單機(jī)模式 、 偽分布模式 、 完全分布式 。Hadoop測試題一．填空題，1分（41空），2分（42空）共125分1. (每空1分) datanode 負(fù)責(zé)HDFS數(shù)據(jù)存儲。5. (每空1分)Hadoop集群搭建中常用的4個(gè)配置文件為： 、 、 、 。8. (每空2分) namenode 是集群的主服務(wù)器，主要是用于對HDFS中所有的文件及內(nèi)容數(shù)據(jù)進(jìn)行維護(hù)，并不斷讀取記錄集群中 datanode 主機(jī)情況與工作狀態(tài)，并通過讀取與寫入鏡像日志文件的方式進(jìn)行存儲。11. (每空1分) block 是HDFS的基本存儲單元，默認(rèn)大小是 128M 。14. (每空2分)對于寫出操作過程中出現(xiàn)的問題， FSDataOutputStream 并不會立即關(guān)閉。15. (每空1分)格式化HDFS系統(tǒng)的命令為： hdfs namenode –format 。19. (每空1分)hadoop創(chuàng)建多級目錄（如：/a/b/c）的命令為： hadoop fs –mkdir –p /a/b/c 。23. (每空1分)ResourceManager默認(rèn)的WebUI訪問端口號為： 8088 。27. (每空2分)Mapper類中有 4 個(gè)函數(shù)。30. (每空2分)Hadoop Map/Reduce Shuffle過程： inputsplitmap函數(shù)—內(nèi)存緩沖區(qū)224。spill map端merge reduce端copy—merge224。33. (每空2分)Hadoop集群中有三種作業(yè)調(diào)度算法，分別為 FIFO調(diào)度 ， 計(jì)算能力調(diào)度 和 公平調(diào)度 。37. (每空1分)Hadoop將作業(yè)分成若干個(gè) task 來執(zhí)行，其中包括： maptask 和 reducetask 。41. (每空2分)HDFS會對寫入的所有數(shù)據(jù)計(jì)算 校驗(yàn)和 ，并在讀取數(shù)據(jù)時(shí)驗(yàn)證 校驗(yàn)和 。答：1使用root賬戶登錄2 修改IP3 修改host主機(jī)名4 配置SSH免密碼登錄5 關(guān)閉防火墻6 安裝JDK7 解壓hadoop安裝包8 配置hadoop的核心文件 ， , ， 9 配置hadoop環(huán)境變量10 格式化 hadoop namenode format11 啟動(dòng)節(jié)點(diǎn) 2. (3分)請列出正常的hadoop集群中hadoop都分別需要啟動(dòng)哪些進(jìn)程，他們的作用分別都是什么，請盡量列的詳細(xì)一些。 Partition的主要作用就是指定輸出到reduce的個(gè)數(shù)的。7. (3分
規(guī)章制度相關(guān)推薦
鄂ICP備17016276號-1