hadoop常見筆試題答案-文庫吧資料
2025-08-13 10:44本頁面
【正文】 問操作；集群中的DataNode管理存儲的數(shù)據(jù)5. (3分)三個datanode中當有一個datanode出現(xiàn)錯誤時會怎樣？答：當有一個datanode出現(xiàn)錯誤的時候，namenode會將那個datanode上的數(shù)據(jù)拷貝到其他的節(jié)點去進行存儲。Partition的主要作用就是指定輸出到reduce的個數(shù)的。Datanode：存儲數(shù)據(jù)ResourceManager：ResourceManager負責集群中所有資源的統(tǒng)一管理和分配，它接收來自各個節(jié)點（NodeManager）的資源匯報信息，并把這些信息按照一定的策略分配給各個應用程序（實際上是ApplicationManager）NodeManager：是YARN中每個節(jié)點上的代理，它管理Hadoop集群中單個計算節(jié)點 (3分)請寫出以下的shell命令 （1）殺死一個job（2）刪除hdfs上的 /tmp/aaa目錄（3）加入一個新的存儲節(jié)點和刪除一個節(jié)點需要執(zhí)行的命令答：（1）mapred job list得到job的id，然后執(zhí)行mapred job –kill jobId就可以殺死一個指定jobId的job工作了。 secondarynamenode：它是namenode的一個快照，會根據(jù)configuration中設置的值來答：1使用root賬戶登錄2 修改IP3 修改host主機名4 配置SSH免密碼登錄5 關(guān)閉防火墻6 安裝JDK7 解壓hadoop安裝包8 配置hadoop的核心文件 ， , ， 9 配置hadoop環(huán)境變量10 格式化 hadoop namenode format11 啟動節(jié)點 2. (3分)請列出正常的hadoop集群中hadoop都分別需要啟動哪些進程，他們的作用分別都是什么，請盡量列的詳細一些。43. (每空2分)hadoop使用自己的序列化格式為： Writable 。41. (每空2分)HDFS會對寫入的所有數(shù)據(jù)計算 校驗和 ，并在讀取數(shù)據(jù)時驗證 校驗和 。39. (每空2分)map任務將其輸出寫入到 本地磁盤 。37. (每空1分)Hadoop將作業(yè)分成若干個 task 來執(zhí)行，其中包括： maptask 和 reducetask 。35. (每空1分)通過 Zookeeper 管理兩個或者多個NameNode，使一個NameNode為 active 狀態(tài)，并且同步每個NN的元數(shù)據(jù)，如果 active 狀態(tài)的NN宕機后馬上啟用狀態(tài)為 standby 狀態(tài)的備用節(jié)點。33. (每空2分)Hadoop集群中有三種作業(yè)調(diào)度算法，分別為 FIFO調(diào)度 ， 計算能力調(diào)度 和 公平調(diào)度 。31. (每空2分)一個NodeManager能夠同時運行最大reduce任務數(shù)（默認）： 2 。spill map端merge reduce端copy—merge224。sort224。30. (每空2分)Hadoop Map/Reduce Shuffle過程： inputsplitmap函數(shù)—內(nèi)存緩沖區(qū)224。29. (每空1分)hadoop集群默認機架感知是啟用的。27. (每空2分)Mapper類中有 4 個函數(shù)。25. (每空1分)修改blocksize大小的屬性是： ，在 配置文件里。23. (每空1分)ResourceMana
規(guī)章制度相關(guān)推薦
鄂ICP備17016276號-1