hadoop常見錯誤總結(jié)-展示頁
2024-10-25 03:48本頁面
【正文】 能夠啟動datanode，但無法訪問，也無法結(jié)束的錯誤在重新格式化一個新的分布式文件時， 持久存儲名字空間及事務(wù)日志的本地文件系統(tǒng)路徑刪除， DataNode 存放塊數(shù)據(jù)的本地文件系統(tǒng)路徑的目錄也刪除。（）錯誤6：Too many fetchfailures Answer: 出現(xiàn)這個問題主要是結(jié)點間的連通不夠全面。解決方案是，關(guān)閉該功能，可以添加JVM的啟動參數(shù)來限制使用內(nèi)存：XX:UseGCOverheadLimit 添加位置是： 里新增項： 內(nèi)容：XX:UseGCOverheadLimit : Java heap space 出現(xiàn)這種異常，明顯是jvm內(nèi)存不夠得原因，要修改所有的datanode的jvm內(nèi)存大小。然后找到/etc/hosts，添加： ubuntu 錯誤5：: GC overhead limit exceeded 分析：這個是JDK6新添的錯誤類型。分析：這是由于datanode 找不到服務(wù)host引起的。也可以使用：hadoop dfsadmin –report命令查看集群的狀態(tài)。錯誤3：File /home/hadoop/tmp/mapred/system/ could only be replicated to 0 nodes, instead of 1 出現(xiàn)此錯誤，一般發(fā)生在datanode與namenode還沒有進行連接，就開始往hdfs系統(tǒng)上put數(shù)據(jù)了。最后解決方案：刪除hadoop用戶下的name文件夾，data文件夾，tmp文件夾，temp文件里的內(nèi)容，然后重新執(zhí)行namenode命令。和datanode namespaceID = 1589898341 不一致造成原因。顯示如下：Configured Capacity: 0(0 KB)Present Capacity: 0(0 KB)DFS Remaining: 0(0 KB)DFS Used: 0(0 KB)DFS Used%: ?% Under replicated blocks: 0 Blocks with corrupt replicas: 0 Missing blocks: 0 查看日志：ERROR : : Inpatible namespaceIDs in /home/hadoop/data: namenode namespaceID = 2033006627。錯誤2：hadoop出現(xiàn)了一些問題。第一篇：Hadoop常見錯誤總結(jié)Hadoop常見錯誤總結(jié) 20101230 13:55 錯誤1：bin/hadoop dfs 不能正常啟動，持續(xù)提示：INFO : Retrying connect to server: localhost/: tried 0 time(s).原因：由于 dfs 的部分文件默認保存在tmp文件夾，在系統(tǒng)重啟時被刪除。解決： 的 ：/home/hadoop/tmp。用$ bin/hadoop dfsadminr
畢業(yè)設(shè)計相關(guān)推薦
鄂ICP備17016276號-1