【正文】 北京寬連十方數(shù)字技術(shù)有限公司 公開 內(nèi)部公開 √ 機(jī)密 絕密 DevOps入門實(shí)戰(zhàn)手冊(cè) 北京寬連十方數(shù)字技術(shù)有限公司 技術(shù) 研究 部 （ 2020年 9月 ） 北京寬連十方數(shù)字技術(shù)有限公司 公開 內(nèi)部公開 √ 機(jī)密 絕密 目錄 1 概述 ......................................................................................................................... 4 什么是 Hadoop？ ................................................................................................ 5 為什么要選擇 Hadoop？ .......................................................... 錯(cuò)誤 !未定義書簽。 系統(tǒng)特點(diǎn) ........................................................................... 錯(cuò)誤 !未定義書簽。 使用場(chǎng)景 ........................................................................... 錯(cuò)誤 !未定義書簽。 2 術(shù)語(yǔ) ............................................................................................. 錯(cuò)誤 !未定義書簽。 3 Hadoop的單機(jī)部署 ...................................................................... 錯(cuò)誤 !未定義書簽。 目的 ....................................................................................... 錯(cuò)誤 !未定義書簽。 先決條件 ................................................................................ 錯(cuò)誤 !未定義書簽。 支持平臺(tái) ........................................................................... 錯(cuò)誤 !未定義書簽。 所需軟件 ........................................................................... 錯(cuò)誤 !未定義書簽。 安裝軟件 ........................................................................... 錯(cuò)誤 !未定義書簽。 下載 ....................................................................................... 錯(cuò)誤 !未定義書簽。 運(yùn)行 Hadoop集群的準(zhǔn)備工作 ................................................... 錯(cuò)誤 !未定義書簽。 單機(jī)模式的操作方法 ............................................................... 錯(cuò)誤 !未定義書簽。 偽分布式模式的操作方法 ........................................................ 錯(cuò)誤 !未定義書簽。 配置 .................................................................................. 錯(cuò)誤 !未定義書簽。 免密碼 ssh設(shè)置 .................................................................. 錯(cuò)誤 !未定義書簽。 執(zhí)行 .................................................................................. 錯(cuò)誤 !未定義書簽。 4 Hadoop集群搭建過(guò)程手記 ............................................................ 錯(cuò)誤 !未定義書簽。 免密碼 SSH設(shè)置 ...................................................................... 錯(cuò)誤 !未定義書簽。 Hadoop軟件安裝 .................................................................... 錯(cuò)誤 !未定義書簽。 Master(85)配置 ...................................................................... 錯(cuò)誤 !未定義書簽。 Slave(60,245上 )配置 .............................................................. 錯(cuò)誤 !未定義書簽。 初始化和啟動(dòng) hadoop集群 ....................................................... 錯(cuò)誤 !未定義書簽。 初始化文件系統(tǒng) ................................................................ 錯(cuò)誤 !未定義書簽。 啟動(dòng) Hadoop ..................................................................... 錯(cuò)誤 !未定義書簽。 停止 Hadoop ..................................................................... 錯(cuò)誤 !未定義書簽。 測(cè)試 ....................................................................................... 錯(cuò)誤 !未定義書簽。 管理界面與命令 ...................................................................... 錯(cuò)誤 !未定義書簽。 hdfs運(yùn)行狀態(tài)界面 ............................................................. 錯(cuò)誤 !未定義書簽。 Mapreduce的運(yùn)行狀態(tài)界面 ............................................. 錯(cuò)誤 !未定義書簽。 直接的命令行查看 ............................................................. 錯(cuò)誤 !未定義書簽。 運(yùn)行的進(jìn)程查看 ................................................................ 錯(cuò)誤 !未定義書簽。 5 架構(gòu)分析 ...................................................................................... 錯(cuò)誤 !未定義書簽。 HDFS ..................................................................................... 錯(cuò)誤 !未定義書簽。 HDFS的三個(gè)重要角色 ....................................................... 錯(cuò)誤 !未定義書簽。 HDFS設(shè)計(jì)特點(diǎn) ................................................................. 錯(cuò)誤 !未定義書簽。 MapReduce ........................................................................... 錯(cuò)誤 !未定義書簽。 算法介紹 ........................................................................... 錯(cuò)誤 !未定義書簽。 北京寬連十方數(shù)字技術(shù)有限公司 公開 內(nèi)部公開 √ 機(jī)密 絕密 Hadoop框架下的 mapreduce ............................................. 錯(cuò)誤 !未定義書簽。 綜合架構(gòu)分析 ......................................................................... 錯(cuò)誤 !未定義書簽。 6 Hadoop的應(yīng)用 ............................................................................. 錯(cuò)誤 !未定義書簽。 7 系統(tǒng)維護(hù) ...................................................................................... 錯(cuò)誤 !未定義書簽。 Hadoop的系統(tǒng)監(jiān)控 ................................................................. 錯(cuò)誤 !未定義書簽。 Hadoop中的命令（ Command）總結(jié) ...................................... 錯(cuò)誤 !未定義書簽。 NameNode與 JobTracker單點(diǎn)故障說(shuō)明 ................................... 錯(cuò)誤 !未定義書簽。 經(jīng)驗(yàn)總結(jié) ................................................................................ 錯(cuò)誤 !未定義書簽。 如何在一個(gè) hadoop集群新增或刪除一些機(jī)器而不重啟 ............. 錯(cuò)誤 !未定義書簽。 新增節(jié)點(diǎn) ........................................................................... 錯(cuò)誤 !未定義書簽。 刪除節(jié)點(diǎn) ........................................................................... 錯(cuò)誤 !未定義書簽。 其它日常問(wèn)題說(shuō)明 .................................................................. 錯(cuò)誤 !未定義書簽。 datanode啟動(dòng)失敗，各 slave節(jié)點(diǎn)的 namespaceIDs與 masters不同 錯(cuò)誤 !未定義書簽。 taskTracker和 jobTracker 啟動(dòng)失敗 ................................... 錯(cuò)誤 !未定義書簽。 Shuffle Error: Exceeded MAX_FAILED_UNIQUE_FETCHES。 bailingout錯(cuò)誤 !未定義書簽。 Too many fetchfailures .................................................... 錯(cuò)誤 !未定義書簽。 能夠啟動(dòng) datanode，但無(wú)法訪問(wèn)，也無(wú)法結(jié)束的錯(cuò)誤 ....... 錯(cuò)誤 !未定義書簽。 : Could not obtain block: ..................... 錯(cuò)誤 !未定義書 簽。 : Java heap space ............... 錯(cuò)誤 !未定義書簽。 解決 hadoop OutOfMemoryError問(wèn)題： ............................. 錯(cuò)誤 !未定義書簽。 Hadoop : ............................................ 錯(cuò)誤 !未定義書簽。 防火墻的端口開放要求 ........................................................... 錯(cuò)誤 !未定義書簽。 與 HDFS有關(guān)的地址及端口屬性 ......