【正文】 7:47:13 INFO : Storage directory /tmp/hadoophadoop/dfs/name has been successfully formatted. 11/07/12 17:47:13 INFO : SHUTDOWN_MSG: /************************************************************ SHUTDOWN_MSG: Shutting down NameNode at TEST085/ ************************************************************/ 接下來，啟動(dòng) Hadoop 守護(hù)進(jìn)程。在安裝過程中完成了這個(gè)步驟，但是了解是否需要生成干凈的文件系統(tǒng)是有用的。 配置 注： 以前的版本 是 ,可 hadoop 在 版本，配置文件由以前的 ,hdfs ,.內(nèi)在的原因是因?yàn)?hadoop 代碼量越來越寵大，拆解成三個(gè)大的分支進(jìn)行獨(dú)立開發(fā)，配置文件也獨(dú)立了 conf/: configuration property name/name value /property /configuration conf/: configuration property name/name value1/value /property /configuration conf/: configuration property name/name valuelocalhost:9001/value /property /configuration 北京寬連十方數(shù)字技術(shù)有限公司 公開 內(nèi)部公開 √ 機(jī)密 絕密 免密碼 ssh設(shè)置 現(xiàn)在確認(rèn)能否不輸入口令就用 ssh 登錄 localhost: $ ssh localhost 如果不輸入口令就無法用 ssh登陸 localhost，執(zhí)行下面的命令： $ sshkeygen t dsa P 39。輸出寫入到指定的 output 目錄。 嘗試如下命令： $ bin/hadoop 將會(huì)顯示 hadoop 腳本的使用文檔。 安裝軟件 如果你的集群尚未安裝所需軟件，你得首先安裝它們。 2) Win32 平臺(tái)是作為 開發(fā)平臺(tái) 支持的。 北京寬連十方數(shù)字技術(shù)有限公司 公開 內(nèi)部公開 √ 機(jī)密 絕密 TaskTracker 都需要運(yùn)行在 HDFS 的 DataNode 上，而 JobTracker 則不需要，一般情況應(yīng)該把 JobTracker 部署在單獨(dú)的機(jī)器上。 snn 是HDFS 架構(gòu)中的一個(gè)組成部分，但是經(jīng)常由于名字而被人誤解它真正的用途，其實(shí)它真正的用途，是用來保存 namenode 中對(duì) HDFS metadata 的信息的備份，并減少namenode 重啟的時(shí)間 。 Datanode 負(fù)責(zé)處理文件系統(tǒng)客戶端的讀寫請(qǐng)求。 Namenode 執(zhí)行文件系統(tǒng)的名字空間操作，比如打開、關(guān)閉、重命 名文件或目錄。同時(shí)第一階段的輸出又可以作為下一階段計(jì)算的輸入，因此可以想象到一個(gè)樹狀結(jié)構(gòu)的分布式計(jì)算圖，在不同階段都有不同產(chǎn)出，同時(shí)并行和串行結(jié)合的計(jì)算也可以很好地在分布式集群的資源下得以高效的處理。 4) 可靠性（ Reliable）： hadoop 能自動(dòng)地維護(hù)數(shù)據(jù)的多份復(fù)制，并且在任務(wù)失敗后能自動(dòng)地重新部署（ redeploy）計(jì)算任務(wù)。 為什么要選擇 Hadoop？ 系統(tǒng)特點(diǎn) 下面列舉 hadoop 主要的一些特點(diǎn)： 1) 擴(kuò)容能力（ Scalable）：能可靠地（ reliably）存儲(chǔ)和處理千兆字節(jié)（ PB）數(shù)據(jù)。簡單地說來， Hadoop 是一個(gè)可以更容易開發(fā)和運(yùn)行處理大規(guī)模數(shù)據(jù)的軟件平臺(tái)。 Hadoop 并不僅僅是一個(gè)用于存儲(chǔ)的分布式文件系統(tǒng)，而是設(shè)計(jì)用來 在由通用計(jì)算設(shè)備組成的大型集群上執(zhí)行分布式應(yīng)用的 基礎(chǔ) 框架 。 避免 將技術(shù)誤用于不適合的場景 ，這一點(diǎn)非常重要 。 北京寬連十方數(shù)字技術(shù)有限公司 公開 內(nèi)部公開 √ 機(jī)密 絕密 hadoop實(shí)戰(zhàn)手冊(cè)入門資料 北京寬連十方數(shù)字技術(shù)有限公司 技術(shù) 研究 部 （ 2020年 7月 ） 北京寬連十方數(shù)字技術(shù)有限公司 公開 內(nèi)部公開 √ 機(jī)密 絕密 目錄 1 概述 ......................................................................................................................... 4 什么是 Hadoop？ ................................................................................................ 4 為什么要選擇 Hadoop？ ...................................................................................... 4 系統(tǒng)特點(diǎn) ....................................................................................................... 4 使用場景 ....................................................................................................... 5 2 術(shù)語 ......................................................................................................................... 5 3 Hadoop的單機(jī)部署 .................................................................................................. 6 目的 ................................................................................................................... 6 先決條件 ............................................................................................................ 6 支持平臺(tái) ....................................................................................................... 6 所需軟件 ....................................................................................................... 6 安裝軟件 ....................................................................................................... 6 下載 ................................................................................................................... 7 運(yùn)行 Hadoop集群的準(zhǔn)備工作 ............................................................................... 7 單機(jī)模式的操作方法 ........................................................................................... 7 偽分布式模式的操作方法 .................................................................................... 8 配置 .............................................................................................................. 8 免密碼 ssh設(shè)置 .............................................................................................. 9 執(zhí)行 .............................................................................................................. 9 4 Hadoop集群搭建過程手記 ...................................................................................... 11 免密碼 SSH設(shè)置 ................................................................................................ 12 Hadoop軟件安裝 .............................................................................................. 12 Master(85)配置 ................................................................................................ 13 Slave(60,245上 )配置 ........................................................................................ 14 初始化和啟動(dòng) hadoop集群 ................................................................................. 15 初始化文件系統(tǒng) .......................................................................................... 15 啟動(dòng) Hadoop ............................................................................................... 15 停止 Hadoop ............................................................................................... 17 測試 ................................................................................................................. 17 管理界面與命令 ................................................................................................ 19 hdfs運(yùn)行狀態(tài)界面 ....................................................................................... 19 Mapreduce的運(yùn)行狀態(tài)界面 ....................................................................... 20 直接的命令行查看 ....................................................................................... 20 運(yùn)行的進(jìn)程查看 ...............................