【正文】 Datanodes available: 2 (2 total, 0 dead)Name: :50010Demission Status : NormalConfigured Capacity: 37169479680 ( GB)DFS Used: 36864 (36 KB)Non DFS Used: 30097534976 ( GB)DFS Remaining: 7071907840( GB)DFS Used%: 0%DFS Remaining%: %Last contact: Fri Jul 22 15:16:36 CST 2011Name: :50010Demission Status : NormalConfigured Capacity: 253935173632 ( GB)DFS Used: 45056 (44 KB)Non DFS Used: 186574213120 ( GB)DFS Remaining: 67360915456( GB)DFS Used%: 0%DFS Remaining%: %Last contact: Fri Jul 22 15:16:37 CST 2011 運行的進程查看在master機器上通過ps命令查看，可以看到namenode/secondarynamenode/jobtracker在運行，如下：[hadoopTEST085 ]$ ps uax |grep hahadoop 27440 1195576 59428 pts/0 S 14:40 0:05 /usr/local/java/bin/java Dproc_namenode Xmx1000m =/home/hadoop/hadoop 17840 1185092 36196 ? S 14:40 0:03 /usr/local/java/bin/java Dproc_secondarynamenode Xmx1000m =/home/hadoop/hadoop 18435 1199836 42744 pts/0 S 14:40 0:05 /usr/local/java/bin/java Dproc_jobtracker Xmx1000m =/home/hadoop/[hadoopTEST085 ]$ netstat ant |grep 900tcp 0 0 :9000 :* LISTEN tcp 0 0 :9001 :* LISTEN tcp 0 0 :9000 :64074 ESTABLISHED tcp 0 0 :9001 :5956 ESTABLISHED tcp 0 0 :9000 :49534 ESTABLISHED tcp 0 0 :49534 :9000 ESTABLISHED tcp 0 0 :9000 :34921 ESTABLISHED tcp 0 0 :9001 :34926 ESTABLISHED在slaves機器上通過ps命令可以看到datanode和tasktracher的進程在運行。 管理界面與命令 hdfs運行狀態(tài)界面查看hdfs運行狀態(tài),可以通過web界面來訪問 :50070/。 1Bureau 1BIS 1Apache 1, 1(ECCN) 測試在hdfs上創(chuàng)建test1文件夾，上傳文件到此目錄下[hadoopTEST085 ]$bin/hadoop fs mkdir test1[hadoopTEST085 ]$ bin/hadoop fs put ./ test1在分配的JobTracker上，運行下面的命令停止Map/Reduce：$ bin/在分配的JobTracker上，運行下面的命令啟動Map/Reduce：$ bin/bin/${HADOOP_CONF_DIR}/slaves文件的內(nèi)容，在所有列出的slave上啟動TaskTracker守護進程。 啟動Hadoop在master結(jié)點配置用戶環(huán)境變量,， [hadoopTEST085 ]$ bin/ starting namenode, logging to /home/hadoop/: starting datanode, logging to /home/hadoop/: starting datanode, logging to /home/hadoop/: starting secondarynamenode, logging to /home/hadoop/starting jobtracker, logging to /home/hadoop/: starting tasktracker, logging to /home/hadoop/: starting tasktracker, logging to /home/hadoop/另也可以分步執(zhí)行：第一步啟動hdfs；[hadoopTEST085 ]$ bin/starting namenode, logging to /home/hadoop/: starting datanode, logging to /home/hadoop/: starting datanode, logging to /home/hadoop/: starting secondarynamenode, logging to /home/hadoop/第二步啟動 mapreduce。?xml version=??xmlstylesheet type=text/xsl href=?! Put sitespecific property overrides in this file. configurationpropertyname/namevalue:9001/value/property/configuration 初始化和啟動hadoop集群 初始化文件系統(tǒng)初始化namenode,為HDFS作第一次運行的準備。The actual number of replications can be specified when the file is created.The default is used if replication is not specified in create time./description/property/configuration[root conf] cat ?xml version=??xmlstylesheet type=text/xsl href=?! Put sitespecific property overrides in this file. configurationpropertyname/namevaluehdfs://:9000/value/property/configuration[root conf] cat 下面是三個配置文件示例：[root conf] cat[hadoopTEST085 ]$ vi conf/slaves [hadoopTEST085 ]$ vi conf/master Master(85)配置85為master結(jié)點，則85的配置文件如下：，hdfs ?？梢约佣鄠€，每行一個。通常集群里的所有機器的HADOOP_HOME路徑相同，安裝路徑定為：/home/hadoop/1) 進行JDK和內(nèi)存占用配置：conf/： The java implementation to use.conf/，至少需要將JAVA_HOME設置為Java安裝根路徑（安裝過程參考“3 hadoop的單機部署”）。再把名稱服務器上的authorized_keys復制到目錄數(shù)據(jù)節(jié)點（160，254）./ssh,注意權(quán)限和目錄結(jié)構(gòu)跟名稱節(jié)點保持一致，然后再從名稱節(jié)點用ssh登陸數(shù)據(jù)節(jié)點，如果不需要密碼能登陸成功，則ssh的配置結(jié)束。3) 接下來，同樣也hadoop用戶登陸數(shù)據(jù)節(jié)點服務器（160，254），并給與600權(quán)限（chmod 600 .ssh）。然后一路回車，,把這個文件復制到當前位置，命名為authorized_keys；然后執(zhí)行命令 t2) 以hadoop用戶名登陸名稱節(jié)點（85）執(zhí)行打通過程如下：1) 名稱節(jié)點85和數(shù)據(jù)節(jié)點（160，254）各自創(chuàng)建用戶hadoop,使用相同的密碼。圖 1. 偽分布式 Hadoop 配置每個守護進程都在后臺運行。$ cat output/*或者在分布式文件系統(tǒng)上查看輸出文件：$ bin/hadoop fs cat output/*完成全部操作后，停止守護進程：$ bin/Hadoop 在這個偽分布式配置中啟動 5 個守護進程：namenode、secondarynamenode、datanode、jobtracker 和 tasktracker。dfs[az.]+39。://localhost:50070/ NameNode在conf/。目錄 (默認是啟動Hadoop守護進程：[hadoopTEST085 ]$ bin/注：1）Hadoop守護進程的日志寫入到oom39。 [hadoopTEST085 ]$ bin/hadoop namenode –format注：在確認請求之后，文件系統(tǒng)進行格式化并返回一些信息：11/07/12 17:47:12 INFO : STARTUP_MSG: /************************************************************STARTUP_MSG: Starting NameNodeSTARTUP_MSG: host = TEST085/STARTUP_MSG: args = [format]STARTUP_MSG: version = STARTUP_MSG: build = 。首先，請求 namenode 對 DFS 文件系統(tǒng)進行格式化。hadoop f ~/.ssh/id_dsa 配置注：,，,hdfs ,，拆解成三個大的分支進行獨立開發(fā)，配置文件也獨立了conf/:configuration property name/name valuehdfs://localhost:9000/value /property/configurationconf/:configuration property name/name value1/value /property/configurationconf/:configuration property name/name valuelocalhost:9001/value /property/configuration 免密碼ssh設置現(xiàn)在確認能否不輸入口令就用ssh登錄localhost:$ ssh localhost如果不輸入口令就無法用ssh登陸localhost，執(zhí)行下面的命令：$ sshkeygen t dsa P 39。dfs[az.]+39。$ cp conf/*.xml input目錄拷貝作為輸入，查找并顯示匹配給定正則表達式的條目。下面的實例將已解壓的 完全分布式模式 單機模式的操作方法默認情況下，Hadoop被配置成以非分布式模式運行的一個獨立Java進程。 單機模式腳本的使用文檔。嘗試如下命令：$ bin/hadoop編輯穩(wěn)定發(fā)行版。以Linux為例:$ sudo aptget install sshsshd一直運行，以便用Hadoop 腳本管理遠端Hadoop守護進程。2. ssh由于分布式操作尚未在Win32平臺上充分測試，所以還不作為一個生產(chǎn)平臺被支持。 Hadoop已在有2000個節(jié)點的GNU/Linux主機組成的集群系統(tǒng)上得到驗證。3 Hadoop的單機部署參考：+Platforms 目的本章節(jié)的目的是幫助你快速完成單機上的Hadoop安裝與使用以便你對Hadoop分布式文件系統(tǒng)(HDFS)和MapReduce框架有所體會，比如在HDFS上運行示例程序或簡單作業(yè)等。 master負責調(diào)度job的每一個子任務task運行于slave上，并監(jiān)控它們，如果發(fā)現(xiàn)有失敗的task就重新運行它，slave則負責直接執(zhí)行每一個task。4)