【正文】 doop軟件安裝以hadoop用戶登陸，將安裝軟件解壓到集群內(nèi)的所有機(jī)器上，編輯我們用HADOOP_HOME指定安裝的根路徑。 Required.export JAVA_HOME=/usr/local/java 修改成你自己jdk安裝的目錄 The maximum amount of heap to use, in MB. Default is 1000.export HADOOP_HEAPSIZE=200 根據(jù)你的內(nèi)存大小調(diào)整2) 修改masters和slaves配置修改文件/usr/local/hadoop/conf/slaves及/usr/local/hadoop/conf/masters,把數(shù)據(jù)節(jié)點(diǎn)的主機(jī)名加到slaves、名稱節(jié)點(diǎn)主機(jī)名加到masters。注意主機(jī)名需要在每個(gè)服務(wù)器的/etc/hosts映射好。內(nèi)在的原因是因?yàn)閔adoop代碼量越來越寵大，拆解成三個(gè)大的分支進(jìn)行獨(dú)立開發(fā)，配置文件也獨(dú)立 了。?xml version=??xmlstylesheet type=text/xsl href=?! Put sitespecific property overrides in this file. configurationpropertyname/namevalue3/valuedescriptionDefault block replication.?xml version=??xmlstylesheet type=text/xsl href=?! Put sitespecific property overrides in this file. configurationpropertyname/namevalue:9001/value/property/configuration設(shè)置系統(tǒng)環(huán)境，以方便執(zhí)行hadoop命令在/home/hadoop/ .bashrc加入export HADOOP_HOME=/root/hadoop/hadoopexport HADOOP_CONF_DIR=$HADOOP_HOME/confexport PATH=/root/hadoop/hadoop/bin:$PATH Slave(60,245上)配置在Slave(60,245上)上的配置文件如下()：[root conf] cat?xml version=??xmlstylesheet type=text/xsl href=?! Put sitespecific property overrides in this file. configurationpropertyname/namevaluehdfs://:9000/value/property/configuration[root conf] cat $ bin/hadoop namenode –format注：一看到format就和磁盤格式化聯(lián)想到一起，然后這個(gè)format是對(duì)hdfs來說的，所以有些人害怕真的是格式化自己的文件系統(tǒng)了，其實(shí)大可不必?fù)?dān)心, namenode format只是初始化一些目錄和文件而已。[hadoopTEST085 ]$ bin/starting jobtracker, logging to /home/hadoop/: starting tasktracker, logging to /home/hadoop/: starting tasktracker, logging to /home/hadoop/注：實(shí)際應(yīng)用中NameNode和Jobtrachker不在同一臺(tái)服務(wù)器上，則需要按下面方式進(jìn)行啟動(dòng)在分配的NameNode上，運(yùn)行下面的命令啟動(dòng)HDFS：$ bin/bin/${HADOOP_CONF_DIR}/slaves文件的內(nèi)容，在所有列出的slave上啟動(dòng)DataNode守護(hù)進(jìn)程。 停止Hadoop在分配的NameNode上，執(zhí)行下面的命令停止HDFS：$ bin/bin/${HADOOP_CONF_DIR}/slaves文件的內(nèi)容，在所有列出的slave上停止DataNode守護(hù)進(jìn)程。bin/${HADOOP_CONF_DIR}/slaves文件的內(nèi)容，在所有列出的slave上停止TaskTracker守護(hù)進(jìn)程。[hadoopTEST085 ]$ bin/hadoop fs lsFound 1 itemsdrwxrxrx hadoop supergroup 0 20110721 19:58 /user/hadoop/test1運(yùn)行一個(gè)mapreduce示例程序wordcount，運(yùn)行結(jié)果如下：[hadoopTEST085 ]$ hadoop jar wordcount /user/hadoop/test1/ output1結(jié)果如下：11/07/22 15:21:29 INFO : Total input paths to process : 111/07/22 15:21:30 INFO : Running job: job_201107221440_000111/07/22 15:21:31 INFO : map 0% reduce 0%11/07/22 15:21:51 INFO : map 100% reduce 0%11/07/22 15:22:09 INFO : map 100% reduce 100%11/07/22 15:22:15 INFO : Job plete: job_201107221440_000111/07/22 15:22:15 INFO : Counters: 2511/07/22 15:22:15 INFO : Job Counters 11/07/22 15:22:15 INFO : Launched reduce tasks=111/07/22 15:22:15 INFO : SLOTS_MILLIS_MAPS=1825211/07/22 15:22:15 INFO : Total time spent by all reduces waiting after reserving slots (ms)=011/07/22 15:22:15 INFO : Total time spent by all maps waiting after reserving slots (ms)=011/07/22 15:22:15 INFO : Launched map tasks=111/07/22 15:22:15 INFO : Datalocal map tasks=111/07/22 15:22:15 INFO : SLOTS_MILLIS_REDUCES=1547911/07/22 15:22:15 INFO : File Output Format Counters 11/07/22 15:22:15 INFO : Bytes Written=130611/07/22 15:22:15 INFO : FileSystemCounters11/07/22 15:22:15 INFO : FILE_BYTES_READ=183611/07/22 15:22:15 INFO : HDFS_BYTES_READ=148511/07/22 15:22:15 INFO : FILE_BYTES_WRITTEN=4598911/07/22 15:22:15 INFO : HDFS_BYTES_WRITTEN=130611/07/22 15:22:15 INFO : File Input Format Counters 11/07/22 15:22:15 INFO : Bytes Read=136611/07/22 15:22:15 INFO : MapReduce Framework11/07/22 15:22:15 INFO : Reduce input groups=13111/07/22 15:22:15 INFO : Map output materialized bytes=183611/07/22 15:22:15 INFO : Combine output records=13111/07/22 15:22:15 INFO : Map input records=3111/07/22 15:22:15 INFO : Reduce shuffle bytes=183611/07/22 15:22:15 INFO : Reduce output records=13111/07/22 15:22:15 INFO : Spilled Records=26211/07/22 15:22:15 INFO : Map output bytes=205511/07/22 15:22:15 INFO : Combine input records=17911/07/22 15:22:15 INFO : Map output records=17911/07/22 15:22:15 INFO : SPLIT_RAW_BYTES=11911/07/22 15:22:15 INFO : Reduce input records=131 [hadoopTEST085 ]$ bin/hadoop fs ls output1查看輸出結(jié)果文件，這個(gè)文件在hdfs上:[hadoopTEST085 ]$ hadoop fs ls output1Found 3 itemsrwrr 3 hadoop supergroup 0 20110722 15:22 /user/hadoop/output1/_SUCCESSdrwxrxrx hadoop supergroup 0 20110722 15:21 /user/hadoop/output1/_logsrwrr 3 hadoop supergroup 1306 20110722 15:22 /user/hadoop/output1/partr00000[hadoopTEST085 ]$ hadoop fs cat output1/partr00000(BIS), 1(TSU) 1(see 1) 1 1Administration 1BEFORE 1Commerce, 1...........省略 Mapreduce的運(yùn)行狀態(tài)界面查看mapreduce信息，可以通過web界面來訪問::50030/ 直接的命令行查看下面是直接命令行看到的結(jié)果。[hadoopDBSERVER /]$ ps aux |grep hahadoop 11127 1179584 32656 ? S 14:41 0:04 /usr/local/java/bin/java Dproc_datanode Xmx1000m server =/home/hadoop/hadoop 11215 1188132 35660 ? S 14:42 0:02 /usr/local/java/bin/java Dproc_tasktracker Xmx1000m =/home/hadoop/[hadoopDBSERVER /]$ netstat ant |grep 900tcp 0 0 :34921 :9000 ESTABLISHED tcp 0 0 :34926 :9001 ESTABLISHED5 架構(gòu)分析【架構(gòu)詳情請(qǐng)參考：】Hadoop 有許多元素構(gòu)成。、SecondaryNameNode及DataNode相關(guān)的服務(wù)有JobTracker兩種）。其中：1) 主 master同時(shí)提供NameNode及JobTracker服務(wù)；3) 所有slave可以提供DateNode兩種服務(wù)?？梢詣?chuàng)建、刪除、移動(dòng)或重命名文件，等等。這些節(jié)點(diǎn)包括 NameNode（僅一個(gè)），它在 HDFS 內(nèi)部提供元數(shù)據(jù)服務(wù)；DataNode，它為 HDFS 提供存儲(chǔ)塊。圖 51. Hadoop 集群的簡(jiǎn)化視圖存儲(chǔ)在 HDFS 中的文件被分成塊，然后將這些塊復(fù)制到多個(gè)計(jì)算機(jī)中（DataNode）。塊的大?。ㄍǔ?64MB）和復(fù)制的塊數(shù)量在創(chuàng)建文件時(shí)由客戶機(jī)決定。HDFS 內(nèi)部的所有通信都基于標(biāo)準(zhǔn)的 TCP/IP 協(xié)議。216。NameNode會(huì)將文件系統(tǒng)的Metadata存儲(chǔ)在內(nèi)存中，這些信息主要包括了文件信息、每一個(gè)文件對(duì)應(yīng)的文件塊的信息和每一個(gè)文件塊在DataNode的信息等。 DataNode 是文件存儲(chǔ)的基本單元，它將Block存儲(chǔ)在本地文件系統(tǒng)中，保存了Block的Metadata，同時(shí)周期性地將所有存在的Block信息發(fā)送給NameNode。 Client 就是需要獲取分布式文件系統(tǒng)文件的應(yīng)用程序。1) 文件寫入a) Client向