【正文】 導入 master 的公鑰： 安裝 JDK 1) master 上安裝 JDK： 2) 其它三臺主機也要部署 JDK [rootmaster ~] mkdir /usr/java tar zxvf C /usr/java/ [rootmaster ~] tar zxvf C /usr/java/ [rootmaster ~] vim /etc/profile JAVA_HOME=/usr/java/ JRE_HOME=/usr/java/PATH=$PATH:$JAVA_HOME/bin:$JRE_HOME/bin CLASSPATH=.:$JAVA_HOME/lib/:$JAVA_HOME/lib/:$JRE_HOME/lib export JAVA_HOME JRE_HOME PATH CLASSPATH [rootmaster ~] source /etc/profile [rootmaster ~] java version java version Java(TM) SE Runtime Environment (build ) Java HotSpot(TM) Client VM (build , mixed mode) [hduserhadoop002 ~]$ ssh cat ~/.ssh/ .ssh/authorized_keys 廣州大學華軟軟件學院 某某企業(yè)數(shù)據(jù)分析系統(tǒng)設(shè)計 19 安裝 Hadoop 安裝 32 位 Hadoop 1) 配置 Hadoop 環(huán)境變量： 2) 解壓 Hadoop 文件并建立相應的目錄： 3) 設(shè)定 Hadoop 集群中 Slaves 角色主機： [hdusermaster ~]$ vim [hdusermaster ~]$ tar zxvf [hdusermaster ~]$ mkdir p dfs/{name,data} [hdusermaster ~]$ mkdir temp [hdusermaster ]$ vim etc/hadoop/ export JAVA_HOME=/usr/java/ [hdusermaster ]$ vim etc/hadoop/ JAVA_HOME=/usr/java/廣州大學華軟軟件學院 某某企業(yè)數(shù)據(jù)分析系統(tǒng)設(shè)計 20 4) 配置 文件： [hdusermaster ~]$ vim configuration property name/name value /property property name/name value131072/value /property property name/name valuefile:/home/hduser/temp/value /property property name/name value*/value /property property name/name value*/value /property /configuration 廣州大學華軟軟件學院 某某企業(yè)數(shù)據(jù)分析系統(tǒng)設(shè)計 21 5) 配置 文件： [hdusermaster ~]$ vim configuration property name/name value:9001/value /property property name/name valuefile:/home/hduser/dfs/name/value /property property name/name valuefile:/home/hduser/dfs/data/value /property property name/name value3/value /property property name/name valuetrue/value /property /configuration 廣州大學華軟軟件學院 某某企業(yè)數(shù)據(jù)分析系統(tǒng)設(shè)計 22 5) 配置 文件： [hdusermaster ~]$ vim configuration property name/name valueyarn/value /property property name/name value:10020/value /property property name/name value:19888/value /property /configuration 廣州大學華軟軟件學院 某某企業(yè)數(shù)據(jù)分析系統(tǒng)設(shè)計 23 6) 配置 文件： [hdusermaster ~]$ vim configuration ! Site specific YARN configuration properties property name/name valuemapreduce_shuffle/value /property property name/name value/value /property property name/name value:8032/value /property property name/name value:8030/value /property property name/name value:8031/value /property ???? 廣州大學華軟軟件學院 某某企業(yè)數(shù)據(jù)分析系統(tǒng)設(shè)計 24 7) 將配置好的 Hadoop 文件復制到其它節(jié)點： 8) 格式化 namenode： 9) 啟動 hdfs： 10) 啟動 yarn： [hdusermaster ]$ ./sbin/ [hdusermaster ]$ ./sbin/ [hdusermaster ~]$ ./[hdusermaster ~]$ scp r :~ [hdusermaster ~]$ scp r :~ [hdusermaster ~]$ scp r :~ 續(xù)上 name/name value:8033/value /property property name/name value:8088/value /property /configuration 廣州大學華軟軟件學院 某某企業(yè)數(shù)據(jù)分析系統(tǒng)設(shè)計 25 11) 驗證服務啟動情況： [hdusermaster ~]$ jps 3454 NameNode 4003 Jps 3622 SecondaryNameNode 3758 ResourceManager [hduserhadoop001 ~]$ jps 2190 NodeManager 2090 DataNode 2288 Jps [hduserhadoop002 ~]$ jps 2167 Jps 2069 NodeManager 1969 DataNode [hduserhadoop003 ~]$ jps 1853 Jps 1761 NodeManager 1661 DataNode 廣州大學華軟軟件學院 某某企業(yè)數(shù)據(jù)分析系統(tǒng)設(shè)計 26 12) 查看集群狀態(tài)： [hdusermaster ]$ ./bin/hdfs dfsadmin report Safe mode is ON Configured Capacity: 306228731904 ( GB) Present Capacity: 299921403904 ( GB) DFS Remaining: 169894178816 ( GB) DFS Used: 130027225088 ( GB) DFS Used%: % Under replicated blocks: 5 Blocks with corrupt replicas: 3 Missing blocks: 0 DFS Remaining%: % Last contact: Wed Apr 02 06:21:57 EDT 20xx ??? 省略各節(jié)點情況 廣州大學華軟軟件學院 某某企業(yè)數(shù)據(jù)分析系統(tǒng)設(shè)計 27 13) 查看文件塊組成： [hdusermaster ]$ ./bin/hdfs fsck / files blocks Connecting to namenode via FSCK started by hduser (auth:SIMPLE) from / for path / at Wed Apr 02