【文章內(nèi)容簡介】 r 上導入 hadoop001 與 hadoop002 上的公鑰： 4) hadoop001 導入 master 的公鑰： [hduser@hadoop001 ~]$ ssh cat ~/.ssh/ .ssh/authorized_keys [hduser@master ~]$ ssh cat ~/.ssh/authorized_keys .ssh/authorized_keys [hduser@master ~]$ ssh cat ~/.ssh/authorized_keys .ssh/authorized_keys [hduser@master ~]$ sshkeygen t rsa [hduser@master ~]$ cat .ssh/ .ssh/authorized_keys [hduser@ master ~]$ chmod 600 .ssh/authorized_keys 廣州大學華軟軟件學院 某某企業(yè)數(shù)據(jù)分析系統(tǒng)設計 18 5) hadoop002 導入 master 的公鑰： 安裝 JDK 1) master 上安裝 JDK： 2) 其它三臺主機也要部署 JDK [root@master ~] mkdir /usr/java tar zxvf C /usr/java/ [root@master ~] tar zxvf C /usr/java/ [root@master ~] vim /etc/profile JAVA_HOME=/usr/java/ JRE_HOME=/usr/java/PATH=$PATH:$JAVA_HOME/bin:$JRE_HOME/bin CLASSPATH=.:$JAVA_HOME/lib/:$JAVA_HOME/lib/:$JRE_HOME/lib export JAVA_HOME JRE_HOME PATH CLASSPATH [root@master ~] source /etc/profile [root@master ~] java version java version Java(TM) SE Runtime Environment (build ) Java HotSpot(TM) Client VM (build , mixed mode) [hduser@hadoop002 ~]$ ssh cat ~/.ssh/ .ssh/authorized_keys 廣州大學華軟軟件學院 某某企業(yè)數(shù)據(jù)分析系統(tǒng)設計 19 安裝 Hadoop 安裝 32 位 Hadoop 1) 配置 Hadoop 環(huán)境變量： 2) 解壓 Hadoop 文件并建立相應的目錄： 3) 設定 Hadoop 集群中 Slaves 角色主機： [hduser@master ~]$ vim [hduser@master ~]$ tar zxvf [hduser@master ~]$ mkdir p dfs/{name,data} [hduser@master ~]$ mkdir temp [hduser@master ]$ vim etc/hadoop/ export JAVA_HOME=/usr/java/ [hduser@master ]$ vim etc/hadoop/ JAVA_HOME=/usr/java/廣州大學華軟軟件學院 某某企業(yè)數(shù)據(jù)分析系統(tǒng)設計 20 4) 配置 文件： [hduser@master ~]$ vim configuration property name/name value /property property name/name value131072/value /property property name/name valuefile:/home/hduser/temp/value /property property name/name value*/value /property property name/name value*/value /property /configuration 廣州大學華軟軟件學院 某某企業(yè)數(shù)據(jù)分析系統(tǒng)設計 21 5) 配置 文件： [hduser@master ~]$ vim configuration property name/name value:9001/value /property property name/name valuefile:/home/hduser/dfs/name/value /property property name/name valuefile:/home/hduser/dfs/data/value /property property name/name value3/value /property property name/name valuetrue/value /property /configuration 廣州大學華軟軟件學院 某某企業(yè)數(shù)據(jù)分析系統(tǒng)設計 22 5) 配置 文件： [hduser@master ~]$ vim configuration property name/name valueyarn/value /property property name/name value:10020/value /property property name/name value:19888/value /property /configuration 廣州大學華軟軟件學院 某某企業(yè)數(shù)據(jù)分析系統(tǒng)設計 23 6) 配置 文件： [hduser@master ~]$ vim configuration ! Site specific YARN configuration properties property name/name valuemapreduce_shuffle/value /property property name/name value/value /property property name/name value:8032/value /property property name/name value:8030/value /property property name/name value:8031/value /property ???? 廣州大學華軟軟件學院 某某企業(yè)數(shù)據(jù)分析系統(tǒng)設計 24 7) 將配置好的 Hadoop 文件復制到其它節(jié)點： 8) 格式化 namenode： 9) 啟動 hdfs： 10) 啟動 yarn： [hduser@master ]$ ./sbin/ [hduser@master ]$ ./sbin/ [hduser@master ~]$ ./[hduser@master ~]$ scp r :~ [hduser@master ~]$ scp r :~ [hduser@master ~]$ scp r :~ 續(xù)上 name/name value:8033/value /property property name/name value:8088/value /property /configuration 廣州大學華軟軟件學院 某某企業(yè)數(shù)據(jù)分析系統(tǒng)設計 25 11) 驗證服務啟動情況： [hduser@master ~]$ jps 3454 NameNode 4003 Jps 3622 SecondaryNameNode 3758 ResourceManager [hduser@hadoop001 ~]$ jps 2190 NodeManager 2090 DataNode 2288 Jps [hduser@hadoop002 ~]$ jps 2167 Jps 2069 NodeManager 1969 DataNode [hduser@hadoop003 ~]$ jps 1853 Jps 1761 NodeManager 1661 DataNode 廣州大學華軟軟件學院 某某企業(yè)數(shù)據(jù)分析系統(tǒng)設計 26 12) 查看集群狀態(tài)： [hduser@master ]$ ./bin/hdfs dfsadmin report Safe mode is ON Configured Capacity: 306228731904 ( GB) Present Capaci