基于hadoop數(shù)據(jù)分析系統(tǒng)設(shè)計(jì)畢業(yè)設(shè)計(jì)(編輯修改稿)
2025-08-15 20:20 本頁面
【文章內(nèi)容簡(jiǎn)介】 r 上導(dǎo)入 hadoop001 與 hadoop002 上的公鑰： 4) hadoop001 導(dǎo)入 master 的公鑰： [hduser@hadoop001 ~]$ ssh cat ~/.ssh/ .ssh/authorized_keys [hduser@master ~]$ ssh cat ~/.ssh/authorized_keys .ssh/authorized_keys [hduser@master ~]$ ssh cat ~/.ssh/authorized_keys .ssh/authorized_keys [hduser@master ~]$ sshkeygen t rsa [hduser@master ~]$ cat .ssh/ .ssh/authorized_keys [hduser@ master ~]$ chmod 600 .ssh/authorized_keys 廣州大學(xué)華軟軟件學(xué)院 某某企業(yè)數(shù)據(jù)分析系統(tǒng)設(shè)計(jì) 18 5) hadoop002 導(dǎo)入 master 的公鑰： 安裝 JDK 1) master 上安裝 JDK： 2) 其它三臺(tái)主機(jī)也要部署 JDK [root@master ~] mkdir /usr/java tar zxvf C /usr/java/ [root@master ~] tar zxvf C /usr/java/ [root@master ~] vim /etc/profile JAVA_HOME=/usr/java/ JRE_HOME=/usr/java/PATH=$PATH:$JAVA_HOME/bin:$JRE_HOME/bin CLASSPATH=.:$JAVA_HOME/lib/:$JAVA_HOME/lib/:$JRE_HOME/lib export JAVA_HOME JRE_HOME PATH CLASSPATH [root@master ~] source /etc/profile [root@master ~] java version java version Java(TM) SE Runtime Environment (build ) Java HotSpot(TM) Client VM (build , mixed mode) [hduser@hadoop002 ~]$ ssh cat ~/.ssh/ .ssh/authorized_keys 廣州大學(xué)華軟軟件學(xué)院 某某企業(yè)數(shù)據(jù)分析系統(tǒng)設(shè)計(jì) 19 安裝 Hadoop 安裝 32 位 Hadoop 1) 配置 Hadoop 環(huán)境變量： 2) 解壓 Hadoop 文件并建立相應(yīng)的目錄： 3) 設(shè)定 Hadoop 集群中 Slaves 角色主機(jī)： [hduser@master ~]$ vim [hduser@master ~]$ tar zxvf [hduser@master ~]$ mkdir p dfs/{name,data} [hduser@master ~]$ mkdir temp [hduser@master ]$ vim etc/hadoop/ export JAVA_HOME=/usr/java/ [hduser@master ]$ vim etc/hadoop/ JAVA_HOME=/usr/java/廣州大學(xué)華軟軟件學(xué)院 某某企業(yè)數(shù)據(jù)分析系統(tǒng)設(shè)計(jì) 20 4) 配置 文件： [hduser@master ~]$ vim configuration property name/name value /property property name/name value131072/value /property property name/name valuefile:/home/hduser/temp/value /property property name/name value*/value /property property name/name value*/value /property /configuration 廣州大學(xué)華軟軟件學(xué)院 某某企業(yè)數(shù)據(jù)分析系統(tǒng)設(shè)計(jì) 21 5) 配置 文件： [hduser@master ~]$ vim configuration property name/name value:9001/value /property property name/name valuefile:/home/hduser/dfs/name/value /property property name/name valuefile:/home/hduser/dfs/data/value /property property name/name value3/value /property property name/name valuetrue/value /property /configuration 廣州大學(xué)華軟軟件學(xué)院 某某企業(yè)數(shù)據(jù)分析系統(tǒng)設(shè)計(jì) 22 5) 配置 文件： [hduser@master ~]$ vim configuration property name/name valueyarn/value /property property name/name value:10020/value /property property name/name value:19888/value /property /configuration 廣州大學(xué)華軟軟件學(xué)院 某某企業(yè)數(shù)據(jù)分析系統(tǒng)設(shè)計(jì) 23 6) 配置 文件： [hduser@master ~]$ vim configuration ! Site specific YARN configuration properties property name/name valuemapreduce_shuffle/value /property property name/name value/value /property property name/name value:8032/value /property property name/name value:8030/value /property property name/name value:8031/value /property ???? 廣州大學(xué)華軟軟件學(xué)院 某某企業(yè)數(shù)據(jù)分析系統(tǒng)設(shè)計(jì) 24 7) 將配置好的 Hadoop 文件復(fù)制到其它節(jié)點(diǎn)： 8) 格式化 namenode： 9) 啟動(dòng) hdfs： 10) 啟動(dòng) yarn： [hduser@master ]$ ./sbin/ [hduser@master ]$ ./sbin/ [hduser@master ~]$ ./[hduser@master ~]$ scp r :~ [hduser@master ~]$ scp r :~ [hduser@master ~]$ scp r :~ 續(xù)上 name/name value:8033/value /property property name/name value:8088/value /property /configuration 廣州大學(xué)華軟軟件學(xué)院 某某企業(yè)數(shù)據(jù)分析系統(tǒng)設(shè)計(jì) 25 11) 驗(yàn)證服務(wù)啟動(dòng)情況： [hduser@master ~]$ jps 3454 NameNode 4003 Jps 3622 SecondaryNameNode 3758 ResourceManager [hduser@hadoop001 ~]$ jps 2190 NodeManager 2090 DataNode 2288 Jps [hduser@hadoop002 ~]$ jps 2167 Jps 2069 NodeManager 1969 DataNode [hduser@hadoop003 ~]$ jps 1853 Jps 1761 NodeManager 1661 DataNode 廣州大學(xué)華軟軟件學(xué)院 某某企業(yè)數(shù)據(jù)分析系統(tǒng)設(shè)計(jì) 26 12) 查看集群狀態(tài)： [hduser@master ]$ ./bin/hdfs dfsadmin report Safe mode is ON Configured Capacity: 306228731904 ( GB) Present Capaci
研究報(bào)告相關(guān)推薦
鄂ICP備17016276號(hào)-1