【導讀】 北京寬連十方數(shù)字技術(shù)有限公司公開內(nèi)部公開√機密絕密 蚇肄蒆薇羅肅膆莀袁肂羋薅螇肁莀莈蚃膀肀薃蕿腿膂莆袈腿莄薂襖膈蕆蒄螀膇膆蝕蚆膆艿蒃羅膅莁蚈袁芄蒃蒁螇芄膃蚇蚃袀芅葿蕿衿蒈蚅羇袈膇薈袃袇芀螃蝿袇莂薆蚅袆蒄荿羄裊膄薄袀羄芆莇螆羃莈薂螞肈蒞蚈羈芀蟻羆羈莃蒄袂羀蒅蠆螈罿膅蒂蚄羈芇蚇薀肇荿蒀衿肆聿蚆螅肅芁蒈螁肅莄螄蚇肄蒆薇羅肅膆莀袁肂羋薅螇肁莀莈蚃膀肀薃蕿腿膂莆袈腿莄薂襖膈蕆蒄螀膇膆蝕蚆膆艿蒃羅膅莁蚈袁芄蒃蒁螇芄膃蚇蚃袀芅葿蕿衿蒈蚅羇袈膇薈袃袇芀螃蝿袇莂薆蚅袆蒄荿羄裊膄薄袀羄芆莇螆羃莈薂螞肈蒞蚈羈芀蟻羆羈莃蒄袂羀蒅蠆螈罿膅蒂蚄羈芇蚇薀肇荿蒀衿肆聿蚆螅肅芁蒈螁肅莄螄蚇肄蒆薇羅肅膆莀袁肂羋薅螇肁莀莈蚃膀肀薃蕿腿膂莆袈腿莄薂襖膈蕆蒄螀膇膆蝕蚆膆艿蒃羅膅莁蚈袁芄蒃蒁螇芄膃蚇蚃袀芅葿蕿衿蒈蚅羇袈膇薈袃袇芀螃蝿袇莂薆蚅袆蒄荿羄裊膄薄袀羄芆莇螆羃莈薂螞肈蒞蚈羈芀蟻羆羈莃蒄袂羀蒅蠆螈罿膅蒂蚄羈芇蚇薀肇荿蒀

　　

【正文】 ! Put sitespecific property overrides in this file. configuration property name/name value:9001/value /property /configuration 北京寬連十方數(shù)字技術(shù)有限公司 公開 內(nèi)部公開 √ 機密 絕密 設置系統(tǒng)環(huán)境 ，以方便執(zhí)行 hadoop命令 在 /home/hadoop/ .bashrc加入 export HADOOP_HOME=/root/hadoop/hadoop export HADOOP_CONF_DIR=$HADOOP_HOME/conf export PATH=/root/hadoop/hadoop/bin:$PATH Slave(60,245上 )配置 在 Slave(60,245上 )上的配置文件如下 ( )： [ conf] cat ?xml version=? ?xmlstylesheet type=text/xsl href=? ! Put sitespecific property overrides in this file. configuration property name/name value /property /configuration [ conf] cat ?xml version=? ?xmlstylesheet type=text/xsl href=? ! Put sitespecific property overrides in this file. configuration property name/name value:9001/value /property /configuration 初始化和啟動 hadoop集群 初始化文件系統(tǒng) 初始化 namenode,為 HDFS 作第一次運行的準備。 北京寬連十方數(shù)字技術(shù)有限公司 公開 內(nèi)部公開 √ 機密 絕密 $ bin/hadoop namenode – format 注： 一看到 format 就和磁盤格式化聯(lián)想到一起，然后這個 format 是對 hdfs 來說的，所以有些人害怕真的是格式化自己的文件系統(tǒng)了，其實大可不必擔心 , namenode format 只是初始化一些目錄和文件而已 。 啟動 Hadoop 在 master 結(jié)點 配置用戶環(huán)境變量 ,在 master 結(jié)點 啟動 hadoop 集群程序， 執(zhí)行 bin 目錄下的 [hadoop@TEST085 ]$ bin/ starting namenode, logging to /home/hadoop/: starting datanode, logging to /home/hadoop/: starting datanode, logging to /home/hadoop/: starting secondarynamenode, logging to /home/hadoop/starting jobtracker, logging to /home/hadoop/: starting tasktracker, logging to /home/hadoop/: starting tasktracker, logging to /home/hadoop/另也可以分步執(zhí)行： 第一步啟動 hdfs； [hadoop@TEST085 ]$ bin/ starting namenode, logging to /home/hadoop/: starting datanode, logging to /home/hadoop/: starting datanode, logging to /home/hadoop/ : starting secondarynamenode, logging to /home/hadoop/ 北京寬連十方數(shù)字技術(shù)有限公司 公開 內(nèi)部公開 √ 機密 絕密 第二步啟動 mapreduce。 [hadoop@TEST085 ]$ bin/ starting jobtracker, logging to /home/hadoop/: starting tasktracker, logging to /home/hadoop/ut : starting tasktracker, logging to /home/hadoop/ 注：實際應用中 NameNode和 Jobtrachker不在同一臺服務器上，則需要按下面方式進行啟動 在分配的 NameNode上，運行下面的命令啟動 HDFS： $ bin/ bin/ NameNode上${HADOOP_CONF_DIR}/slaves文件的內(nèi)容，在所有列出的 slave上啟動 DataNode守護進程。 在分配的 JobTracker上，運行下面的命令啟動 Map/Reduce： $ bin/ bin/ JobTracker上${HADOOP_CONF_DIR}/slaves文件的內(nèi)容，在所有列出的 slave上啟動 TaskTracker守護進程。 停止 Hadoop 在分配的 NameNode 上，執(zhí)行下面的命令停止 HDFS： $ bin/ bin/ 腳本會參照 NameNode 上 ${HADOOP_CONF_DIR}/slaves 文件的內(nèi)容，在所有列出的 slave 上停止 DataNode 守護進程。 在分配的 JobTracker 上，運行下面的命令停止 Map/Reduce： $ bin/ bin/ JobTracker 上 ${HADOOP_CONF_DIR}/slaves 文件的內(nèi)容，在所有列出的 slave 上停止 TaskTracker 守護進程。 北京寬連十方數(shù)字技術(shù)有限公司 公開 內(nèi)部公開 √ 機密 絕密 測試 在 hdfs 上創(chuàng)建 test1 文件夾，上傳文件到此目錄下 [hadoop@TEST085 ]$bin/hadoop fs mkdir test1 [hadoop@TEST085 ]$ bin/hadoop fs put ./ test1 [hadoop@TEST085 ]$ bin/hadoop fs ls Found 1 items drwxrxrx hadoop supergroup 0 20200721 19:58 /user/hadoop/test1 運行一個 mapreduce 示例程序 wordcount，運行結(jié)果如下 ： [hadoop@TEST085 ]$ hadoop jar wordcount /user/hadoop/test1/ output1 結(jié)果如下： 11/07/22 15:21:29 INFO : Total input paths to process : 1 11/07/22 15:21:30 INFO : Running job: job_202007221440_0001 11/07/22 15:21:31 INFO : map 0% reduce 0% 11/07/22 15:21:51 INFO : map 100% reduce 0% 11/07/22 15:22:09 INFO : map 100% reduce 100% 11/07/22 15:22:15 INFO : Job plete: job_202007221440_0001 11/07/22 15:22:15 INFO : Counters: 25 11/07/22 15:22:15 INFO : Job Counters 11/07/22 15:22:15 INFO : Launched reduce tasks=1 11/07/22 15:22:15 INFO : SLOTS_MILLIS_MAPS=18252 11/07/22 15:22:15 INFO : Total time spent by all reduces waiting after reserving slots (ms)=0 11/07/22 15:22:15 INFO : Total time spent by all maps waiting after reserving slots (ms)=0 11/07/22 15:22:15 INFO : Launched map tasks=1 11/07/22 15:22:15 INFO : Datalocal map tasks=1 11/07/22 15:22:15 INFO : SLOTS_MILLIS_REDUCES=15479 11/07/22 15:22:15 INFO : File Output Format Counters 11/07/22 15:22:15 INFO : Bytes Written=1306 11/07/22 15:22:15 INFO : FileSystemCounters 11/07/22 15:22:15 INFO : FILE_BYTES_READ=1836 11/07/22 15:22:15 INFO : HDFS_BYTES_READ=1485 11/07/22 15:22:15 INFO : FILE_BYTES_WRITTEN=45