【文章內(nèi)容簡介】 me/name value /property /configuration conf/: configuration property name/name value1/value /property /configuration conf/: configuration property name/name valuelocalhost:9001/value /property /configuration 北京寬連十方數(shù)字技術(shù)有限公司 公開 內(nèi)部公開 √ 機密 絕密 免密碼 ssh設置 現(xiàn)在確認能否不輸入口令就用 ssh 登錄 localhost: $ ssh localhost 如果不輸入口令就無法用 ssh登陸 localhost，執(zhí)行下面的命令： $ sshkeygen t dsa P 39。39。 f ~/.ssh/id_dsa $ cat ~/.ssh/ ~/.ssh/authorized_keys 執(zhí)行 首先使用 hadoop 命令對 Hadoop File System (HDFS) 進行格式化 。 首先，請求 namenode 對 DFS 文件系統(tǒng)進行格式化。在安裝過程中完成了這個步驟，但是了解是否需要生成干凈的文件系統(tǒng)是有用的。 [hadoop@TEST085 ]$ bin/hadoop namenode –format 注： 在確認請求之后，文件系統(tǒng)進行格式化并返回一些信息 ： 11/07/12 17:47:12 INFO : STARTUP_MSG: /************************************************************ STARTUP_MSG: Starting NameNode STARTUP_MSG: host = TEST085/ STARTUP_MSG: args = [format] STARTUP_MSG: version = STARTUP_MSG: build = r 1099333。 piled by 39。oom39。 on Wed May 4 07:57:50 PDT 2020 ************************************************************/ 11/07/12 17:47:12 INFO : VM type = 32bit 11/07/12 17:47:12 INFO : 2% max memory = MB 11/07/12 17:47:12 INFO : capacity = 2^22 = 4194304 entries 11/07/12 17:47:12 INFO : remended=4194304, actual=4194304 北京寬連十方數(shù)字技術(shù)有限公司 公開 內(nèi)部公開 √ 機密 絕密 11/07/12 17:47:13 INFO : fsOwner=hadoop 11/07/12 17:47:13 INFO : supergroup=supergroup 11/07/12 17:47:13 INFO : isPermissionEnabled=true 11/07/12 17:47:13 INFO : =100 11/07/12 17:47:13 INFO : isAccessTokenEnabled=false accessKeyUpdateInterval=0 min(s), accessTokenLifetime=0 min(s) 11/07/12 17:47:13 INFO : Caching file names occuring more than 10 times 11/07/12 17:47:13 INFO : Image file of size 112 saved in 0 seconds. 11/07/12 17:47:13 INFO : Storage directory /tmp/hadoophadoop/dfs/name has been successfully formatted. 11/07/12 17:47:13 INFO : SHUTDOWN_MSG: /************************************************************ SHUTDOWN_MSG: Shutting down NameNode at TEST085/ ************************************************************/ 接下來，啟動 Hadoop 守護進程。 啟動 Hadoop 守護進程： [hadoop@TEST085 ]$ bin/ 注： 1） Hadoop 守護進程的日志寫入到 ${HADOOP_LOG_DIR} 目錄 (默認是 ${HADOOP_HOME}/logs) 2） 啟動 hadoop，但 ssh 端口不是默認的 22 怎么樣？好在它可以配置。在conf/ 里改下。如： export HADOOP_SSH_OPTS=p 1234 瀏覽 NameNode 和 JobTracker 的網(wǎng)絡接口，它們的地址默認為： ? NameNode ? JobTracker 將輸入文件拷貝到分布式文件系統(tǒng)： $ bin/hadoop fs put conf input 北京寬連十方數(shù)字技術(shù)有限公司 公開 內(nèi)部公開 √ 機密 絕密 運行發(fā)行版提供的示例程序： $ bin/hadoop jar grep input output 39。dfs[az.]+39。 查看輸出文件： 將輸出文件從分布式文件系統(tǒng)拷貝到本地文件系統(tǒng)查看： $ bin/hadoop fs get output output $ cat output/* 或者 在分布式文件系統(tǒng)上查看輸出文件： $ bin/hadoop fs cat output/* 完成全 部操作后，停止守護進程： $ bin/ Hadoop 在這個偽分布式配置中啟動 5 個守護進程： namenode、 secondarynamenode、datanode、 jobtracker 和 tasktracker。在啟動每個守護進程時，會看到一些相關信息（指出存儲日志的位置）。每個守護進程都在后臺運行。圖 1 說明完成啟動之后偽分布式配置的架構(gòu)。 圖 1. 偽分布式 Hadoop 配置 4 Hadoop集群搭建 過程 手記 參考： 北京寬連十方數(shù)字技術(shù)有限公司 公開 內(nèi)部公開 √ 機密 絕密 先用了 三臺服務器作了 hadoop 集群的部署測試 ， 服務 器有 （下面簡稱85） ， （下面簡稱 160）， （下面簡稱 254）， 架構(gòu)規(guī)化如下 ： 1) 85 作為 NameNode， SecondaryNameNode， JobTracker； 2) 160 和 254 作為 DataNode,TaskTracker 免密碼 SSH設置 打通 ssh，讓 85 免登陸到 160， 254。打通 過程如下： 1) 名稱節(jié)點 85 和數(shù)據(jù)節(jié)點 （ 160， 254） 各自創(chuàng)建用戶 hadoop,使用相同的密碼。 2) 以 hadoop 用戶名登陸名稱節(jié)點 （ 85） 執(zhí)行 sshkeygen t rsa 然后一路回車，完畢后生成文件 .ssh/,把這個文件復制到當前位置，命名為authorized_keys；然后執(zhí)行命令 ssh ,如果不需要密碼則直接登陸進去的話，就達到要求；否則需檢查 authorized_keys 的權(quán)限，看是否為 644（ rwrr）。 3) 接下來，同樣也 hadoop 用戶登陸數(shù)據(jù)節(jié)點服務器 （ 160， 254） ，創(chuàng)建 .ssh 目錄，并給與 600 權(quán)限（ chmod 600 .ssh） 。 再把名稱服務器上的 authorized_keys 復制到目錄數(shù)據(jù)節(jié)點（ 160， 254） ./ssh,注意權(quán)限和目錄結(jié)構(gòu)跟名稱節(jié)點保持一致，然后再從名稱節(jié)點用 ssh 登陸數(shù)據(jù)節(jié)點，如果不需要密碼能登陸成功，則 ssh 的配置結(jié)束。 Hadoop軟件安裝 以 hadoop 用戶登陸 ， 將安裝軟件解壓到集群內(nèi)的所有機器上 ， 編輯 conf/文件，至少需要將 JAVA_HOME 設置為 Java 安裝根路徑 （安裝過程參考“ 3 hadoop 的單機部署 ”） 。 我們用 HADOOP_HOME指 定 安裝的根路徑 。通常 集群里的所有機器的 HADOOP_HOME路徑相同 ，安裝路徑定為： /home/hadoop/ 1) 進行 JDK 和內(nèi)存占用配置： conf/ 需要修改的內(nèi)容 ： The java implementation to use. Required. export JAVA_HOME=/usr/local/java 修改成你自己 jdk 安裝的目錄 The maximum amount of heap to use, in MB. Default is 1000. export HADOOP_HEAPSIZE=200 根據(jù)你的內(nèi)存大小調(diào)整 2) 修改 masters 和 slaves 配置 北京寬連十方數(shù)字技術(shù)有限公司 公開 內(nèi)部公開 √ 機密 絕密 修改文件 /usr/local/hadoop/conf/slaves及 /usr/local/hadoop/conf/masters,把數(shù)據(jù)節(jié)點的主機名加到 slaves、名稱節(jié)點主機名加到 masters。可以加多個，每行一個。注意主機名需要在每個服務器的 /etc/hosts映射好。 [hadoop@TEST085 ]$ vi conf/slaves [hadoop@TEST085 ]$ vi conf/master Master(85)配置 85 為 master 結(jié)點 ，則 85 的配置文件如下 ： hadoop 在 版本，配置文件由以前的 文件變成三個配置文件 ，hdfs ， 。 內(nèi) 在的原因是因為 hadoop 代碼量越來越寵大，拆解成三個大的分支進行獨立開發(fā)，配置文件也獨立 了。 下面是三個配置文件示例： [ conf] cat ?xml version=? ?xmlstylesheet type=text/xsl href=? ! Put sitespecific property overrides in this file. configuration property name/name value /property /configuration [ conf] cat ?xml version=? ?xmlstylesheet type=text/xsl href=? ! Put sitespecific property overrides in this file. configuration property 北京寬連十方數(shù)字技術(shù)有限公司 公開 內(nèi)部公開 √ 機密 絕密 name/name value3/value descriptionDefault block replication. The actual number of replications can be specified when the file is created. The default is used if replication is not specified in create time. /description /property /configuration [ conf] cat ?xml version=? ?xmlstylesheet type=text/xsl href=? ! Put sitespecific property overrides in this file. configuration property name/name value:9001/value /property /configuration 設置系統(tǒng)環(huán)境 ，以方便執(zhí)行 hadoop命令 在 /home/hadoop/ .bashrc加入 export HADOOP_HOME=/root/hadoop/hadoop export HADOOP_CONF_DIR=$HADOOP_HOME/conf export PATH=/root/hadoop/hadoop/bin:$PATH Slave(60,245上 )配置 在 Slave(60,245上 )上的配置文件如下 ( )： [ conf] cat