【正文】 復核，就行修改。假定我們的機器連IP在當時安裝機器時都沒有配置好，那此時我們需要對ifcfgeth0文件進行配置，該文件位于/etc/sysconfig/networkscripts文件夾下。3）修改當前機器IP　　設定形式：設定值=值　　/etc/sysconfig/network的設定項目如下：NETWORKING 是否利用網絡GATEWAY 默認網關IPGATEWAYDEV 默認網關的接口名HOSTNAME 主機名DOMAIN 域名　　用下面命令進行修改當前機器的主機名（備注：修改系統(tǒng)文件一般用root用戶）vim /etc/sysconfig/network　　通過上面的命令我們從/etc/sysconfig/network中找到HOSTNAME進行修改，查看內容如下：　　1）查看當前機器名稱　　用下面命令進行顯示機器名稱，如果跟規(guī)劃的不一致，要按照下面進行修改。 網絡配置　　，我們在Hadoop集群（第1期）。Master機器主要配置NameNode和JobTracker的角色，負責總管分布式數(shù)據和分解任務的執(zhí)行；3個Salve機器配置DataNode和TaskTracker的角色，負責分布式數(shù)據存儲以及任務的執(zhí)行。節(jié)點IP地址分布如下：HDFS在集群上實現(xiàn)分布式文件系統(tǒng)，MapReduce在集群上實現(xiàn)了分布式計算和任務處理。主節(jié)點負責調度構成一個作業(yè)的所有任務，這些任務分布在不同的從節(jié)點上?！　τ贖adoop的集群來講，可以分成兩大類角色：Master和Salve。北京尚學堂提供集群部署介紹一個HDFS集群是由一個NameNode和若干個DataNode組成的。主節(jié)點監(jiān)控它們的執(zhí)行情況，并且重新執(zhí)行之前的失敗任務；從節(jié)點僅負責由主節(jié)點指派的任務。HDFS在MapReduce任務處理過程中提供了文件操作和存儲等支持，MapReduce在HDFS的基礎上實現(xiàn)了任務的分發(fā)、跟蹤、執(zhí)行等工作，并收集結果，二者相互作用，完成了Hadoop分布式集群的主要任務。機器名稱IP地址192其實應該還應該有1個Master機器，用來作為備用，以防止Master服務器宕機，還有一個備用馬上啟用。如果實驗室后來人在安裝系統(tǒng)時，沒有配置好，不要緊，沒有必要重新安裝，在安裝完系統(tǒng)之后仍然可以根據后來的規(guī)劃對機器的主機名進行修改。hostname　　上圖中，用hostname查Master機器的名字為，與我們預先規(guī)劃的一致?！　≡谶@個目錄下面，存放的是網絡接口（網卡）的制御腳本文件（控制文件），ifcfg eth0是默認的第一個網絡接口，如果機器中有多個網絡接口，那么名字就將依此類推ifcfgeth1，ifcfgeth2，ifcfg eth3，……?！　∪绻蠄D中IP與規(guī)劃不相符，用下面命令進行修改：vim /etc/sysconfig/networkscripts/ifcgfeth0　　修改完之后可以用ifconfig進行查看?！　±纾簷C器為:對機器為:用命令ping記性連接測試。所以在所有的機器上的/etc/hosts文件末尾中都要添加如下內容： 　　用以下命令進行添加：vim /etc/hosts　　添加結果如下：（備注：當設置SSH無密碼驗證后，可以scp進行復制，然后把原來的hosts文件執(zhí)行覆蓋即可。 JDK版本：2）Hadoop軟件這就必須在節(jié)點之間執(zhí)行指令的時候是不需要輸入密碼的形式，故我們需要配置SSH運用無密碼公鑰認證的形式，這樣NameNode使用SSH無密碼登錄并啟動DataName進程，同樣原理，DataNode上也能使用SSH無密碼登錄到NameNode。 配置Master無密碼登錄所有Salve　　1）SSH無密碼原理　　Master（NameNode | JobTracker）作為客戶端，要實現(xiàn)無密碼公鑰認證，連接到服務器Salve（DataNode | Tasktracker）上時，需要在Master上生成一個密鑰對，包括一個公鑰和一個私鑰，而后將公鑰復制到所有的Slave上。重要過程是將客戶端Master復制到Slave上?！　∵@條命是生成其無密碼密鑰對，詢問其保存路徑時直接回車采用默認路徑。cat ~/.ssh/ ~/.ssh/authorized_keys　　1）修改文件authorized_keyschmod 600 ~/.ssh/authorized_keys備注：如果不進行設置，在驗證時，扔提示你輸入密碼，在這里花費了將近半天時間來查找原因。RSAAuthentication yes 啟用 RSA 認證PubkeyAuthentication yes 啟用公鑰私鑰配對認證方式AuthorizedKeysFile .ssh/authorized_keys 公鑰文件路徑（和上面生成的文件同）　　上面的命令是復制文件到服務器IP為的用戶為hadoop的/home/hadoop/下面。為了確保確實已經把文件傳過去了，:，查看/home/hadoop/下是否存在這個文件。　　2）在/home/hadoop/下創(chuàng)建.ssh文件夾　　這一步并不是必須的，/home/hadoop已經存在就不需要創(chuàng)建了，因為我們之前并沒有對Slave機器做過無密碼登錄配置，所以該文件是不存在的。mkdir ~/.ssh　　然后是修改文件夾.ssh的用戶權限，把他的權限修改為700，用下面命令執(zhí)行：chmod 700 ~/.ssh　　備注：如果不進行，即使你按照前面的操作設置了authorized_keys權限，并配置了/etc/ssh/sshd_config，還重啟了sshd服務，在Master能用ssh localhost進行無密碼登錄，就是因為.ssh文件夾的權限設置不對?！　?）追加到授權文件authorized_keys　　，文件夾.ssh也有了，且權限也修改了?！　?）　　當前面的步驟設置完畢，就可以使用下面命令格式進行SSH無密碼登錄了?！　榱苏f明情況，我們現(xiàn)在就以無密碼登錄為例，進行一遍操作，也算是鞏固一下前面所學知識，剩余的和就按照這個示例進行就可以了。cat ~/.ssh/ ~/.ssh/authorized_keys　　　　2）在服務器的操作　　用到的命令如下：cat ~/ ~/.ssh/authorized_keys　　然后刪除掉剛才復制過來的文件。這樣，Master能無密碼驗證登錄每個Slave，每個Slave也能無密碼驗證登錄到Master。mkdir /usr/javacp /home/hadoop/ /usr/java 配置環(huán)境變量　　編輯/etc/profile文件，在后面添加Java的JAVA_HOME、CLASSPATH以及PATH內容。 安裝剩余機器　　這時用普通用戶hadoop通過下面命令格式把文件夾/home/hadoop/的JDK復制到其他Slave的/home/hadoop/下面，剩下的事兒就是在其余的Slave服務器上按照上圖的步驟安裝JDK。Hadoop集群安裝　　所有的機器上都要安裝hadoop，現(xiàn)在就先在Master服務器安裝，然后其他服務器按照步驟重復進行即可。 set hadoop pathexport HADOOP_HOME=/usr/hadoopexport PATH=$PATH :$HADOOP_HOME/bin1）在/usr/hadoop創(chuàng)建tmp文件夾mkdir /usr/hadoop/tmp 配置hadoop　　1）　　該文件位于/usr/hadoop/conf目錄下。由于Hadoop發(fā)展迅速，代碼量急劇增加，代碼開發(fā)分為了core，hdfs和map/reduce三部分，、。 value/usr/hadoop/tmp/value property property /propertyconfiguration　　用下面命令進行編輯：configuration /property/configuration　　用下面命令進行編輯： 　　編輯結果顯示如下： 有兩種方案：　　現(xiàn)在在Master機器上的Hadoop配置就結束了，剩下的就是配置Slave機器上的Hadoop。另一種方式是將 Master上配置好的hadoop所在文件夾/usr/hadoop復制到所有的Slave的/usr目錄下（實際上Slave機器上的slavers文件是不必要的， 復制了也沒問題）。/usr/hadoop 例如：從到復制配置Hadoop的文件。查看結果如下：　　從上圖中知道，hadoop文件夾確實已經復制了，但是我們發(fā)現(xiàn)hadoop權限是root，所以我們現(xiàn)在要給服務器上的用戶hadoop添加對/usr/hadoop讀權限。hadoop:hadoop（用戶名：用戶組） hadoop（文件夾） 啟動及驗證　　1）格式化HDFS文件系統(tǒng)　　在上使用普通用戶hadoop進行操作?！　∥覀冊诳春枚辔臋n包括有些書上，按照他們的hadoop環(huán)境變量進行配置后，并立即使其生效，但是執(zhí)行發(fā)現(xiàn)沒有找見bin/hadoop這個命令。$HADOOP_HOMEservice iptables stop　　可以通過以下啟動日志看出，首先啟動namenode 接著啟動datanode1，datanode2，…，然后啟動secondarynamenode?！　〔榭碨lave1中/usr/hadoop/tmp文件夾內容?！　。?）驗證方式二：用hadoop dfsadmin report　　用這個命令可以查看Hadoop集群的狀態(tài)。 網頁查看集群　　1）訪問::50030 關于 Warning: $HADOOP_HOME is deprecated.　　ha