hadoop分布式大數(shù)據(jù)系統(tǒng)-資料下載頁(yè)
2025-03-11 10:53本頁(yè)面
【正文】 ed！ ? 表明 JDK已成功安裝，并能成功編譯執(zhí)行 Java程序。 * 下載、解壓 Hadoop，配置 Hadoop環(huán)境變量 ? Hadoop集群中每個(gè)節(jié)點(diǎn)的安裝、配置是相同的，我們可以現(xiàn)在一個(gè)虛擬機(jī)上進(jìn)行安裝、配置，然后將其復(fù)制到其他節(jié)點(diǎn)的相應(yīng)目錄。 ? 將 vm1的 /home/hadoop目錄中，用 hadoop用戶對(duì)其進(jìn)行解壓縮： cd /home/hadoop tar – zxvf * 下載、解壓 Hadoop，配置 Hadoop環(huán)境變量 ? 把 Hadoop的安裝路徑添加到“ /etc/profile”中，在文件的末尾添下面的代碼，每個(gè)節(jié)點(diǎn)均需要進(jìn)行此步配置。 hadoop environment export HADOOP_HOME=/usr/java/ export PATH=$PATH:$HADOOP_HOME/bin ? 保存了 Hadoop環(huán)境變量之后，在命令行中鍵入如下命令，使環(huán)境變量生效： source /etc/profile //使環(huán)境變量設(shè)置生效 * 修改 Hadoop配置文件 ? Hadoop的配置文件存于 conf文件夾中，我們需要對(duì)該文件夾中以下文件進(jìn)行修改： 、 、 masters、 slaves。 （ 1）修改 。 ? Hadoop的 Java環(huán)境變量在 。使用vim打開 ，找到 Java環(huán)境變量的設(shè)置位置，將其改為 JDK的安裝地址，保存并退出。 export JAVA_HOME=/usr/java/ * 修改 Hadoop配置文件 （ 2）修改 。 ? Hadoop集群的 HDFS的地址和端口號(hào)，以及用于保存 HDFS信息的 tmp文件夾，對(duì) HDFS進(jìn)行重新格式化的時(shí)候先行刪除 tmp中的文件。 ? 新建 tmp文件夾： mkdir /home/hadoop/? 使用 vim打開 ，在 configuration /configuration之間添加以下代碼 ： * 修改 Hadoop配置文件 property name/name value/home/hadoop//value /property property name/name value /property ? 其中的 IP地址需配置為集群的 NameNode（ Master）節(jié)點(diǎn)的 IP， 這里“ ”。 * 修改 Hadoop配置文件 （ 3）修改 。 ? 在 configuration /configuration之間添加以下代碼，配置 JobTracker的主機(jī)名和端口。 property name/name value descriptionNameNode/description /property * 修改 Hadoop配置文件 （ 4）修改 masters文件。 ? 使用 vim打開 masters文件，寫入 NameNode（ Master）節(jié)點(diǎn)的主機(jī)名，這里為 vm1，保存并退出。 vm1 （ 5）修改 slaves文件。 ? 使用 vim打開 slaves文件，寫入 DataNode（ Slaver）節(jié)點(diǎn)的主機(jī)名，這里為 vm vm2，保存并退出。 Vm2 vm3 * 將配置好的 Hadoop文件復(fù)制到其他節(jié)點(diǎn) ? 到了這里，我們已經(jīng)安裝、配置了一個(gè) Hadoop節(jié)點(diǎn)， Hadoop集群中每個(gè)節(jié)點(diǎn)的安裝、配置是相同的，這里需要將 vm1上的 Hadoop文件夾整體復(fù)制到其他的節(jié)點(diǎn)，執(zhí)行以下指令： scp r /home/hadoop/ hadoopvm2:/home/hadoop/ scp r /home/hadoop/ hadoopvm3:/home/hadoop/ ? 格式化 NameNode ? 在正式啟動(dòng) Hadoop之前，需要執(zhí)行以下指令，對(duì) Hadoop的分布式文件進(jìn)行初始化： cd /home/hadoop/ ./hadoop namenode – format ? 順利執(zhí)行此格式化指令后，會(huì)顯示如下信息： 14/01/04 21:21:20 INFO : Storage directory /home/hadoop/ * 啟動(dòng)、停止 Hadoop ? 進(jìn)入 /home/hadoop/，可以看到文件夾中有很多的啟動(dòng)腳本。 ? 執(zhí)行 ，啟動(dòng) Hadoop。 —cd /home/hadoop/—./ * 啟動(dòng)、停止 Hadoop ? 執(zhí)行之后，可以看到如下信息： ? 從中我們可以看出，此腳本啟動(dòng)了 NameNode、 SecondaryName、JobTracker、兩個(gè) DataNode以及兩個(gè) TaskTracker。 * 啟動(dòng)、停止 Hadoop ? 在 NameNode() 上輸入 jps命令查看啟動(dòng)進(jìn)程情況： 11850 SecondaryNameNode 11650 NameNode 11949 JobTracker 12132 Jps ? 在 DataNode()、 DataNode() 上輸入 jps命令查看啟動(dòng)進(jìn)程情況： 8727 DataNode 8819 TaskTracker 8958 Jps ? 到此 Hadoop已經(jīng)配置成功，不同的 Hadoop版本配置方法會(huì)有所不同。 ? Hadoop的停止命令如下： bin/ * （ 1）先在 hadoop用戶當(dāng)前目錄下新建文件夾 WordCount，在其中建立兩個(gè)測(cè)試文件 ， 。自行在兩個(gè)文件中填寫內(nèi)容。 ： This is the first hadoop test program! ： This program is not very difficult,but this program is a mon hadoop program! （ 2）在 Hadoop文件系統(tǒng)上新建文件夾“ input”，并查看其中的內(nèi)容： hadoop fs mkdir input hadoop fs ls 在 Hadoop系統(tǒng)上運(yùn)行測(cè)試程序 WordCount * 在 Hadoop系統(tǒng)上運(yùn)行測(cè)試程序 WordCount （ 3）將 WordCount文件夾中 、 傳到剛剛創(chuàng)建的“ input”文件夾： hadoop fs – put /home/hadoop/WordCount/*.txt input （ 4）運(yùn)行 Hadoop的示例程序 wordcount，運(yùn)行命令如下： hadoop jar /home/hadoop/ wordcount intput output * 在 Hadoop系統(tǒng)上運(yùn)行測(cè)試程序 WordCount （ 5）查看輸出結(jié)果的文件位置和 WordCount的結(jié)果： hadoop fs ls output ? 隨后出現(xiàn)的信息顯示了輸出結(jié)果的文件位置 rwrr 3 hadoop supergroup 118 20230104 23:18 /user/hadoop/output/partr00000 ? 使用如下指令查看 WordCount的結(jié)果： hadoop fs cat /user/hadoop/output/partr00000 ? 顯示信息如下： * 在 Hadoop系統(tǒng)上運(yùn)行測(cè)試程序 WordCount This 2 a 1 mon 1 difficult,but 1 first 1 hadoop 2 is 3 not 1 program 2 program! 2 test 1 the 1 this 1 very 1 * 練習(xí)題 ? 1．谷歌“三寶”是 、 、 。 ? 2．簡(jiǎn)述 GFS的工作過(guò)程。 ? 3．簡(jiǎn)述 HDFS的分塊策略。 ? 4．簡(jiǎn)述搭建 Hadoop開發(fā)環(huán)境的流程，并動(dòng)手搭建 3個(gè)節(jié)點(diǎn)的 Hadoop集群。 * 演講完畢，謝謝觀看！
醫(yī)療健康相關(guān)推薦
鄂ICP備17016276號(hào)-1