【正文】 ? 4．簡(jiǎn)述搭建 Hadoop開發(fā)環(huán)境的流程，并動(dòng)手搭建 3個(gè)節(jié)點(diǎn)的 Hadoop集群。 ? 2．簡(jiǎn)述 GFS的工作過程。自行在兩個(gè)文件中填寫內(nèi)容。 * 啟動(dòng)、停止 Hadoop ? 在 NameNode() 上輸入 jps命令查看啟動(dòng)進(jìn)程情況： 11850 SecondaryNameNode 11650 NameNode 11949 JobTracker 12132 Jps ? 在 DataNode()、 DataNode() 上輸入 jps命令查看啟動(dòng)進(jìn)程情況： 8727 DataNode 8819 TaskTracker 8958 Jps ? 到此 Hadoop已經(jīng)配置成功，不同的 Hadoop版本配置方法會(huì)有所不同。 ? 執(zhí)行 ，啟動(dòng) Hadoop。 ? 使用 vim打開 slaves文件，寫入 DataNode（ Slaver）節(jié)點(diǎn)的主機(jī)名，這里為 vm vm2，保存并退出。 ? 使用 vim打開 masters文件，寫入 NameNode（ Master）節(jié)點(diǎn)的主機(jī)名，這里為 vm1，保存并退出。 ? 在 configuration /configuration之間添加以下代碼，配置 JobTracker的主機(jī)名和端口。 ? 新建 tmp文件夾： mkdir /home/hadoop/? 使用 vim打開 ，在 configuration /configuration之間添加以下代碼 ： * 修改 Hadoop配置文件 property name/name value/home/hadoop//value /property property name/name value /property ? 其中的 IP地址需配置為集群的 NameNode（ Master）節(jié)點(diǎn)的 IP， 這里“ ”。 export JAVA_HOME=/usr/java/ * 修改 Hadoop配置文件 （ 2）修改 。 ? Hadoop的 Java環(huán)境變量在 。 hadoop environment export HADOOP_HOME=/usr/java/ export PATH=$PATH:$HADOOP_HOME/bin ? 保存了 Hadoop環(huán)境變量之后，在命令行中鍵入如下命令，使環(huán)境變量生效： source /etc/profile //使環(huán)境變量設(shè)置生效 * 修改 Hadoop配置文件 ? Hadoop的配置文件存于 conf文件夾中，我們需要對(duì)該文件夾中以下文件進(jìn)行修改： 、 、 masters、 slaves。 * 下載、解壓 Hadoop，配置 Hadoop環(huán)境變量 ? Hadoop集群中每個(gè)節(jié)點(diǎn)的安裝、配置是相同的，我們可以現(xiàn)在一個(gè)虛擬機(jī)上進(jìn)行安裝、配置，然后將其復(fù)制到其他節(jié)點(diǎn)的相應(yīng)目錄。 * JDK的安裝配置 ?程序 public class test { public static void main(String args [ ]) { (This is a hadoop test program! JDK successed！ )。 mkdir /usr/java tar – zxvf * JDK的安裝配置 （ 3）配置 Java環(huán)境變量。 （ 1）在 Sun官方網(wǎng)站下載 JDK軟件包 。 — 配置過程與 MPI部分的配置過程相關(guān)，這里不再詳述，配置完成后使用 ssh指令可以在三個(gè)虛擬機(jī)之間實(shí)現(xiàn)無密碼訪問。 — 在每個(gè)節(jié)點(diǎn)上執(zhí)行以下指令，這樣將永久性的關(guān)閉每個(gè)階段的防火墻 chkconfig iptables off//永久性生效，重啟后不會(huì)復(fù)原 * 相關(guān)準(zhǔn)備工作 （ 6）配置 ssh實(shí)現(xiàn) Hadoop結(jié)點(diǎn)間用戶的無密碼訪問 — Hadoop需要在各個(gè)結(jié)點(diǎn)間進(jìn)行信息傳遞，因此需要實(shí)現(xiàn)結(jié)點(diǎn)間的無密碼訪問，這與采用 MPI進(jìn)行并行程序設(shè)計(jì)相同，否則系統(tǒng)會(huì)不停地向你請(qǐng)求密碼驗(yàn)證。 — 在每個(gè)節(jié)點(diǎn)上使用 useradd指令新建一個(gè)用戶 hadoop，并設(shè)置密碼。 — 虛擬機(jī) 1：主機(jī)名為 vm1， IP為 ，作為 NameNode使用； — 虛擬機(jī) 2：主機(jī)名為 vm2， IP為 ，作為 DataNode使用； — 虛擬機(jī) 3：主機(jī)名為 vm3， IP為 ，作為 DataNode使用。 * 建立 Hadoop開發(fā)環(huán)境 ? 本節(jié)使用三個(gè) Linux虛擬機(jī)來構(gòu)建 Hadoop集群環(huán)境，其中一個(gè)虛擬機(jī)作為 NameNode（ Master節(jié)點(diǎn)），另外兩個(gè)虛擬機(jī)作為DataNode（ Slave節(jié)點(diǎn)），如圖 。程序中的 my_map()和 my_reduce()函數(shù)分別實(shí)現(xiàn)了對(duì)字符串的Map和 Reduce操作。 — 由于 Reduce操作的完成需要等待所有 Map任務(wù)的完成，所以如果 Map任務(wù)中有一個(gè)任務(wù)出現(xiàn)了延遲，則整個(gè)MapReduce操作將受最慢的 Map任務(wù)的影響。計(jì)算程序的大小通常會(huì)比數(shù)據(jù)文件小的多，所以遷移計(jì)算的網(wǎng)絡(luò)代價(jià)要比遷移數(shù)據(jù)小的多。 * MapReduce的特點(diǎn) （ 6）計(jì)算向存儲(chǔ)遷移。Google的實(shí)驗(yàn)也表明一個(gè)由 150秒時(shí)間完成的計(jì)算任務(wù)，程序啟動(dòng)階段的時(shí)間就花了 60秒，可以想象，如果計(jì)算任務(wù)數(shù)據(jù)過小，這樣的花費(fèi)是不值得的，同時(shí)對(duì)過小的數(shù)據(jù)進(jìn)行切分也無必要。 * MapReduce的特點(diǎn) （ 5）適合對(duì)大數(shù)據(jù)進(jìn)行處理。 * MapReduce的特點(diǎn) （ 4）假設(shè)節(jié)點(diǎn)的失效為正常情況。數(shù)據(jù)并行方法避免了對(duì)計(jì)算任務(wù)本身的人工切分，降低了編程的難度，而像 MPI往往需要人工對(duì)計(jì)算任務(wù)進(jìn)行切分，因此分布式編程難度較大。 — 如 Google系統(tǒng)對(duì)應(yīng)的分布式文件系統(tǒng)為 GFS， Hadoop系統(tǒng)對(duì)應(yīng)的分布式文件系統(tǒng)為 HDFS。 * MapReduce的特點(diǎn) （ 2）需要有相應(yīng)的分布式文件系統(tǒng)的支持。 * MapReduce的特點(diǎn) ? MapReduce主要具有以下幾個(gè) 特點(diǎn) ： （ 1）需要在集群條件下使用 。+(1 2 3 4 5 6 7 8 9 10))55 — 這個(gè) Reduce操作對(duì)應(yīng)于向量的約簡(jiǎn)，它將向量按求和的關(guān)系約簡(jiǎn)為一個(gè)值。 * LISP中的 MapReduce ? 下面的 LISP語句定義的這個(gè) Reduce操作是將向量（ 1 2 3 4 5 6 7 8 9 10）中的元素進(jìn)行求和的 Reduce操作 ,輸出結(jié)果為 55。 (map 39。 江蘇省， 89 浙江省， 89 山東省， 88 表 Reduce Output數(shù)據(jù) * LISP中的 MapReduce ? 為了進(jìn)一步理解 MapReduce，我們簡(jiǎn)單介紹最早使用 Map和Reduce的 LISP語言中的 Map和 Reduce操作。 Key：江蘇省 ListValue： 90、 9 84 Key：浙江省 ListValue： 9 8 88 Key：山東省 ListValue： 9 8 87 表 Shuffle Output數(shù)據(jù) 4. Reduce Input： 所屬省份， List（平均分?jǐn)?shù)） — 表 Reduce任務(wù)的輸入數(shù)據(jù)，即從 Shuffle任務(wù)中獲得的（ Key,ListValue）。 Key：南京大學(xué) Value： {江蘇省， 90} Key：東南大學(xué) Value： {江蘇省， 93} Key：河海大學(xué) Value： {江蘇省， 84} Key：浙江大學(xué) Value： {浙江省， 95} Key：浙江工業(yè)大學(xué) Value： {浙江省， 84} Key：寧波大學(xué) Value： {浙江省， 88} Key：山東大學(xué) Value： {山東省， 92} Key：中國(guó)海洋大學(xué) Value： {山東省， 85} Key：青島大學(xué) Value： {山東省， 87} 表 Map Input數(shù)據(jù) * MapReduce的基本工作過程 2. Map Output： 所屬省份，平均分?jǐn)?shù) — 對(duì)所屬省份平均分?jǐn)?shù)進(jìn)行重分組，去除高校名稱，將所屬省份變?yōu)?Key，平均分?jǐn)?shù)變?yōu)?Value，如表 。 表 各省平均成績(jī)