【正文】 件 （ 4）修改 masters文件。 ? 3．簡述 HDFS的分塊策略。 ? Hadoop集群的 HDFS的地址和端口號，以及用于保存 HDFS信息的 tmp文件夾，對 HDFS進行重新格式化的時候先行刪除 tmp中的文件。 — 這里的配置在各個節(jié)點的 hadoop用戶下進行。所以 MapReduce更適合進行大數(shù)據(jù)的處理。 (reduce 39。 ? 1．任務(wù)的描述 ? 來自江蘇、浙江、山東三個省的 9所高校聯(lián)合舉行了一場編程大賽，每個省有 3所高校參加，每所高校各派 5名隊員參賽，各所高校的比賽平均成績?nèi)绫?。 ? MapReduce的發(fā)展歷史 — MapReduce出現(xiàn)的歷史要追述到 1956年，圖靈獎獲得者著名的人工智能專家McCarthy首次提出了 LISP語言的構(gòu)想，而在 LISP語言中就包含了現(xiàn)在我們所采用的 MapReduce 功能。 ? Hadoop啟動后我們能看到 Namenode和 Datanode這兩個進程。 * HDFS文件系統(tǒng)的原型 GFS ? 為 GFS的控制和神經(jīng)系統(tǒng)，副本為 Master的備份， Chunk主要用來和用戶交換數(shù)據(jù)。 chunkserver緩存Master從客戶端收到的文件名和塊索引等信息。 存 儲 節(jié) 點M P I計 算 存 儲 分 離計 算 節(jié) 點 計 算 節(jié) 點 計 算 節(jié) 點H a d o o p 計 算 向 存 儲 遷 移計 算存 儲計 算存 儲計 算存 儲H D F S 文 件 系 統(tǒng)圖 Hadoop與 MPI在數(shù)據(jù)處理上的差異 * Hadoop概述 ? 在 MPI中數(shù)據(jù)存儲的節(jié)點和數(shù)據(jù)處理的節(jié)點往往是不同的，一般在每次計算開始時 MPI需要從數(shù)據(jù)存儲節(jié)點讀取需要處理的數(shù)據(jù)分配給各個計算節(jié)點對數(shù)據(jù)進行處理，因此 MPI中數(shù)據(jù)存儲和數(shù)據(jù)處理是分離的。 ? 對于計算密集型的應(yīng)用 MPI能表現(xiàn)出良好的性能，但對于處理 TB級數(shù)據(jù)的數(shù)據(jù)密集型應(yīng)用由于網(wǎng)絡(luò)數(shù)據(jù)傳輸速度很慢， MPI的性能會大大降低，甚至會到不可忍受的地步，所以對于構(gòu)建在 MPI上的并行計算系統(tǒng)網(wǎng)絡(luò)通訊速度一直是一個重要的性能指標，用“計算換通信”也是 MPI并行程序設(shè)計中的基本原則。 * HDFS文件系統(tǒng)的原型 GFS （ 3） Master通過和 chunkserver的交互，向客戶端發(fā)送 chunkhandle和副本位置。網(wǎng)絡(luò)中的主機癱瘓，不會對整個系統(tǒng)造成大的影響，替換上去的主機會自動重建數(shù)據(jù)。 * HDFS文件的基本結(jié)構(gòu) ? HDFS的工作過程 是這樣的： — 用戶請求創(chuàng)建文件的指令由 Namenode進行接收， Namenode將存儲數(shù)據(jù)的 Datanode的 IP返回給用戶，并通知其他接收副本的 Datanode，由用戶直接與 Datanode進行數(shù)據(jù)傳送。 LISP語言是一種用于人工智能領(lǐng)域的語言，在人工智能領(lǐng)域有很多的應(yīng)用， LISP在 1956年設(shè)計時主要是希望能有效地進行“符號運算”。 江蘇省 浙江省 山東省 南京大學 90 浙江大學 95 山東大學 92 東南大學 93 浙江工業(yè)大學 84 中國海洋大學 85 河海大學 84 寧波大學 88 青島大學 87 表 原始比賽成績 * MapReduce的基本工作過程 ? 我們可以用如表 ，這樣每所高校就具備了所屬省份和平均分數(shù)這兩個屬性，即 高校名稱：{所屬省份，平均分數(shù) }。+(1 2 3 4 5 6 7 8 9 10))55 — 這個 Reduce操作對應(yīng)于向量的約簡，它將向量按求和的關(guān)系約簡為一個值。 * MapReduce的特點 （ 6）計算向存儲遷移。 — 配置過程與 MPI部分的配置過程相關(guān)，這里不再詳述，配置完成后使用 ssh指令可以在三個虛擬機之間實現(xiàn)無密碼訪問。 ? 新建 tmp文件夾： mkdir /home/hadoop/? 使用 vim打開 ，在 configuration /configuration之間添加以下代碼 ： * 修改 Hadoop配置文件 property name/name value/home/hadoop//value /property property name/name value /property ? 其中的 IP地址需配置為集群的 NameNode（ Master）節(jié)點的 IP， 這里“ ”。 ? 4．簡述搭建 Hadoop開發(fā)環(huán)境的流程，并動手搭建 3個節(jié)點的 Hadoop集群。 ? 在 configuration /configuration之間添加以下代碼，配置 JobTracker的主機名和端口。 （ 1）在 Sun官方網(wǎng)站下載 JDK軟件包 。計算程序的大小通常會比數(shù)據(jù)文件小的多，所以遷移計算的網(wǎng)絡(luò)代價要比遷移數(shù)據(jù)小的多。 * MapReduce的特點 ? MapReduce主要具有以下幾個 特點 ： （ 1）需要在集群條件下使用 。 江蘇省， 90 江蘇省， 93 江蘇省， 84 浙江省， 95 浙江省， 84 浙江省， 88 山東省， 92 山東省， 85 山東省， 87 表 略去高校名稱后的比賽成績 ? 接下來對各個省份的高校的成績進行匯總，如表 。 — 1960年， McCarthy更是極有預(yù)見性地提出：“今后計算機將會作為公共設(shè)施提供給公眾”，這一觀點已與現(xiàn)在人們對云計算的定義極為相近了，所以我們把McCarthy稱為“云計算之父”。 — 整個文件系統(tǒng)采用標準 TCP/IP協(xié)議通信，實際是架設(shè)在 Linux文件系統(tǒng)上的一個上層文件系統(tǒng)。 Google每天有大量的硬盤損壞，但是由于有 GFS，這些硬盤的損壞是允許的。 Handle是由Master在塊創(chuàng)建時分配的。 * HDFS ? Hadoop系統(tǒng)實現(xiàn)對大數(shù)據(jù)的自動并行處理，是一種數(shù)據(jù)并行方法，這種方法實現(xiàn)自動并行處理時需要對數(shù)據(jù)進行劃分，而對數(shù)據(jù)的劃分在 Hadoop系統(tǒng)中從數(shù)據(jù)的存儲就開始了，因此文件系統(tǒng)是 Hadoop系統(tǒng)的重要組成部分，也是 Hadoop實現(xiàn)自動并行框架的基礎(chǔ)。 ? 第一代 Hadoop包含 、 、 ， 成了 ，第二代 Hadoop包含 ， NameNode HA和 Wirepatibility兩個特性，版本發(fā)展如圖 。 （ 1）客戶端使用固定大小的塊將應(yīng)用程序指定的文件名和字節(jié)偏移轉(zhuǎn)換成文件的一個塊索引，向 Master發(fā)送包含文件名和塊索引的請求。所有的metadata都放在內(nèi)存中。 Namenode的作用就像是文件系統(tǒng)的總指揮，并向訪問文件系統(tǒng)的客戶機提供文件系統(tǒng)的映射，這種做法并不是 Google或 Hadoop的創(chuàng)新，這和傳統(tǒng)并行計算系統(tǒng)中的單一系統(tǒng)映像（ Single System Image）的做法相同。 * MapReduce編程框架 ? 在云計算和大數(shù)據(jù)技術(shù)領(lǐng)域被廣泛提到并被成功應(yīng)用的一項技術(shù)就是 MapReduce。 — Reduce函數(shù)將接收集群中不同節(jié)點 Map函數(shù)生成的中間key/value對，并將 Key相同的 key/value對進行合并，在這個例子中 Reduce函數(shù)將對所有 key值相同的 value值進行求和合并，最后輸出的 key/value對就是（ word, count），其中 count就是這個單詞在文件 。vector *(1 2 3 4 5)(10 9 8 7 6))(10 18 24 28 30) — 這個 Map操作對應(yīng)于向量到向量的映射，兩個向量按乘積關(guān)系進行映射。 — 由于基于 MapReduce的系統(tǒng)并行化是通過數(shù)據(jù)切分實現(xiàn)的數(shù)據(jù)并行，同時計算程序啟動時需要向各節(jié)點拷貝計算程序，過小的文件在這種模式下工作反而會效率低下。 useradd hadoop passwd hadoop （ 5）永久關(guān)閉每個節(jié)點的防火墻（ root權(quán)限）。使用vim打開 ，找到 Java環(huán)境變量的設(shè)置位置，將其改為 JDK的安裝地址，保存并退出。 ： This is the first hadoop test program! ： This program is not very difficult,but this program is a mon hadoop program! （ 2）在 Hadoop文件系統(tǒng)上新建文件夾“ input”，并查看其中的內(nèi)容： hadoop fs mkdir input