【正文】 — 第三個本副本存放在不同機架上的另一個節(jié)點。 — 1960年， McCarthy更是極有預見性地提出：“今后計算機將會作為公共設施提供給公眾”，這一觀點已與現(xiàn)在人們對云計算的定義極為相近了，所以我們把McCarthy稱為“云計算之父”。 * MapReduce的基本工作過程 ? MapReduce的過程其實非常簡單，我們用一個實際的例子來說明MapReduce的編程模型。 江蘇省， 90 江蘇省， 93 江蘇省， 84 浙江省， 95 浙江省， 84 浙江省， 88 山東省， 92 山東省， 85 山東省， 87 表 略去高校名稱后的比賽成績 ? 接下來對各個省份的高校的成績進行匯總，如表 。 江蘇省， 89 浙江省， 89 山東省， 88 表 Reduce Output數(shù)據(jù) * LISP中的 MapReduce ? 為了進一步理解 MapReduce，我們簡單介紹最早使用 Map和Reduce的 LISP語言中的 Map和 Reduce操作。 * MapReduce的特點 ? MapReduce主要具有以下幾個 特點 ： （ 1）需要在集群條件下使用 。 * MapReduce的特點 （ 4）假設節(jié)點的失效為正常情況。計算程序的大小通常會比數(shù)據(jù)文件小的多，所以遷移計算的網(wǎng)絡代價要比遷移數(shù)據(jù)小的多。 — 虛擬機 1：主機名為 vm1， IP為 ，作為 NameNode使用； — 虛擬機 2：主機名為 vm2， IP為 ，作為 DataNode使用； — 虛擬機 3：主機名為 vm3， IP為 ，作為 DataNode使用。 （ 1）在 Sun官方網(wǎng)站下載 JDK軟件包 。 hadoop environment export HADOOP_HOME=/usr/java/ export PATH=$PATH:$HADOOP_HOME/bin ? 保存了 Hadoop環(huán)境變量之后，在命令行中鍵入如下命令，使環(huán)境變量生效： source /etc/profile //使環(huán)境變量設置生效 * 修改 Hadoop配置文件 ? Hadoop的配置文件存于 conf文件夾中，我們需要對該文件夾中以下文件進行修改： 、 、 masters、 slaves。 ? 在 configuration /configuration之間添加以下代碼，配置 JobTracker的主機名和端口。 * 啟動、停止 Hadoop ? 在 NameNode() 上輸入 jps命令查看啟動進程情況： 11850 SecondaryNameNode 11650 NameNode 11949 JobTracker 12132 Jps ? 在 DataNode()、 DataNode() 上輸入 jps命令查看啟動進程情況： 8727 DataNode 8819 TaskTracker 8958 Jps ? 到此 Hadoop已經(jīng)配置成功，不同的 Hadoop版本配置方法會有所不同。 ? 4．簡述搭建 Hadoop開發(fā)環(huán)境的流程，并動手搭建 3個節(jié)點的 Hadoop集群。 ? 執(zhí)行 ，啟動 Hadoop。 ? 新建 tmp文件夾： mkdir /home/hadoop/? 使用 vim打開 ，在 configuration /configuration之間添加以下代碼 ： * 修改 Hadoop配置文件 property name/name value/home/hadoop//value /property property name/name value /property ? 其中的 IP地址需配置為集群的 NameNode（ Master）節(jié)點的 IP， 這里“ ”。 * 下載、解壓 Hadoop，配置 Hadoop環(huán)境變量 ? Hadoop集群中每個節(jié)點的安裝、配置是相同的，我們可以現(xiàn)在一個虛擬機上進行安裝、配置，然后將其復制到其他節(jié)點的相應目錄。 — 配置過程與 MPI部分的配置過程相關，這里不再詳述，配置完成后使用 ssh指令可以在三個虛擬機之間實現(xiàn)無密碼訪問。 * 建立 Hadoop開發(fā)環(huán)境 ? 本節(jié)使用三個 Linux虛擬機來構建 Hadoop集群環(huán)境，其中一個虛擬機作為 NameNode（ Master節(jié)點），另外兩個虛擬機作為DataNode（ Slave節(jié)點），如圖 。 * MapReduce的特點 （ 6）計算向存儲遷移。數(shù)據(jù)并行方法避免了對計算任務本身的人工切分，降低了編程的難度，而像 MPI往往需要人工對計算任務進行切分，因此分布式編程難度較大。+(1 2 3 4 5 6 7 8 9 10))55 — 這個 Reduce操作對應于向量的約簡，它將向量按求和的關系約簡為一個值。 Key：江蘇省 ListValue： 90、 9 84 Key：浙江省 ListValue： 9 8 88 Key：山東省 ListValue： 9 8 87 表 Shuffle Output數(shù)據(jù) 4. Reduce Input： 所屬省份， List（平均分數(shù)） — 表 Reduce任務的輸入數(shù)據(jù)，即從 Shuffle任務中獲得的（ Key,ListValue）。 江蘇省 浙江省 山東省 南京大學 90 浙江大學 95 山東大學 92 東南大學 93 浙江工業(yè)大學 84 中國海洋大學 85 河海大學 84 寧波大學 88 青島大學 87 表 原始比賽成績 * MapReduce的基本工作過程 ? 我們可以用如表 ，這樣每所高校就具備了所屬省份和平均分數(shù)這兩個屬性，即 高校名稱：{所屬省份，平均分數(shù) }。現(xiàn)實中的很多處理任務都可以利用這一模型進行描述。 LISP語言是一種用于人工智能領域的語言，在人工智能領域有很多的應用， LISP在 1956年設計時主要是希望能有效地進行“符號運算”。 * HDFS的存儲過程 ? HDFS的分塊策略 ：通常 HDFS在存儲一個文件會將文件切為64MB大小的塊來進行存儲，數(shù)據(jù)塊會被分別存儲在不同的Datanode節(jié)點上，這一過程其實就是一種數(shù)據(jù)任務的切分過程，在后面對數(shù)據(jù)進行 MapReduce操作時十分重要，同時數(shù)據(jù)被分塊存儲后在數(shù)據(jù)讀寫時能實現(xiàn)對數(shù)據(jù)的并發(fā)讀寫，提高數(shù)據(jù)讀寫效率。 * HDFS文件的基本結構 ? HDFS的工作過程 是這樣的： — 用戶請求創(chuàng)建文件的指令由 Namenode進行接收， Namenode將存儲數(shù)據(jù)的 Datanode的 IP返回給用戶，并通知其他接收副本的 Datanode，由用戶直接與 Datanode進行數(shù)據(jù)傳送。GFS在實現(xiàn)分布式文件系統(tǒng)的做法上面很多都是簡單的，但是確實非常高效。網(wǎng)絡中的主機癱瘓，不會對整個系統(tǒng)造成大的影響，替換上去的主機會自動重建數(shù)據(jù)。 * HDFS文件系統(tǒng)的原型 GFS ? 客戶端從來不會從 Master讀和寫文件數(shù)據(jù)。 * HDFS文件系統(tǒng)的原型 GFS （ 3） Master通過和 chunkserver的交互，向客戶端發(fā)送 chunkhandle和副本位置。 ? 我們認為 GFS是一種面向不可信服務器節(jié)點而設計的文件系統(tǒng)。 ? 對于計算密集型的應用 MPI能表現(xiàn)出良好的性能，但對于處理 TB級數(shù)據(jù)的數(shù)據(jù)密集型應用由于網(wǎng)絡數(shù)據(jù)傳輸速度很慢， MPI的性能會大大降低，甚至會到不可忍受的地步，所以對于構建在 MPI上的并行計算系統(tǒng)網(wǎng)絡通訊速度一直是一個重要的性能指標，用“計算換通信”也是 MPI并行程序設計中的基本原則。云計算與大數(shù)據(jù)技術 人民郵電出版社 王鵬 黃焱 安俊秀 張逸琴 編著 目 錄 ? 第 1章 云計算與大數(shù)據(jù)基礎 ? 第 2章 云計算與大數(shù)據(jù)的相關技術 ? 第 3章 虛擬化技術 ? 第 4章 集群系統(tǒng)基礎 ? 第 5章 MPI— 面向計算 ? 第 6章 Hadoop— 分布式大數(shù)據(jù)系統(tǒng) ? 第 7章 HPCC— 面向數(shù)據(jù)的高性能計算集群系統(tǒng) ? 第 8章 Storm— 基于拓撲的流數(shù)據(jù)實時計算系統(tǒng) ? 第 9章 服務器與數(shù)據(jù)中心 ? 第 10章 云計算大數(shù)據(jù)仿真技術 CONTENTS