【正文】 端與主服務(wù)器的交互代價(jià)； — （ 2）降低網(wǎng)絡(luò)負(fù)載； — （ 3）減少主服務(wù)器中元數(shù)據(jù)的大小。 ? 這樣的副本策略保證了在 HDFS文件系統(tǒng)中存儲(chǔ)的文件具有很高的可靠性。 * MapReduce編程框架 ? 在云計(jì)算和大數(shù)據(jù)技術(shù)領(lǐng)域被廣泛提到并被成功應(yīng)用的一項(xiàng)技術(shù)就是 MapReduce。 ? MapReduce的發(fā)展歷史 — MapReduce出現(xiàn)的歷史要追述到 1956年，圖靈獎(jiǎng)獲得者著名的人工智能專家McCarthy首次提出了 LISP語言的構(gòu)想，而在 LISP語言中就包含了現(xiàn)在我們所采用的 MapReduce 功能。 — LISP是一種表處理語言，其邏輯簡(jiǎn)單但結(jié)構(gòu)不同于其他的高級(jí)語言。 — MapReduce在 McCarthy提出時(shí)并沒有考慮到其在分布式系統(tǒng)和大數(shù)據(jù)上會(huì)有如此大的應(yīng)用前景，只是作為一種函數(shù)操作來定義的。 ? 可以認(rèn)為分布式 MapReduce是由 Google公司首先提出的。 * MapReduce的基本工作過程 ? MapReduce是一種處理大數(shù)據(jù)集的編程模式，它借鑒了最早出現(xiàn)在 LISP語言和其他函數(shù)語言中的 map和 reduce操作，MapReduce的基本過程為： — 用戶通過 map函數(shù)處理 key/value對(duì)，從而產(chǎn)生一系列不同的key/value對(duì)， reduce函數(shù)將 key值相同的 key/value對(duì)進(jìn)行合并。通過MapReduce框架能實(shí)現(xiàn)基于數(shù)據(jù)切分的自動(dòng)并行計(jì)算，大大簡(jiǎn)化了分布式編程的難度，并為在相對(duì)廉價(jià)的商品化服務(wù)器集群系統(tǒng)上實(shí)現(xiàn)大規(guī)模的數(shù)據(jù)處理提供了可能。假設(shè)我們需要對(duì)一個(gè)文件 現(xiàn)的單詞次數(shù)進(jìn)行統(tǒng)計(jì)，這就是著名的 wordcount例子，在這個(gè)例子中 MapReduce的編程模型可以這樣來描述： — 用戶需要處理的文件 群系統(tǒng)中不同的節(jié)點(diǎn)上了，用戶先使用一個(gè) Map函數(shù) —Map(, 文件內(nèi)容 )，在這個(gè) Map函數(shù)中 key值為， key通常是指一個(gè)具有唯一值的標(biāo)識(shí)， value值就是 。 — Reduce函數(shù)將接收集群中不同節(jié)點(diǎn) Map函數(shù)生成的中間key/value對(duì)，并將 Key相同的 key/value對(duì)進(jìn)行合并，在這個(gè)例子中 Reduce函數(shù)將對(duì)所有 key值相同的 value值進(jìn)行求和合并，最后輸出的 key/value對(duì)就是（ word, count），其中 count就是這個(gè)單詞在文件 。 ? 1．任務(wù)的描述 ? 來自江蘇、浙江、山東三個(gè)省的 9所高校聯(lián)合舉行了一場(chǎng)編程大賽，每個(gè)省有 3所高校參加，每所高校各派 5名隊(duì)員參賽，各所高校的比賽平均成績(jī)?nèi)绫?。 南京大學(xué)： {江蘇省， 90} 東南大學(xué)： {江蘇省， 93} 河海大學(xué)： {江蘇省， 84} 浙江大學(xué)： {浙江省， 95} 浙江工業(yè)大學(xué)： {浙江省， 84} 寧波大學(xué)： {浙江省， 88} 山東大學(xué)： {山東省， 92} 中國(guó)海洋大學(xué)： {山東省， 85} 青島大學(xué)： {山東省， 87} 表 增加屬性信息后的比賽成績(jī) * MapReduce的基本工作過程 ? 統(tǒng)計(jì)各個(gè)省份高校的平均分?jǐn)?shù)時(shí)，高校的名稱并不是很重要，我們略去高校名稱，如表 。 江蘇省， 90、 9 84 浙江省， 9 8 88 山東省， 9 8 87 表 各省比賽成績(jī)匯總 * MapReduce的基本工作過程 ? 計(jì)算求得各省高校的平均值如表 。 * MapReduce的基本工作過程 1. Map Input： 高校名稱， {所屬省份，平均分?jǐn)?shù) } — 在 Map部分，我們需要輸入 Key,Value數(shù)據(jù)，這里 Key是高校的名稱， Value是屬性值，即所屬省份和平均分?jǐn)?shù)，如表 。 Key：江蘇省 Value： 90 Key：江蘇省 Value： 93 Key：江蘇省 Value： 84 Key：浙江省 Value： 95 Key：浙江省 Value： 84 Key：浙江省 Value： 88 Key：山東省 Value： 92 Key：山東省 Value： 85 Key：山東省 Value： 87 表 Map Output數(shù)據(jù) * MapReduce的基本工作過程 3. Shuffle Output： 所屬省份， List（平均分?jǐn)?shù)） — Shuffle由 Hadoop自動(dòng)完成，其任務(wù)是實(shí)現(xiàn) Map，對(duì) Key進(jìn)行分組，用戶可以獲得 Value的列表，即 ListValue，如表 。 * MapReduce的基本工作過程 5. Reduce Output： 所屬省份，平均分?jǐn)?shù) — Reduce任務(wù)的功能是完成用戶的計(jì)算邏輯，這里的任務(wù)是計(jì)算每個(gè)省份的高校學(xué)生的比賽平均成績(jī)，獲得的最終結(jié)果如表 示。 ? 下面的 LISP語句定義的這個(gè) Map操作是將向量（ 1 2 3 4 5）和向量（ 10 9 8 7 6）進(jìn)行相乘的操作，輸出也為向量（ 10 18 24 28 30）。vector *(1 2 3 4 5)(10 9 8 7 6))(10 18 24 28 30) — 這個(gè) Map操作對(duì)應(yīng)于向量到向量的映射，兩個(gè)向量按乘積關(guān)系進(jìn)行映射。 (reduce 39。 — 可以看出，在 LISP語言中 Map和 Reduce只是作為一種操作定義，并沒有體現(xiàn)出任何的分布式計(jì)算的特征。 — MapReduce的主要作用是實(shí)現(xiàn)對(duì)大數(shù)據(jù)的分布式處理，其設(shè)計(jì)時(shí)的基本要求就是在大規(guī)模集群條件下的（雖然一些系統(tǒng)可以在單機(jī)下運(yùn)行，但這種條件下只具有仿真運(yùn)行的意義）， Google作為分布式 MapReduce提出者，它本身就是世界上最大的集群系統(tǒng)，所以 MapReduce天然需要在集群系統(tǒng)下運(yùn)行才能有效。 — 這里要注意的是單獨(dú)的 MapReduce模式并不具有自動(dòng)的并行性能，就像它在 LISP語言中的表現(xiàn)一樣，它只有與相應(yīng)的分布式文件系統(tǒng)相結(jié)合才能完美地體現(xiàn) MapReduce這種編程框架的優(yōu)勢(shì)。 — MapReduce能實(shí)現(xiàn)計(jì)算的自動(dòng)并行化很大程度上是由于分布式文件系統(tǒng)在對(duì)文件存儲(chǔ)時(shí)就實(shí)現(xiàn)了對(duì)大數(shù)據(jù)文件的切分，這種并行方法也叫數(shù)據(jù)并行方法。 * MapReduce的特點(diǎn) （ 3）可以在商品化集群條件下運(yùn)行，不需要特別的硬件支持 . — 和高性能計(jì)算不同，基于 MapReduce的系統(tǒng)往往不需要特別的硬件支持，按 Google的報(bào)道，他們的實(shí)驗(yàn)系統(tǒng)中的節(jié)點(diǎn)就是基于典型的雙核 X86的系統(tǒng)，配置 2~4GB的內(nèi)存，網(wǎng)絡(luò)為百兆網(wǎng)和千兆網(wǎng)構(gòu)成，存儲(chǔ)設(shè)備的便宜的 IDE硬盤。 — 傳統(tǒng)的服務(wù)器通常被認(rèn)為是穩(wěn)定的，但在服務(wù)器數(shù)量巨大或采用廉價(jià)服務(wù)的條件下，服務(wù)器的實(shí)效將變得常見，所以通?；?MapReduce的分布式計(jì)算系統(tǒng)采用了存儲(chǔ)備份、計(jì)算備份和計(jì)算遷移等策略來應(yīng)對(duì)，從而實(shí)現(xiàn)在單節(jié)點(diǎn)不穩(wěn)定的情況下保持系統(tǒng)整個(gè)的穩(wěn)定性。 — 由于基于 MapReduce的系統(tǒng)并行化是通過數(shù)據(jù)切分實(shí)現(xiàn)的數(shù)據(jù)并行，同時(shí)計(jì)算程序啟動(dòng)時(shí)需要向各節(jié)點(diǎn)拷貝計(jì)算程序，過小的文件在這種模式下工作反而會(huì)效率低下。所以 MapReduce更適合進(jìn)行大數(shù)據(jù)的處理。 — 傳統(tǒng)的高性能計(jì)算數(shù)據(jù)集中存儲(chǔ)，計(jì)算時(shí)數(shù)據(jù)向計(jì)算節(jié)點(diǎn)拷貝，而基于 MapReduce的分布式系統(tǒng)在數(shù)據(jù)存儲(chǔ)時(shí)就實(shí)現(xiàn)了分布式存儲(chǔ)，一個(gè)較大的文件會(huì)被切分成大量較小的文件存儲(chǔ)于不同的節(jié)點(diǎn)，系統(tǒng)調(diào)度機(jī)制在啟動(dòng)計(jì)算時(shí)會(huì)將計(jì)算程序盡可能分發(fā)給需要處理的數(shù)據(jù)所在的節(jié)點(diǎn)。 * MapReduce的特點(diǎn) （ 7） MapReduce的計(jì)算效率會(huì)受最慢的 Map任務(wù)影響。 * 實(shí)現(xiàn) Map/Reduce的 C語言實(shí)例 ? Map/Reduce操作代表了一大類的數(shù)據(jù)處理操作方式，為了讓大家對(duì) Map/Reduce的工作過程有一個(gè)直觀的了解，下面的程序采用 C語言實(shí)現(xiàn)了一個(gè)簡(jiǎn)單經(jīng)典的 Map/Reduce計(jì)算， ? 計(jì)算從控制臺(tái)輸入的字符串中單詞的計(jì)數(shù)，這一計(jì)算過程都是在同一個(gè)節(jié)點(diǎn)上完成的，并未實(shí)現(xiàn)計(jì)算的并行化，歷史上的 Lisp語言也是運(yùn)行在單機(jī)的上的程序， ? 這個(gè)例子的主要目的是讓大家理解這一操作的過程。 * 實(shí)現(xiàn) Map/Reduce的 C語言實(shí)例 ? 程序 — 輸入： this is map reduce hello map hello reduce * 實(shí)現(xiàn) Map/Reduce的 C語言實(shí)例 — 輸出： This is map results: this 1 is 1 map 1 reduce 1 hello 1 map 1