【文章內容簡介】 集群中每個從服務器都運行一個DataNode后臺程序，后臺程序負責把HDFS數(shù)據塊讀寫到本地文件系統(tǒng)。需要讀寫數(shù)據時，由NameNode告訴客戶端去哪個DataNode進行具體的讀寫操作。（3）Block將一個文件進行分塊，通常是64M（4）Secondary NameNodeSecondary NameNode是一個用來監(jiān)控HDFS狀態(tài)的輔助后臺程序，如果NameNode發(fā)生問題，可以使用Secondary NameNode作為備用的NameNode。（5）JobTrackerJobTracker后臺程序用來連接應用程序與Hadoop，用戶應用提交到集群后，由JobTracker決定哪個文件處理哪個task執(zhí)行，一旦某個task失敗，JobTracker會自動開啟這個task。（6）TaskTrackerTaskTracker負責存儲數(shù)據的DataNode相結合，位于從節(jié)點，負責各自的task。在Hadoop的系統(tǒng)中,會有一臺Master,主要負責NameNode的工作以及JobTracker的工作。JobTracker的主要職責就是啟動、跟蹤和調度各個Slave的任務執(zhí)行。還會有多臺Slave,每一臺Slave通常具有DataNode的功能并負責TaskTracker的工作。TaskTracker根據應用要求來結合本地數(shù)據執(zhí)行Map任務以及Reduce任務。、MapReduceMapReduce介紹：MapReduce是一種編程模型，用于大規(guī)模數(shù)據集的并行運算。MapReduce的設計目標是方便編程人員在不熟悉分布式并行編程的情況下,將自己的程序運行在分布式系統(tǒng)上。MapReduce的命名規(guī)則由兩個術語組成，分別是Map(映射)與Reduce(化簡)，是它們的主要思想，都是從函數(shù)式編程語言里借來的。當前的軟件實現(xiàn)是指定一個Map（映射）函數(shù)，用來把一組鍵值對映射成一組新的鍵值對，指定并發(fā)的Reduce（化簡）函數(shù)，用來保證所有映射的鍵值對中的每一個共享相同的鍵組。MapReduce處理過程：（1） Input輸入從文件中讀取原始數(shù)據原始數(shù)據 InputKey, InputValue（2）Map映射將原始數(shù)據映射成用于Reduce的數(shù)據InputKey, InputValue ListMapKey, MapValue（3）Reduce合并將相同Key值的中間數(shù)據合并成最終數(shù)據MapKey, ListMapValue OutputKey, OutputValue（4）Output輸出將最終處理結果輸出到文件OutputKey, OutputValue 結果文件上述就是MapReduce大致處理過程,在Map前還可能會對輸入的數(shù)據有Split(分割)的過程,保證任務并行效率,在Map之后還會有Shuffle(混合)的過程,對于提高Reduce的效率以及減小數(shù)據傳輸?shù)膲毫τ泻艽蟮膸椭：竺鏁唧w提及這些部分的細節(jié)。MapReduce簡單案例1：通俗說MapReduce是一套從海量源數(shù)據提取分析元素最后返回結果集的編程模型，將文件分布式存儲到硬盤是第一步，而從海量數(shù)據中提取分析我們需要的內容就是MapReduce做的事了。下面以一個計算海量數(shù)據最大值為例：一個銀行有上億儲戶，銀行希望找到存儲金額最高的金額是多少，按照傳統(tǒng)的計算方式，我們會這樣：Java代碼：Longmoneys[]...Longmax=0L。for(inti=0。i。i++){if(moneys[i]max){max=moneys[i]。}}如果計算的數(shù)組長度少的話，這樣實現(xiàn)是不會有問題的，還是面對海量數(shù)據的時候就會有問題。MapReduce會這樣做：首先數(shù)字是分布存儲在不同塊中的，以某幾個塊為一個Map，計算出Map中最大的值，然后將每個Map中的最大值做Reduce操作，Reduce再取最大值給用戶。MapReduce的基本原理就是：將大的數(shù)據分析分成小塊逐個分析，最后再將提取出來的數(shù)據匯總分析，最終獲得我們想要的內容。當然怎么分塊分析，怎么做Reduce操作非常復雜，Hadoop已經提供了數(shù)據分析的實現(xiàn)，我們只需要編寫簡單的需求命令即可達成我們想要的數(shù)據。MapReduce簡單案例2：（1）從理論部分來進行講解MapReduce下面是一個關于一個程序員是如何給妻子講解什么是MapReduce.我問妻子：“你真的想要弄懂什么是MapReduce？” 她很堅定的回答說“是的”。 因此我問道：我： 你是如何準備洋蔥辣椒醬的？（以下并非準確食譜，請勿在家嘗試）妻子： 我會取一個洋蔥，把它切碎，然后拌入鹽和水，最后放進混合研磨機里研磨。這樣就能得到洋蔥辣椒醬了。妻子： 但這和MapReduce有什么關系？我： 你等一下。讓我來編一個完整的情節(jié)，這樣你肯定可以在15分鐘內弄懂MapReduce.妻子： 好吧。我：現(xiàn)在，假設你想用薄荷、洋蔥、番茄、辣椒、大蒜弄一瓶混合辣椒醬。你會怎么做呢？妻子： 我會取薄荷葉一撮，洋蔥一個，番茄一個，辣椒一根，大蒜一根，切碎后加入適量的鹽和水，再放入混合研磨機里研磨，這樣你就可以得到一瓶混合辣椒醬了。我： 沒錯，讓我們把MapReduce的概念應用到食譜上。Map和Reduce其實是兩種操作，我來給你詳細講解下。Map（映射）: 把洋蔥、番茄、辣椒和大蒜切碎，是各自作用在這些物體上的一個Map操作。所以你給Map一個洋蔥，Map就會把洋蔥切碎。 同樣的，你把辣椒，大蒜和番茄一一地拿給Map，你也會得到各種碎塊。 所以，當你在切像洋蔥這樣的蔬菜時，你執(zhí)行就是一個Map操作。 Map操作適用于每一種蔬菜，它會相應地生產出一種或多種碎塊，在我們的例子中生產的是蔬菜塊。在Map操作中可能會出現(xiàn)有個洋蔥壞掉了的情況，你只要把壞洋蔥丟了就行了。所以，如果出現(xiàn)壞洋蔥了，Map操作就會過濾掉壞洋蔥而不會生產出任何的壞洋蔥塊。Reduce（化簡）:在這一階段，你將各種蔬菜碎都放入研磨機里進行研磨，你就可以得到一瓶辣椒醬了。這意味要制成一瓶辣椒醬，你得研磨所有的原料。因此，研磨機通常將map操作的蔬菜碎聚集在了一起。妻子： 所以，這就是MapReduce?我： 你可以說是，也可以說不是。 其實這只是MapReduce的一部分，MapReduce的強大在于分布式計算。妻子： 分布式計算？ 那是什么？請給我解釋下吧。我： 沒問題。我： 假設你參加了一個辣椒醬比賽并且你的食譜贏得了最佳辣椒醬獎。得獎之后，辣椒醬食譜大受歡迎，于是你想要開始出售自制品牌的辣椒醬。假設你每天需要生產10000瓶辣椒醬，你會怎么辦呢？妻子： 我會找一個能為我大量提供原料的供應商。我：是的..就是那樣的。那你能否獨自完成制作呢？也就是說，獨自將原料都切碎？ 僅僅一部研磨機又是否能滿足需要？而且現(xiàn)在，我們還需要供應不同種類的辣椒醬，像洋蔥辣椒醬、青椒辣椒醬、番茄辣椒醬等等。妻子： 當然不能了，我會雇傭更多的工人來切蔬菜。我還需要更多的研磨機，這樣我就可以更快地生產辣椒醬了。我：沒錯，所以現(xiàn)在你就不得不分配工作了，你將需要幾個人一起切蔬菜。每個人都要處理滿滿一袋的蔬菜，而每一個人都相當于在執(zhí)行一個簡單的Map操作。每一個人都將不斷的從袋子里拿出蔬菜來，并且每次只對一種蔬菜進行處理，也就是將它們切碎，直到袋子空了為止。這樣，當所有的工人都切完以后，工作臺（每個人工作的地方）上就有了洋蔥塊、番茄塊、和蒜蓉等等。妻子：但是我怎么會制造出不同種類的番茄醬呢？我：現(xiàn)在你會看到MapReduce遺漏的階段—攪拌階段。MapReduce將所有輸出的蔬菜碎都攪拌在了一起，這些蔬菜碎都是在以key為基礎的 map操作下產生的。攪拌將自動完成，你可以假設key是一種原料的名字，就像洋蔥一樣。 所以全部的洋蔥keys都會攪拌在一起，并轉移到研磨洋蔥的研磨器里。這樣，你就能得到洋蔥辣椒醬了。同樣地，所有的番茄也會被轉移到標記著番茄的研磨器里，并制造出番茄辣椒醬。（2）從MapReduce產生過程和代碼的角度來講解如果想統(tǒng)計過去10年計算機論文出現(xiàn)最多的幾個單詞，看看大家都在研究些什么，那收集好論文后，該怎么辦呢？　　方法一：我可以寫一個小程序，把所有論文按順序遍歷一遍，統(tǒng)計每一個遇到的單詞的出現(xiàn)次數(shù)，最后就可以知道哪幾個單詞最熱門了。這種方法在數(shù)據集比較小時，是非常有效的，而且實現(xiàn)最簡單，用來解決這個問題很合適。方法二：寫一個多線程程序，并發(fā)遍歷論文。這個問題理論上是可以高度并發(fā)的，因為統(tǒng)計一個文件時不會影響統(tǒng)計另一個文件。當我們的機器是多核或者多處理器，方法二肯定比方法一高效。但是寫一個多線程程序要比方法一困難多了，我們必須自己同步共享數(shù)據，比如要防止兩個線程重復統(tǒng)計文件?！　》椒ㄈ喊炎鳂I(yè)交給多個計算機去完成。我們可以使用方法一的程序，部署到N臺機器上去，然后把論文集分成N份，一臺機器跑一個作業(yè)。這個方法跑得足夠快，但是部署起來很麻煩，我們要人工把程序copy到別的機器，要人工把論文集分開，最痛苦的是還要把N個運行結果進行整合（當然我們也可以再寫一個程序）。方法四：讓MapReduce來幫幫我們吧！MapReduce本質上就是方法三，但是如何拆分文件集，如何copy程序，如何整合結果這些都是框架定義好的。我們只要定義好這個任務（用戶程序），其它都交給MapReduce。map函數(shù)和reduce函數(shù)是交給用戶實現(xiàn)的，這兩個函數(shù)定義了任務本身。map函數(shù)：接受一個鍵值對（keyvalue pair），產生一組中間鍵值對。MapReduce框架會將map函數(shù)產生的中間鍵值對里鍵相同的值傳遞給一個reduce函數(shù)。　　reduce函數(shù)：接受一個鍵，以及相關的一組值，將這組值進行合并產生一組規(guī)模更小的值（通常只有一個或零個值）。統(tǒng)計詞頻的MapReduce函數(shù)的核心代碼非常簡短，主要就是實現(xiàn)這兩個函數(shù)?！　ap(String key, String value):// key: document name// value: document contentsfor each word w in value:　　EmitIntermediate(w, 1)。reduce(String key, Iterator values):// key: a word　　// values: a list of countsint result = 0?！　or each v in values:result += ParseInt(v)。Emit(AsString(result))。在統(tǒng)計詞頻的例子里，map函數(shù)接受的鍵是文件名，值是文件的內容，map逐個遍歷單詞，每遇到一個單詞w，就產生一個中間鍵值對w, 1，這表示單詞w咱又找到了一個；MapReduce將鍵相同（都是單詞w）的鍵值對傳給reduce函數(shù)，這樣reduce函數(shù)接受的鍵就是單詞w，值是一串1（最基本的實現(xiàn)是這樣，但可以優(yōu)化），個數(shù)等于鍵為w的鍵值的個數(shù)，然后將這些“1”累加就得到單詞w的出現(xiàn)次數(shù)。最后這些單詞的出現(xiàn)次數(shù)會被寫到用戶定義的位置，存儲在底層的分布式存儲系統(tǒng)（GFS或HDFS）。MapReduce簡單案例3：1. 首先, 我們能確定我們有一份輸入, 而且他的數(shù)據量會很大2. 通過split之后, 他變成了若干的分片, 每個分片交給一個Map處理3. map處理完后, tasktracker會把數(shù)據進行復制和排序, 然后通過輸出的key 和value進行 partition的劃分, 并把partition相同的map輸出, 合并為相同的reduce的輸入.4. ruducer通過處理, 把數(shù)據輸出, 每個相同的key, 一定在一個reduce中處理完, 每一個reduce至少對應一份輸出5. 來看一個例子, 如下圖:(來自 《hadoop權威指南》 一書)說明幾點: 輸入的數(shù)據可能就是一堆文本mapper會解析每行數(shù)據, 然后提取有效的數(shù)據, 作為輸出. 這里的例子是 從日志文件中提取每一年每天的氣溫, 最后會計算每年的最高氣溫map的輸出就是一條一條的 keyvalue通過shuffle之后, 變成reduce的輸入, 這是相同的key對應的value被組合成了一個迭代器reduce的任務是提取每一年的最高氣溫, 然后輸出、Hadoop優(yōu)點和缺點Hadoop是一個能夠讓用戶輕松架構和使用的分布式計算平臺。用戶可以輕松地在Hadoop上開發(fā)和運行處理海量數(shù)據的應用程序。它主要有以下幾個優(yōu)點：（1）高可靠性。Hadoop按位存儲和處理數(shù)據的能力值得人們信賴。（2）高擴展性。Hadoop是在可用的計算機集簇間分配數(shù)據并完成計算任務的，這些集簇可以方便地擴展到數(shù)以千計的節(jié)點中。（3）高效性。Hadoop能夠在節(jié)點之間動態(tài)地移動數(shù)據，并保證各個節(jié)點的動態(tài)平衡，因此處理速度非常快。（4）高容錯性。Hadoop能夠自動保存數(shù)據的多個副本，并且能夠自動將失敗的任務重新分配。（5）低成本。與一體機、商用數(shù)據倉庫以及QlikView、Yonghong ZSuite等數(shù)據集市相比，hadoop是開源的，項目的軟件成本因此會大大降低。在實際使用中Hadoop的主要好處是，它可以讓企業(yè)以節(jié)省成本并高效的方式處理和分析大量的非結構化和半結構化數(shù)據，而這類數(shù)據迄今還沒有其他處理方式。因為Hadoop集群可以擴展到PB級甚至EB級數(shù)據，企業(yè)不再