【正文】 ? HDFS由一個名叫 Namenode的主節(jié)點和多個名叫 Datanode的子節(jié)點組成。 （ 3）容易擴展，它是成本很低的普通電腦，支持動態(tài)插入節(jié)點； （ 4）容錯能力強，它的數(shù)據(jù)同時會在多個 chunkserver上進行備份，具有相當(dāng)強的容錯性； （ 5）高效訪問，它是通過 Big table來實現(xiàn)的，它是 Google File System上層的結(jié)構(gòu)。 ? 有人形象地比喻：分布式的文件系統(tǒng)被分塊為很多細胞單元，一旦細胞損壞，神經(jīng)系統(tǒng)（ Master）會迅速發(fā)現(xiàn)并有相應(yīng)的冗余措施來使系統(tǒng)正常運行，這些細胞可以看作很多 GFS主機。 * HDFS文件系統(tǒng)的原型 GFS ? 為 GFS的控制和神經(jīng)系統(tǒng)，副本為 Master的備份， Chunk主要用來和用戶交換數(shù)據(jù)。由于 Master對于讀和寫的操作極少，所以極大地減小了 Master的工作負荷，真正提高了 Master的利用性能。 ? GFS是可以被多個用戶同時訪問的，一般情況下，Application和 chunkserver是可以在同一臺機子上的，主要的數(shù)據(jù)流量是通過 Application和 chunkserver之間，數(shù)據(jù)訪問的本地性極大地減少了 Application與 Master之間的交互訪問，減少了 Master的負荷量，提高了文件系統(tǒng)的性能。而出于安全性考慮，每一個文件塊都要被復(fù)制到多個 chunkserver上，一般默認 3個副本。 chunkserver緩存Master從客戶端收到的文件名和塊索引等信息。 * HDFS文件系統(tǒng)的原型 GFS ? GFS為分布式結(jié)構(gòu)，它是一個 高度容錯網(wǎng)絡(luò)文件系統(tǒng) ，主要由一個Master（主）和眾多 chunkserver（大塊設(shè)備）構(gòu)成的，體系結(jié)構(gòu)如圖 。它可以給大量的用戶提供總體性能較高的服務(wù)，也可以提供容錯功能。 Hadoop的文件系統(tǒng)稱為 HDFS（ Hadoop Distributed File System）。 存 儲 節(jié) 點M P I計 算 存 儲 分 離計 算 節(jié) 點 計 算 節(jié) 點 計 算 節(jié) 點H a d o o p 計 算 向 存 儲 遷 移計 算存 儲計 算存 儲計 算存 儲H D F S 文 件 系 統(tǒng)圖 Hadoop與 MPI在數(shù)據(jù)處理上的差異 * Hadoop概述 ? 在 MPI中數(shù)據(jù)存儲的節(jié)點和數(shù)據(jù)處理的節(jié)點往往是不同的，一般在每次計算開始時 MPI需要從數(shù)據(jù)存儲節(jié)點讀取需要處理的數(shù)據(jù)分配給各個計算節(jié)點對數(shù)據(jù)進行處理，因此 MPI中數(shù)據(jù)存儲和數(shù)據(jù)處理是分離的。 * ? Hadoop設(shè)計時有以下的幾點假設(shè)： — 服務(wù)器失效是正常的； — 存儲和處理的數(shù)據(jù)是海量的； — 文件不會被頻繁寫入和修改； — 機柜內(nèi)的數(shù)據(jù)傳輸速度大于機柜間的數(shù)據(jù)傳輸速度； — 海量數(shù)據(jù)的情況下移動計算比移動數(shù)據(jù)更高效。云計算與大數(shù)據(jù)技術(shù) 人民郵電出版社 王鵬 黃焱 安俊秀 張逸琴 編著 目 錄 ? 第 1章 云計算與大數(shù)據(jù)基礎(chǔ) ? 第 2章 云計算與大數(shù)據(jù)的相關(guān)技術(shù) ? 第 3章 虛擬化技術(shù) ? 第 4章 集群系統(tǒng)基礎(chǔ) ? 第 5章 MPI— 面向計算 ? 第 6章 Hadoop— 分布式大數(shù)據(jù)系統(tǒng) ? 第 7章 HPCC— 面向數(shù)據(jù)的高性能計算集群系統(tǒng) ? 第 8章 Storm— 基于拓撲的流數(shù)據(jù)實時計算系統(tǒng) ? 第 9章 服務(wù)器與數(shù)據(jù)中心 ? 第 10章 云計算大數(shù)據(jù)仿真技術(shù) CONTENTS 第 章 — 分布式大數(shù)據(jù)系統(tǒng) 第 6章 Hadoop—分布式大數(shù)據(jù)系統(tǒng) ? 《云計算與大數(shù)據(jù)技術(shù)》 * 第 6章 Hadoop— 分布式大數(shù)據(jù)系統(tǒng) ? Hadoop概述 ? HDFS — HDFS文件系統(tǒng)的原型 GFS — HDFS文件的基本結(jié)構(gòu) — HDFS的存儲過程 ? MapReduce編程框架 — MapReduce的發(fā)展歷史 — MapReduce的基本工作過程 — LISP中的 MapReduce — MapReduce的特點 ? 實現(xiàn) Map/Reduce的 C語言實例 ? 建立 Hadoop開發(fā)環(huán)境 — 相關(guān)準備工作 — JDK的安裝配置 — 下載、解壓 Hadoop， 配置 Hadoop環(huán)境變量 — 修改 Hadoop配置文件 — 將配置好的 Hadoop文件復(fù)制到其他節(jié)點 — 啟動、停止 Hadoop — 在 Hadoop系統(tǒng)上運行測試程序 WordCount * ? Hadoop是由 Apache軟件基金會研發(fā)的一種開源、高可靠、伸縮性強的 分布式計算系統(tǒng) ，主要用于對 大于 1TB的海量數(shù)據(jù)的處理。 * Hadoop概述 ? Hadoop是 Apache開源組織的分布式計算系統(tǒng)，其分為第一代 Hadoop和第二代 Hadoop。 ? 對于計算密集型的應(yīng)用 MPI能表現(xiàn)出良好的性能，但對于處理 TB級數(shù)據(jù)的數(shù)據(jù)密集型應(yīng)用由于網(wǎng)絡(luò)數(shù)據(jù)傳輸速度很慢， MPI的性能會大大降低，甚至?xí)讲豢扇淌艿牡夭?，所以對于?gòu)建在 MPI上的并行計算系統(tǒng)網(wǎng)絡(luò)通訊速度一直是一個重要的性能指標(biāo)，用“計算換通信”也是 MPI并行程序設(shè)計中的基本原則。 * HDFS文件系統(tǒng)的原型 GFS ? Hadoop中的 HDFS原型來自 Google 文件系統(tǒng) （ Google File System，GFS），為了滿足 Google迅速增長的數(shù)據(jù)處理要求， Google設(shè)計并實現(xiàn)了GFS。 ? 我們認為 GFS是一種面向不可信服務(wù)器節(jié)點而設(shè)計的文件系統(tǒng)。 圖 GFS的體系結(jié)構(gòu) * HDFS文件系統(tǒng)的原型 GFS ? 下面簡單描述一下 GFS的工作過程 。 * HDFS文件系統(tǒng)的原型 GFS （ 3） Master通過和 chunkserver的交互，向客戶端發(fā)送 chunkhandle和副本位置。 （ 4）客戶端向其中的一個副本發(fā)出請求，請求指定了 chunk handle（ chunkserver以 chunk handle標(biāo)識 chunk）和塊內(nèi)的一個字節(jié)區(qū)間。 * HDFS文件系統(tǒng)的原型 GFS ? 客戶端從來不會從 Master讀和寫文件數(shù)據(jù)。 ? Master保存著三類元數(shù)據(jù)（ metadata）：文件名和塊的名字空間、從文件到塊的映射、副本位置。網(wǎng)絡(luò)中的主機癱瘓，不會對整個系統(tǒng)造成大的影響，替換上去的主機會自動重建數(shù)據(jù)。這一工作方式就是人類大腦的工作方式。GFS在實現(xiàn)分布式文件系統(tǒng)的做法上面很多都是簡單的，但是確實非常高效。 ? Namenode存儲著文件系統(tǒng)的元數(shù)據(jù)，這些元數(shù)據(jù)包括文件系統(tǒng)的名字空間等，向用戶映射文件系統(tǒng)，并負責(zé)管理文件的存儲等服務(wù)，但實際的數(shù)據(jù)并不存放在 Namenode。 * HDFS文件的基本結(jié)構(gòu) ? HDFS的工作過程 是這樣的： — 用戶請求創(chuàng)建文件的指令由 Namenode進行接收， Namenode將存儲數(shù)據(jù)的 Datanode的 IP返回給用戶，并通知其他接收副本的 Datanode，由用戶直接與 Datanode進行數(shù)據(jù)傳送。 * HDFS文件的基本結(jié)構(gòu) ? 主從式是云計算系統(tǒng)的一種典型架構(gòu)方法，系統(tǒng)通過主節(jié)點屏蔽底層的復(fù)雜結(jié)構(gòu)，并向用戶提供方便的文件目錄映射。 * HDFS的存儲過程 ? HDFS的分塊策略 ：通常 HDFS在存儲一個文件會將文件切為64MB大小的塊來進行存儲，數(shù)據(jù)塊會被分別存儲在不同的Datanode節(jié)點上，這一過程其實就是一種數(shù)據(jù)任務(wù)的切分過程，在后面對數(shù)據(jù)進行 MapReduce操作時十分重要，同時數(shù)據(jù)被分塊存儲后在數(shù)據(jù)讀寫時能實現(xiàn)對數(shù)據(jù)的并發(fā)讀寫，提高數(shù)據(jù)讀寫效率。 * HDFS的存儲過程 ? 一個文件寫入 HDFS的基本過程 可以描述如下： — 寫入操作首先由 Namenode為該文件創(chuàng)建一個新的記錄，該記錄為文件分配存儲節(jié)點包括文件的分塊存儲信息，在寫入時系統(tǒng)會對文件進行分塊，文件寫入的客戶端獲得存儲位置的信息后直接與指定的 Datanode進行數(shù)據(jù)通信，將文件塊按 Namenode分配的位置寫入指定的 Datanode，數(shù)據(jù)塊在寫入時不再通過Namenode，因此 Namenode不會成為數(shù)據(jù)通信的瓶頸。 LISP語言是一種用于人工智能領(lǐng)域的語言，在人工智能領(lǐng)