【導(dǎo)讀】為什么要選擇Hadoop？

　　

【正文】 Under replicated blocks: 1 Blocks with corrupt replicas: 0 Missing blocks: 0 北京寬連十方數(shù)字技術(shù)有限公司 公開 內(nèi)部公開 √ 機密 絕密 Datanodes available: 2 (2 total, 0 dead) Name: :50010 Demission Status : Normal Configured Capacity: 37169479680 ( GB) DFS Used: 36864 (36 KB) Non DFS Used: 30097534976 ( GB) DFS Remaining: 7071907840( GB) DFS Used%: 0% DFS Remaining%: % Last contact: Fri Jul 22 15:16:36 CST 2020 Name: :50010 Demission Status : Normal Configured Capacity: 253935173632 ( GB) DFS Used: 45056 (44 KB) Non DFS Used: 186574213120 ( GB) DFS Remaining: 67360915456( GB) DFS Used%: 0% DFS Remaining%: % Last contact: Fri Jul 22 15:16:37 CST 2020 運行的進程查看 在 master機器上通過 ps命令查看，可以看到 namenode/secondarynamenode/jobtracker在運行，如下： [hadoop@TEST085 ]$ ps uax |grep ha hadoop 27440 1195576 59428 pts/0 S 14:40 0:05 /usr/local/java/bin/java Dproc_namenode Xmx1000m =/home/hadoop/= =/home/hadoop/ hadoop 17840 1185092 36196 ? S 14:40 0:03 /usr/local/java/bin/java Dproc_secondarynamenode Xmx1000m =/home/hadoop/= 北京寬連十方數(shù)字技術(shù)有限公司 公開 內(nèi)部公開 √ 機密 絕密 hadoop 18435 1199836 42744 pts/0 S 14:40 0:05 /usr/local/java/bin/java Dproc_jobtracker Xmx1000m =/home/hadoop/= =/home/had [hadoop@TEST085 ]$ stat ant |grep 900 tcp 0 0 :9000 :* LISTEN tcp 0 0 :9001 :* LISTEN tcp 0 0 :9000 :64074 ESTABLISHED tcp 0 0 :9001 :5956 ESTABLISHED tcp 0 0 :9000 :49534 ESTABLISHED tcp 0 0 :49534 :9000 ESTABLISHED tcp 0 0 :9000 :34921 ESTABLISHED tcp 0 0 :9001 :34926 ESTABLISHED 在 slaves 機器上通過 ps 命令可以看到 datanode 和 tasktracher 的進程在運行。 [hadoop@DBSERVER /]$ ps aux |grep ha hadoop 11127 1179584 32656 ? S 14:41 0:04 /usr/local/java/bin/java Dproc_datanode Xmx1000m server =/home/hadoop/= =/hom hadoop 11215 1188132 35660 ? S 14:42 0:02 /usr/local/java/bin/java Dproc_tasktracker Xmx1000m =/home/hadoop/= 北京寬連十方數(shù)字技術(shù)有限公司 公開 內(nèi)部公開 √ 機密 絕密 =/home/hadoop/Dhadoo [hadoop@DBSERVER /]$ stat ant |grep 900 tcp 0 0 :34921 :9000 ESTABLISHED tcp 0 0 :34926 :9001 ESTABLISHED 5 架構(gòu)分析 【 架構(gòu)詳情請參考： Hadoop 有許多元素構(gòu)成。最底部是 Hadoop Distributed File System（ HDFS），它存儲 Hadoop 集群中所有存儲節(jié)點上的文件 ， 與 HDFS 相關(guān)的服務(wù)有 NameNode 、SecondaryNameNode 及 DataNode ； HDFS（對于本文）的上一層是 MapReduce 引擎，該引擎由 JobTrackers 和 TaskTrackers 組成 （所以 MapReduce 相關(guān)的服務(wù)有JobTracker 和 TaskTracker 兩種 ） 。 Hadoop 集群中有兩種角色： master 與 slave， master 又分為主 master 與次 master。其中： 1) 主 master 同時提供 NameNode 、 SecondaryNameNode 及 JobTracker 三種服務(wù)； 2) 次 master 只提供 SecondaryNameNode 服務(wù)； 3) 所有 slave 可以提供 DateNode 或 TaskTracker 兩種服務(wù)。 HDFS 對外部客戶機而言， HDFS 就像一個傳統(tǒng)的分級文件系統(tǒng)?？梢詣?chuàng)建、刪除、移動或重命名文件，等等。但是 HDFS 的架構(gòu)是基于一組特定的節(jié)點構(gòu)建的（參見圖 51），這是由它自身的特點決定的。這些節(jié)點包括 NameNode（僅一個），它在 HDFS 內(nèi)部提供元數(shù)據(jù)服務(wù)； DataNode，它為 HDFS 提供存儲塊 。 下圖為 hadoop 集群的簡化視圖 北京寬連十方數(shù)字技術(shù)有限公司 公開 內(nèi)部公開 √ 機密 絕密 圖 51. Hadoop 集群的簡化視圖 存儲在 HDFS 中的文件被分成塊，然后將這些塊復(fù)制到多個計算機中（ DataNode）。這與傳統(tǒng)的 RAID 架構(gòu)大不相同。塊的大?。ㄍǔ? 64MB）和復(fù)制的塊數(shù)量在創(chuàng)建文件時由客戶機決定。 NameNode 可以控制所有文件操作。 HDFS 內(nèi)部的所有通信都基于標(biāo)準(zhǔn)的 TCP/IP 協(xié)議。 HDFS的三個 重要角色 圖 52： HDFS結(jié)構(gòu)示意圖 上 面這個圖很經(jīng)典 ，圖 中展現(xiàn)了整個 HDFS 三個重要角色： NameNode、 DataNode 和 Client。 北京寬連十方數(shù)字技術(shù)有限公司 公開 內(nèi)部公開 √ 機密 絕密 ? NameNode 可以看作是分布式文件系統(tǒng)中的 管理者 ，主要負(fù)責(zé)管理文件系統(tǒng)的命名空間、集群配置信息和存儲塊的復(fù)制等。 NameNode會將文件系統(tǒng)的 Metadata存儲在內(nèi)存 中，這些信息主要包括了文件信息、每一個文件對應(yīng)的文件塊的信息和每一個文件塊在 DataNode的信息等。 ? DataNode 是文件存儲的基本單元，它將 Block存儲在本地文件系統(tǒng)中，保存了 Block的 Metadata，同時周期性地將所有存在的 Block信息發(fā)送給 NameNode。 ? Client 就是需要獲取分布式文件系統(tǒng)文件的應(yīng)用程序。 這里通過三個操作來說明他們之間的交互關(guān)系。 1) 文件寫入 a) Client向 NameNode發(fā)起文件寫入的請求。 b) NameNode根據(jù)文件大小和文件塊配置情況，返回給 Client它所管理部分DataNode的信息。 c) Client將文件劃分為多個 Block，根據(jù) DataNode的地址信息，按順序?qū)懭氲矫恳粋€DataNode塊中。 2) 文件讀取 a) Client向 NameNode發(fā)起文件讀取的請求。 b) NameNode返回文件存儲的 DataNode的信息。 c) Client讀取文件信息。 3) 文件 Block復(fù)制 a) NameNode發(fā)現(xiàn)部分文件的 Block不符合最小復(fù)制數(shù)或者部分 DataNode失效。 b) 通知 DataNode相互復(fù)制 Block。 c) DataNode開始直接相互復(fù)制。 HDFS設(shè) 計特點 下面 說 說 HDFS的幾個設(shè)計特點（對于框架設(shè)計值得借鑒）： 1. Block的放置 默認(rèn)不配置。一個 Block會有三份備份，一份放在 NameNode指定的 DataNode，另一份放在與指定 DataNode非同一 Rack上的 DataNode，最后一份放在與指定 DataNode同一 Rack上的DataNode上。備份無非就是為了數(shù)據(jù)安全，考慮同一 Rack的失敗情況以及不同 Rack之間數(shù)據(jù)拷貝性能問題就采用這種配置方式。 2. 心跳檢測 心跳檢測 DataNode的健康狀況，如果發(fā)現(xiàn)問題就采取數(shù)據(jù)備份的方式來保證數(shù)據(jù)的 安全性。 3. 數(shù)據(jù)復(fù)制 數(shù)據(jù)復(fù)制（場景為 DataNode失敗、需要平衡 DataNode的存儲利用率和需要平衡 DataNode數(shù)據(jù)交互壓力等情況）：這里先說一下，使用 HDFS的 balancer命令，可以配置一個 Threshold來平衡每一個 DataNode磁盤利用率。例如設(shè)置了 Threshold為 10%，那么執(zhí)行 balancer命令的時候，首先統(tǒng)計所有 DataNode的磁盤利用率的均值，然后判斷如果某一個 DataNode的磁盤利用率超過這個均值 Threshold以上，那么將會把這個 DataNode的 block轉(zhuǎn) 移到磁盤利用 北京寬連十方數(shù)字技術(shù)有限公司 公開 內(nèi)部公開 √ 機密 絕密 率低的 DataNode，這對于新節(jié)點的加入來說十分有用。 4. 數(shù)據(jù) 校 驗： 采用 CRC32作數(shù)據(jù)交驗。在文件 Block寫入的時候除了寫入數(shù)據(jù)還會寫入交驗信息，在讀取的時候需要交驗后再讀入。 5. NameNode是單點 如果失敗的話，任務(wù)處理信息將會 記 錄在本地文件系統(tǒng)和遠(yuǎn)端的文件系統(tǒng)中。 6. 數(shù)據(jù)管道性的寫入 當(dāng)客戶端要寫入文件到 DataNode上，首先客戶端讀取一個 Block然后寫到第一個 DataNode上，然后由第一個 DataNode傳遞到備份的 DataNode上，一直到所有需要寫入這個 Block的NataNode都成功寫入，客戶端才會繼續(xù)開始寫下一個 Block。 7. 安全模式 安全模式主要是為了系統(tǒng)啟動的時候檢查各個 DataNode上數(shù)據(jù)塊的有效性，同時根據(jù)策略必要的復(fù)制或者刪除部分?jǐn)?shù)據(jù)塊 。 在分布式文件系統(tǒng)啟動的時候，開始的時候會有安全模式，當(dāng)分布式文件系統(tǒng)處于安全模式的情況下， 文件系統(tǒng)中的內(nèi)容不允許修改也不允許刪除 ，直到安全模式結(jié)束。運行期通過命令也可以進入安全模式。在實踐過程中，系統(tǒng)啟動的時候去修改和刪除文件也會有安全模式不允許修改的出錯提示，只需要等待一會兒即可。 MapReduce 算法介紹 2020年， Google發(fā)表了論文，向全世界介紹了 MapReduce。 2020年初， Nutch的開發(fā)者在 Nutch上有了一個可工作的 MapReduce應(yīng)用 。 53 mapreduce結(jié)構(gòu)示意圖一 北京寬連十方數(shù)字技術(shù)有限公司 公開 內(nèi)部公開 √ 機密 絕密 54 mapreduce結(jié)構(gòu)示意圖二 MapReduce從它名字上來看就大致可以看出個緣由，兩個動詞 Map和 Reduce， “Map（展開） ”就是將一個任務(wù)分解成為多個任務(wù)， “Reduce”就是將分解后多任務(wù)處理的結(jié)果匯總起來，得出最后的分析結(jié)