【導(dǎo)讀】為什么要選擇Hadoop？

　　

【正文】 % Under replicated blocks: 1 Blocks with corrupt replicas: 0 Missing blocks: 0 北京寬連十方數(shù)字技術(shù)有限公司 公開 內(nèi)部公開 √ 機(jī)密 絕密 Datanodes available: 2 (2 total, 0 dead) Name: :50010 Demission Status : Normal Configured Capacity: 37169479680 ( GB) DFS Used: 36864 (36 KB) Non DFS Used: 30097534976 ( GB) DFS Remaining: 7071907840( GB) DFS Used%: 0% DFS Remaining%: % Last contact: Fri Jul 22 15:16:36 CST 2020 Name: :50010 Demission Status : Normal Configured Capacity: 253935173632 ( GB) DFS Used: 45056 (44 KB) Non DFS Used: 186574213120 ( GB) DFS Remaining: 67360915456( GB) DFS Used%: 0% DFS Remaining%: % Last contact: Fri Jul 22 15:16:37 CST 2020 運(yùn)行的進(jìn)程查看 在 master機(jī)器上通過(guò) ps命令查看，可以看到 namenode/secondarynamenode/jobtracker在運(yùn)行，如下： [hadoop@TEST085 ]$ ps uax |grep ha hadoop 27440 1195576 59428 pts/0 S 14:40 0:05 /usr/local/java/bin/java Dproc_namenode Xmx1000m =/home/hadoop/= =/home/hadoop/ hadoop 17840 1185092 36196 ? S 14:40 0:03 /usr/local/java/bin/java Dproc_secondarynamenode Xmx1000m =/home/hadoop/= 北京寬連十方數(shù)字技術(shù)有限公司 公開 內(nèi)部公開 √ 機(jī)密 絕密 hadoop 18435 1199836 42744 pts/0 S 14:40 0:05 /usr/local/java/bin/java Dproc_jobtracker Xmx1000m =/home/hadoop/= =/home/had [hadoop@TEST085 ]$ stat ant |grep 900 tcp 0 0 :9000 :* LISTEN tcp 0 0 :9001 :* LISTEN tcp 0 0 :9000 :64074 ESTABLISHED tcp 0 0 :9001 :5956 ESTABLISHED tcp 0 0 :9000 :49534 ESTABLISHED tcp 0 0 :49534 :9000 ESTABLISHED tcp 0 0 :9000 :34921 ESTABLISHED tcp 0 0 :9001 :34926 ESTABLISHED 在 slaves 機(jī)器上通過(guò) ps 命令可以看到 datanode 和 tasktracher 的進(jìn)程在運(yùn)行。 [hadoop@DBSERVER /]$ ps aux |grep ha hadoop 11127 1179584 32656 ? S 14:41 0:04 /usr/local/java/bin/java Dproc_datanode Xmx1000m server =/home/hadoop/= =/hom hadoop 11215 1188132 35660 ? S 14:42 0:02 /usr/local/java/bin/java Dproc_tasktracker Xmx1000m =/home/hadoop/= 北京寬連十方數(shù)字技術(shù)有限公司 公開 內(nèi)部公開 √ 機(jī)密 絕密 =/home/hadoop/Dhadoo [hadoop@DBSERVER /]$ stat ant |grep 900 tcp 0 0 :34921 :9000 ESTABLISHED tcp 0 0 :34926 :9001 ESTABLISHED 5 架構(gòu)分析 【 架構(gòu)詳情請(qǐng)參考： Hadoop 有許多元素構(gòu)成。最底部是 Hadoop Distributed File System（ HDFS），它存儲(chǔ) Hadoop 集群中所有存儲(chǔ)節(jié)點(diǎn)上的文件 ， 與 HDFS 相關(guān)的服務(wù)有 NameNode 、SecondaryNameNode 及 DataNode ； HDFS（對(duì)于本文）的上一層是 MapReduce 引擎，該引擎由 JobTrackers 和 TaskTrackers 組成 （所以 MapReduce 相關(guān)的服務(wù)有JobTracker 和 TaskTracker 兩種 ） 。 Hadoop 集群中有兩種角色： master 與 slave， master 又分為主 master 與次 master。其中： 1) 主 master 同時(shí)提供 NameNode 、 SecondaryNameNode 及 JobTracker 三種服務(wù)； 2) 次 master 只提供 SecondaryNameNode 服務(wù)； 3) 所有 slave 可以提供 DateNode 或 TaskTracker 兩種服務(wù)。 HDFS 對(duì)外部客戶機(jī)而言， HDFS 就像一個(gè)傳統(tǒng)的分級(jí)文件系統(tǒng)?？梢詣?chuàng)建、刪除、移動(dòng)或重命名文件，等等。但是 HDFS 的架構(gòu)是基于一組特定的節(jié)點(diǎn)構(gòu)建的（參見圖 51），這是由它自身的特點(diǎn)決定的。這些節(jié)點(diǎn)包括 NameNode（僅一個(gè)），它在 HDFS 內(nèi)部提供元數(shù)據(jù)服務(wù)； DataNode，它為 HDFS 提供存儲(chǔ)塊 。 下圖為 hadoop 集群的簡(jiǎn)化視圖 北京寬連十方數(shù)字技術(shù)有限公司 公開 內(nèi)部公開 √ 機(jī)密 絕密 圖 51. Hadoop 集群的簡(jiǎn)化視圖 存儲(chǔ)在 HDFS 中的文件被分成塊，然后將這些塊復(fù)制到多個(gè)計(jì)算機(jī)中（ DataNode）。這與傳統(tǒng)的 RAID 架構(gòu)大不相同。塊的大?。ㄍǔ? 64MB）和復(fù)制的塊數(shù)量在創(chuàng)建文件時(shí)由客戶機(jī)決定。 NameNode 可以控制所有文件操作。 HDFS 內(nèi)部的所有通信都基于標(biāo)準(zhǔn)的 TCP/IP 協(xié)議。 HDFS的三個(gè) 重要角色 圖 52： HDFS結(jié)構(gòu)示意圖 上 面這個(gè)圖很經(jīng)典 ，圖 中展現(xiàn)了整個(gè) HDFS 三個(gè)重要角色： NameNode、 DataNode 和 Client。 北京寬連十方數(shù)字技術(shù)有限公司 公開 內(nèi)部公開 √ 機(jī)密 絕密 ? NameNode 可以看作是分布式文件系統(tǒng)中的 管理者 ，主要負(fù)責(zé)管理文件系統(tǒng)的命名空間、集群配置信息和存儲(chǔ)塊的復(fù)制等。 NameNode會(huì)將文件系統(tǒng)的 Metadata存儲(chǔ)在內(nèi)存 中，這些信息主要包括了文件信息、每一個(gè)文件對(duì)應(yīng)的文件塊的信息和每一個(gè)文件塊在 DataNode的信息等。 ? DataNode 是文件存儲(chǔ)的基本單元，它將 Block存儲(chǔ)在本地文件系統(tǒng)中，保存了 Block的 Metadata，同時(shí)周期性地將所有存在的 Block信息發(fā)送給 NameNode。 ? Client 就是需要獲取分布式文件系統(tǒng)文件的應(yīng)用程序。 這里通過(guò)三個(gè)操作來(lái)說(shuō)明他們之間的交互關(guān)系。 1) 文件寫入 a) Client向 NameNode發(fā)起文件寫入的請(qǐng)求。 b) NameNode根據(jù)文件大小和文件塊配置情況，返回給 Client它所管理部分DataNode的信息。 c) Client將文件劃分為多個(gè) Block，根據(jù) DataNode的地址信息，按順序?qū)懭氲矫恳粋€(gè)DataNode塊中。 2) 文件讀取 a) Client向 NameNode發(fā)起文件讀取的請(qǐng)求。 b) NameNode返回文件存儲(chǔ)的 DataNode的信息。 c) Client讀取文件信息。 3) 文件 Block復(fù)制 a) NameNode發(fā)現(xiàn)部分文件的 Block不符合最小復(fù)制數(shù)或者部分 DataNode失效。 b) 通知 DataNode相互復(fù)制 Block。 c) DataNode開始直接相互復(fù)制。 HDFS設(shè) 計(jì)特點(diǎn) 下面 說(shuō) 說(shuō) HDFS的幾個(gè)設(shè)計(jì)特點(diǎn)（對(duì)于框架設(shè)計(jì)值得借鑒）： 1. Block的放置 默認(rèn)不配置。一個(gè) Block會(huì)有三份備份，一份放在 NameNode指定的 DataNode，另一份放在與指定 DataNode非同一 Rack上的 DataNode，最后一份放在與指定 DataNode同一 Rack上的DataNode上。備份無(wú)非就是為了數(shù)據(jù)安全，考慮同一 Rack的失敗情況以及不同 Rack之間數(shù)據(jù)拷貝性能問(wèn)題就采用這種配置方式。 2. 心跳檢測(cè) 心跳檢測(cè) DataNode的健康狀況，如果發(fā)現(xiàn)問(wèn)題就采取數(shù)據(jù)備份的方式來(lái)保證數(shù)據(jù)的 安全性。 3. 數(shù)據(jù)復(fù)制 數(shù)據(jù)復(fù)制（場(chǎng)景為 DataNode失敗、需要平衡 DataNode的存儲(chǔ)利用率和需要平衡 DataNode數(shù)據(jù)交互壓力等情況）：這里先說(shuō)一下，使用 HDFS的 balancer命令，可以配置一個(gè) Threshold來(lái)平衡每一個(gè) DataNode磁盤利用率。例如設(shè)置了 Threshold為 10%，那么執(zhí)行 balancer命令的時(shí)候，首先統(tǒng)計(jì)所有 DataNode的磁盤利用率的均值，然后判斷如果某一個(gè) DataNode的磁盤利用率超過(guò)這個(gè)均值 Threshold以上，那么將會(huì)把這個(gè) DataNode的 block轉(zhuǎn) 移到磁盤利用 北京寬連十方數(shù)字技術(shù)有限公司 公開 內(nèi)部公開 √ 機(jī)密 絕密 率低的 DataNode，這對(duì)于新節(jié)點(diǎn)的加入來(lái)說(shuō)十分有用。 4. 數(shù)據(jù) 校 驗(yàn)： 采用 CRC32作數(shù)據(jù)交驗(yàn)。在文件 Block寫入的時(shí)候除了寫入數(shù)據(jù)還會(huì)寫入交驗(yàn)信息，在讀取的時(shí)候需要交驗(yàn)后再讀入。 5. NameNode是單點(diǎn) 如果失敗的話，任務(wù)處理信息將會(huì) 記 錄在本地文件系統(tǒng)和遠(yuǎn)端的文件系統(tǒng)中。 6. 數(shù)據(jù)管道性的寫入 當(dāng)客戶端要寫入文件到 DataNode上，首先客戶端讀取一個(gè) Block然后寫到第一個(gè) DataNode上，然后由第一個(gè) DataNode傳遞到備份的 DataNode上，一直到所有需要寫入這個(gè) Block的NataNode都成功寫入，客戶端才會(huì)繼續(xù)開始寫下一個(gè) Block。 7. 安全模式 安全模式主要是為了系統(tǒng)啟動(dòng)的時(shí)候檢查各個(gè) DataNode上數(shù)據(jù)塊的有效性，同時(shí)根據(jù)策略必要的復(fù)制或者刪除部分?jǐn)?shù)據(jù)塊 。 在分布式文件系統(tǒng)啟動(dòng)的時(shí)候，開始的時(shí)候會(huì)有安全模式，當(dāng)分布式文件系統(tǒng)處于安全模式的情況下， 文件系統(tǒng)中的內(nèi)容不允許修改也不允許刪除 ，直到安全模式結(jié)束。運(yùn)行期通過(guò)命令也可以進(jìn)入安全模式。在實(shí)踐過(guò)程中，系統(tǒng)啟動(dòng)的時(shí)候去修改和刪除文件也會(huì)有安全模式不允許修改的出錯(cuò)提示，只需要等待一會(huì)兒即可。 MapReduce 算法介紹 2020年， Google發(fā)表了論文，向全世界介紹了 MapReduce。 2020年初， Nutch的開發(fā)者在 Nutch上有了一個(gè)可工作的 MapReduce應(yīng)用 。 53 mapreduce結(jié)構(gòu)示意圖一 北京寬連十方數(shù)字技術(shù)有限公司 公開 內(nèi)部公開 √ 機(jī)密 絕密 54 mapreduce結(jié)構(gòu)示意圖二 MapReduce從它名字上來(lái)看就大致可以看出個(gè)緣由，兩個(gè)動(dòng)詞 Map和 Reduce， “Map（展開） ”就是將一個(gè)任務(wù)分解成為多個(gè)任務(wù)， “Reduce”就是將分解后多任務(wù)處理的結(jié)果匯總起來(lái)，得出最后的分