【正文】 2020年初， Nutch的開發(fā)者在 Nutch上有了一個可工作的 MapReduce應(yīng)用 。在實踐過程中，系統(tǒng)啟動的時候去修改和刪除文件也會有安全模式不允許修改的出錯提示，只需要等待一會兒即可。 在分布式文件系統(tǒng)啟動的時候，開始的時候會有安全模式，當(dāng)分布式文件系統(tǒng)處于安全模式的情況下， 文件系統(tǒng)中的內(nèi)容不允許修改也不允許刪除 ，直到安全模式結(jié)束。 6. 數(shù)據(jù)管道性的寫入 當(dāng)客戶端要寫入文件到 DataNode上，首先客戶端讀取一個 Block然后寫到第一個 DataNode上，然后由第一個 DataNode傳遞到備份的 DataNode上，一直到所有需要寫入這個 Block的NataNode都成功寫入，客戶端才會繼續(xù)開始寫下一個 Block。在文件 Block寫入的時候除了寫入數(shù)據(jù)還會寫入交驗信息，在讀取的時候需要交驗后再讀入。例如設(shè)置了 Threshold為 10%，那么執(zhí)行 balancer命令的時候，首先統(tǒng)計所有 DataNode的磁盤利用率的均值，然后判斷如果某一個 DataNode的磁盤利用率超過這個均值 Threshold以上，那么將會把這個 DataNode的 block轉(zhuǎn) 移到磁盤利用 北京寬連十方數(shù)字技術(shù)有限公司 公開 內(nèi)部公開 √ 機(jī)密 絕密 率低的 DataNode，這對于新節(jié)點的加入來說十分有用。 2. 心跳檢測 心跳檢測 DataNode的健康狀況，如果發(fā)現(xiàn)問題就采取數(shù)據(jù)備份的方式來保證數(shù)據(jù)的 安全性。一個 Block會有三份備份，一份放在 NameNode指定的 DataNode，另一份放在與指定 DataNode非同一 Rack上的 DataNode，最后一份放在與指定 DataNode同一 Rack上的DataNode上。 c) DataNode開始直接相互復(fù)制。 3) 文件 Block復(fù)制 a) NameNode發(fā)現(xiàn)部分文件的 Block不符合最小復(fù)制數(shù)或者部分 DataNode失效。 b) NameNode返回文件存儲的 DataNode的信息。 c) Client將文件劃分為多個 Block，根據(jù) DataNode的地址信息，按順序?qū)懭氲矫恳粋€DataNode塊中。 1) 文件寫入 a) Client向 NameNode發(fā)起文件寫入的請求。 ? Client 就是需要獲取分布式文件系統(tǒng)文件的應(yīng)用程序。 NameNode會將文件系統(tǒng)的 Metadata存儲在內(nèi)存 中，這些信息主要包括了文件信息、每一個文件對應(yīng)的文件塊的信息和每一個文件塊在 DataNode的信息等。 HDFS的三個 重要角色 圖 52： HDFS結(jié)構(gòu)示意圖 上 面這個圖很經(jīng)典 ，圖 中展現(xiàn)了整個 HDFS 三個重要角色： NameNode、 DataNode 和 Client。 NameNode 可以控制所有文件操作。這與傳統(tǒng)的 RAID 架構(gòu)大不相同。這些節(jié)點包括 NameNode（僅一個），它在 HDFS 內(nèi)部提供元數(shù)據(jù)服務(wù)； DataNode，它為 HDFS 提供存儲塊 ?？梢詣?chuàng)建、刪除、移動或重命名文件，等等。其中： 1) 主 master 同時提供 NameNode 、 SecondaryNameNode 及 JobTracker 三種服務(wù)； 2) 次 master 只提供 SecondaryNameNode 服務(wù)； 3) 所有 slave 可以提供 DateNode 或 TaskTracker 兩種服務(wù)。最底部是 Hadoop Distributed File System（ HDFS），它存儲 Hadoop 集群中所有存儲節(jié)點上的文件 ， 與 HDFS 相關(guān)的服務(wù)有 NameNode 、SecondaryNameNode 及 DataNode ； HDFS（對于本文）的上一層是 MapReduce 引擎，該引擎由 JobTrackers 和 TaskTrackers 組成 （所以 MapReduce 相關(guān)的服務(wù)有JobTracker 和 TaskTracker 兩種 ） 。 [ ~] hadoop dfsadmin report Configured Capacity: 291104653312 ( GB) Present Capacity: 74432905216 ( GB) DFS Remaining: 74432823296 ( GB) DFS Used: 81920 (80 KB) DFS Used%: 0% Under replicated blocks: 1 Blocks with corrupt replicas: 0 Missing blocks: 0 北京寬連十方數(shù)字技術(shù)有限公司 公開 內(nèi)部公開 √ 機(jī)密 絕密 Datanodes available: 2 (2 total, 0 dead) Name: :50010 Demission Status : Normal Configured Capacity: 37169479680 ( GB) DFS Used: 36864 (36 KB) Non DFS Used: 30097534976 ( GB) DFS Remaining: 7071907840( GB) DFS Used%: 0% DFS Remaining%: % Last contact: Fri Jul 22 15:16:36 CST 2020 Name: :50010 Demission Status : Normal Configured Capacity: 253935173632 ( GB) DFS Used: 45056 (44 KB) Non DFS Used: 186574213120 ( GB) DFS Remaining: 67360915456( GB) DFS Used%: 0% DFS Remaining%: % Last contact: Fri Jul 22 15:16:37 CST 2020 運行的進(jìn)程查看 在 master機(jī)器上通過 ps命令查看，可以看到 namenode/secondarynamenode/jobtracker在運行，如下： [hadoopTEST085 ]$ ps uax |grep ha hadoop 27440 1195576 59428 pts/0 S 14:40 0:05 /usr/local/java/bin/java Dproc_namenode Xmx1000m =/home/hadoop/= =/home/hadoop/ hadoop 17840 1185092 36196 ? S 14:40 0:03 /usr/local/java/bin/java Dproc_secondarynamenode Xmx1000m =/home/hadoop/= 北京寬連十方數(shù)字技術(shù)有限公司 公開 內(nèi)部公開 √ 機(jī)密 絕密 hadoop 18435 1199836 42744 pts/0 S 14:40 0:05 /usr/local/java/bin/java Dproc_jobtracker Xmx1000m =/home/hadoop/= =/home/had [hadoopTEST085 ]$ stat ant |grep 900 tcp 0 0 :9000 :* LISTEN tcp 0 0 :9001 :* LISTEN tcp 0 0 :9000 :64074 ESTABLISHED tcp 0 0 :9001 :5956 ESTABLISHED tcp 0 0 :9000 :49534 ESTABLISHED tcp 0 0 :49534 :9000 ESTABLISHED tcp 0 0 :9000 :34921 ESTABLISHED tcp 0 0 :9001 :34926 ESTABLISHED 在 slaves 機(jī)器上通過 ps 命令可以看到 datanode 和 tasktracher 的進(jìn)程在運行。 在分配的 JobTracker 上，運行下面的命令停止 Map/Reduce： $ bin/ bin/ JobTracker 上 ${HADOOP_CONF_DIR}/slaves 文件的內(nèi)容，在所有列出的 slave 上停止 TaskTracker 守護(hù)進(jìn)程。 在分配的 JobTracker上，運行下面的命令啟動 Map/Reduce： $ bin/ bin/ JobTracker上${HADOOP_CONF_DIR}/slaves文件的內(nèi)容，在所有列出的 slave上啟動 TaskTracker守護(hù)進(jìn)程。 啟動 Hadoop 在 master 結(jié)點 配置用戶環(huán)境變量 ,在 master 結(jié)點 啟動 hadoop 集群程序， 執(zhí)行 bin 目錄下的 [hadoopTEST085 ]$ bin/ starting namenode, logging to /home/hadoop/: starting datanode, logging to /home/hadoop/: starting datanode, logging to /home/hadoop/ 北京寬連十方數(shù)字技術(shù)有限公司 公開 內(nèi)部公開 √ 機(jī)密 絕密 : starting secondarynamenode, logging to /home/hadoop/starting jobtracker, logging to /home/hadoop/: starting tasktracker, logging to /home/hadoop/: starting tasktracker, logging to /home/hadoop/另也可以分步執(zhí)行： 第一步啟動 hdfs； [hadoopTEST085 ]$ bin/ starting namenode, logging to /home/hadoop/: starting datanode, logging to /home/hadoop/: starting datanode, logging to /home/hadoop/ : starting secondarynamenode, logging to /home/hadoop/ 第二步啟動 mapreduce。 下面是三個配置文件示例： [ conf] cat ?xml version=? ?xmlstylesheet type=text/xsl href=? ! Put sitespecific property overrides in this file. configuration property name/name value /property /configuration [ conf] cat ?xml version=? ?xmlstylesheet type=text/xsl href=? ! Put sitespecific property overrides in this file. configuration property 北京寬連十方數(shù)字技術(shù)有限公司 公開 內(nèi)部公開 √ 機(jī)密 絕密 name/name value3/value descriptionDefault block replication. The actual number of replications can be specified when the file is created. The default is used if replication is not specified in create time. /description /property /configuration [ conf] cat ?xml version=? ?xmlstylesheet type=text/xsl href=? ! Put sitespecific property overrides in this file. configuration property n