【正文】 ，因?yàn)檫@說(shuō)明這個(gè)此處有爺，請(qǐng)另尋高就，從而保持了并發(fā)寫入的次序性。此流程依次延續(xù)，直到最后一級(jí)，它發(fā)送回包，反向著逐級(jí)傳遞，再次回到客戶端。然后重新回到上述流程，繼續(xù)前行。HDFS有三類服務(wù)器，每一類服務(wù)器出錯(cuò)了，都有相應(yīng)的應(yīng)急策略。這個(gè)合同有一個(gè)期限，在這個(gè)期限內(nèi)，客戶端可以延長(zhǎng)合同期限，一旦超過(guò)期限，主控服務(wù)器會(huì)強(qiáng)行終止此租約，將這個(gè)文件的享用權(quán)，分配給他人。在HDFS中，主控服務(wù)器NameNode實(shí)現(xiàn)了DatanodeProtocol接口，數(shù)據(jù)服務(wù)器DataNode會(huì)在主循環(huán)中，不停的調(diào)用該協(xié)議中的sendHeartbeat方法，向NameNode匯報(bào)狀況。c. 主控服務(wù)器當(dāng)然，作為整個(gè)系統(tǒng)的核心和單點(diǎn)，含辛茹苦的主控服務(wù)器含淚西去，整個(gè)分布式文件服務(wù)集群將徹底癱瘓罷工。對(duì)于數(shù)據(jù)服務(wù)器而言，它們會(huì)通過(guò)一些手段，迅速得知頂頭上司的更迭消息。在HDFS中，所有日志文件和鏡像文件都是本地文件，這就相當(dāng)于，把日志放在自家的保險(xiǎn)箱中，一旦主控服務(wù)器掛了，別的后繼而上的服務(wù)器也無(wú)法拿到這些日志和鏡像，用于重振雄風(fēng)。然后，在某些時(shí)機(jī)，主控服務(wù)器自己，生成鏡像，降低日志規(guī)模。在主控服務(wù)器上，保存有此時(shí)每個(gè)數(shù)據(jù)塊的版本，一旦出現(xiàn)數(shù)據(jù)服務(wù)器上相關(guān)數(shù)據(jù)塊版本與其不一致，將會(huì)觸發(fā)相關(guān)的恢復(fù)流程。從正確性上看，此算法無(wú)疑是正確的，因?yàn)橹辽儆幸粋€(gè)數(shù)據(jù)服務(wù)器會(huì)發(fā)現(xiàn)此錯(cuò)誤，并拒絕寫入，那么，如果寫入了的，都是正確的；從效率上看，此算法也是高效的，因?yàn)樗苊饬酥貜?fù)的傳輸和復(fù)雜的驗(yàn)證，僅僅是各自刪除尾部的一些內(nèi)容即可。而且，負(fù)載均衡也是一個(gè)復(fù)雜的問(wèn)題，什么是均衡，是一個(gè)很模糊的概念。Balancer類派生于Tool類，這說(shuō)明，它是以一個(gè)獨(dú)立的進(jìn)程存在的，可以獨(dú)立的運(yùn)行和配置。此類垃圾最大的特點(diǎn)，就是主控服務(wù)器是生成垃圾的罪魁禍?zhǔn)?，也就是說(shuō)主控服務(wù)器完全了解有哪些垃圾需要處理。在HDFS的文檔中，則明確表示，在現(xiàn)行的應(yīng)用場(chǎng)景中，沒(méi)有需要這個(gè)需求的地方，因此，直接刪除就完了。在與數(shù)據(jù)服務(wù)器進(jìn)行心跳交流的過(guò)程中，主控服務(wù)器會(huì)將它上面有哪些數(shù)據(jù)塊需要?jiǎng)h除，數(shù)據(jù)服務(wù)器對(duì)這些數(shù)據(jù)塊的態(tài)度是，直接物理刪除。在現(xiàn)實(shí)生活中，我們提倡垃圾分類，為了更好的理解分布式文件系統(tǒng)的垃圾收集，搞個(gè)分類也是很有必要的。具體算法，自行參見源碼。而主控服務(wù)器發(fā)起的時(shí)機(jī)，則是在占有租約的客戶端超出一定時(shí)限沒(méi)有續(xù)簽，這說(shuō)明客戶端可能掛了，在臨死前可能干過(guò)不利于數(shù)據(jù)塊統(tǒng)一的事情，作為監(jiān)督者，主控服務(wù)器需要發(fā)起一場(chǎng)恢復(fù)運(yùn)動(dòng)，確保一切正確。當(dāng)數(shù)據(jù)包傳輸?shù)搅魉€的最后一級(jí)，數(shù)據(jù)服務(wù)器會(huì)對(duì)其進(jìn)行驗(yàn)證（想一想，為什么只在最后一級(jí)做驗(yàn)證，而不是每級(jí)都做...），一旦發(fā)現(xiàn)當(dāng)前的傳輸塊簽名與在客戶端中的簽名不一致，整個(gè)數(shù)據(jù)包的寫入被視為無(wú)效，Lease Recover（租約恢復(fù)）算法被觸發(fā)。在HDFS中，為了保證數(shù)據(jù)的正確性和同一份數(shù)據(jù)的一致性，做了大量的工作。當(dāng)主控服務(wù)器犧牲的時(shí)候，運(yùn)行SecondaryNameNode的服務(wù)器立刻被扶正，在其上啟動(dòng)主控服務(wù)，利用其日志和鏡像，恢復(fù)文件目錄，并逐步接受各數(shù)據(jù)服務(wù)器的注冊(cè)，最終向外提供穩(wěn)定的文件服務(wù)。FSImage是Storage類的子類，如果對(duì)數(shù)據(jù)塊的講述有所印象的話，你可以回憶起來(lái)，凡事從此類派生出來(lái)的東西，都具有版本性質(zhì)，可以進(jìn)行升級(jí)和回滾等等，以此，來(lái)實(shí)現(xiàn)產(chǎn)生鏡像是對(duì)原有日志和鏡像處理的復(fù)雜邏輯。一旦存有鏡像，鏡像前期所寫的日志和其他鏡像，都純屬冗余，其歷史使命已經(jīng)完成，可以報(bào)廢刪除了。它會(huì)提交本地的所有數(shù)據(jù)塊狀況給NameNode，NameNode會(huì)和本地保存的數(shù)據(jù)塊信息比較，決定什么該刪除什么該新增，并將相關(guān)結(jié)果緩存在本地對(duì)應(yīng)的數(shù)據(jù)結(jié)構(gòu)中，等待此服務(wù)器再發(fā)送sendHeartbeat消息過(guò)來(lái)的時(shí)候，依照這些數(shù)據(jù)結(jié)構(gòu)中的內(nèi)容，做出相應(yīng)的DatanodeCommand指令。一旦某數(shù)據(jù)服務(wù)器犧牲了，并且主控服務(wù)器被蒙在鼓中，主控服務(wù)器就會(huì)變相的欺騙客戶端，給它們無(wú)法連接的讀寫服務(wù)器列表，導(dǎo)致它們處處碰壁無(wú)法工作。這種事情當(dāng)然無(wú)法容忍，因此，必須有辦法解決這個(gè)問(wèn)題，辦法就是：租約。服務(wù)器的錯(cuò)誤恢復(fù)在分布式環(huán)境中，哪臺(tái)服務(wù)器犧牲都是常見的事情，犧牲不可怕，可怕的是你都沒(méi)有時(shí)刻準(zhǔn)備好它們會(huì)犧牲。當(dāng)一個(gè)數(shù)據(jù)塊寫滿了之后，客戶端需要向主控服務(wù)器申請(qǐng)追加新的數(shù)據(jù)塊。DFSOutputStream，會(huì)與序列的第一個(gè)數(shù)據(jù)服務(wù)器建立Socket連接，發(fā)送請(qǐng)求頭，然后等待回應(yīng)。在HDFS中，并發(fā)寫入的次序控制，是由主控服務(wù)器來(lái)把握的。當(dāng)讀取開始后，DFSInputStream會(huì)先嘗試從某個(gè)數(shù)據(jù)塊對(duì)應(yīng)的一組數(shù)據(jù)服務(wù)器中選出一個(gè)，進(jìn)行連接。在數(shù)據(jù)服務(wù)器一端，DataNode類中有一個(gè)DataXceiverServer類的實(shí)例，它在一個(gè)單獨(dú)的線程等待請(qǐng)求，一旦接到，就啟動(dòng)一個(gè)DataXceiver的線程，處理此次請(qǐng)求。這樣的設(shè)計(jì)，可以減少通信的次數(shù)，加快操作的執(zhí)行速度。檢查是否有相關(guān)權(quán)限；3. 在指定路徑的INode下，添加子節(jié)點(diǎn)；4. 寫日志。在FSNamesystem中，往往是做一些驗(yàn)證和租約操作，具體的目錄結(jié)構(gòu)操作交由FSDirectory的相應(yīng)函數(shù)來(lái)操作。當(dāng)然，文件讀和寫，是有本質(zhì)區(qū)別的，尤其是在數(shù)據(jù)冗余的情況下，因此，當(dāng)成兩類操作也不足為過(guò)。服務(wù)器間協(xié)議在Hadoop的實(shí)現(xiàn)中，部署了一套R(shí)PC機(jī)制，以此來(lái)實(shí)現(xiàn)各服務(wù)間的通信協(xié)議。而FSVolume提供的接口，都基本上是和Block相關(guān)的。數(shù)據(jù)塊文件存放在數(shù)據(jù)目錄下，它有一個(gè)名為current的根目錄，然后里面有若干個(gè)數(shù)據(jù)塊文件和從dir0dir63的最多64個(gè)的子目錄，子目錄內(nèi)部結(jié)構(gòu)等同于current目錄，依次類推（更詳細(xì)的描述，參見這里）。因此沒(méi)有比較特定的業(yè)務(wù)需求，可以考慮維持此配置...）。這兩個(gè)名字，叫得都有各自的理由，是瞎子摸象各表一面。備份主控服務(wù)器SecondaryNameNode無(wú)備用的主控服務(wù)器，在身后默默的拉取著主控服務(wù)器 的日志，等待主控服務(wù)器犧牲后被扶正。但是，HDFS為了彰顯其不走尋常路的本性，其中的大量術(shù)語(yǔ)，都與GFS截然不同。從內(nèi)部實(shí)現(xiàn)來(lái)看，分布式的系統(tǒng)則不再和普通文件系統(tǒng)一樣負(fù)責(zé)管理本地磁盤，它的文件內(nèi)容和目錄結(jié)構(gòu)都不是存儲(chǔ)在本地磁盤上，而是通過(guò)網(wǎng)絡(luò)傳輸?shù)竭h(yuǎn)端系統(tǒng)上。網(wǎng)上有很多前輩們，做過(guò)Hadoop相關(guān)的源碼剖析工作，我關(guān)注最多的是這里，目前博主已經(jīng)完成了HDFS的剖析工作，Map/Reduce的剖析正火熱進(jìn)行中，更新頻率之高，剖析之詳盡，都是難得一見的，所以，走過(guò)路過(guò)一定不要錯(cuò)過(guò)了。分布式基礎(chǔ)學(xué)習(xí)所謂分布式，在這里，很狹義的指代以Google的三駕馬車，GFS、Map/Reduce、BigTable為框架核心的分布式存儲(chǔ)和計(jì)算系統(tǒng)。如此，一個(gè)看上去不錯(cuò)的黃金搭檔浮出水面，Google的論文 + Hadoop的實(shí)現(xiàn)，順著論文的框架看具體的實(shí)現(xiàn)，用實(shí)現(xiàn)來(lái)進(jìn)一步理解論文的邏輯，看上去至少很美。它包含這兩個(gè)方面的內(nèi)涵，從文件系統(tǒng)的客戶使用的角度來(lái)看，它就是一個(gè)標(biāo)準(zhǔn)的文件系統(tǒng)，提供了一系列API，由此進(jìn)行文件或目錄的創(chuàng)建、移動(dòng)、刪除，以及對(duì)文件的讀寫等操作。Hadoop的分布式文件系統(tǒng)HDFS，基本是按照Google論文中的GFS的架構(gòu)來(lái)實(shí)現(xiàn)的。傳輸塊Chunk無(wú)在每一個(gè)數(shù)據(jù)包中，都會(huì)將數(shù)據(jù)切成更小的塊，每一個(gè)塊配上一個(gè)奇偶校驗(yàn)碼，這樣的塊，就是傳輸塊。存儲(chǔ)目錄結(jié)構(gòu)的主控服務(wù)器，在GFS中稱為Master，在HDFS中稱為NameNode。因?yàn)槿绻?，容易造成熱點(diǎn)的堆疊，大量的操作集中在一臺(tái)數(shù)據(jù)服務(wù)器上，而如果太小的話，附加的