hadoop分布式文件系統(tǒng)-架構(gòu)和設(shè)計要點(翻譯)(存儲版)
【正文】 目，那么該Datanode就會被認(rèn)為是安全的；如果一定百分比（這個參數(shù)可配置）的數(shù)據(jù)塊檢測確認(rèn)是安全的，那么Namenode將退出SafeMode狀態(tài)，接下來它會確定還有哪些數(shù)據(jù)塊的副本沒有達(dá)到指定數(shù)目，并將這些block復(fù)制到其他Datanode。整個文件系統(tǒng)的namespace，包括block到文件的映射、文件的屬性，都存儲在稱為FsImage的文件中，這個文件也是放在Namenode所在系統(tǒng)的文件系統(tǒng)上。在當(dāng)前實現(xiàn)中，checkpoint只發(fā)生在Namenode啟動時，在不久的將來我們將實現(xiàn)支持周期性的checkpoint。當(dāng)一個Datanode啟動時，它掃描本地文件系統(tǒng)，對這些本地文件產(chǎn)生相應(yīng)的一個所有HDFS數(shù)據(jù)塊的列表，然后發(fā)送報告到Namenode，這個報告就是Blockreport。七、健壯性 每個Datanode節(jié)點都向Namenode周期性地發(fā)送心跳包。 HDFS支持?jǐn)?shù)據(jù)的均衡計劃，如果某個Datanode節(jié)點上的空閑空間低于特定的臨界點，那么就會啟動一個計劃自動地將數(shù)據(jù)從一個Datanode搬移到空閑的Datanode。元數(shù)據(jù)磁盤錯誤這個代價是可以接受的，因為HDFS是數(shù)據(jù)密集的，而非元數(shù)據(jù)密集。 快照支持某個時間的數(shù)據(jù)拷貝，當(dāng)HDFS數(shù)據(jù)損壞的時候，可以恢復(fù)到過去一個已知正確的時間點。一個典型的block大小是64MB，因而，文件總是按照64M切分成chunk，每個chunk存儲于不同的 Datanode步驟當(dāng)文件關(guān)閉時，在臨時文件中剩余的沒有flush的數(shù)據(jù)也會傳輸?shù)街付ǖ腄atanode，然后客戶端告訴Namenode文件已經(jīng)關(guān)閉。相反，HDFS將這個文件重命名，并轉(zhuǎn)移到/trash目錄。 當(dāng)被刪除的文件還保留在/trash目錄中的時候，如果用戶想恢復(fù)這個文件，可以檢索瀏覽/trash目錄并檢索該文件。參考資料：HDFS Java API: HDFS source code: 當(dāng)某個文件的replication因子減小，Namenode會選擇要刪除的過剩的副本。九、可訪問性如果不采用客戶端緩存，由于網(wǎng)絡(luò)速度和網(wǎng)絡(luò)堵塞會對吞估量造成比較大的影響。Namenode將文件名插入文件系統(tǒng)的層次結(jié)構(gòu)中，并且分配一個數(shù)據(jù)塊給它，然后返回Datanode的標(biāo)識符和目標(biāo)數(shù)據(jù)塊給客戶端。這些應(yīng)用都是寫數(shù)據(jù)一次，讀卻是一次到多次，并且讀的速度要滿足流式讀。快照任何對FsImage或者Editlog的修改，都將同步到它們的副本上。當(dāng)某個客戶端創(chuàng)建一個新的HDFS文件，會計算這個文件每個block的校驗和，并作為一個單獨的隱藏文件保存這些校驗和在同一個HDFS namespace下。集群均衡而Datanode是使用DatanodeProtocol與Namenode交互。 Datanode并不在同一個目錄創(chuàng)建所有的文件，相反，它用啟發(fā)式地方法來確定每個目錄的最佳文件數(shù)目，并且在適當(dāng)?shù)臅r候創(chuàng)建子目錄。當(dāng)Namenode啟動時，它從硬盤中讀取Editlog和FsImage，將所有Editlog中的事務(wù)作用（apply)在內(nèi)存中的FsImage ，并將這個新版本的FsImage從
黨政相關(guān)相關(guān)推薦
鄂ICP備17016276號-1