hadoop分布式文件系統(tǒng)-架構(gòu)和設(shè)計要點(翻譯)-資料下載頁
2025-08-04 09:39本頁面
【正文】 64M)，客戶端才會聯(lián)系Namenode。Namenode將文件名插入文件系統(tǒng)的層次結(jié)構(gòu)中，并且分配一個數(shù)據(jù)塊給它，然后返回Datanode的標(biāo)識符和目標(biāo)數(shù)據(jù)塊給客戶端。客戶端將本地臨時文件flush到指定的 Datanode上。當(dāng)文件關(guān)閉時，在臨時文件中剩余的沒有flush的數(shù)據(jù)也會傳輸?shù)街付ǖ腄atanode，然后客戶端告訴Namenode文件已經(jīng)關(guān)閉。此時Namenode才將文件創(chuàng)建操作提交到持久存儲。如果Namenode在文件關(guān)閉前掛了，該文件將丟失。 上述方法是對通過對HDFS上運行的目標(biāo)應(yīng)用認(rèn)真考慮的結(jié)果。如果不采用客戶端緩存，由于網(wǎng)絡(luò)速度和網(wǎng)絡(luò)堵塞會對吞估量造成比較大的影響。流水線復(fù)制 當(dāng)某個客戶端向HDFS文件寫數(shù)據(jù)的時候，一開始是寫入本地臨時文件，假設(shè)該文件的replication因子設(shè)置為3，那么客戶端會從Namenode 獲取一張Datanode列表來存放副本。然后客戶端開始向第一個Datanode傳輸數(shù)據(jù)，第一個Datanode一小部分一小部分（4kb)地接收數(shù)據(jù)，將每個部分寫入本地倉庫，并且同時傳輸該部分到第二個Datanode節(jié)點。第二個Datanode也是這樣，邊收邊傳，一小部分一小部分地收，存儲在本地倉庫，同時傳給第三個Datanode，第三個Datanode就僅僅是接收并存儲了。這就是流水線式的復(fù)制。九、可訪問性 HDFS給應(yīng)用提供了多種訪問方式，可以通過DFSShell通過命令行與HDFS數(shù)據(jù)進(jìn)行交互，可以通過java API調(diào)用，也可以通過C語言的封裝API訪問，并且提供了瀏覽器訪問的方式。正在開發(fā)通過WebDav協(xié)議訪問的方式。具體使用參考文檔。十、空間的回收文件的刪除和恢復(fù) 用戶或者應(yīng)用刪除某個文件，這個文件并沒有立刻從HDFS中刪除。相反，HDFS將這個文件重命名，并轉(zhuǎn)移到/trash目錄。當(dāng)文件還在/trash目錄時，該文件可以被迅速地恢復(fù)。文件在/trash中保存的時間是可配置的，當(dāng)超過這個時間，Namenode就會將該文件從namespace中刪除。文件的刪除，也將釋放關(guān)聯(lián)該文件的數(shù)據(jù)塊。注意到，在文件被用戶刪除和HDFS空閑空間的增加之間會有一個等待時間延遲。 當(dāng)被刪除的文件還保留在/trash目錄中的時候，如果用戶想恢復(fù)這個文件，可以檢索瀏覽/trash目錄并檢索該文件。/trash目錄僅僅保存被刪除文件的最近一次拷貝。/trash目錄與其他文件目錄沒有什么不同，除了一點：HDFS在該目錄上應(yīng)用了一個特殊的策略來自動刪除文件，目前的默認(rèn)策略是刪除保留超過6小時的文件，這個策略以后會定義成可配置的接口。Replication因子的減小 當(dāng)某個文件的replication因子減小，Namenode會選擇要刪除的過剩的副本。下次心跳檢測就將該信息傳遞給Datanode， Datanode就會移除相應(yīng)的block并釋放空間，同樣，在調(diào)用setReplication方法和集群中的空閑空間增加之間會有一個時間延遲。參考資料：HDFS Java API: HDFS source code: 7
黨政相關(guān)相關(guān)推薦
鄂ICP備17016276號-1