hadoop分布式文件系統(tǒng)-架構(gòu)和設(shè)計(jì)要點(diǎn)(翻譯)-資料下載頁(yè)
2025-08-04 09:39本頁(yè)面
【正文】 64M)，客戶(hù)端才會(huì)聯(lián)系Namenode。Namenode將文件名插入文件系統(tǒng)的層次結(jié)構(gòu)中，并且分配一個(gè)數(shù)據(jù)塊給它，然后返回Datanode的標(biāo)識(shí)符和目標(biāo)數(shù)據(jù)塊給客戶(hù)端?？蛻?hù)端將本地臨時(shí)文件flush到指定的 Datanode上。當(dāng)文件關(guān)閉時(shí)，在臨時(shí)文件中剩余的沒(méi)有flush的數(shù)據(jù)也會(huì)傳輸?shù)街付ǖ腄atanode，然后客戶(hù)端告訴Namenode文件已經(jīng)關(guān)閉。此時(shí)Namenode才將文件創(chuàng)建操作提交到持久存儲(chǔ)。如果Namenode在文件關(guān)閉前掛了，該文件將丟失。 上述方法是對(duì)通過(guò)對(duì)HDFS上運(yùn)行的目標(biāo)應(yīng)用認(rèn)真考慮的結(jié)果。如果不采用客戶(hù)端緩存，由于網(wǎng)絡(luò)速度和網(wǎng)絡(luò)堵塞會(huì)對(duì)吞估量造成比較大的影響。流水線(xiàn)復(fù)制 當(dāng)某個(gè)客戶(hù)端向HDFS文件寫(xiě)數(shù)據(jù)的時(shí)候，一開(kāi)始是寫(xiě)入本地臨時(shí)文件，假設(shè)該文件的replication因子設(shè)置為3，那么客戶(hù)端會(huì)從Namenode 獲取一張Datanode列表來(lái)存放副本。然后客戶(hù)端開(kāi)始向第一個(gè)Datanode傳輸數(shù)據(jù)，第一個(gè)Datanode一小部分一小部分（4kb)地接收數(shù)據(jù)，將每個(gè)部分寫(xiě)入本地倉(cāng)庫(kù)，并且同時(shí)傳輸該部分到第二個(gè)Datanode節(jié)點(diǎn)。第二個(gè)Datanode也是這樣，邊收邊傳，一小部分一小部分地收，存儲(chǔ)在本地倉(cāng)庫(kù)，同時(shí)傳給第三個(gè)Datanode，第三個(gè)Datanode就僅僅是接收并存儲(chǔ)了。這就是流水線(xiàn)式的復(fù)制。九、可訪(fǎng)問(wèn)性 HDFS給應(yīng)用提供了多種訪(fǎng)問(wèn)方式，可以通過(guò)DFSShell通過(guò)命令行與HDFS數(shù)據(jù)進(jìn)行交互，可以通過(guò)java API調(diào)用，也可以通過(guò)C語(yǔ)言的封裝API訪(fǎng)問(wèn)，并且提供了瀏覽器訪(fǎng)問(wèn)的方式。正在開(kāi)發(fā)通過(guò)WebDav協(xié)議訪(fǎng)問(wèn)的方式。具體使用參考文檔。十、空間的回收文件的刪除和恢復(fù) 用戶(hù)或者應(yīng)用刪除某個(gè)文件，這個(gè)文件并沒(méi)有立刻從HDFS中刪除。相反，HDFS將這個(gè)文件重命名，并轉(zhuǎn)移到/trash目錄。當(dāng)文件還在/trash目錄時(shí)，該文件可以被迅速地恢復(fù)。文件在/trash中保存的時(shí)間是可配置的，當(dāng)超過(guò)這個(gè)時(shí)間，Namenode就會(huì)將該文件從namespace中刪除。文件的刪除，也將釋放關(guān)聯(lián)該文件的數(shù)據(jù)塊。注意到，在文件被用戶(hù)刪除和HDFS空閑空間的增加之間會(huì)有一個(gè)等待時(shí)間延遲。 當(dāng)被刪除的文件還保留在/trash目錄中的時(shí)候，如果用戶(hù)想恢復(fù)這個(gè)文件，可以檢索瀏覽/trash目錄并檢索該文件。/trash目錄僅僅保存被刪除文件的最近一次拷貝。/trash目錄與其他文件目錄沒(méi)有什么不同，除了一點(diǎn)：HDFS在該目錄上應(yīng)用了一個(gè)特殊的策略來(lái)自動(dòng)刪除文件，目前的默認(rèn)策略是刪除保留超過(guò)6小時(shí)的文件，這個(gè)策略以后會(huì)定義成可配置的接口。Replication因子的減小 當(dāng)某個(gè)文件的replication因子減小，Namenode會(huì)選擇要?jiǎng)h除的過(guò)剩的副本。下次心跳檢測(cè)就將該信息傳遞給Datanode， Datanode就會(huì)移除相應(yīng)的block并釋放空間，同樣，在調(diào)用setReplication方法和集群中的空閑空間增加之間會(huì)有一個(gè)時(shí)間延遲。參考資料：HDFS Java API: HDFS source code: 7
黨政相關(guān)相關(guān)推薦
鄂ICP備17016276號(hào)-1