hadoop分布式文件系統(tǒng)-架構(gòu)和設(shè)計要點(翻譯)-展示頁
2024-08-19 09:39本頁面
【正文】 。這個簡單策略設(shè)置可以將副本分布在集群中，有利于組件失敗情況下的負載均衡。一個簡單但沒有優(yōu)化的策略就是將副本存放在單獨的機架上。這個策略實現(xiàn)的短期目標是驗證在生產(chǎn)環(huán)境下的表現(xiàn)，觀察它的行為，構(gòu)建測試和研究的基礎(chǔ)，以便實現(xiàn)更先進的策略。副本的存放，副本的存放是HDFS可靠性和性能的關(guān)鍵。Namenode全權(quán)管理block的復(fù)制，它周期性地從集群中的每個Datanode接收心跳包和一個Blockreport。Replication因子可以在文件創(chuàng)建的時候配置，以后也可以改變。文件的所有block為了容錯都會被復(fù)制。 HDFS被設(shè)計成在一個大集群中可以跨機器地可靠地存儲海量的文件。應(yīng)用可以設(shè)置HDFS保存的文件的副本數(shù)目，文件副本的數(shù)目稱為文件的 replication因子，這個信息也是由Namenode保存。HDFS不支持user quotas和訪問權(quán)限，也不支持鏈接（link)，不過當前的架構(gòu)并不排除實現(xiàn)這些特性。Namenode負責保管和管理所有的HDFS元數(shù)據(jù)，因而用戶數(shù)據(jù)就不需要通過Namenode（也就是說文件數(shù)據(jù)的讀寫是直接在Datanode上）。這個架構(gòu)并不排除一臺機器上跑多個Datanode，不過這比較少見。HDFS采用java語言開發(fā)，因此可以部署在很大范圍的機器上。Datanode在Namenode的指揮下進行block的創(chuàng)建、刪除和復(fù)制。在內(nèi)部，一個文件其實分成一個或多個block，這些block存儲在Datanode集合里。Namenode是一個中心服務(wù)器，負責管理文件系統(tǒng)的namespace和客戶端對文件的訪問。 HDFS采用master/slave架構(gòu)。在異構(gòu)的軟硬件平臺間的可移植性。一個應(yīng)用請求的計算，離它操作的數(shù)據(jù)越近就越高效，這在數(shù)據(jù)達到海量級別的時候更是如此。典型的如MapReduce框架，或者一個web crawler應(yīng)用都很適合這個模型。一個文件經(jīng)過創(chuàng)建、寫，關(guān)閉之后就不需要改變。HDFS以支持大數(shù)據(jù)集合為目標，一個存儲在上面的典型文件大小一般都在千兆至T字節(jié)，一個單一HDFS實例應(yīng)該能支撐數(shù)以千萬計的文件。Hadoop分布式文件系統(tǒng)：架構(gòu)和設(shè)計要點(翻譯)Hadoop分布式文件系統(tǒng)：架構(gòu)和設(shè)計要點(翻譯)一、前提和設(shè)計目標硬件錯誤是常態(tài)，而非異常情況，HDFS可能是有成百上千的server組成，任何一個組件都有可能一直失效，因此錯誤檢測和快速、自動的恢復(fù)是HDFS的核心架構(gòu)目標。跑在HDFS上的應(yīng)用與一般的應(yīng)用不同，它們主要是以流式讀為主，做批量處理；比之關(guān)注數(shù)據(jù)訪問的低延遲問題，更關(guān)鍵的在于數(shù)據(jù)訪問的高吞吐量。 HDFS應(yīng)用對文件要求的是writeonereadmany訪問模型。這一假設(shè)簡化了數(shù)據(jù)一致性問題，使高吞吐量的數(shù)據(jù)訪問成為可能。移動計算的代價比之移動數(shù)據(jù)的代價低。將計算移動到數(shù)據(jù)附近，比之將數(shù)據(jù)移動到應(yīng)用所在顯然更好，HDFS提供給應(yīng)用這樣的接口。二、Namenode和Datanode一個HDFS集群是有一個Namenode和一定數(shù)目的Datanode組成。Datanode在集群中一般是一個節(jié)點一個，負責管理節(jié)點上它們附帶的存儲。Namenode執(zhí)行
黨政相關(guān)相關(guān)推薦
鄂ICP備17016276號-1