google論文二google文件系統(tǒng)下-資料下載頁
2025-05-07 19:36本頁面
【正文】 久化。因此我們可以通過類似于 Harp 里的主 copy 模式來提供一個比我們當前模式具有更強一致性的高可用性。 我們未來將解決類似于 Lustre 的一個問題：大量客戶端的整體性能。然而我們通過專注于我們自己的需求而不是構建一個 POSIX 兼容文件系統(tǒng)來簡化了這個問題。另外， GFS 加速不可靠組件的數(shù)量是很大的，因此容錯是我們設計的中心。 GFS 很類似于 NASD 架構。但是 NASD 是基于網(wǎng)絡連接的硬盤驅動器， GFS 則使用普通機器作為 chunkserver。與 NASD 不同， chunkserver 在需要時分配固定大小的 chunk，而沒有使用變長對象。此外， GFS 還實現(xiàn)了諸如重平衡，副本，產品環(huán)境需要的快速恢復。 不像 Minnesota39。s GFS 和 NASD，我們并沒有尋求改變存儲設備的模型。我們更專注于解決使用現(xiàn)有商品化組件組成的復雜分布式系統(tǒng)的日常的數(shù)據(jù)處理需求。 通過在生產者消費者隊列中使用原子 record append 操作解決了與分布式操作系統(tǒng) River 的類似問題。 River 使用基于內存的跨機器分布式隊列以及小心的數(shù)據(jù)流控制來解決這個問題，而 GFS 只使用了一個可以被很多生產 者append 數(shù)據(jù)的文件。 River 模型支持 m to n 的分布式隊列，但是缺乏容錯，GFS 目前只支持 m to 1。多個消費者可以讀取相同文件，但是它們必須協(xié)調好對輸入負載進行劃分 (各自處理不相交的一部分 )。 GFS 包含了那些在商品化硬件上支持大規(guī)模數(shù)據(jù)處理的必要特征。盡管某些設計決定與我們特殊的應用類型相關，但是可以應用在具有類似需求和特征的數(shù)據(jù)處理任務中。 針對我們當前的應用負載類型，我們重新審視傳統(tǒng)的文件系統(tǒng)的一些假設。我們的審視，使得我們的設計中產生了一些與之根本不同的觀點。我們將組件失敗看 做常態(tài)而不是異常，為經常進行的在大文件上的 append 進行優(yōu)化，然后是讀 (通常是順序的 )，為了改進整個系統(tǒng)我們擴展并且放松了標準文件系統(tǒng)接口。 我們的系統(tǒng)通過監(jiān)控，備份關鍵數(shù)據(jù)，快速和自動恢復來提供容錯。 Chunk備份使得我們可以容忍 chunkserver 的失敗。這些經常性的失敗，驅動了一個優(yōu)雅的在線修復機制的產生，它周期性地透明的進行修復盡快的恢復那些丟失的副本。另外，我們通過使用校驗和來檢測數(shù)據(jù)損壞，當系統(tǒng)中硬盤數(shù)目很大的時候，這種損壞變得很正常。 我們的設計實現(xiàn)了對于很多執(zhí)行大量任務的并發(fā)讀者和寫者的 高吞吐率。通過從數(shù)據(jù)傳輸中分離文件系統(tǒng)控制，我們來實現(xiàn)這個目標，讓 master 來處理文件系統(tǒng)控制，數(shù)據(jù)傳輸則直接在 chunkserver 和客戶端之間進行。通過增大chunk 的大小以及 chunk 的租約機制，降低了 master 在普通操作中的參與。這使中央的 master 不會成為瓶頸。我們相信在當前網(wǎng)絡協(xié)議棧上的改進將會提供客戶端寫出速率的限制。 GFS 成功地滿足了我們的存儲需求，同時除了作為產品數(shù)據(jù)處理平臺外，還作為研發(fā)的存儲平臺而被廣泛使用。它是一個使我們可以持續(xù)創(chuàng)新以及面對整個 web 的海量數(shù)據(jù)挑戰(zhàn)的重要工具。 致謝 … . 作者： liurong 198426 發(fā)表于 20210507 11： 08 原文鏈接 評論： 0 查看評論發(fā)表評論 最新新聞： 傳藝電已開始測試微軟新款 Xbox 游戲機 (20210507 11： 14) 互聯(lián)網(wǎng)美股泡沫瀕臨破滅美國做空勢力已占上風 (20210507 11： 10) Chrome 網(wǎng)上應用店多國語言版悄然上線 (20210507 09： 50) 大量 Ubuntu 版 Chrome/Chromium 用戶反映不能安裝任何擴展 (20210507 09： 49) 英國記者 Twitter 消息將受監(jiān)管 (20210507 09： 46) 編輯推薦： Mono 有麻煩 ? 網(wǎng)站導航：博客園首頁我的園子新聞閃存小組博問知識庫 特別聲明： 1：資料來源于互聯(lián)網(wǎng)，版權歸屬原作者 2：資料內容屬于網(wǎng)絡意見，與本賬號立場無關 3：如有侵權，請告知，立即刪除。
高考資料相關推薦
鄂ICP備17016276號-1