google論文二google文件系統(tǒng)下(已修改)
2025-05-23 19:36 本頁面
【正文】 google 論文二 Google 文件系統(tǒng) 下 轉(zhuǎn)載請注明：作者 phylips@bmy 在這一節(jié)，我們用一些小規(guī)模的測試來展示 GFS 架構(gòu)和實現(xiàn)固有的一些瓶頸，有一些數(shù)字來源于 google 的實際集群。 小規(guī)模測試 我們在一個由一個 master，兩個 master 備份， 16 個 chunkserver， 16 個client 組成的 GFS 集群上進行了性能測量。這個配置是為了方便測試，實際中的集群通常會有數(shù)百個 chunkserver，數(shù)百個 client。 所有機器的配置是，雙核 PIII 處理器， 2GB 內(nèi)存，兩個 80G，5400rpm 硬盤，以及 100Mbps 全雙工以太網(wǎng)連接到 HP2524 交換機。所有 19 個GFS 服務器連接在一個交換機，所有 16 個客戶端連接在另一個上。兩個交換機用 1Gbps 的線路連接。 讀操作 N 個客戶端從文件系統(tǒng)中并發(fā)讀。每個客戶端在一個 320GB 的文件集合里隨機 4MB 進行讀取。然后重復 256 次，這樣每個客戶端實際上讀取了 1GB 數(shù)據(jù)。Chunkserver 總共只有 32GB 內(nèi)存，因此我們估計在 linux 的 buffer cache 里最多有 10%的命中率。我們的結(jié)果應該很接近一個幾乎無緩存的結(jié)果。 圖 3(a)展示了對于 N 個客戶端的總的讀取速率以及它的理論上的極限。當2 個交換機通過一個 1Gbps 的鏈路連接時，它的極限峰值是 125MB/s，客戶端通過 100Mbps 連接，那么換成單個客戶端的極限就是 。當只有一個客戶端在讀取時，觀察到的讀取速率是 10MB/s，達到了單個客戶端極限的 80%。當16 個讀取者時，總的讀取速率的 94 MB/s，大概達到了鏈路極限 (125MB/s)的75%，換成單個客戶端就是 6 MB/s。效率從 80%降到了 75%，是因為伴隨著讀取者的增加，多個讀者從同一個 chunkserver 并發(fā)讀數(shù)據(jù)的概率也隨之變大。 寫操作 N 個客戶端并行向 N 個不同的文件寫數(shù)據(jù)。每個客戶端以 1MB 的單個寫操作總共向一個新文件寫入 1GB 數(shù)據(jù)?？偟膶懰俾室约八睦碚撋系臉O限如圖3(b)所示。極限值變成了 67 MB/s，是因為我們需要將每個字節(jié)寫入到 16 個chunkserver 中的 3 個，每個具有 。 單個客戶端的寫入速率是 MB/s，大概是極限值的一半。主要原因是我們的網(wǎng)絡協(xié)議棧。它不能充分利用 我們用于 chunk 副本數(shù)據(jù)推送的流水線模式。將數(shù)據(jù)從一個副本傳遞到另一個副本的延遲降低了整體的寫速率。 對于 16 個客戶端，總體的寫入速率達到了 35 MB/s，平均每個客戶端 MB/s,大概是理論極限的一半。與寫操作類似，伴隨著寫者的增加，多個寫者從同一個 chunkserver 并發(fā)寫數(shù)據(jù)的概率也隨之變大。另外對于 16 個寫者比 16個讀者更容易產(chǎn)生碰撞，因為每個寫者將關聯(lián)到 3 個不同的副本。 寫者比我們期望的要慢。在實際中，這還末變成一個主要問題，因為盡管它可能增加單個客戶端的延時，但是當系統(tǒng)面對大量客戶端時 ，其總的寫入帶寬并沒有顯著的影響。 記錄追加 圖 3(c)展示了 record append 的性能。 N 個客戶端向單個文件并行的append。性能取決于保存了該文件最后那個 chunk 的那些 chunkserver，與客戶端的數(shù)目無關。當只有一個客戶端時，能達到 ，當有 16 個客戶端時就降到了 MB/s。主要是由于擁塞以及不同的客戶端的網(wǎng)絡傳輸速率不同造成的。 我們的應用程序傾向于并行創(chuàng)建多個這樣的文件。換句話說， N 個客戶端向 M 個共享文件并行 append，在這里 N 和 M 通常是幾十甚至幾百大小。 因此在我們的實驗中出現(xiàn)的 chunkserver 的網(wǎng)絡擁塞問題在實際中并不是一個顯著的問題，因為當一個文件的 chunkserver 比較繁忙的時候，它可以去寫另一個。 現(xiàn)實的集群 我們選擇在 google 內(nèi)部使用的兩個集群進行測試作為相似的那些集群的一個代表。集群 A 主要用于 100 多個工程的日常研發(fā)。它會從數(shù) TB 的數(shù)據(jù)中讀取數(shù) MB 的數(shù)據(jù)，對這些數(shù)據(jù)進行轉(zhuǎn)化
高考資料相關推薦
鄂ICP備17016276號-1