google云計算原理與應(yīng)用-文庫吧
2025-04-20 15:26 本頁面
【正文】 S文件系統(tǒng)要解決 Google所面臨的的與眾不同的問題，具有與 Google應(yīng)用負載和技術(shù)環(huán)境相符的特性 Google File System文件系統(tǒng) ? 新特性主要體現(xiàn)在以下四個方面 1. 集群中的節(jié)點失效是一種常態(tài)，而不是一種異常 2. Google系統(tǒng)中的文件大小與通常文件系統(tǒng)中的文件大小概念不一樣，文件大小通常以 G字節(jié)計 3. Google文件系統(tǒng)中的文件讀寫模式和傳統(tǒng)的文件系統(tǒng)不同 4. 文件系統(tǒng)的某些具體操作不再透明，而且需要應(yīng)用程序的協(xié)助完成，應(yīng)用程序和文件系統(tǒng) API的協(xié)同設(shè)計提高了整個系統(tǒng)的靈活性 Google File System文件系統(tǒng) ? 系統(tǒng)架構(gòu) ： ? 客戶端（ Client)：應(yīng)用程序的訪問接口 ? 主服務(wù)器（ Master）：管理節(jié)點，在邏輯上只有一個，保存系統(tǒng)的元數(shù)據(jù)，負責整個系統(tǒng)的管理 ? 數(shù)據(jù)塊服務(wù)器（ Chunk Sever）：負責具體的存儲工作 Google File System文件系統(tǒng) ? 實現(xiàn)機制： 1. 客戶端首先訪問 Master節(jié)點，獲取交互的 Chunk Server信息，然后訪問這些 Chunk Server，完成數(shù)據(jù)存取工作。這種設(shè)計方法實現(xiàn)了控制流和數(shù)據(jù)流的分離。 2. Client與 Master之間只有控制流，而無數(shù)據(jù)流，極大地降低了 Master的負載。 3. Client與 Chunk Server之間直接傳輸數(shù)據(jù)流，同時由于文件被分成多個 Chunk進行分布式存儲，Client可以同時訪問多個 Chunk Server，從而使得整個系統(tǒng)的 I/O高度并行，系統(tǒng)整體性能得到提高。 MapReduce分布式數(shù)據(jù)處理 ? MapReduce – Google提出的一個軟件架構(gòu)，是一種處理海量數(shù)據(jù)的并行編程模式 – 用于大規(guī)模數(shù)據(jù)集（通常大于 1TB）的并行運算 ? MapRed
高考資料相關(guān)推薦
鄂ICP備17016276號-1