google云計算原理與應用(2)-文庫吧資料
2025-05-20 17:42本頁面
【正文】 Reduce 架構設計師 Jeffrey Dean 分布式數(shù)據(jù)處理 MapReduce ?產生背景 ?編程模型 ?實現(xiàn)機制 ?案例分析 Map R educe Map Map ? ? 原始數(shù)據(jù) 1 原始數(shù)據(jù) 2 原始數(shù)據(jù) M 結果 1 結果 R R educe MapReduce運行模型 Map函數(shù) —— 對一部分原始數(shù)據(jù)進行指定的操作。 GFS特點有哪些？ GFS特點 采用中心服務器模式 ?可以方便地增加 Chunk Server ? Master掌握系統(tǒng)內所有 Chunk Server的情況，方便進行負載均衡 ?不存在元數(shù)據(jù)的一致性問題 不緩存數(shù)據(jù) ?文件操作大部分是流式讀寫，不存在大量重復讀寫，使用 Cache對性能提高不大 ? Chunk Server上數(shù)據(jù)存取使用本地文件系統(tǒng)，若讀取頻繁，系統(tǒng)具有 Cache ?從可行性看， Cache與實際數(shù)據(jù)的一致性維護也極其復雜 在用戶態(tài)下實現(xiàn) ?利用 POSIX編程接口存取數(shù)據(jù)降低了實現(xiàn)難度，提高通用性 ?POSIX接口提供功能更豐富 ?用戶態(tài)下有多種調試工具 ?Master和 Chunk Server都以進程方式運行，單個進程不影響整個操作系統(tǒng) ?GFS和操作系統(tǒng)運行在不同的空間，兩者耦合性降低 只提供專用接口 ?降低實現(xiàn)的難度 ?對應用提供一些特殊支持 ?降低復雜度 Google文件系統(tǒng) GFS ? 系統(tǒng)架構 ? 容錯機制 ? 系統(tǒng)管理技術 Master容錯 Master Name Space，文件系統(tǒng)目錄結構 Chunk與文件名的映射 Chunk副本的位置信息 (默認有三個副本 ) Name Space，文件系統(tǒng)目錄結構 Chunk與文件名的映射 Chunk副本的位置信息 Master 單個 Master，對于前兩種元數(shù)據(jù)， GFS通過 操作日志 來提供容錯功能 第三種元數(shù)據(jù)信息保存在各個 Chunk Server上， Master故障時，磁盤恢復 GFS還提供了 Master遠程的 實時備份 ,防止 Master徹底死機的情況 Chunk Server容錯 ?采用副本方式實現(xiàn) Chunk Server容錯 ? 每一個 Chunk有多個存儲副本（默認為三個），分布存儲在不同的 Chunk Server上用戶態(tài)的 GFS不會影響 Chunk Server的穩(wěn)定性 ? 副本的分布策略需要考慮多種因素，如網絡的拓撲、機架的
環(huán)評公示相關推薦
鄂ICP備17016276號-1