google云計(jì)算原理-分布式鎖服務(wù)chubby(已修改)
2025-05-08 08:50 本頁面
【正文】 電子工業(yè)出版社 劉鵬主編 《 云計(jì)算 》 教材配套課件 4 概念回顧 Google云計(jì)算背景 分布式文件系統(tǒng) GFS 并行數(shù)據(jù)處理模型 MapReduce 分布式鎖服務(wù) Chubby 分布式數(shù)據(jù)庫 BigTable Google AppEngine Google云計(jì)算技術(shù)小結(jié) 課程回顧 3 GFS的容錯措施有哪些？ ? GFS的容錯機(jī)制 ? Chunk Server容錯 ? 每個 Chunk有多個存儲副本（通常是 3個），分別存儲于不通的服務(wù)器上 ? 每個 Chunk又劃分為若干 Block（ 64KB），每個 Block對應(yīng)一個 32bit的校驗(yàn)碼，保證數(shù)據(jù)正確（若某個 Block錯誤，則轉(zhuǎn)移至其他 Chunk副本） ? Master容錯（影子節(jié)點(diǎn)熱備） ? 三類元數(shù)據(jù)：命名空間（目錄結(jié)構(gòu)）、 Chunk與文件名的映射以及 Chunk副本的位置信息 ? 前兩類通過日志提供容錯， Chunk副本信息存儲于 Chunk Server， Master出現(xiàn)故障時可恢復(fù) 5 處理流程 分片方式 ? MapReduce處理流程中 各類文件的存儲位置在哪 里？ ? MapReduce的容錯方法？ ? MapReduce的處理優(yōu)化 方法？ ? MapReduce僅能對 GFS之上的文件進(jìn)行處理嗎？ ? 所有步驟均可控，可靈活處理各類分布式問題 ? 除了排序，新增兩道題目 ? 使用 MapReduce實(shí)現(xiàn)倒排索引 ? 輸入： 100個文本文檔 ? 輸出：倒排索引 ? 任務(wù) ? 實(shí)現(xiàn)算法，給出數(shù)據(jù)結(jié)構(gòu)描述、執(zhí)行過程描述等 ? 作業(yè)要求同?排序? ? 要求盡可能提高執(zhí)行效率，節(jié)約網(wǎng)絡(luò) IO帶寬 ? 除了排序，新增兩道題目 ? 使用 MapReduce實(shí)現(xiàn)快速查詢 ? 查詢目標(biāo)是存儲在 BigTable之中的網(wǎng)頁數(shù)據(jù)，給定關(guān)鍵字，快速查詢含有該內(nèi)容的網(wǎng)頁（假定沒有倒排索引） ? 要求 ? 設(shè)計(jì) BigTable存儲方式（表含有哪些列、無需關(guān)心數(shù)據(jù)如何取得） ? 設(shè)計(jì)快速查詢的 MapReduce處理方法 ? 作業(yè)要求同?排序? 分布式鎖服務(wù) Chubby 11 ? 主要用于解決分布式一致性問題 ? 在一個分布式系統(tǒng)中，有一組的 Process，它們需要確定一個 Value。于是每個 Process都提出了一個 Value，一致性就是指只有其中的一個 Value能夠被選中作為最后確定的值，并且當(dāng)這個值被選出來以后，所有的 Process都需要被通知到 ? 粗粒度的分布式鎖服務(wù) ? Chubby是 Google為解決分布式一致性問題而設(shè)計(jì)的提供粗粒度鎖服務(wù)的 文件系統(tǒng) ? 其他分布式系統(tǒng)可以使用它對共享資源的訪問進(jìn)行同步 12 ? 需要實(shí)現(xiàn)的特性 ? 高可用性 ? 高可靠性 ? 支持粗粒度的建議性鎖服務(wù) ? 支持小規(guī)模文件直接存儲 ? 不作考慮的特性 ? 高性能 ? 存儲能力 13 客 戶 端 應(yīng)用 程 序C h u b b y程 序 庫. . .客 戶 端 應(yīng)用 程 序C h u b b y程 序 庫客 戶 端 進(jìn) 程主 服 務(wù) 器C h u b b y 單 元 的5 個 服 務(wù) 器遠(yuǎn) 程 過 程調(diào) 用14 文件系統(tǒng)中文件操作的權(quán)限有哪些？ 這些權(quán)限之間的互斥關(guān)系是怎樣的？ ? Chubby系統(tǒng)本質(zhì)上就是一個分布式的、存儲大量小文件的文件系統(tǒng) ? Chubby中的鎖就是文件 ? 在 GFS的例子中，創(chuàng)建文件就是進(jìn)行?加鎖?操作，創(chuàng)建文件成功的那個 server其實(shí)就是搶占到了?鎖? ? 用戶通過打開、關(guān)閉和存取文件，獲取共享鎖或者獨(dú)占鎖；并且通過通信機(jī)制，向用戶發(fā)送更新信息 16 123 45678舊 的 主服 務(wù) 器新 的 主服 務(wù) 器寬 限 期舊 的 主 服務(wù) 器 故 障
教學(xué)課件相關(guān)推薦
鄂ICP備17016276號-1