google云計(jì)算原理-分布式鎖服務(wù)chubby(參考版)
2025-04-29 08:50本頁(yè)面
【正文】 Hello, world!39。39。ContentType: text/plain39。電子工業(yè)出版社 劉鵬主編 《 云計(jì)算 》 教材配套課件 4 概念回顧 Google云計(jì)算背景 分布式文件系統(tǒng) GFS 并行數(shù)據(jù)處理模型 MapReduce 分布式鎖服務(wù) Chubby 分布式數(shù)據(jù)庫(kù) BigTable Google AppEngine Google云計(jì)算技術(shù)小結(jié) 課程回顧 3 GFS的容錯(cuò)措施有哪些？ ? GFS的容錯(cuò)機(jī)制 ? Chunk Server容錯(cuò) ? 每個(gè) Chunk有多個(gè)存儲(chǔ)副本（通常是 3個(gè)），分別存儲(chǔ)于不通的服務(wù)器上 ? 每個(gè) Chunk又劃分為若干 Block（ 64KB），每個(gè) Block對(duì)應(yīng)一個(gè) 32bit的校驗(yàn)碼，保證數(shù)據(jù)正確（若某個(gè) Block錯(cuò)誤，則轉(zhuǎn)移至其他 Chunk副本） ? Master容錯(cuò)（影子節(jié)點(diǎn)熱備） ? 三類元數(shù)據(jù)：命名空間（目錄結(jié)構(gòu)）、 Chunk與文件名的映射以及 Chunk副本的位置信息 ? 前兩類通過(guò)日志提供容錯(cuò)， Chunk副本信息存儲(chǔ)于 Chunk Server， Master出現(xiàn)故障時(shí)可恢復(fù) 5 處理流程 分片方式 ? MapReduce處理流程中 各類文件的存儲(chǔ)位置在哪 里？ ? MapReduce的容錯(cuò)方法？ ? MapReduce的處理優(yōu)化 方法？ ? MapReduce僅能對(duì) GFS之上的文件進(jìn)行處理嗎？ ? 所有步驟均可控，可靈活處理各類分布式問(wèn)題 ? 除了排序，新增兩道題目 ? 使用 MapReduce實(shí)現(xiàn)倒排索引 ? 輸入： 100個(gè)文本文檔 ? 輸出：倒排索引 ? 任務(wù) ? 實(shí)現(xiàn)算法，給出數(shù)據(jù)結(jié)構(gòu)描述、執(zhí)行過(guò)程描述等 ? 作業(yè)要求同?排序? ? 要求盡可能提高執(zhí)行效率，節(jié)約網(wǎng)絡(luò) IO帶寬 ? 除了排序，新增兩道題目 ? 使用 MapReduce實(shí)現(xiàn)快速查詢 ? 查詢目標(biāo)是存儲(chǔ)在 BigTable之中的網(wǎng)頁(yè)數(shù)據(jù)，給定關(guān)鍵字，快速查詢含有該內(nèi)容的網(wǎng)頁(yè)（假定沒有倒排索引） ? 要求 ? 設(shè)計(jì) BigTable存儲(chǔ)方式（表含有哪些列、無(wú)需關(guān)心數(shù)據(jù)如何取得） ? 設(shè)計(jì)快速查詢的 MapReduce處理方法 ? 作業(yè)要求同?排序? 分布式鎖服務(wù) Chubby 11 ? 主要用于解決分布式一致性問(wèn)題 ? 在一個(gè)分布式系統(tǒng)中，有一組的 Process，它們需要確定一個(gè) Value。于是每個(gè) Process都提出了一個(gè) Value，一致性就是指只有其中的一個(gè) Value能夠被選中作為最后確定的值，并且當(dāng)這個(gè)值被選出來(lái)以后，所有的 Process都需要被通知到 ? 粗粒度的分布式鎖服務(wù) ? Chubby是 Google為解決分布式一致性問(wèn)題而設(shè)計(jì)的提供粗粒度鎖服務(wù)的 文件系統(tǒng) ? 其他分布式系統(tǒng)可以使用它對(duì)共享資源的訪問(wèn)進(jìn)行同步 12 ? 需要實(shí)現(xiàn)的特性 ? 高可用性 ? 高可靠性 ? 支持粗粒度的建議性鎖服務(wù) ? 支持小規(guī)模文件直接存儲(chǔ) ? 不作考慮的特性 ? 高性能 ? 存儲(chǔ)能力 13 客 戶 端 應(yīng)用 程 序C h u b b y程 序 庫(kù). . .客 戶 端 應(yīng)用 程 序C h u b b y程 序 庫(kù)客 戶 端 進(jìn) 程主 服 務(wù) 器C h u b b y 單 元 的5 個(gè) 服 務(wù) 器遠(yuǎn) 程 過(guò) 程調(diào) 用14 文件系統(tǒng)中文件操作的權(quán)限有哪些？ 這些權(quán)限之間的互斥關(guān)系是怎樣的？ ? Chubby系統(tǒng)本質(zhì)上就是一個(gè)分布式的、存儲(chǔ)大量小文件的文件系統(tǒng) ? Chubby中的鎖就是文件 ? 在 GFS的例子中，創(chuàng)建文件就是進(jìn)行?加鎖?操作，創(chuàng)建文件成功的那個(gè) server其實(shí)就是搶占到了?鎖? ? 用戶通過(guò)打開、關(guān)閉和存取文件，獲取共享鎖或者獨(dú)占鎖；并且通過(guò)通信機(jī)制，向用戶發(fā)送更新信息 16 123 45678舊 的 主服
教學(xué)課件相關(guān)推薦
鄂ICP備17016276號(hào)-1