【文章內(nèi)容簡介】 在同一個(gè)Node上或同一個(gè)Zone內(nèi)。 Weight：未來添加存儲(chǔ)能力更大的Node時(shí)，分配到更多的Partition。11 Quorum協(xié)議的內(nèi)容是什么？ 在分布式存儲(chǔ)系統(tǒng)中用于控制一致性級(jí)別的一種策略。 N = numbers of nodes that store data（同一份數(shù)據(jù)的Replica的份數(shù)） W = number of successful writes in a put request（更新一個(gè)數(shù)據(jù)對(duì)象時(shí)需要確保成功更新的份數(shù)） R = number of successful reads in a get request（讀取數(shù)據(jù)時(shí)需要讀取的Replica的份數(shù)） W + R N WN/2（常用：N=w=R=2）第六講：云存儲(chǔ)1 大規(guī)模數(shù)據(jù)存儲(chǔ)面臨的新問題與挑戰(zhàn) – 成本問題 – 容量問題 – 可靠問題 – 使用問題2 GFS體系結(jié)構(gòu) Client：GFS提供給應(yīng)用程序的庫文件形式訪問接口；Master：GFS的管理節(jié)點(diǎn)，邏輯上只有一個(gè)，保存系統(tǒng)元數(shù)據(jù)；Chunk Server：GFS的數(shù)據(jù)存儲(chǔ)節(jié)點(diǎn)，大小固定（64MB）。采用中心服務(wù)器模式，不緩存數(shù)據(jù)，在用戶態(tài)下實(shí)現(xiàn)，提供專用的訪問接口。 Master節(jié)點(diǎn)任務(wù)：存儲(chǔ)元數(shù)據(jù)；文件系統(tǒng)目錄管理與加鎖；與ChunkServer進(jìn)行周期性通信；數(shù)據(jù)塊創(chuàng)建、復(fù)制與負(fù)載均衡；垃圾回收；陳舊數(shù)據(jù)塊刪除。3 GFS的容錯(cuò)機(jī)制Master容錯(cuò) – 三類元數(shù)據(jù)：命名空間（目錄結(jié)構(gòu)）、Chunk與文件名的映射以及Chunk副本的位置信息。 – 前兩類通過日志提供容錯(cuò)，Chunk副本信息存儲(chǔ)于Chunk Server，Master出現(xiàn)故障時(shí)可恢復(fù)。Chunk Server容錯(cuò) – 每個(gè)Chunk有多個(gè)存儲(chǔ)副本（通常是3個(gè)），分別存儲(chǔ)于不通的服務(wù)器上。 – 每個(gè)Chunk又劃分為若干Block（64KB），每個(gè)Block對(duì)應(yīng)一個(gè)32bit的校驗(yàn)碼，保證數(shù)據(jù)正確（若某個(gè)Block錯(cuò)誤，則轉(zhuǎn)移至其他Chunk副本）。4 Paxos協(xié)議 分布式環(huán)境下保持一致性的協(xié)議。 – 決議（value）只有在被proposers 提出后才能被批準(zhǔn)，未經(jīng)批準(zhǔn)的決議稱為“提案（proposal）”。 – 在一次Paxos算法的執(zhí)行實(shí)例中，只批準(zhǔn)（chosen）一個(gè)value。 – learners 只能獲得被批準(zhǔn)（chosen）的value。5 Chubby鎖機(jī)制 Chubby是Google為解決分布式一致性問題而設(shè)計(jì)的提供粗粒度鎖服務(wù)的文件系統(tǒng)。Chubby系統(tǒng)本質(zhì)上就是一個(gè)分布式的、存儲(chǔ)大量小文件的文件系統(tǒng)。Chubby中的鎖就是文件，創(chuàng)建文件就是進(jìn)行加鎖操作。用戶通過打開、關(guān)閉和存取文件，獲取共享鎖或獨(dú)占鎖，并且通過通信機(jī)制，向用戶發(fā)送更新信息。6 Chubby的通信協(xié)議 操作的允許授權(quán)是通過限時(shí)的、倒計(jì)時(shí)“租期”系統(tǒng)來處理的。7 Bigtable數(shù)據(jù)結(jié)構(gòu) – 分布式多維映射表 – 通過行關(guān)鍵字+列關(guān)鍵字+時(shí)間戳進(jìn)行索引 – Bigtable對(duì)存儲(chǔ)的數(shù)據(jù)不做解析，看做字符串，具體數(shù)據(jù)結(jié)構(gòu)實(shí)現(xiàn)需要用戶自行處理 – 每行數(shù)據(jù)有一個(gè)可排序的關(guān)鍵字和任意列項(xiàng)； – 可將多個(gè)列歸并為一組，稱為“族”，同一個(gè)族的數(shù)據(jù)被壓縮在一起保存。 – 邏輯上的表被劃分成若干子表，每個(gè)子表存儲(chǔ)了table的一部分行（每個(gè)子表由多個(gè)SSTable文件組成，SSTable文件存儲(chǔ)在GFS上）8 Bigtable優(yōu)化機(jī)制局部性群組 – 根據(jù)需要，將原本不存儲(chǔ)在一起的數(shù)據(jù)，以列族為單位存儲(chǔ)至單獨(dú)的子表。布隆過濾器 – 判斷某個(gè)元素是否隸屬于集合。合并壓縮 – 合并壓縮操作讀取多個(gè)SSTable，創(chuàng)建一個(gè)新的SSTable來保持其中的最新數(shù)據(jù)。9 云存儲(chǔ)應(yīng)用的特點(diǎn) 通用的設(shè)備支持；數(shù)據(jù)同步與共享；任意格式/大小文件；免費(fèi)+付費(fèi)。第七講：MapReduce算法原理1 Mapreduce算法的架構(gòu) 每個(gè)mapreduce 任務(wù)都被初始化為一個(gè)job ，每個(gè) job 分為兩個(gè)階段，實(shí)現(xiàn)了Map 和Reduce兩個(gè)功能： Map ：把一個(gè)函數(shù)應(yīng)用于集合中所有成員，然后返回一個(gè)基于這個(gè)處理的結(jié)果集。 Reduce：對(duì)結(jié)果集進(jìn)行分類和歸納。2 Wordcount算例自動(dòng)分割文本。分割后的每一對(duì)key,value 進(jìn)行用戶定義的map處理，生成新的key,value對(duì)。系統(tǒng)自動(dòng)對(duì)輸出結(jié)果集歸攏排序，傳給reduce。通過reduce 生成最后結(jié)果。3 Hadoop執(zhí)行MR的過程master 節(jié)點(diǎn)運(yùn)行jobTracker 實(shí)例，接收客戶端job請(qǐng)求，一個(gè)job 是對(duì)一個(gè)數(shù)據(jù)集的處理，slave 節(jié)點(diǎn)運(yùn)行 TaskTracker 實(shí)例，一個(gè) task 是一次map或者reduce處理過程。MR 程序由一個(gè) jar 文件和一個(gè) xml 文件組成，jar 包含程序代碼，xml 包含程序配置操作。客戶端設(shè)定配置之后，交 job ，將job 數(shù)據(jù)發(fā)送到 jobTracker 的文件系統(tǒng)中，Mapreduce庫會(huì)把所輸入文件分割成 M 塊，放到不同的 datanote 上。 JobTracker 將 job 放入隊(duì)列進(jìn)行調(diào)度，并把 jar 和配置文件放到共享空間 Hadoop 有一個(gè)機(jī)器內(nèi)進(jìn)程間操作通信的機(jī)制，taskTracker 周期性告訴 jobTracker 工作狀態(tài)，如果空，job 給 task 分配任務(wù)，開一個(gè)進(jìn)程處理。MR 程序被傳送到各個(gè)數(shù)據(jù)所在的 HDFS 的 datanote 上運(yùn)行，mapper 被輸送到數(shù)據(jù)節(jié)點(diǎn)上進(jìn)行計(jì)算，中間結(jié)果被輸送到 reducer 上進(jìn)行計(jì)算，Reducer 將計(jì)算結(jié)果分布式保存到HDFS。 當(dāng)所有 map 和 reduce 任務(wù)完成時(shí)，master 會(huì)喚醒用戶程序，通知任務(wù)完成，再取執(zhí)行新的任務(wù)。4 MR算法執(zhí)行過程中的數(shù)據(jù)流轉(zhuǎn)過程用戶文件上傳到HDFS，由mapreduce 庫切割分別存儲(chǔ)到datanote 上 以行號(hào)，文本形式傳入map 中，經(jīng)過自定義map 處理產(chǎn)