chapter4-廈門大學(xué)-林子雨-大數(shù)據(jù)技術(shù)原理與應(yīng)用-第四章-分布式數(shù)據(jù)庫(kù)hbase41(文件)
【正文】 n 服 務(wù) 器R e g i o n R e g i o n R e g i o n. . .. . .數(shù) 據(jù) 節(jié) 點(diǎn)數(shù) 據(jù) 節(jié) 點(diǎn). . .數(shù) 據(jù) 節(jié) 點(diǎn)數(shù) 據(jù) 節(jié) 點(diǎn)H B a s eH D F SH a d o o pR e g i o n 服 務(wù) 器R e g i o n R e g i o n R e g i o n. . .客 戶 端Z o o k e e p e r M a s t e r《 大數(shù)據(jù)技術(shù)原理與應(yīng)用 》 廈門大學(xué)計(jì)算機(jī)科學(xué)系 林子雨 HBase系統(tǒng)架構(gòu) ? 1. 客戶端 – 客戶端包含訪問(wèn) HBase的接口，同時(shí)在緩存中維護(hù)著已經(jīng)訪問(wèn)過(guò)的Region位置信息，用來(lái)加快后續(xù)數(shù)據(jù)訪問(wèn)過(guò)程 ? 2. Zookeeper服務(wù)器 – Zookeeper可以幫助選舉出一個(gè) Master作為集群的總管，并保證在任何時(shí)刻總有唯一一個(gè) Master在運(yùn)行，這就避免了 Master的“單點(diǎn)失效”問(wèn)題 ? 3. Master ? 主服務(wù)器 Master主要負(fù)責(zé)表和 Region的管理工作： – 管理用戶對(duì)表的增加、刪除、修改、查詢等操作 – 實(shí)現(xiàn)不同 Region服務(wù)器之間的負(fù)載均衡 – 在 Region分裂或合并后，負(fù)責(zé)重新調(diào)整 Region的分布 – 對(duì)發(fā)生故障失效的 Region服務(wù)器上的 Region進(jìn)行遷移 ? 4. Region服務(wù)器 – Region服務(wù)器是 HBase中最核心的模塊，負(fù)責(zé)維護(hù)分配給自己的Region，并響應(yīng)用戶的讀寫(xiě)請(qǐng)求 《 大數(shù)據(jù)技術(shù)原理與應(yīng)用 》 廈門大學(xué)計(jì)算機(jī)科學(xué)系 林子雨 Region服務(wù)器工作原理 R e g i o n 服 務(wù) 器 集 群R e g i o n 服 務(wù) 器R e g i o n 服 務(wù) 器R e g i o n 服 務(wù) 器R e g i o nR e g i o nR e g i o nH L o gS t o r eM e m S t o r eS t o r e F i l eS t o r e F i l eS t o r e F i l eS t o r e F i l eS t o r eM e m S t o r eS t o r e F i l eS t o r e F i l eS t o r e F i l eS t o r e F i l eS t o r eM e m S t o r eS t o r e F i l eS t o r e F i l eS t o r e F i l eS t o r e F i l eH F i l e H F i l e H F i l e H F i l e H F i l e. . .. . .圖 410 Region服務(wù)器向 HDFS文件系統(tǒng)中讀寫(xiě)數(shù)據(jù) 1. 用戶讀寫(xiě)數(shù)據(jù)過(guò)程 2. 緩存的刷新 3. StoreFile的合并 《 大數(shù)據(jù)技術(shù)原理與應(yīng)用 》 廈門大學(xué)計(jì)算機(jī)科學(xué)系 林子雨 Store工作原理 S t o r e F i l e 1 : 6 4 MS t o r e F i l e 2 : 6 4 MS t o r e F i l e 3 : 6 4 MS t o r e F i l e 4 : 6 4 MS t o r e F i l e 5 : 2 5 6 MS t o r e F i l e 5 A : 1 2 8 MS t o r e F i l e 5 B : 1 2 8 MS t o r e F i l e 6 : 1 2 8 MS t o r e F i l e 7 : 1 2 8 M合 并分 裂圖 411 StoreFile的合并和分裂過(guò)程 《 大數(shù)據(jù)技術(shù)原理與應(yīng)用 》 廈門大學(xué)計(jì)算機(jī)科學(xué)系 林子雨 HLog工作原理 ? HBase系統(tǒng)為每個(gè) Region服務(wù)器配置了一個(gè) HLog文件，它是一種預(yù)寫(xiě)式日志（ Write Ahead Log） ? Zookeeper會(huì)實(shí)時(shí)監(jiān)測(cè)每個(gè) Region服務(wù)器的狀態(tài)，當(dāng)某個(gè) Region服務(wù)器發(fā)生故障時(shí)， Zookeeper會(huì)通知 Master ? Master首先會(huì)處理該故障 Region服務(wù)器上面遺留的 HLog文件，這個(gè)遺留的 HLog文件中包含了來(lái)自多個(gè) Region對(duì)象的日志記錄 ? 系統(tǒng)會(huì)根據(jù)每條日志記錄所屬的 Region對(duì)象對(duì) HLog數(shù)據(jù)進(jìn)行拆分，分別放到相應(yīng) Region對(duì)象的目錄下，然后，再將失效的 Region重新分配到可用的 Region服務(wù)器中，并把與該 Region對(duì)象相關(guān)的 HLog日志記錄也發(fā)送給相應(yīng)的 Region服務(wù)器 ? Region服務(wù)器領(lǐng)取到分配給自己的 Region對(duì)象以及與之相關(guān)的 HLog日志記錄以后，會(huì)重新做一遍日志記錄中的各種操作，把日志記錄中的數(shù)據(jù)寫(xiě)入到 MemStore緩存中，然后，刷新到磁盤的 StoreFile文件中，完成數(shù)據(jù)恢復(fù) ? 共用日志優(yōu)點(diǎn)：提高對(duì)表的寫(xiě)操作性能；缺點(diǎn)：恢復(fù)時(shí)需要分拆日志 《 大數(shù)據(jù)技術(shù)原理與應(yīng)用 》
規(guī)章制度相關(guān)推薦
鄂ICP備17016276號(hào)-1