【正文】 關(guān)鍵字和任意列項 ? 字符串、整數(shù)、二進(jìn)制串甚至與串行化的結(jié)構(gòu)都可以作為行鍵 ? 表按照行鍵的?逐字節(jié)排序?順序?qū)π羞M(jìn)行有序化處理 ? 表內(nèi)數(shù)據(jù)非?！∈琛?，不同的行的列的數(shù)完全目可以大不相同 ? 可以只對一行上?鎖? ? 對行的寫操作是始終是?原子?的 數(shù)據(jù)模型－行 Row Key Time Stamp Column Contents Column Anchor Column “mime” “ww” T9 CNN T8 T6 “html.. “ Text/html T5 “html.. “ t3 “html.. “ 行鍵 列 列 數(shù)據(jù)模型－列 ? 列必須用‘族’ (family)來定義 ? 任意一列有如下形式 ?族：標(biāo)簽? 其中，族和標(biāo)簽都可為任意形式的串 ? 物理上將同?族?數(shù)據(jù)存儲在一起 ? 數(shù)據(jù)可通過時間戳區(qū)分版本 ? 列族 ? hbase表中的每個列，都?xì)w屬與某個列族。列族是表的 chema的一部分 (而列不是 )，必須在使用表之前定義。列名都以列族作為前綴。例如 courses:history， courses:math 都屬于 courses 這個列族。 ? 訪問控制、磁盤和內(nèi)存的使用統(tǒng)計都是在列族層面進(jìn)行的。實際應(yīng)用中，列族上的控制權(quán)限能幫助我們管理不同類型的應(yīng)用：我們允許一些應(yīng)用可以添加新的基本數(shù)據(jù)、一些應(yīng)用可以讀取基本數(shù)據(jù)并創(chuàng)建繼承的列族、一些應(yīng)用則只允許瀏覽數(shù)據(jù)（甚至可能因為隱私的原因不能瀏覽所有數(shù)據(jù)）。 Page 82 ? 列族 ? hbase表中的每個列，都?xì)w屬與某個列族。列族是表的 chema的一部分 (而列不是 )，必須在使用表之前定義。列名都以列族作為前綴。例如 courses:history， courses:math 都屬于 courses 這個列族。 ? 訪問控制、磁盤和內(nèi)存的使用統(tǒng)計都是在列族層面進(jìn)行的。實際應(yīng)用中，列族上的控制權(quán)限能幫助我們管理不同類型的應(yīng)用：我們允許一些應(yīng)用可以添加新的基本數(shù)據(jù)、一些應(yīng)用可以讀取基本數(shù)據(jù)并創(chuàng)建繼承的列族、一些應(yīng)用則只允許瀏覽數(shù)據(jù)（甚至可能因為隱私的原因不能瀏覽所有數(shù)據(jù)）。 Page 83 數(shù)據(jù)模型－列 Row Key Time Stamp Column Contents Column Anchor Column “mime” “ww” T9 CNN T8 T6 “html.. “ Text/html T5 “html.. “ t3 “html.. “ 族 標(biāo)簽 物理視圖 Row Key Time Stamp Column: Contents T6 “html..” T5 “html..” T3 “html..” Row Key Time Stamp Column: Anchor T9 Anchor: CNN T5 Anchor: Row Key Time Stamp Column: mime T6 text/html HTable小結(jié) Row Key Time Stamp Column Contents Column Anchor Column “mime” “ww” T9 CNN T8 T6 “html.. “ Text/html T5 “html.. “ t3 “html.. “ HBASE物理存儲 ? 1 已經(jīng)提到過， Table中的所有行都按照 row key的字典序排列。 ? 2 Table 在行的方向上分割為多個 Hregion。 ? 3 region按大小分割的，每個表一開始只有一個 region，隨著數(shù)據(jù)不斷插入表， region不斷增大，當(dāng)增大到一個閥值的時候， Hregion就會等分會兩個新的 Hregion。當(dāng) table中的行不斷增多，就會有越來越多的 Hregion。 Page 87 ? 4 HRegion是 Hbase中分布式存儲和負(fù)載均衡的最小單元。最小單元就表示不同的 Hregion可以分布在不同的 HRegion server上。但一個Hregion是不會拆分到多個 server上的。 Page 88 ? 5 HRegion雖然是分布式存儲的最小單元，但并不是存儲的最小單元。 ? HRegion由一個或者多個 Store組成，每個 store保存一個 columns family。 ? 每個 Strore又由一個 memStore和 0至多個 StoreFile組成。 ? StoreFile以 HFile格式保存在 HDFS上。 Page 89 Page 90 HFile分為六個部分： ? Data Block 段 –保存表中的數(shù)據(jù)，這部分可以被壓縮 ? Meta Block 段 (可選的 )–保存用戶自定義的 kv對，可以被壓縮。 ? File Info 段 –Hfile的元信息，不被壓縮，用戶也可以在這一部分添加自己的元信息。 ? Data Block Index 段 –Data Block的索引。每條索引的 key是被索引的block的第一條記錄的 key。 ? Meta Block Index段 (可選的 )–Meta Block的索引。 ? Trailer–這一段是定長的。保存了每一段的偏移量，讀取一個 HFile時，會首先讀取 Trailer， Trailer保存了每個段的起始位臵 (段的 Magic Number用來做安全 check)，然后， DataBlock Index會被讀取到內(nèi)存中，這樣，當(dāng)檢索某個 key時，不需要掃描整個 HFile，而只需從內(nèi)存中找到 key所在的 block，通過一次磁盤 io將整個 block讀取到內(nèi)存中，再找到需要的 key。 DataBlock Index采用 LRU機(jī)制淘汰。 ? HFile的 Data Block， Meta Block通常采用壓縮方式存儲，壓縮之后可以大大減少網(wǎng)絡(luò) IO和磁盤 IO，隨之而來的開銷當(dāng)然是需要花費 cpu進(jìn)行壓縮和解壓縮。目標(biāo) Hfile的壓縮支持兩種方式： Gzip， Lzo。 Page 91 HFILE Page 92 HLog HLog(WAL log) ? WAL 意為 Write ahead log(Writeahead_logging)，類似 mysql中的binlog,用來做災(zāi)難恢復(fù)時用， Hlog記錄數(shù)據(jù)的所有變更 ,一旦數(shù)據(jù)修改，就可以從 log中進(jìn)行恢復(fù)。 ? 每個 Region Server維護(hù)一個 Hlog,而不是每個 Region一個。這樣不同region(來自不同 table)的日志會混在一起，這樣做的目的是不斷追加單個文件相對于同時寫多個文件而言，可以減少磁盤尋址次數(shù)，因此可以提高對 table的寫性能。帶來的麻煩是，如果一臺 region server下線，為了恢復(fù)其上的 region，需要將 region server上的 log進(jìn)行拆分，然后分發(fā)到其它 region server上進(jìn)行恢復(fù)。 ? HLog文件就是一個普通的 Hadoop Sequence File， Sequence File 的 Key是 HLogKey對象， HLogKey中記錄了寫入數(shù)據(jù)的歸屬信息，除了 table和 region名字外，同時還包括 sequence number和 timestamp， timestamp是?寫入時間?， sequence number的起始值為 0，或者是最近一次存入文件系統(tǒng)中 sequence number。 HLog Sequece File的 Value是 HBase的 KeyValue對象，即對應(yīng) HFile中的 KeyValue。 Page 93 HBASE體系構(gòu)架 Page 94 HBASE系統(tǒng)構(gòu)架 Page 95 Page 96 區(qū)域的管理 ? 區(qū)域服務(wù)器 (Region Server) ? 為區(qū)域的訪問提供服務(wù)，直接為用戶提供服務(wù) ? 負(fù)責(zé)維護(hù)區(qū)域的分割 ? 負(fù)責(zé)數(shù)據(jù)存持久化 ? 主服務(wù)器 (Master Server) ? 管理區(qū)域服務(wù)器 ? 指派區(qū)域服務(wù)器對服務(wù)特定區(qū)域 ? 恢復(fù)失效的區(qū)域服務(wù)器 特殊目錄數(shù)據(jù) ? 元數(shù)據(jù) (META) ? 全部用戶區(qū)域的屬性數(shù)據(jù)都存在元數(shù)據(jù)表中 ? 包括區(qū)域中數(shù)據(jù)起止行信息、區(qū)域?在線?狀態(tài)等 ? 保存區(qū)域服務(wù)器地址 ? 元數(shù)據(jù)表也可包含多個區(qū)域，區(qū)域?qū)傩詳?shù)據(jù)存儲在?根?結(jié)點上 特殊目錄數(shù)據(jù) ? ?根?表 (ROOT) ? 只存包含一個區(qū)域 ? 將元數(shù)據(jù)中的區(qū)域映射到區(qū)域服務(wù)器 ? 存儲元數(shù)據(jù)服務(wù)器位臵以及映射了哪些元數(shù)據(jù)區(qū)域 區(qū)域服務(wù)器 (Region Server)職能 ? 負(fù)責(zé)處理用戶的讀寫請求 ? 向主服務(wù)器 (Master Server)上報自己的狀態(tài)，并獲取自己需要服務(wù)的區(qū)域 ? 為提高效率，消息通過捎帶 (pigback)方式通過?心跳?分組進(jìn)行傳遞 區(qū)域服務(wù)器－?寫? ? 寫數(shù)據(jù)首先寫入?預(yù)寫?日志 ? 對于一個區(qū)域服務(wù)器而言，對其提供服務(wù)的所有區(qū)域的?寫?操作日志都存儲在同一個日志中 ? 數(shù)據(jù)并非直接寫文件系統(tǒng)，而是先緩存，緩存到一定數(shù)量再批量寫入 ? 寫入完成后在日志中做標(biāo)記 區(qū)域服務(wù)器－?讀? ? 區(qū)域服務(wù)器現(xiàn)在內(nèi)存的緩存中查找，如果命中請求，則直接服務(wù) ? 如果存在多個版本，則返回順序按照從最新到最老 區(qū)域服務(wù)器－合并 ? 如果映射文件 (Map File)數(shù)量超過閾值，區(qū)域服務(wù)器會進(jìn)行一次合并(Compaction) ? 合并操作也周期性進(jìn)行 ? 合并可與區(qū)域服務(wù)器響應(yīng)用戶的讀寫請求并發(fā)進(jìn)行 ? 如果讀寫請求與合并區(qū)域相關(guān)，讀寫操作先掛起，直到合并操作完成 區(qū)域服務(wù)器－分割 ? 當(dāng)區(qū)域文件大過閾值后，區(qū)域文件會按照行的方式對半進(jìn)行分割(Split)操作 ? 分割也作為一種請求被區(qū)域服務(wù)器處理 ? 被分割區(qū)域先離線 ? 區(qū)域服務(wù)器在元信息表中生成子表元信息 ? 主服務(wù)器在得知分割操作進(jìn)行后，將子表分配給新的區(qū)域服務(wù)器進(jìn)行服務(wù) ? 被分割區(qū)域通過垃圾回收機(jī)制回收 區(qū)域服務(wù)器－分割 ? 如果主服務(wù)器沒能正確收到分割消息，主服務(wù)器可通過定期檢查MATA數(shù)據(jù)發(fā)現(xiàn)分割操作 ? 開始分割操作后，被分割區(qū)域離線，此時客戶端能檢測到并在分割后的區(qū)域上線后重發(fā)訪問請求 失效恢復(fù) ? 由于檢測沒有心跳，主服務(wù)器能夠探知區(qū)域服務(wù)器的失效 ? 主服務(wù)器將失效服務(wù)器所提供服務(wù)的區(qū)域重新分配給其它區(qū)域服務(wù)器 ? 原失效區(qū)域服務(wù)器的?預(yù)寫?日志由主服務(wù)器進(jìn)行分割并派送給新的區(qū)域服務(wù)器 客戶端 ? 連接到 ZooKeeper集群獲取根區(qū)域數(shù)據(jù)和元數(shù)據(jù)的位臵 ? 在元數(shù)據(jù)中查找需要訪問行所在的區(qū)域并定位提供該區(qū)域服務(wù)的區(qū)域服務(wù)器 ? 直接與區(qū)域服務(wù)器交互以獲取數(shù)據(jù) ? 根區(qū)域數(shù)據(jù)、元數(shù)據(jù)以及用戶區(qū)域信息都被客戶端緩存以備下次訪問使用 THANK YOU! Page 108