【正文】 化數(shù)據(jù)存儲(chǔ)的數(shù)據(jù)庫(kù) .另一個(gè)不同的是 HBase基于列的而不是基于行的模式 Bigtable思想 ? 學(xué)生表的例子 S(s,sn,sd,sa) ? 存放為關(guān)系的學(xué)生表 ? 以 bigtable方式存放學(xué)生表 ? Bigtable: 無所不包的大表 Hbase邏輯模型 ? 以表的形式存放數(shù)據(jù) ? 表由行與列組成，每個(gè)列屬于某個(gè)列族，由行和列確定的存儲(chǔ)單元稱為元素 ? 每個(gè)元素保存了同一份數(shù)據(jù)的多個(gè)版本，由時(shí)間戳來標(biāo)識(shí)區(qū)分Bigtable: 無所不包的大表 Hbase行鍵 ? 行鍵是數(shù)據(jù)行在表里的唯一標(biāo)識(shí)，并作為檢索記錄的主鍵 ? 訪問表里的行只有三種方式 1. 通過單個(gè)行鍵訪問 2. 給定行鍵的范圍訪問 3. 全表掃描 ? 行鍵可以是最大長(zhǎng)度不超過 64KB的任意字符串，并按照字典序存儲(chǔ) ? 對(duì)于經(jīng)常要一起讀取的行，要對(duì)行鍵值精心設(shè)計(jì)，以便它們能放在一起存儲(chǔ) Hbase列族與列 ? 列表示為 列族 :限定符 ? Hbase在磁盤上按照列族存儲(chǔ)數(shù)據(jù)，這種列式數(shù)據(jù)庫(kù)的設(shè)計(jì)非常適合于數(shù)據(jù)分析的情形 ? 列族里的元素最好具有相同的讀寫方式（例如等長(zhǎng)的字符串），以提高性能 ? 列族名盡量短 ? 列族在創(chuàng)建表的時(shí)候聲明，一個(gè)列族可以包含多個(gè)列，列中的數(shù)據(jù)都是以二進(jìn)制形式存在，沒有數(shù)據(jù)類型。 Hbase時(shí)間戳 ? 對(duì)應(yīng)每次數(shù)據(jù)操作的時(shí)間，可由系統(tǒng)自動(dòng)生成，也可以由用戶顯式的賦值 ? Hbase支持兩種數(shù)據(jù)版本回收方式： 1 每個(gè)數(shù)據(jù)單元，只存儲(chǔ)指定個(gè)數(shù)的最新版本 2 保存指定時(shí)間長(zhǎng)度的版本（例如 7天） ? 常見的客戶端時(shí)間查詢： ―某個(gè)時(shí)刻起的最新數(shù)據(jù) ‖或 ―給我全部版本的數(shù)據(jù) ‖ ? 元素由 行鍵，列族 :限定符，時(shí)間戳唯一決定 ? 元素以字節(jié)碼形式存放，沒有類型之分 Hbase vs Oracle ? 索引不同造成行為的差異 ? Hbase適合大量插入同時(shí)又有讀的情況 ? Hbase的瓶頸是硬盤傳輸速度， Oracle的瓶頸是硬盤尋道時(shí)間 ? Hbase很適合尋找按照時(shí)間排序 top n的場(chǎng)景 傳統(tǒng)數(shù)據(jù)庫(kù)的行式存儲(chǔ) ? 數(shù)據(jù)存放在數(shù)據(jù)文件內(nèi) ? 數(shù)據(jù)文件的基本組成單位：塊 /頁(yè) ? 塊內(nèi)結(jié)構(gòu)：塊頭、數(shù)據(jù)區(qū) Hbase物理模型 HMaster ? 為 Region server分配 region ? 負(fù)責(zé) region server的負(fù)載均衡 ? 發(fā)現(xiàn)失效的 region server并重新分配其上的region ? HDFS上的垃圾文件回收 ? 處理 schema更新請(qǐng)求 HRegion Server ? HRegion server維護(hù) HMaster分配給它的HRegion，處理對(duì)這些 HRegion的 IO請(qǐng)求。 ? HRegion server負(fù)責(zé)切分在運(yùn)行過程中變得過大的 HRegion可以看到， client訪問Hbase上數(shù)據(jù)的過程并不需要 HMaster參與（尋址訪問 zookeeper和 HRegion server，數(shù)據(jù)讀寫訪問 HRegione server），HMaster僅僅維護(hù)者 table和 HRegion的元數(shù)據(jù)信息，負(fù)載很低。 行式存儲(chǔ)的問題 ? 讀某個(gè)列必須讀入整行 ? 行不等長(zhǎng)，修改數(shù)據(jù)可能導(dǎo)致行遷移 ? 行數(shù)據(jù)較多時(shí)可能導(dǎo)致行鏈 Hbase邏輯模型 Hbase中數(shù)據(jù)存儲(chǔ)方式 按RowKey的字典順序 Table Region Region Region Region Region Servers Region Server Region Server Region Server Region Server Table Region 當(dāng) Table隨著記錄數(shù)不斷增加而變大后，會(huì)逐漸分裂成多份 splits，成為 regions，一個(gè) region由 [startkey,endkey)表示，不同的 region會(huì)被 Master分配給相應(yīng)的RegionServer進(jìn)行管理 180 字典順序 特點(diǎn)： 擁有相同“前綴”的數(shù)據(jù)，會(huì)存儲(chǔ)在相鄰區(qū)域 a ab abc b ba bab c ca cab HTable = HRegion = HStore Table Region Region Server HRegion Region Region Region HStore MemStore StoreFile StoreFile StoreFile HStore MemStore StoreFile StoreFile HStore MemStore StoreFile 182 HStore是怎樣工作的 ? HStore MemStore StoreFile StoreFile StoreFile 向表中寫入數(shù)據(jù)的過程： 1. 首先寫入 MemStore，同時(shí)寫入 HLog 2. 但 MemStore到達(dá)一定大小的時(shí)候， MemStore會(huì) flush成一個(gè) StoreFile（ HFile文件） 3. 但 StoreFile的數(shù)量達(dá)到一定閥值，會(huì)觸發(fā)pact， 4. 將多個(gè) StoreFile合并成 1個(gè) StoreFile 5. 當(dāng)單個(gè) StoreFile達(dá)到一定大小的時(shí)候，會(huì)觸發(fā) split， 6. 將當(dāng)前的 Region拆分成 2個(gè) Region，并且分發(fā)到 不同的 Region Server上 183 HStore是怎樣工作的 ? 184 HFile的存儲(chǔ)格式 Data Block是 HBase I/O的基本單元，每個(gè) Data塊除了開頭的 Magic以外就是一個(gè)個(gè) KeyValue對(duì)拼接而成 185 KeyValue的存儲(chǔ)格式 開始是兩個(gè)固定長(zhǎng)度的數(shù)值，分別表示 Key的長(zhǎng)度和 Value的長(zhǎng)度。緊接著是 Key，開始是固定長(zhǎng)度的數(shù)值，表示 RowKey的長(zhǎng)度，緊接著是 RowKey，然后是固定長(zhǎng)度的數(shù)值，表示 Family的長(zhǎng)度，然后是Family，接著是 Qualifier，然后是兩個(gè)固定長(zhǎng)度的數(shù)值，表示 Time Stamp和 Key Type（ Put/Delete）。 Value部分沒有這么復(fù)雜的結(jié)構(gòu)，就是純粹的二進(jìn)制數(shù)據(jù)了。 對(duì)于任意一個(gè) cell，都需要存儲(chǔ) rowkey, column family, column qualifier 186 Hbase系統(tǒng)實(shí)戰(zhàn) 187 Hbase安裝部署 ? 《細(xì)細(xì)品味 Hadoop_Hadoop集群（第 11期） _HBase簡(jiǎn)介及安裝 .pdf》 ? 《 Ubuntu偽分布式安裝 》 Hbase Shell ? 《 Hbase shell常用命令 .docx》 微博介紹 Hbase實(shí)現(xiàn)微博 ? Struts2 + Jsp + bootstrap環(huán)境 ? 用戶管理功能 1. 創(chuàng)建了用戶管理相關(guān)的表 2. 創(chuàng)建新用戶 3. 驗(yàn)證用戶名和密碼 ? 關(guān)注功能 ? 發(fā)布微博功能 191 接下來將要實(shí)現(xiàn)的功能 ? 界面部分（ JSP+Struts2 Actions） 1. 用戶注冊(cè)，登陸和注銷 2. 發(fā)布微博，查看微博 ? 服務(wù)端部分 1. 表結(jié)構(gòu)的設(shè)計(jì) 2. Hbase接口的實(shí)現(xiàn) 3. JSP和 Action的實(shí)現(xiàn) 192 用戶管理 tab_global ：用戶唯一 id表 193 用戶管理 tab_user2id：用戶與 id對(duì)應(yīng)表 tab_id2user： id與用戶信息對(duì)應(yīng)表 194 用戶關(guān)注 tab_follow tab_followed 195 發(fā)送微博 tab_post tab_inbox 196 運(yùn)行效果演示 197 基于短信話單的應(yīng)用 ? 話單入庫(kù) –多線程入庫(kù) –使用 Protocol Buffer ? 話單查詢 – Ajax技術(shù) ? 話單統(tǒng)計(jì) –在 Hbase中使用 MapReduce Hbase應(yīng)用 ? 登錄風(fēng)暴 ? 自助繳費(fèi) ? 倉(cāng)儲(chǔ)分析 199 Hive Hive簡(jiǎn)介 ? 起源自 facebook由 Jeff Hammerbacher領(lǐng)導(dǎo)的團(tuán)隊(duì) ? 構(gòu)建在 Hadoop上的數(shù)據(jù)倉(cāng)庫(kù)框架 ? 設(shè)計(jì)目的是讓 SQL技能良好，但 Java技能較弱的分析師可以查詢海量數(shù)據(jù) ? 2023年 facebook把 hive項(xiàng)目貢獻(xiàn)給 Apache Hive ? 數(shù)據(jù)倉(cāng)庫(kù)工具?？梢园?Hadoop下的原始結(jié)構(gòu)化數(shù)據(jù)變成 Hive中的表 ? 支持一種與 SQL幾乎完全相同的語(yǔ)言HiveQL。除了不支持更新、索引和事務(wù)，幾乎 SQL的其它特征都能支持 ? 可以看成是從 SQL到 MapReduce的映射器 ? 提供 shell、 JDBC/ODBC、 Thrift、 Web等接口 Hive的組件與體系架構(gòu) ? 用戶接口： shell, thrift, web等 ? Thrift服務(wù)器 ? 元數(shù)據(jù)庫(kù) ―Derby, Mysql等 ? 解析器 ? Hadoop 架構(gòu) Hive Data Types Hive安裝 元數(shù)據(jù)保持在內(nèi)嵌的 Derby模式，只允許一個(gè)會(huì)話連接 。 在本地安裝 Mysql，把元數(shù)據(jù)放到 Mysql內(nèi) 。 元數(shù)據(jù)放置在遠(yuǎn)程的 Mysql數(shù)據(jù)庫(kù)。 內(nèi)嵌模式 本地獨(dú)立 模式 遠(yuǎn)程模式 206 ? 參考《細(xì)細(xì)品味 Hadoop_Hadoop集群（第13期） _Hive簡(jiǎn)介及安裝 .pdf 》 Hive Shell ? 請(qǐng)參考《 Hive基本命令 .txt》 Hive API開發(fā)演示 改變 IT運(yùn)維思維方式 改變 IT運(yùn)維思維方式 云計(jì)算趨勢(shì) 2023/3/8 212 總結(jié) ? 技術(shù)（開發(fā)人員可以賺錢） ? 管理（節(jié)約成本、數(shù)據(jù)分析創(chuàng)造價(jià)值） 2023/3/8 213 LOGO 內(nèi)部教程 注意保密 中程在線 (北京 )科技有限公司 214 演講完畢，謝謝觀看！