13-2大數(shù)據(jù)時代的數(shù)據(jù)庫75(編輯修改稿)
2025-03-16 13:14 本頁面
【文章內(nèi)容簡介】 . ”hello”, (3 5 2 7) = ”hello”, 17 24 云計算核心技術(shù) —— Hbase數(shù)據(jù)庫的基本概念 HBase是一個 分布式 的、 面向列的開源數(shù)據(jù)庫 ，來自 Google論文“ Bigtable：一個 結(jié)構(gòu)化數(shù)據(jù)的分布式存儲系統(tǒng) ” HBase不同于一般的關(guān)系數(shù)據(jù)庫 ,它是一個適合于 非結(jié)構(gòu)化數(shù)據(jù)存儲的數(shù)據(jù)庫 .另一個不同的是 HBase基于列 的而不是基于行的模式 25 —— Hbase邏輯 模型 云計算核心技術(shù) 以表的形式存放數(shù)據(jù) 表由行與列組成，每個列屬于某個列族，由行和列確定的存儲單元稱為元素 每個元素保存了同一份數(shù)據(jù)的多個版本，由 時間戳 來標識區(qū)分 26 —— Hbase物理模型 云計算核心技術(shù) Hmaster管理元數(shù)據(jù)（表分區(qū)、管理該分區(qū)的 RegionServer） RegionServer負責 Region數(shù)據(jù)的存儲和讀取 通過 client讀寫數(shù)據(jù) Hbase的所有數(shù)據(jù)（ Hlog和 Hfile）均存儲到 HDFS上，HDFS將文件劃分為 64MB的 block，并存儲多個副本 27 云計算核心技術(shù) —— 行式數(shù)據(jù)庫與列式數(shù)據(jù)庫理解 28 對應(yīng)每次 數(shù)據(jù)操作的時間 ，可由 系統(tǒng)自動生成 ，也可以由用戶 顯式的賦值 Hbase支持兩種數(shù)據(jù)版本回收方式： A、 每個數(shù)據(jù)單元，只存儲指定個數(shù)的最新版本 B、 保存 指定時間長度 的版本（例如 7天） 常見的客戶端時間查詢：“ 某個時刻起的最新數(shù)據(jù) ”或“ 給我全部版本的數(shù)據(jù) ” 。 云計算核心技術(shù) —— Hbase特點與 Big Table思想 29 云計算核心技術(shù) —— Hbase和 Oracle比較 Hbase適合 大量插入 同時又 有讀取 的情況 Hbase的 瓶頸 是 硬盤傳輸速度 Oracle的 瓶頸 是 硬盤尋道時間 Hbase很 適合尋找按照時間排序 top n 的場景 30 云計算核心技術(shù) —— Hbase場景案列：瀏覽歷史 31 32 應(yīng)用之一 Hadoop in Tele 云計算核心技術(shù) 33 云計算核心技術(shù) 應(yīng)用之二 Hadoop in SmartCity 34 云計算核心技術(shù) 應(yīng)用之三 阿里云“云梯”集群發(fā)展 淘寶的搜索引擎能夠?qū)?數(shù)十億 的商品數(shù)據(jù)進行 實時搜索 ，另外還擁有自主研發(fā)的 文件存儲系統(tǒng) 和緩存系統(tǒng) ，以及 Java 中間件和消息中間件系統(tǒng)，這一切組成了 一個龐大的電子商務(wù)操作系統(tǒng) 。35 云計算核心技術(shù) 應(yīng)用之三 阿里云“云梯”數(shù)據(jù)平臺框架 36 云計算核心技術(shù) 應(yīng)用之三 百度數(shù)據(jù)倉庫框架 DW 37 云計算核心技術(shù) 數(shù)據(jù)存入和抽取 每小時移動數(shù)十 TB的 交易數(shù) 據(jù)、交互數(shù)據(jù)和流數(shù)據(jù) 38 全球領(lǐng)先的獨立企業(yè)數(shù)據(jù)集成軟件提供商 云計算核心技術(shù) 應(yīng)用五 大數(shù)據(jù)是云計算的兩大核心內(nèi)容之一 39 云計算核心技術(shù) 應(yīng)用五 大數(shù)據(jù)是云計算的兩大核心內(nèi)容之一 全世界權(quán)威 IT咨詢公司研究報告預(yù)測 KB， MB， GB、 TB， PB、EB、 ZB、 YB、 BB 1ZB=*1018 KB 40 一、大數(shù)據(jù) 存儲管理 和 索引查詢 問題 二、 Hadoop性能優(yōu)化 問題 三、圖數(shù)據(jù)并行計算模型和框架 四、并行化 機器學(xué)習(xí) 和 數(shù)據(jù)挖掘 算法 五、 社會網(wǎng)絡(luò) 分析 六、排名和推薦 七、 Web信息 挖掘和檢索 八、媒體分析檢索 九、 自然語言處理 十、大數(shù)據(jù) 可視化 計算與分析 云計算核心技術(shù) 數(shù)據(jù)分析發(fā)展趨勢 41 Hadoop發(fā)展形勢 42 Berkeley BDA
畢業(yè)設(shè)計相關(guān)推薦
鄂ICP備17016276號-1