云計算之happt課件(編輯修改稿)
2025-06-01 22:09 本頁面
【文章內(nèi)容簡介】 emit(output_key, result)。 MapReduce ：總結(jié) ? 在很多應用領域 mapreudce都發(fā)揮了不錯的效果 ? 極大簡化了大規(guī)模計算 ? 用戶只需關注實際問題， mapreduce庫處理執(zhí)行環(huán)境相關的復雜問題 Hadoop base（ HBASE） Hbase：技術背景 ? 數(shù)據(jù)集規(guī)模不斷增大，已呈 PB級 ? 傳統(tǒng)數(shù)據(jù)庫擴展昂貴，分布復雜 ? 一般的商業(yè)硬件便宜且具有不錯的性能 ? 交互式和批處理兩方面應用需求（ hadoop只支持批處理，流式訪問，無法提供低延遲需求） Hbase：項目簡介 ? 建模在谷歌 bigtable上的分布式數(shù)據(jù)庫 Bigtable: A Distributed Storeage System for Structured Data by Chang et al.（ OSDI2022） ? 結(jié)構化數(shù)據(jù)以鍵值對形式存儲在基于列存儲的表中 ? 實現(xiàn)海量數(shù)據(jù)的在線訪問 交互式需求，這是與 mapreduce的差異 ? 工程目標：按需擴展的數(shù)據(jù)存儲 PB級數(shù)據(jù)跨數(shù)千臺普通商業(yè)服務器存儲 ? Hadoop擴展子項目 構建在 Hadoop核心之上，存儲依賴于 HDFS，可以作為 Mapreduce的輸入和輸出 數(shù)據(jù)冗余存儲，保證可靠性，可以實現(xiàn)按需擴展，自動負載均衡等 Hbase：限制 ? 沒有表連接操作 ? 不具備復雜的查詢引擎（鍵值對查詢） ? 不支持事務 ? 列沒有類型 ? 沒有 SQL，沒有 ODBC/JDBC接口等等。 ? 總之，它不能取代 RDBMs Hbase：適用情況 ? 數(shù)據(jù)規(guī)模很大， web規(guī)模 ? 基本的數(shù)據(jù)訪問需求 只有 CRUD及行范圍的表掃描 主鍵是意味著主要 ? 不需要 RDBMS的模式 即：大表，稀疏存儲 沒有表連接，但能在大表中選擇某些行以及某些列 ? 記錄項具有版本特性 ? 典型應用是 webtable Webtable：概念視圖 Row Key Time Stamp Column Contents Column Anchor Column “mime” “ww” T9 Anchor:ns CNN T8 Anchor: T6 “html.. “ Text/html T5 “html.. “ t3 “html.. “ Webtable：物理視圖 Row Key Time Stamp Column: Contents T6 “html..” T5 “html..” T3 “html..” Row Key Time Stamp Column: Anchor T9 Anchor: CNN T5 Anchor: Row Key Time Stamp Column: mime T6 text/html Hbase：數(shù)據(jù)模型 ? 表由行 /列
教學課件相關推薦
鄂ICP備17016276號-1