0923show大數(shù)據(jù)與hbase實踐41(已修改)
2025-02-26 14:21 本頁面
【正文】 1 大數(shù)據(jù)與 hbase應(yīng)用 關(guān)于 hadoop與 hbase的介紹和開發(fā)應(yīng)用 周勇沂 2023年 10月 16日 2 目 錄 2 大數(shù)據(jù)與 HADOOP介紹 1 HDFS介紹 2 Hbase介紹 3 Hbase應(yīng)用 4 3 3 WINDOWS進程間通信方式 第一章 大數(shù)據(jù)與 HADOOP介紹 4 第一章 HADOOP介紹 4 大數(shù)據(jù)的背景與定義 5 日益信息化的時代 5 6 大數(shù)據(jù)的定義與特征 ? “Big data is data that exceeds the processing capacity of conventional database systems” O’Reilly Radar, “What Is Big Data?”, January 2023 ? 所謂大數(shù)據(jù)，就是用現(xiàn)有的一般技術(shù)難以管理的大量數(shù)據(jù)的集合 野村綜合研究所 ? 大數(shù)據(jù)順應(yīng)大規(guī)模信息化到新階段而誕生的 ? 數(shù)據(jù)庫革命性運動 NoSQL (NoSQL = Not Only SQL ) ? 不同的 NoSQL場景不同，可比性不高 ? 原則： 解放思想，事實求是 6 巨量 GB TB PB EB Daily ~ Historical 種類多Web APP Social Network Email ? 半結(jié)構(gòu)XML Log Clickstream xDR ? 實時 Realtime Near realtime 7 大數(shù)據(jù)的挑戰(zhàn) 7 ※一個關(guān)系型數(shù)據(jù)庫的表數(shù)據(jù)量上億時 ★分區(qū) ★分表 ★分庫 ※導(dǎo)致上層復(fù)雜度提高，成本倍增 ?IO天花板，非線性 ?單機計算 8 大數(shù)據(jù)對系統(tǒng)的需求 ★ High performance –高并發(fā)讀寫的需求 高并發(fā)、實時動態(tài)獲取和更新數(shù)據(jù) ★ Huge Storage –海量數(shù)據(jù)的高效率存儲和訪問的需求 類似 SNS社會性網(wǎng)絡(luò)服務(wù)網(wǎng)站，海量用戶信息的高效率實時存儲和查詢 ★ High Scalability High Availability –高可擴展性和高可用性的需求 需要擁有快速橫向擴展能力、提供 7*24小時不間斷服務(wù) 8 9 第一章 HADOOP介紹 9 HADOOP起源和特點 10 Hadoop的創(chuàng)立和演迚 10 谷歌三大論文 GFS(2023) Sanjay Ghemawat(美國工程院士 ) (GFS,MR,Bigtable) Howard Gobioff ShunTak Leung map/reduce (2023) Dean Jeffrey(美國工程院士 ) (Adsense,pb,News,Code search) Sanjay Ghemawat Bigtable(2023) Fay Chang Dean Jeffrey Sanjay Ghemawat ... Doug Cutting和 Y
試題試卷相關(guān)推薦
鄂ICP備17016276號-1