hadoop應用案例ppt課件(編輯修改稿)
2025-05-27 18:22 本頁面
【文章內容簡介】 p源 碼 的修改 ? ?改進 Namenode單點問題 ? ?增加安全性 ? ?改善 Hbase的穩(wěn)定性 ? ?改進反哺 Hadoop社區(qū) 管理模式 ? ?集團統(tǒng)一管理 ? ?Hadoop運維團隊 ? ?Hadoop開發(fā)團隊 ? ?數(shù)據(jù)倉庫團隊（ Hive） 準 實時 的流數(shù)據(jù) 處 理技 術 ? ?從 Oracle, Mysql日志直接讀取數(shù)據(jù) ? ?部分數(shù)據(jù)源來自應用消息系統(tǒng) ? ?以上數(shù)據(jù)經由 Meta+Storm的流數(shù)據(jù)處理，寫入 HDFS，實現(xiàn)實時或準實時的數(shù)據(jù)分析 ? ?數(shù)據(jù)裝載到 Hive進行處理，結果寫回 Oracle和Mysql數(shù)據(jù)庫 淘寶數(shù)據(jù)魔方 架構圖 架構 圖 ? ?架構分為五層，分別是數(shù)據(jù)源、計算層、存儲層、查詢層和產品層。 ? ?數(shù)據(jù)來源層，這里有淘寶主站的用戶、店鋪、商品和交易等數(shù)據(jù)庫，還有用戶的瀏覽、搜索等行為日志等。這一系列的數(shù)據(jù)是數(shù)據(jù)產品最原始的生命力所在。 ? ?在數(shù)據(jù)源層實時產生的數(shù)據(jù)，通過淘寶主研發(fā)的數(shù)據(jù)傳輸組件 DataX、 DbSync和 Timetunnel準實時地傳輸?shù)紿adoop集群 “云梯 ”，是計算層的主要組成部分。在 “云梯 ”上，每天有大約 40000個作業(yè)對 需求進行不同的 MapReduce計算。 ? ?一些對實效性要求很高的數(shù)據(jù)采用 “云梯 ”來計算效率比較
教學課件相關推薦
鄂ICP備17016276號-1