hadoop應(yīng)用案例ppt課件-展示頁
2025-05-09 18:22本頁面
【正文】 ?源起：為 POP商家進(jìn)行日志分析服務(wù) 瓶 頸 ? ?性能瓶頸：采用 Oracle RAC（ 2節(jié)點）， IBM小型機，由于數(shù)據(jù)量極大，無法滿足時效要求 ? ?成本瓶頸：小型機再進(jìn)行高配和節(jié)點擴(kuò)展，價格太貴 Hadoop集群作 為 解決方案 ? ?20多個節(jié)點的 Hadoop集群 ? ?數(shù)據(jù)定時從收集服務(wù)器裝載到 Hadoop集群（周期為天級或小時級） ? ?數(shù)據(jù)經(jīng)過整理（預(yù)處理）后放進(jìn)數(shù)據(jù)倉庫系統(tǒng)，數(shù)據(jù)倉庫是基于 Hive架構(gòu)的，使用 Hive的主要原因是技術(shù)人員基本都是基于 Oracle數(shù)據(jù)庫的技能，由于 Hive支持 SQL查詢，因而技能可以平穩(wěn)過渡 ? ?數(shù)據(jù)倉庫查詢統(tǒng)計的結(jié)果會被導(dǎo)到 hbase，然后和應(yīng)用進(jìn)行連接，應(yīng)用不與 hive直接連接的原因，是基于效率的考慮。導(dǎo)出數(shù)據(jù)到 hbase由自行開發(fā)的一段 C程序完成。但由于 Hadoop系統(tǒng)考慮用戶權(quán)限較少，而對于大規(guī)模公司，勢必要實施多級權(quán)限控制。判斷為源代碼 bug，通過修改源代碼解決 ? ?總體來說， Hadoop項目很成功，現(xiàn)在整個 EDW（企業(yè)數(shù)據(jù)倉庫系統(tǒng)）都基于 Hadoop。之前傳聞的購買 Oracle Exadata實際是用于下單交易系統(tǒng)，并非 Hadoop項目失敗。普通的程序員轉(zhuǎn)型閱讀修改Hadoop源代碼并不困難 。用于對海量數(shù)據(jù)的離線處理，例如對日志的分析，也涉及內(nèi)容部分，結(jié)構(gòu)
教學(xué)課件相關(guān)推薦
鄂ICP備17016276號-1