【正文】 ? 數(shù)據(jù) 分級存儲（歷叱庫戒者明細(xì)庫）： ? 數(shù)據(jù)中心中數(shù)據(jù) 存儲周期分為在線數(shù)據(jù)、近線數(shù)據(jù)、歸檔數(shù)據(jù)。帶來的問題是在線數(shù)據(jù)中丌常訪問的數(shù)據(jù)占據(jù)數(shù)據(jù)倉庫寶貴的資源，針對歸檔數(shù)據(jù)的數(shù)據(jù)分析需求增加，而數(shù)據(jù)從磁帶庫恢復(fù)的時間無法滿足需求。 MPP架構(gòu)基于x86平臺構(gòu)建，可高效低成本的實(shí)現(xiàn)歷叱庫的建設(shè) 需求。 ? 返部分的計算仸務(wù)可以定位于數(shù)據(jù)倉庫外的復(fù)雜數(shù)據(jù)加工、數(shù)據(jù)匯總仸務(wù)，其源數(shù)據(jù)可以來自業(yè)務(wù)系統(tǒng)，也可以來自 ETL（與業(yè) ETL工具戒者 Hadoop）清洗、轉(zhuǎn)換后的話單戒者經(jīng)過 ETL輕度匯總過的數(shù)據(jù)。 紅色 25綠色 40藍(lán)色 80 黑色淡色 50% 綠色 RGB160 綠色 RGB200 標(biāo)題 28號微軟雅黑加粗 第一級 24號黑體 第二級 22號華文細(xì)黑 第三級 20號華文細(xì)黑 第四級 16號華文細(xì)黑 第五級 12號華文細(xì)黑 MPP平臺選型建議 對比項(xiàng)目 Teradata EMC 南大通用 IBM HP Aster Data GreenPlum GBase 8A DB2 DPF Over GPFS Vertica 無共享 MPP架構(gòu) 無主控節(jié)點(diǎn) ? ? * ? 無共享 MPP架構(gòu) 有主控節(jié)點(diǎn) ? ? 支持行存儲 ? ? ? 支持列存儲 ? ? ? （ ） ? 當(dāng)前構(gòu)建在 X86平臺上的新型 MPP數(shù)據(jù)庫產(chǎn)品眾多， Garnter每年會發(fā)布一版數(shù)據(jù)倉庫魔力象限可以供參考。比如帶主控節(jié)點(diǎn)（ Master）的數(shù)據(jù)庫會存在單點(diǎn)故障，但各節(jié)點(diǎn)分工明確；無主控節(jié)點(diǎn)的數(shù)據(jù)庫不存在單點(diǎn)故障，但可能某各節(jié)點(diǎn)承擔(dān)的任務(wù)不平均。 硬件平臺的選型參考各廠家的指導(dǎo)文檔。 合理的分布鍵設(shè)計可以使得大部分的表關(guān)聯(lián)操作在一個節(jié)點(diǎn)內(nèi)完成，不需要跨節(jié)點(diǎn)進(jìn)行數(shù)據(jù)交互，這是 MPP數(shù)據(jù)庫產(chǎn)品（按行Hash分布）與 Hadoop（選擇按照塊隨機(jī)分布）的根本差別 。但是副本所在的服務(wù)器本身就要承擔(dān)自己正常的工作任務(wù)，這樣一來相當(dāng)于負(fù)荷加重了一倍。 紅色 25綠色 40藍(lán)色 80 黑色淡色 50% 綠色 RGB160 綠色 RGB200 標(biāo)題 28號微軟雅黑加粗 第一級 24號黑體 第二級 22號華文細(xì)黑 第三級 20號華文細(xì)黑 第四級 16號華文細(xì)黑 第五級 12號華文細(xì)黑 目錄 MPP數(shù)據(jù)庫在數(shù)據(jù)中心的應(yīng)用 企業(yè)級數(shù)據(jù)中心定義 數(shù)據(jù)中心中的大數(shù)據(jù) 數(shù)據(jù)中心 BI技術(shù)選型描述 Hadoop在數(shù)據(jù)中心的應(yīng)用 數(shù)據(jù)中心 ESB技術(shù)研究 大數(shù)據(jù)技術(shù)與傳統(tǒng)數(shù)據(jù)中心的集成 紅色 25綠色 40藍(lán)色 80 黑色淡色 50% 綠色 RGB160 綠色 RGB200 標(biāo)題 28號微軟雅黑加粗 第一級 24號黑體 第二級 22號華文細(xì)黑 第三級 20號華文細(xì)黑 第四級 16號華文細(xì)黑 第五級 12號華文細(xì)黑 Hadoop在數(shù)據(jù)中心的應(yīng)用場景分析 場景 為什么采用 Hadoop 采用的組件 ETL 降低原始數(shù)據(jù)存儲壓力 降低數(shù)據(jù)倉庫處理壓力 降低存儲和處理成本 Hive/MR/Pig 清單查詢 快速響應(yīng)海量數(shù)據(jù)查詢 降低查詢成本 HBase 機(jī)器學(xué)習(xí)和數(shù)據(jù)挖掘 降低海量數(shù)據(jù)挖掘成本 縮短計算時間 實(shí)現(xiàn)更加靈活的算法 mahout/R/MR 冷數(shù)據(jù)存儲 1. 降低冷數(shù)據(jù)存儲成本 2. 降低冷數(shù)據(jù)查詢成本 Hive Over HDFS 紅色 25綠色 40藍(lán)色 80 黑色淡色 50% 綠色 RGB160 綠色 RGB200 標(biāo)題 28號微軟雅黑加粗 第一級 24號黑體 第二級 22號華文細(xì)黑 第三級 20號華文細(xì)黑 第四級 16號華文細(xì)黑 第五級 12號華文細(xì)黑 Hadoop在數(shù)據(jù)中心的應(yīng)用場景 ETL Hadoop平臺負(fù)責(zé)從接口機(jī)采集數(shù)據(jù)入 HDFS分布式文件系統(tǒng)，并進(jìn)行清洗、關(guān)聯(lián)、轉(zhuǎn)換、匯總、邏輯增強(qiáng)等，實(shí)現(xiàn)原始數(shù)據(jù)、明細(xì)數(shù)據(jù)和匯總數(shù)據(jù)的處理加工工作。 紅色 25綠色 40藍(lán)色 80 黑色淡色 50% 綠色 RGB160 綠色 RGB200 標(biāo)題 28號微軟雅黑加粗 第一級 24號黑體 第二級 22號華文細(xì)黑 第三級 20號華文細(xì)黑 第四級 16號華文細(xì)黑 第五級 12號華文細(xì)黑 Hadoop在數(shù)據(jù)中心的應(yīng)用場景 詳 單查詢 Oracle/DB2 用戶詳單文件庫 數(shù)據(jù)存儲 服務(wù)接口 話單查詢 數(shù)據(jù)抽取 數(shù)據(jù)解析 數(shù)據(jù)翻譯 用戶詳單 統(tǒng)計分析 收入保障 呼叫中心 飛信 短信 彩信 WAP Email 網(wǎng)廳 統(tǒng)一接入網(wǎng)關(guān)平臺 用戶賬單 HBase 分布式數(shù)據(jù)庫（基于HDFS) … … Hive分布式數(shù)據(jù)倉庫 (基于HDFS) … … 前端查詢業(yè)務(wù)服務(wù)器集群 … … ETL服務(wù)器集群 … … ① 清賬單數(shù)據(jù)抽取和轉(zhuǎn)換 計費(fèi)數(shù)據(jù)庫 ② 清賬單數(shù)據(jù)裝載入 HBase ③ 歷史清賬單數(shù)據(jù)可從 HBase導(dǎo)出裝載入 Hive (可選 ) 負(fù)載均衡設(shè)備 ④ 查詢清單 互聯(lián)網(wǎng)用戶 ? 清單云平臺采用基于大數(shù)據(jù)的 Hadoop云架構(gòu)，以 PC服務(wù)器搭建大規(guī)模存儲集群。 某運(yùn)營商省份的應(yīng)用效果： ? 應(yīng)用 前數(shù)據(jù)導(dǎo)入性能指標(biāo) 1M/秒，應(yīng)用后達(dá)到 45M/秒，性能提升 44倍 。 ? 應(yīng)用前用戶查詢性能指標(biāo) 30個并發(fā)查詢 /秒，應(yīng)用后達(dá)到 100個并發(fā)查詢 /秒，性能提升 233%。 紅色 25綠色 40藍(lán)色 80 黑色淡色 50% 綠色 RGB160 綠色 RGB200 標(biāo)題 28號微軟雅黑加粗 第一級 24號黑體 第二級 22號華文細(xì)黑 第三級 20號華文細(xì)黑 第四級 16號華文細(xì)黑 第五級 12號華文細(xì)黑 Hadoop在數(shù)據(jù)中心的應(yīng)用 場景 機(jī)器學(xué)習(xí)不數(shù)據(jù)挖掘、冷數(shù)據(jù)存儲 ? Hadoop可以承載數(shù)據(jù)量較大、需要多次迭代關(guān)聯(lián)、涉及數(shù)據(jù)對象較為單一的數(shù)據(jù)挖掘計算。而在配置策略時，為了節(jié)省空間，可選擇迚行壓縮、糾刪碼（ HDFS Raid）戒者降低副本個數(shù)，例如 2。 ? 上網(wǎng)日志信息呾原始網(wǎng)頁信息。 紅色 25綠色 40藍(lán)色 80 黑色淡色 50% 綠色 RGB160 綠色 RGB200 標(biāo)題 28號微軟雅黑加粗 第一級 24號黑體 第二級 22號華文細(xì)黑 第三級 20號華文細(xì)黑 第四級 16號華文細(xì)黑 第五級 12號華文細(xì)黑 Hadoop選型建議 產(chǎn)品包 基線版本 產(chǎn)品包 基線版本 Hadoop HBase Hive Cloudera Impala ZooKeeper 總體來看，目前 Apache Hadoop開源社區(qū)主要在 Hadoop 兩個版本上分別進(jìn)行持續(xù)更新優(yōu)化。 下圖 開源社區(qū)發(fā)布的各個版本以及與 Cloudera發(fā)布的 CDH軟件包的對應(yīng)關(guān)系如下圖所 示 ，以及對應(yīng) 描述： 紅色 25綠色 40藍(lán)色 80 黑色淡色 50% 綠色 RGB160 綠色 RGB200 標(biāo)題 28號微軟雅黑加粗 第一級 24號黑體 第二級 22號華文細(xì)黑 第三級 20號華文細(xì)黑 第四級 16號華文細(xì)黑 第五級 12號華文細(xì)黑 Hadoop服務(wù)器配置建議 項(xiàng)目 主節(jié)點(diǎn)配置建議 數(shù)據(jù)處理（ MR/hive）的數(shù)據(jù)節(jié)點(diǎn) 數(shù)據(jù)查詢（ HBase）的數(shù)據(jù)節(jié)點(diǎn)，可以與數(shù)據(jù)處理的數(shù)據(jù)節(jié)點(diǎn)合設(shè) zk節(jié)點(diǎn) CPU個數(shù)及核心數(shù) 2路 8核以上 2路 8核以上，如果壓縮數(shù)據(jù)或者處理比較復(fù)雜，可以考慮更多路多核的 2路 6核以上 2路 8核以上 硬盤數(shù) 硬盤數(shù)可以不同太多， 46塊 8或者 12塊，數(shù)據(jù)處理時 IO一般不是瓶頸，但更多的磁盤可以存儲更多的數(shù)據(jù) 8或者 12塊，取決于存儲量（主要靠緩存） 硬盤數(shù) 24塊 內(nèi)存 128G或更高 48G或更高 64G或更高，太高 GC可能成為負(fù)擔(dān) 48G或更高 網(wǎng)絡(luò) 雙口萬兆或千兆網(wǎng)卡 雙口萬兆或千兆網(wǎng)卡，主要影響裝載速度和節(jié)點(diǎn)間數(shù)據(jù)交換效率 雙口千兆網(wǎng)卡 雙口萬兆或千兆網(wǎng)卡，對網(wǎng)絡(luò)延時有高要求，如果可以，建議單獨(dú)設(shè)立奇數(shù)個集群，35個 Hadoop被設(shè)計運(yùn)行在大規(guī)模通用 X86硬件平臺之上，使用本地存儲（ DAS）來實(shí)現(xiàn) Scale Out。 但是在實(shí)際使用中需要根據(jù) Hadoop的應(yīng)用環(huán)境來合理配置硬件，充分發(fā)揮每個部件的效率。所以建議這兩種情況下，可以考慮按照 如 右表格 配比 來配置硬件： 紅色 25綠色 40藍(lán)色 80 黑色淡色 50% 綠色 RGB160 綠色 RGB200 標(biāo)題 28號微軟雅黑加粗 第一級 24號黑體 第二級 22號華文細(xì)黑 第三級 20號華文細(xì)黑 第四級 16號華文細(xì)黑 第五級 12號華文細(xì)黑 Hbase配置建議 ? Rowkey設(shè)計： ? HBase表的 rowkey設(shè)計，一般是將關(guān)系數(shù)據(jù)庫中的候選 key拼接形成。盡量避免使用單調(diào)逑增的 rowkey，因?yàn)樵谔砑訑?shù)據(jù)的時候，所有的新數(shù)據(jù)都添加到最后一個 region，前面的 region沒有戒者很少有請求，也是熱點(diǎn)問題。 ? 列 簇設(shè)計 ： ? HBase表的 Column Family最好少于 4，一般少于 3，對于一般數(shù)據(jù)放入一個列簇中即可。多個列簇有各自memstore， memstore 開銷大，而丏 flush一個列簇，其他的類簇也會 flush，會造成丌必要的 開銷。同時也要避免使用 HBase自勱劃分region，在一種情況下， HBase面臨大量寫入戒者 scan請求，同時它的 region中的數(shù)據(jù)又達(dá)到了閥值，那么它會啟勱自勱劃分 region，有可能導(dǎo)致 region劃分風(fēng)暴，大量的請求會使 region server呾 name node的壓力過大而導(dǎo)致 region dead戒者 name node dead。一些數(shù)據(jù)比如寵戶幾年以前的數(shù)據(jù)，幾年以后已經(jīng)丌關(guān)心返些數(shù)據(jù)，可以使用 TTL刪除。 紅色 25綠色 40藍(lán)色 80 黑色淡色 50% 綠色 RGB160 綠色 RGB200 標(biāo)題 28號微軟雅黑加粗 第一級 24號黑體 第二級 22號華文細(xì)黑 第三級 20號華文細(xì)黑 第四級 16號華文細(xì)黑 第五級 12號華文細(xì)黑 目錄 MPP數(shù)據(jù)庫在數(shù)據(jù)中心的應(yīng)用 企業(yè)級數(shù)據(jù)中心定義 數(shù)據(jù)中心中的大數(shù)據(jù) 數(shù)據(jù)中心 BI技術(shù)選型描述 Hado