【正文】 reother2x某省移動(dòng)企業(yè)級(jí)多租戶大數(shù)據(jù)平臺(tái)30臺(tái) 7R1單臺(tái) 7R1配置： 8core128GB54SAS天?14Reduce)? 自定 義 服 務(wù) ,(批 處 理 ,1:400? 作 業(yè) 吞吐量 disk252。128GBAmazonReduceResourcePPM? BatchHive, 用戶統(tǒng)一管理252。onDatabaseGateMonteofCAPI開放硬件 創(chuàng) 新方案 …… 提供無限可能GooglenodeandmemoryClusterCAPI40aFLASH+infrastructureLoadtomoreDCS3700Power大數(shù)據(jù)最佳 實(shí) 踐從 計(jì) 算密集型到數(shù)據(jù)密集型都有靈活的配比方案性能、容量和成本的最佳平衡ComputeDenseStorageDensePower8 無處不在的 RAS?處理器指令重試?備用處理器恢復(fù)?可選擇動(dòng)態(tài)固件更新?Chip kill 內(nèi)存?ECC 二級(jí)緩存、三級(jí)緩存?帶故障監(jiān)控功能的服務(wù)處理器?熱插拔磁盤托架?熱插拔并發(fā)維護(hù) PCIe 插槽?熱插拔冗余電源和散熱風(fēng)扇?動(dòng)態(tài)處理器重新分配?PCI 插槽上的擴(kuò)展錯(cuò)誤處理Power8遠(yuǎn)超 x86的高可靠設(shè)計(jì)CustomHardwareApplicationPOWER8CAPPCoherence BusPSLFPGA or ASIC可自定 義 的硬件 應(yīng) 用程序加速器? 特定的系 統(tǒng)軟 件、中 間 件或用 戶應(yīng) 用程序? 寫入 PSL 提供的持久接口 POWER8PCIe Gen 3Transport for encapsulated messagesProcessor Service Layer (PSL)?向 應(yīng) 用程序提供成熟的、 穩(wěn) 定的接口? 降低 CAPP 的復(fù) 雜 性和工作 負(fù)載虛 擬尋 址? 加速器可以與 處 理器一 樣 直接 對(duì) 內(nèi)存 進(jìn) 行 尋 址? 與 處 理器運(yùn)行程序一 樣 使用指 針? 消除操作系 統(tǒng) 和 設(shè)備驅(qū)動(dòng) 程序的 額 外開 銷Power8創(chuàng)新 CAPI接口，開放定制硬件加速硬件管理的 緩 存一致性? 使得加速器能作 為 正常 線 程參與 “ Locks” ，降低 IO 通信模型中的延 遲基于 Power8 CAPI加速接口，為大數(shù)據(jù)進(jìn)行硬件創(chuàng)新Agenda? Power，為大數(shù)據(jù)而設(shè)計(jì)? Power 大數(shù)據(jù)方案介紹大數(shù)據(jù)方案介紹? 應(yīng)用場(chǎng)景和案例分享企業(yè)級(jí)市場(chǎng)的大數(shù)據(jù)應(yīng)用機(jī)會(huì)Key Industry Opportunity and TrendsTele, Banking and Government contribute the largest incremental Big Data Analytics market size from 2023 to 2023 in GCG? MoreEXP24SLargeAvailable10K+benchmark,9 Petabytes 其他數(shù)據(jù)資產(chǎn) 市 場(chǎng)數(shù)據(jù)量增 長(zhǎng) 1,750%, 2023064數(shù)據(jù)爆炸的時(shí)代，贏得數(shù)據(jù)才能贏得世界數(shù)據(jù)是新的自然資源基于數(shù)據(jù)的決策更加復(fù)雜更加重要數(shù)據(jù)的爆炸式增長(zhǎng)超出系統(tǒng)能力大數(shù)據(jù)計(jì)算需要什么樣的硬件平臺(tái)？? OLAP?DWthanRPMTBSASNumberTBSmallS822Lnotsolutions? HelpScaleoutNode500GBAdvantage:? NewworkloadanNode10GbPOWER8DrawermemoryBalancingPower CAPIattached Flash model for NoSQL regains infrastructure control and reigns in the cost to deliver services.Power8創(chuàng)新 NoSQL方案與現(xiàn)有 NoSQL方案比較10GbonparedstorageCoherently….Power+Stream 流計(jì)算方案23? 大數(shù)據(jù)平臺(tái)實(shí)時(shí)分析平臺(tái)? 一個(gè)處理流數(shù)據(jù)的 低延遲 平臺(tái)– 毫秒級(jí)，甚至微妙級(jí)端到端的延遲? 一個(gè) 可高度擴(kuò)展 的，用于 實(shí)時(shí)分析 的 高性能 平臺(tái)– 通過橫向增加硬件獲得近線性的處理能力擴(kuò)展– 高達(dá) 125個(gè)節(jié)點(diǎn)擴(kuò)展? 一個(gè) 靈活的 、 動(dòng)態(tài)的 平臺(tái)– Streams應(yīng)用靈活部署– 支持動(dòng)態(tài)部署新的分析應(yīng)用Millions of events per secondMicrosecond LatencyTraditional / Nontraditional data sourcesReal time decisionsPowerfulAnalyticsAlgo TradingTelco churnpredictSmartGridCyberSecurity Government /Law enforcementICUMonitoringEnvironmentMonitoringPower+Stream 流計(jì)算方案編譯時(shí) Operators自 動(dòng) 融合：允 許 自 動(dòng) 或人工 調(diào) 整連續(xù) 的 “管道 ”處 理靈活、高性能的數(shù)據(jù) 傳輸極低延 遲極高數(shù)據(jù)速率易 擴(kuò) 展內(nèi)置 adaptors用 戶 可使用熟悉的 DPF作為 MPP的代表，具有廣泛的優(yōu)點(diǎn)，是 DW均衡架構(gòu)的最佳 實(shí)現(xiàn) ，CPU0MemoryCPU1 CPU2 CPU3DB2Partition0DB2Partition1DB2Partition2DB2Partition3CPU0MemoryCPU1 CPU2 CPU3DB2Partition4DB2Partition5DB2Partition6DB2Partition7CPU0MemoryCPU1 CPU2 CPU3DB2Partition0DB2Partition1DB2Partition2DB2Partition99… ..SMP+MPP架構(gòu)的 DB2 DPFDW垂直擴(kuò)展 :擴(kuò)展操作系統(tǒng)資源數(shù)量以及內(nèi)部的每個(gè) DB2分區(qū)節(jié)點(diǎn)的資源數(shù)量水平擴(kuò)展 :擴(kuò)展操作系統(tǒng)數(shù)量以及DB2分區(qū)節(jié)點(diǎn)的數(shù)量Power+DB2 DPF，可靈活選擇硬件平臺(tái)，達(dá)到性能、擴(kuò)展性和價(jià)格的最佳平衡高端方案 中端方案 低端方案主機(jī) 高端 Power 中低端 Power Powerlinux數(shù)據(jù)庫(kù)軟件DB2 DPF DB2 DPFOracle RAC 或單機(jī)版DB2 DPF架構(gòu) SMP+MPP 小型 SMP+MPP小型 SMP+Shared Disk 或小型 SMPMPP擴(kuò)展方式 垂直擴(kuò)展或水平擴(kuò)展 DB2一般垂直擴(kuò)展升級(jí)為高端 POWER方案，或可水平擴(kuò)展Oracle可垂直升級(jí)為高端方案，很難水平擴(kuò)展水平擴(kuò)展存儲(chǔ) 中高端存儲(chǔ) 中低端存儲(chǔ) 中低端存儲(chǔ)適用場(chǎng)景 超大規(guī)模主 DW、數(shù)據(jù)集市集中庫(kù)中型數(shù)據(jù)集市、 ODS 小型數(shù)據(jù)集市數(shù)據(jù)量 （非壓縮）可超過 1 PB，全球生產(chǎn)案例可達(dá) 3 PB；國(guó)內(nèi)案例： 128節(jié)點(diǎn) 800TB數(shù)十 TB至數(shù)百 TB 數(shù)十 TB至上百 TB優(yōu)缺點(diǎn) 優(yōu)勢(shì)：支持超大規(guī)模結(jié)構(gòu)化DW，很好的性能和擴(kuò)展能力優(yōu)勢(shì)：對(duì)于適用數(shù)據(jù)量，性能好缺點(diǎn)：水平擴(kuò)展需要數(shù)據(jù)重分布影響生產(chǎn)性能； Oracle很難水平擴(kuò)展優(yōu)勢(shì)：對(duì)于適用數(shù)據(jù)量性價(jià)比好缺點(diǎn)：無垂直擴(kuò)展，水平擴(kuò)展需數(shù)據(jù)重分布Power+DB2 DPF vs 一體機(jī)序號(hào) 測(cè)試場(chǎng)景 測(cè)試目的 ISAS vs Exadata1 數(shù)據(jù)加載測(cè)試 測(cè)試數(shù)據(jù)庫(kù)數(shù)據(jù)加載效率 占優(yōu)2 數(shù)據(jù)壓縮測(cè)試 測(cè)試數(shù)據(jù)庫(kù)對(duì)數(shù)據(jù)壓縮率 占優(yōu)3 大數(shù)據(jù)表查詢 —— select count(*) 測(cè)試數(shù)據(jù)庫(kù)對(duì)大表的查詢效率。2SymphonyPlatform SymphonySOAM, PSMRIBM Platform Cluster Manager(provisioning and management of distributed environments)?PlatformM③ 完善的用戶 /租