power大數(shù)據(jù)解決方案介紹及案例分享50(存儲版)
【正文】 s(DRF)算法最大化資源任務(wù)分配? Example:– 假設(shè)集群包含 8 cores, 40GB memory– App1 為計算密集型，每個任務(wù)需要 4 cores, – App2 為內(nèi)存密集型，每個任務(wù)需要 1 core, 10GB1 core, 5GB1 core, 5GB1 core, 5GB1 core, 5GB1 core, 5GB1 core, 5GB1 core, 5GB1 core, 5GBWithout MDS(可同時運(yùn)行 3 個任務(wù) : 1 App1, 2 App2) With MDS (可同時運(yùn)行 4 個任務(wù) : 1 App1, 3 App2)1 core 5GB1 core 5GB1 core 5GB1 core 5GB1 core 5GB1 core 5GB1 core 5GB1 core GBApp1, Task1App2, Task1App2, Task2App2, Task3LegendMultiDimensional⑤ 對于服務(wù)器 CPU/Mem/IO資源的細(xì)粒度精確管控能力，多維度調(diào)度資源，提高整體使用率。 GPFS as unified data plane on top of different storage systems? Providing an unified interface for SDS control plane, with:? Unified namespace for distributed applications (the nature of GPFS as cluster filesystem)? Matured enterprise storage features independent to the storage systems NFSMapStorecloud,Cores,SAS2以上不同的 管理者與主機(jī)的比 為 實現(xiàn) 廣泛的 資 源共享?4 個數(shù)據(jù)中心包含了異構(gòu)的 Linux? 異構(gòu)的工作內(nèi)容 LOBs報 表和退款實時 的 監(jiān) 控和管理主機(jī) ,Murex條不同的 業(yè)務(wù)線 共享著全球的 HPC資 源? 為 每個商 業(yè)業(yè)務(wù)單 元確保 SLA以上的利用率? 超 強(qiáng) 的管理效率 HDD410GE+41GE面向多租戶資源 SLA的統(tǒng)一平臺應(yīng)用之間，用戶之間的資源的共享和隔離跨 O域和 B域的共享資源大數(shù)據(jù)平臺，多個開發(fā)商并行開發(fā)并行運(yùn)行，每日處理數(shù)據(jù)超過 50TB資源隔離 :應(yīng)用之間的隔離 , HDFS1000Gbps,**252。storageIBMNothingClusterSite ASite BSite CGPFS AFMIBM內(nèi)存計算D快速響應(yīng) 靈活擴(kuò)展 經(jīng)濟(jì)高效Spectrum Storage /Power+GPFS 海量數(shù)據(jù)存儲中心方案167。③ 完善的用戶 /租戶定義和管理機(jī)制 。Symphony能夠支持多租戶，支持資源的有效共享資源在多應(yīng)用之間有效共享、調(diào)配資源計劃示例37IBM Symphony提供面向多租戶的資源調(diào)度多租戶間基于策略的資源共享多應(yīng)用間可配置的資源共享策略? 尊重資源擁有者 MMatLab,PlatformBigSymphonyPlatform SymphonySOAM, PSMRIBM Platform Cluster Manager(provisioning and management of distributed environments)? 資源統(tǒng)一調(diào)度，為每個應(yīng)用彈性供給252。2/DPF作為 MPP的代表，具有廣泛的優(yōu)點，是 DW均衡架構(gòu)的最佳 實現(xiàn) ，CPU0MemoryCPU1 CPU2 CPU3DB2Partition0DB2Partition1DB2Partition2DB2Partition3CPU0MemoryCPU1 CPU2 CPU3DB2Partition4DB2Partition5DB2Partition6DB2Partition7CPU0MemoryCPU1 CPU2 CPU3DB2Partition0DB2Partition1DB2Partition2DB2Partition99… ..SMP+MPP架構(gòu)的 DB2 DPFDW垂直擴(kuò)展 :擴(kuò)展操作系統(tǒng)資源數(shù)量以及內(nèi)部的每個 DB2分區(qū)節(jié)點的資源數(shù)量水平擴(kuò)展 :擴(kuò)展操作系統(tǒng)數(shù)量以及DB2分區(qū)節(jié)點的數(shù)量Power+DB2 DPF，可靈活選擇硬件平臺，達(dá)到性能、擴(kuò)展性和價格的最佳平衡高端方案 中端方案 低端方案主機(jī) 高端 Power 中低端 Power Powerlinux數(shù)據(jù)庫軟件DB2 DPF DB2 DPFOracle RAC 或單機(jī)版DB2 DPF架構(gòu) SMP+MPP 小型 SMP+MPP小型 SMP+Shared Disk 或小型 SMPMPP擴(kuò)展方式 垂直擴(kuò)展或水平擴(kuò)展 DB2一般垂直擴(kuò)展升級為高端 POWER方案，或可水平擴(kuò)展Oracle可垂直升級為高端方案，很難水平擴(kuò)展水平擴(kuò)展存儲 中高端存儲 中低端存儲 中低端存儲適用場景 超大規(guī)模主 DW、數(shù)據(jù)集市集中庫中型數(shù)據(jù)集市、 ODS 小型數(shù)據(jù)集市數(shù)據(jù)量 （非壓縮）可超過 1 PB，全球生產(chǎn)案例可達(dá) 3 PB；國內(nèi)案例： 128節(jié)點 800TB數(shù)十 TB至數(shù)百 TB 數(shù)十 TB至上百 TB優(yōu)缺點 優(yōu)勢：支持超大規(guī)模結(jié)構(gòu)化DW，很好的性能和擴(kuò)展能力優(yōu)勢：對于適用數(shù)據(jù)量，性能好缺點：水平擴(kuò)展需要數(shù)據(jù)重分布影響生產(chǎn)性能； Oracle很難水平擴(kuò)展優(yōu)勢：對于適用數(shù)據(jù)量性價比好缺點：無垂直擴(kuò)展，水平擴(kuò)展需數(shù)據(jù)重分布Power+DB2 DPF vs 一體機(jī)序號 測試場景 測試目的 ISAS vs Exadata1 數(shù)據(jù)加載測試 測試數(shù)據(jù)庫數(shù)據(jù)加載效率 占優(yōu)2 數(shù)據(jù)壓縮測試 測試數(shù)據(jù)庫對數(shù)據(jù)壓縮率 占優(yōu)3 大數(shù)據(jù)表查詢 —— select count(*) 測試數(shù)據(jù)庫對大表的查詢效率。倍“It was amazing to see the faster query times pared to the performance results with our rowanized tables. The performance of four of our queries improved by over 100fold! The best oute was a query that finished 137x faster by using BLU Acceleration.” 連續(xù) 的 “管道 ”處 理靈活、高性能的數(shù)據(jù) 傳輸極低延 遲極高數(shù)據(jù)速率易 擴(kuò) 展內(nèi)置 adaptors用 戶 可使用熟悉的 允 許 自 動 或人工 調(diào) 整分布式運(yùn)行….Power+Stream 流計算方案23? 大數(shù)據(jù)平臺實時分析平臺? 一個處理流數(shù)據(jù)的 低延遲 平臺– 毫秒級，甚至微妙級端到端的延遲? 一個 可高度擴(kuò)展 的，用于 實時分析 的 高性能 平臺– 通過橫向增加硬件獲得近線性的處理能力擴(kuò)展– 高達(dá) 125個節(jié)點擴(kuò)展? 一個 靈活的 、 動態(tài)的 平臺– Streams應(yīng)用靈活部署– 支持動態(tài)部署新的分析應(yīng)用Millions of events per secondMicrosecond LatencyTraditional / Nontraditional data sourcesReal time decisionsPowerfulAnalyticsAlgo TradingTelco churnpredictSmartGridCyberSecurity Government /Law enforcementICUMonitoringEnvironmentMonitoringPower+Stream 流計算方案編譯時 Operators自 動 融合：SwitchboardNetworkstorageCoherentlyPOWER8pared? 高性能網(wǎng)絡(luò)加速卡減少 10x延遲 10x? onNode512GBBalancingPow
環(huán)評公示相關(guān)推薦
鄂ICP備17016276號-1