power大數(shù)據(jù)解決方案介紹及案例分享-資料下載頁
2025-02-24 14:29本頁面
【正文】 更好11 Symphony具有更高性能，作業(yè)調(diào)度使用更高效的推送方式，而非輪詢方式，相對開源實現(xiàn)在不同的場景下有 40%66倍的性能提升。12 具有完整的報表功能，多角度搜集、分析分布式文件系統(tǒng)、并行執(zhí)行框架、資源、作業(yè)數(shù)據(jù)，分析平臺利用情況，發(fā)現(xiàn)性能瓶頸。13 企業(yè)級技術(shù)支持IBM Symphony在大數(shù)據(jù)方案中的核心價值n靈活 多租戶環(huán)境實現(xiàn)資源共享n高效 更快速地得到計算 /分析結(jié)果n強(qiáng)大 低延遲，高性能，高可擴(kuò)展n經(jīng)濟(jì) 降低 TCO （基礎(chǔ)設(shè)施和管理開銷）n成熟 經(jīng)過大規(guī)模生產(chǎn)驗證的解決方案n開放 豐富的 API和應(yīng)用支持n整合 集成管理工具，支持多集群和云環(huán)境n貼心 強(qiáng)大的本地開發(fā)和技術(shù)支持團(tuán)隊資源調(diào)度C工作負(fù)載管理C C C C CC C C C C CDDDDDDDDDDDDC C C C C CA A A AA A A AA A A AA A A ABBBBBBBBBBBBB B B B B B各種商業(yè)軟件B 自開發(fā)應(yīng)用C大數(shù)據(jù)分析MapReduce/內(nèi)存計算D快速響應(yīng) 靈活擴(kuò)展 經(jīng)濟(jì)高效Spectrum Storage /Power+GPFS 海量數(shù)據(jù)存儲中心方案167。 統(tǒng)一的企業(yè)內(nèi)部存儲云，云化各種存儲介質(zhì)，提供統(tǒng)一的通用存儲服務(wù)167。 GPFS as unified data plane on top of different storage systems? Providing an unified interface for SDS control plane, with:? Unified namespace for distributed applications (the nature of GPFS as cluster filesystem)? Matured enterprise storage features independent to the storage systems NFSMapReduceConnector OpenStackFlashDiskTapePOSIXClientworkstationsUsersandapplicationsCompute FarmGSSCIFSCinder SwiftGlanceManilaVMwareSRMVADPVAAI vSphereSingle name spaceIBM Spectrum ScaleShareNothingClusterSite ASite BSite CGPFS AFMIBMInterCloudStoreUniversalCloudgatewayconnectsIBMpubliccloud,AmazonS3,AzureandotherstorageprovidersICStoreAgenda? Power，為大數(shù)據(jù)而設(shè)計? Power 大數(shù)據(jù)方案介紹? 應(yīng)用場景和案例分享應(yīng)用場景和案例分享某運(yùn)營商流計算案例 Streams44? 網(wǎng)絡(luò)質(zhì)量實時監(jiān)測– 數(shù)據(jù)規(guī)模大，大于 10萬 /秒的信令– 實時洞察網(wǎng)絡(luò)質(zhì)量指標(biāo)? 實時分析 CDR – 短頻話單分析– 短頻話單分析并按小區(qū) /號段統(tǒng)計– 切換頻話單– 異常話單– 單通話單– 掉話率分析? 測試結(jié)果（ CDR/秒）– 配置： 2GHz * 4核 * 2臺服務(wù)器– 單節(jié)點： 702083– 兩節(jié)點： 140000按小區(qū)或號段 緯 度 統(tǒng)計 短 頻話單 ：占用 時長 小于 15秒的通 話 ，且同一主叫和被叫的兩通通 話間 隔小于 20秒重復(fù)小區(qū)切 換話單 .剔除 業(yè)務(wù) 臺號 碼 ；按照小區(qū) 維 度 統(tǒng)計滿 足條件 2的 話單 數(shù)包含設(shè)備和業(yè)務(wù)種類多，涉及指標(biāo)多，數(shù)據(jù)量大不斷的增大等挑戰(zhàn)．需要有一個實時分析平臺解決實時分析網(wǎng)絡(luò)質(zhì)量問題，優(yōu)化網(wǎng)絡(luò)設(shè)備提高客戶滿意度．某運(yùn)營商數(shù)據(jù)倉庫案例： Power+DB2 DPF128節(jié)點的典型 sharednothing MPP數(shù)據(jù)倉庫，數(shù)據(jù)庫可用容量已超過 500TB。45某運(yùn)營商移動流量經(jīng)營和大數(shù)據(jù)分析平臺硬件配置 :IBMPower70*7R1252。 Redhat252。 6Cores,128GBMem252。 InternalDisk:2*300GB,4*252。 EXP24s:24*SASdisk252。 NetworkAdapter:2x1000Gbps,2x10000Gbps開源軟件部分清單 :252。 Hadoop252。 HBase.252。 Spark(Sparkstream)252。 HDFS某省移動企業(yè)級多租戶大數(shù)據(jù)平臺30臺 7R1單臺 7R1配置： 8core128GB54SASHDD410GE+41GE面向多租戶資源 SLA的統(tǒng)一平臺應(yīng)用之間，用戶之間的資源的共享和隔離跨 O域和 B域的共享資源大數(shù)據(jù)平臺，多個開發(fā)商并行開發(fā)并行運(yùn)行，每日處理數(shù)據(jù)超過 50TB資源隔離 :應(yīng)用之間的隔離 ,避免某些應(yīng)用發(fā)生異常，搶占過多資源資源共享 :應(yīng)用之間的資源共享，提高資源的利用率Citi銀行 Symphony網(wǎng)格計算平臺在愛Citi 網(wǎng)格運(yùn)行分析Citi – 計 算和數(shù)據(jù) 結(jié) 合型網(wǎng)格系 統(tǒng) ,主要 為風(fēng)險 分析? 在一個共享的網(wǎng)格 資 源里運(yùn)行著 200以上不同的 IB和零售分析 應(yīng) 用 ? 全球 動態(tài) 共享的 40,000cores能 夠 持 續(xù)維 持 70%以上的利用率? 超 強(qiáng) 的管理效率 –管理者與主機(jī)的比 為 1:400? 作 業(yè) 吞吐量 –400,000,000 作 業(yè) /天?14條不同的 業(yè)務(wù)線 共享著全球的 HPC資 源? 為 每個商 業(yè)業(yè)務(wù)單 元確保 SLAs時間 指 標(biāo) ,實現(xiàn) 廣泛的 資 源共享?4 個數(shù)據(jù)中心包含了異構(gòu)的 LinuxWindows主機(jī) ,一 處 在 倫 敦 ,一 處 在香港 ,還 有兩 處 在美國 ? 處 理國內(nèi)增 長 的 風(fēng)險 ,定價 應(yīng) 用和其他的商 務(wù)應(yīng) 用 ,與 SAS,Murex等集成 .? 異構(gòu)的工作內(nèi)容 (批 處 理 ,SOA,計 劃部署 MapReduce)? 自定 義 服 務(wù) ,報 表和退款實時 的 監(jiān) 控和管理主機(jī) ,所有全球 資產(chǎn) 的完全可 視 化針對 整個企 業(yè) 相關(guān) 應(yīng) 用和 風(fēng)險 控制的全球資 源分配方案在數(shù)據(jù)中心和功能域基 礎(chǔ) 上的有關(guān) LOBs和 應(yīng) 用的彈 性的 資 源分配模式橫跨整個地域的有關(guān) LOBs和 應(yīng) 用的全球 資 源共享 視圖48Power+DB2 BLU內(nèi)存分析案例企 業(yè) ETL應(yīng) 用DB2 BLU加速原來 Row數(shù)據(jù) 庫 中需要執(zhí) 行 2小 時 20分的 ETL過 程 縮 減到 3分30秒即可完成，整體提升性能 30倍，硬件 環(huán) 境： Power7 16Cores；128GBOur BI solution is built on a Cognos/DB2,With BLU Acceleration, we have been able to reduce the time spent on preaggregation from one hour to two minutes. ?BLU Acceleration is truly amazing.–Yong Zhou, Sr. Manager of Data Warehouse Business Intelligence Department, Taikang Life Insurance企 業(yè) 數(shù)據(jù) 倉庫應(yīng) 用，承擔(dān)全行 報 表表查詢 ，數(shù)據(jù)供 給?作 為 企 業(yè) 入 門級 數(shù)據(jù) 倉庫 系 統(tǒng) 與 Row數(shù)據(jù) 庫 相比性能提升 15倍。?節(jié) 省 70%的存 儲 空 間 ， 90%的表 壓縮率達(dá)到 90%以上，其中最大的 單 表120G壓縮 后 為 15GB?一 張 1400萬 記錄 的表與一 張 400萬 記錄 的表做 left join， 3秒內(nèi) 顯 示 結(jié) 果 .*硬件 環(huán) 境 : Power7 4Cores。 32 GB謝 謝演講完畢，謝謝觀看！
黨政相關(guān)相關(guān)推薦
鄂ICP備17016276號-1