power大數(shù)據(jù)解決方案介紹及案例分享50(參考版)
2025-02-26 11:01本頁(yè)面
【正文】 ?節(jié) 省 70%的存 儲(chǔ) 空 間 ， 90%的表 壓縮率達(dá)到 90%以上，其中最大的 單 表120G壓縮 后 為 15GB?一 張 1400萬(wàn) 記錄 的表與一 張 400萬(wàn) 記錄 的表做 left join， 3秒內(nèi) 顯 示 結(jié) 果 .*硬件 環(huán) 境 : Power7 4Cores。LOBs報(bào) 表和退款實(shí)時(shí) 的 監(jiān) 控和管理主機(jī) ,MapSOA,? 異構(gòu)的工作內(nèi)容 Murex一 處 在 倫 敦 ,一 處 在香港 ,還 有兩 處 在美國(guó) Windows實(shí)現(xiàn) 廣泛的 資 源共享?4 個(gè)數(shù)據(jù)中心包含了異構(gòu)的 Linux條不同的 業(yè)務(wù)線 共享著全球的 HPC資 源? 為 每個(gè)商 業(yè)業(yè)務(wù)單 元確保 SLA/–管理者與主機(jī)的比 為 以上的利用率? 超 強(qiáng) 的管理效率 cores和零售分析 應(yīng) 用 以上不同的 HDD410GE+41GE面向多租戶資源 SLA的統(tǒng)一平臺(tái)應(yīng)用之間，用戶之間的資源的共享和隔離跨 O域和 B域的共享資源大數(shù)據(jù)平臺(tái)，多個(gè)開(kāi)發(fā)商并行開(kāi)發(fā)并行運(yùn)行，每日處理數(shù)據(jù)超過(guò) 50TB資源隔離 :應(yīng)用之間的隔離 , HDFS Spark(Spark.252。10000Gbps開(kāi)源軟件部分清單 :252。21000Gbps,2 NetworkSAS* EXP24s:**Disk:Mem252。Cores,252。70*7R1252。45某運(yùn)營(yíng)商移動(dòng)流量經(jīng)營(yíng)和大數(shù)據(jù)分析平臺(tái)硬件配置 :IBMstorageandS3,cloud,IBMgatewayCloudStoreNothingClusterSite ASite BSite CGPFS AFMIBMandConnector OpenStackFlashDiskTapePOSIXClient GPFS as unified data plane on top of different storage systems? Providing an unified interface for SDS control plane, with:? Unified namespace for distributed applications (the nature of GPFS as cluster filesystem)? Matured enterprise storage features independent to the storage systems NFSMap內(nèi)存計(jì)算D快速響應(yīng) 靈活擴(kuò)展 經(jīng)濟(jì)高效Spectrum Storage /Power+GPFS 海量數(shù)據(jù)存儲(chǔ)中心方案167。13 企業(yè)級(jí)技術(shù)支持IBM Symphony在大數(shù)據(jù)方案中的核心價(jià)值n靈活 多租戶環(huán)境實(shí)現(xiàn)資源共享n高效 更快速地得到計(jì)算 /分析結(jié)果n強(qiáng)大 低延遲，高性能，高可擴(kuò)展n經(jīng)濟(jì) 降低 TCO （基礎(chǔ)設(shè)施和管理開(kāi)銷(xiāo)）n成熟 經(jīng)過(guò)大規(guī)模生產(chǎn)驗(yàn)證的解決方案n開(kāi)放 豐富的 API和應(yīng)用支持n整合 集成管理工具，支持多集群和云環(huán)境n貼心 強(qiáng)大的本地開(kāi)發(fā)和技術(shù)支持團(tuán)隊(duì)資源調(diào)度C工作負(fù)載管理C C C C CC C C C C CDDDDDDDDDDDDC C C C C CA A A AA A A AA A A AA A A ABBBBBBBBBBBBB B B B B B各種商業(yè)軟件B 自開(kāi)發(fā)應(yīng)用C大數(shù)據(jù)分析MapReduce⑨ 對(duì)多種 OS和硬件平臺(tái)的開(kāi)放兼容和異構(gòu)支持能力⑩ Symphony基于 c/c++編寫(xiě)，經(jīng)過(guò)多年優(yōu)化，比純開(kāi)源 Hadoop性能更好11 Symphony具有更高性能，作業(yè)調(diào)度使用更高效的推送方式，而非輪詢方式，相對(duì)開(kāi)源實(shí)現(xiàn)在不同的場(chǎng)景下有 40%66倍的性能提升。⑤ 對(duì)于服務(wù)器 CPU/Mem/IO資源的細(xì)粒度精確管控能力，多維度調(diào)度資源，提高整體使用率。③ 完善的用戶 /租戶定義和管理機(jī)制 。Symphony軟件有以下特點(diǎn)：① 三級(jí)粒度資源管理和調(diào)度能力，支持資源分組。Scheduling可獨(dú)占? 支持資源分組，應(yīng)用可使用多個(gè)資源組，每組配置共享策略? 基于時(shí)間的共享策略? 可配置資源借出、借入策略? 可配置搶占策略? 具有保證租戶 SLA機(jī)制，去除資源共享的業(yè)務(wù)障礙多種負(fù)載、計(jì)算框架資源共享：可同時(shí)調(diào)度并執(zhí)行 MapReduce分析框架、 SPARK內(nèi)存計(jì)算、 Stream/Storm流式計(jì)算、 Hbase/MPP/NoSQL數(shù)據(jù)庫(kù)、 SOA實(shí)時(shí)計(jì)算， R/SAS等傳統(tǒng) BI分析及 ETL應(yīng)用等 7種類(lèi)型的負(fù)載Symphony支持多維度精確資源管理和調(diào)度? 可以為每個(gè)租戶定義多維度資源調(diào)度因子，當(dāng)前最多支持 4個(gè) (Cores, Memory, Swap, Tmp, 磁盤(pán)個(gè)數(shù)等 )? 通過(guò)負(fù)載在每個(gè)傾斜維度的充分利用，提高增提資源利用率? Dominant Resource Fairness(DRF)算法最大化資源任務(wù)分配? Example:– 假設(shè)集群包含 8 cores, 40GB memory– App1 為計(jì)算密集型，每個(gè)任務(wù)需要 4 cores, – App2 為內(nèi)存密集型，每個(gè)任務(wù)需要 1 core, 10GB1 core, 5GB1 core, 5GB1 core, 5GB1 core, 5GB1 core, 5GB1 core, 5GB1 core, 5GB1 core, 5GBWithout MDS(可同時(shí)運(yùn)行 3 個(gè)任務(wù) : 1 App1, 2 App2) With MDS (可同時(shí)運(yùn)行 4 個(gè)任務(wù) : 1 App1, 3 App2)1 core 5GB1 core 5GB1 core 5GB1 core 5GB1 core 5GB1 core 5GB1 core 5GB1 core GBApp1, Task1App2, Task1App2, Task2App2, Task3LegendMultiDimensionalSymphony能夠支持多租戶，支持資源的有效共享資源在多應(yīng)用之間有效共享、調(diào)配資源計(jì)劃示例37IBM Symphony提供面向多租戶的資源調(diào)度多租戶間基于策略的資源共享多應(yīng)用間可配置的資源共享策略? 尊重資源擁有者 Symphony支持多種高性能計(jì)算，高性能分析，大數(shù)據(jù)和其它分布式框架實(shí)際生產(chǎn)環(huán)境驗(yàn)證的多租戶，共享資源框架。ServiceSymphonyMw/Autosys,anywhere? SAS,Flow ManagementHypervisorPlatform Resource Scheduler Existing Data Center Provisioning TechnologiesPuppetRPM TPM Kickstart…Platform PPMParallel SOAData AffinityParallel RecursionMap ReducePlatformMatLab,R,BatchHPCPlatformExplorer,Pig,BigAlgo,Analytic?BigSymphonyPlatform SymphonySOAM, PSMRIBM Platform Cluster Manager(provisioning and management of distributed environments)? 獨(dú)立的基礎(chǔ)平臺(tái)層，便于靈活引入各種力量進(jìn)行應(yīng)用層的開(kāi)發(fā)創(chuàng)新252。 數(shù)據(jù)安全統(tǒng)一管理統(tǒng)一的企業(yè)大數(shù)據(jù)中心平臺(tái)業(yè)支 網(wǎng)運(yùn)O域分析B域分析開(kāi)發(fā)商 A應(yīng)用 1開(kāi)發(fā)商 A應(yīng)用 2開(kāi)發(fā)商 B應(yīng)用 1開(kāi)發(fā)商 C應(yīng)用 2任務(wù)1任務(wù)1任務(wù)3任務(wù)4任務(wù)5任務(wù)6任務(wù)7任務(wù)8業(yè)務(wù)和開(kāi)發(fā)的需求業(yè)務(wù)和開(kāi)發(fā)的需求252。 應(yīng)用統(tǒng)一管理252。 資源統(tǒng)一調(diào)度，為每個(gè)應(yīng)用彈性供給252。提供了高度優(yōu)化的 JVM企業(yè)用戶的大數(shù)據(jù)建設(shè)方向是：資源共享的大數(shù)據(jù)中心34管理和運(yùn)維方面的需求管理和運(yùn)維方面的需求252。帶寬 有非常大的內(nèi)存和 2而 Hadoop方案同樣支持商業(yè)分析軟件
環(huán)評(píng)公示相關(guān)推薦
鄂ICP備17016276號(hào)-1