power大數(shù)據(jù)解決方案介紹及案例分享50-文庫(kù)吧資料
2025-02-28 11:01本頁(yè)面
【正文】 完全支持開源大數(shù)據(jù)版本Powerlinux是大數(shù)據(jù)計(jì)算的理想平臺(tái)多線程 : POWER7+全面支持更加成熟、可靠與更高性能的分布式文件系統(tǒng)領(lǐng)先的大數(shù)據(jù)計(jì)算調(diào)度平臺(tái)，多租戶管理，更智能調(diào)度，更高性能、 SLA管理，支持更多大數(shù)據(jù)計(jì)算類型成熟的流計(jì)算和實(shí)時(shí)分析解決方案企業(yè)級(jí) SQL/DPF在幾乎所有場(chǎng)景的性能表現(xiàn)均超越了其他 MPP產(chǎn)品。DPF具有超越一體機(jī)性能的能力，且性價(jià)比更高，客戶可靈活設(shè)計(jì)硬件架構(gòu)。 不占優(yōu)4 多表關(guān)聯(lián)查詢（ 5表、 10表） 測(cè)試數(shù)據(jù)庫(kù)多表復(fù)雜關(guān)聯(lián)的效率 占優(yōu)5 多表關(guān)聯(lián)查詢（ 2表） 測(cè)試數(shù)據(jù)庫(kù)多表復(fù)雜關(guān)聯(lián)的效率 占優(yōu)6 寬表查詢 測(cè)試數(shù)據(jù)庫(kù)對(duì)寬表的匯總查詢效率 占優(yōu)7 聚合函數(shù) 測(cè)試數(shù)據(jù)庫(kù)對(duì)于表的聚合函數(shù)匯總效率 占優(yōu)8 數(shù)據(jù)的 distinct去重 測(cè)試數(shù)據(jù)庫(kù) distinct去重的效率 占優(yōu)9 復(fù)制一張表的某些字段和一部分?jǐn)?shù)據(jù) CTAS類型操作的效率 占優(yōu)10 存儲(chǔ)過(guò)程用例 測(cè)試生產(chǎn)系統(tǒng)常用業(yè)務(wù)組合的效率 占優(yōu)11 并發(fā)的查詢用例 測(cè)試生產(chǎn)系統(tǒng)常用業(yè)務(wù)組合的效率 占優(yōu)12 多任務(wù)查詢用例 測(cè)試生產(chǎn)系統(tǒng)常用業(yè)務(wù)組合的效率 占優(yōu)13 多個(gè)巨量 SQL并發(fā)測(cè)試 測(cè)試生產(chǎn)系統(tǒng)常用業(yè)務(wù)組合的效率 占優(yōu)14 卸載數(shù)據(jù) 測(cè)試數(shù)據(jù)庫(kù)自有的數(shù)據(jù)庫(kù)導(dǎo)出工具數(shù)據(jù)導(dǎo)出性能 占優(yōu)15 數(shù)據(jù)的 insert操作 測(cè)試數(shù)據(jù)庫(kù)的 insert操作效率。DPF作為 MPP的代表，具有廣泛的優(yōu)點(diǎn)，是 DW均衡架構(gòu)的最佳 實(shí)現(xiàn) ，CPU0MemoryCPU1 CPU2 CPU3DB2Partition0DB2Partition1DB2Partition2DB2Partition3CPU0MemoryCPU1 CPU2 CPU3DB2Partition4DB2Partition5DB2Partition6DB2Partition7CPU0MemoryCPU1 CPU2 CPU3DB2Partition0DB2Partition1DB2Partition2DB2Partition99… ..SMP+MPP架構(gòu)的 DB2 DPFDW垂直擴(kuò)展 :擴(kuò)展操作系統(tǒng)資源數(shù)量以及內(nèi)部的每個(gè) DB2分區(qū)節(jié)點(diǎn)的資源數(shù)量水平擴(kuò)展 :擴(kuò)展操作系統(tǒng)數(shù)量以及DB2分區(qū)節(jié)點(diǎn)的數(shù)量Power+DB2 DPF，可靈活選擇硬件平臺(tái)，達(dá)到性能、擴(kuò)展性和價(jià)格的最佳平衡高端方案 中端方案 低端方案主機(jī) 高端 Power 中低端 Power Powerlinux數(shù)據(jù)庫(kù)軟件DB2 DPF DB2 DPFOracle RAC 或單機(jī)版DB2 DPF架構(gòu) SMP+MPP 小型 SMP+MPP小型 SMP+Shared Disk 或小型 SMPMPP擴(kuò)展方式 垂直擴(kuò)展或水平擴(kuò)展 DB2一般垂直擴(kuò)展升級(jí)為高端 POWER方案，或可水平擴(kuò)展Oracle可垂直升級(jí)為高端方案，很難水平擴(kuò)展水平擴(kuò)展存儲(chǔ) 中高端存儲(chǔ) 中低端存儲(chǔ) 中低端存儲(chǔ)適用場(chǎng)景 超大規(guī)模主 DW、數(shù)據(jù)集市集中庫(kù)中型數(shù)據(jù)集市、 ODS 小型數(shù)據(jù)集市數(shù)據(jù)量 （非壓縮）可超過(guò) 1 PB，全球生產(chǎn)案例可達(dá) 3 PB；國(guó)內(nèi)案例： 128節(jié)點(diǎn) 800TB數(shù)十 TB至數(shù)百 TB 數(shù)十 TB至上百 TB優(yōu)缺點(diǎn) 優(yōu)勢(shì)：支持超大規(guī)模結(jié)構(gòu)化DW，很好的性能和擴(kuò)展能力優(yōu)勢(shì)：對(duì)于適用數(shù)據(jù)量，性能好缺點(diǎn)：水平擴(kuò)展需要數(shù)據(jù)重分布影響生產(chǎn)性能； Oracle很難水平擴(kuò)展優(yōu)勢(shì)：對(duì)于適用數(shù)據(jù)量性價(jià)比好缺點(diǎn)：無(wú)垂直擴(kuò)展，水平擴(kuò)展需數(shù)據(jù)重分布Power+DB2 DPF vs 一體機(jī)序號(hào) 測(cè)試場(chǎng)景 測(cè)試目的 ISAS vs Exadata1 數(shù)據(jù)加載測(cè)試 測(cè)試數(shù)據(jù)庫(kù)數(shù)據(jù)加載效率 占優(yōu)2 數(shù)據(jù)壓縮測(cè)試 測(cè)試數(shù)據(jù)庫(kù)對(duì)數(shù)據(jù)壓縮率 占優(yōu)3 大數(shù)據(jù)表查詢 —— select count(*) 測(cè)試數(shù)據(jù)庫(kù)對(duì)大表的查詢效率。BNSFSolutionsCollins,倍“It was amazing to see the faster query times pared to the performance results with our rowanized tables. The performance of four of our queries improved by over 100fold! The best oute was a query that finished 137x faster by using BLU Acceleration.” 數(shù)據(jù)亞秒級(jí)查詢■ 系統(tǒng) 32 核， 10TB 的表，含 100 個(gè)列， 10 年的數(shù)據(jù) ■ 查詢： 2023 年有多少事務(wù)– SELECT COUNT(*) from MYTABLE where YEAR = 39。C++和 Java進(jìn) 行 擴(kuò) 充 連續(xù) 的 “管道 ”處 理靈活、高性能的數(shù)據(jù) 傳輸極低延 遲極高數(shù)據(jù)速率易 擴(kuò) 展內(nèi)置 adaptors用 戶 可使用熟悉的 快速的 動(dòng)態(tài)應(yīng) 用部署擴(kuò) 展性流 處 理 語(yǔ) 言：可重用的 operators允 許 自 動(dòng) 或人工 調(diào) 整快速的數(shù)據(jù)交 換分布式運(yùn)行高效利用 CPU， 調(diào) 整力度更 細(xì)….Power+Stream 流計(jì)算方案23? 大數(shù)據(jù)平臺(tái)實(shí)時(shí)分析平臺(tái)? 一個(gè)處理流數(shù)據(jù)的 低延遲 平臺(tái)– 毫秒級(jí)，甚至微妙級(jí)端到端的延遲? 一個(gè) 可高度擴(kuò)展 的，用于 實(shí)時(shí)分析 的 高性能 平臺(tái)– 通過(guò)橫向增加硬件獲得近線性的處理能力擴(kuò)展– 高達(dá) 125個(gè)節(jié)點(diǎn)擴(kuò)展? 一個(gè) 靈活的 、 動(dòng)態(tài)的 平臺(tái)– Streams應(yīng)用靈活部署– 支持動(dòng)態(tài)部署新的分析應(yīng)用Millions of events per secondMicrosecond LatencyTraditional / Nontraditional data sourcesReal time decisionsPowerfulAnalyticsAlgo TradingTelco churnpredictSmartGridCyberSecurity Government /Law enforcementICUMonitoringEnvironmentMonitoringPower+Stream 流計(jì)算方案編譯時(shí) Operators自 動(dòng) 融合：(CAPI)ArrayProgrammableSwitchboardNetworkworkingattachedHighstorageCoherentlyFlashCarloforPOWER8FPGAwithnonCAPI? 250xparedbyClines? 高性能網(wǎng)絡(luò)加速卡減少 10x延遲 10x? wattperformancechipKeyValueStoreonserverDesignedNode24:1 Reduction in infrastructure Price reduction12x Less Energy12x Less rack space 40TB of extended memory4U大數(shù)據(jù) JAVA計(jì)算過(guò)程使用 GPU加速，提升5倍的性能Power8+JAVA+GPU，大數(shù)據(jù)硬件加速方案其他 Power8Node512GBNode500GBNode500GBNodes500GBBalancingPower CAPIattached Flash model for NoSQL regains infrastructure control and reigns in the cost to deliver services.Power8創(chuàng)新 NoSQL方案與現(xiàn)有 NoSQL方案比較10GbNeedsNetworkingperLarge(ScaleLargememoryNoSQLNetworkI/OEliminationdynamicCacheMemoryDrawerperbasedof40Serverin192asolutionbasedfor40UpPOWER8tierFlash)New+40TBDifferentiatedupArrayNode10GbBalancer500GBTBtoFl
環(huán)評(píng)公示相關(guān)推薦
鄂ICP備17016276號(hào)-1