intel英特爾大數(shù)據(jù)平臺最佳實踐46(存儲版)
【正文】 具簡化管理 專為 Hadoop優(yōu)化的硬 件 I/O：非標(biāo)準(zhǔn)主板設(shè)計支持最大 I/O 電源：高效（ 80+白金）熱插拔冷冗余電源 能效：雙 CPU分散型設(shè)計降低散熱功耗 內(nèi)存：最大容量適應(yīng) BigData 需求 網(wǎng)絡(luò)：新一代 Intel四網(wǎng)絡(luò)口千兆以太網(wǎng) 存儲：支持多種硬盤數(shù)量模式，支持最大存儲容量，適應(yīng) BigData 需求 新一代英特爾 174。 – 支持 海量過車信息的模糊匹配檢索 。 ——大數(shù)據(jù)處理離不開云 大數(shù)據(jù)時代 數(shù)據(jù)爆發(fā)性增長 4 IDC預(yù)測全球的數(shù)據(jù)使用量到 2023年會增長 44倍，達到 (1ZB = 10億 TB) *Source: McKinsey Global Institute Analysis SG Cross Asset Research, PwC 統(tǒng)計、分析、預(yù)測、實時處理 大數(shù)據(jù)處理速度要求越來越高 Source: IDC Digital Universe Study, sponsored by EMC, May 2023 ? 大數(shù)據(jù)與海量數(shù)據(jù)的一個重要區(qū)別，在于不但數(shù)據(jù)尺寸大，而且對數(shù)據(jù)處理的響應(yīng)速度有有著更高的要求 ? 傳統(tǒng)的以周，天，小時為單位的運算處理周期，下降到以分鐘，秒為單位 ? 大數(shù)據(jù)高價值的重要體現(xiàn) 處理速度 Value High utility Diminishing utility Archival value Time High Low Negative 數(shù)據(jù)的多樣性 Source: IDC Digital Universe Study, sponsored by EMC, May 2023 ? 數(shù)據(jù)形式的多樣 : – 結(jié)構(gòu)化數(shù)據(jù) ，數(shù)據(jù)間有很強的因果關(guān)系 – 半結(jié)構(gòu)化數(shù)據(jù) ，數(shù)據(jù)間因果關(guān)系較弱 – 非結(jié)構(gòu)化數(shù)據(jù)， 數(shù)據(jù)間無因果關(guān)系 ? 數(shù)據(jù)來源的多樣性 : – 不同的應(yīng)用系統(tǒng) – 各種設(shè)備 – 互聯(lián)網(wǎng) – 其它 Flat file 創(chuàng) 造顯著業(yè)務(wù)價值（ VALUE） 169。 Copyright 2023 EMC Corporation. All rights reserved. 大數(shù)據(jù)分析 顯著的業(yè)務(wù)價值 3V特性驅(qū)動下創(chuàng)建 挖掘數(shù)據(jù)資產(chǎn)價值，通過數(shù)據(jù)驅(qū)動業(yè)務(wù)，變成本中心為利潤中心 智慧城 市 典型的大數(shù)據(jù)應(yīng)用集合 2023/3/29 8 大數(shù)據(jù)處理導(dǎo)致的平臺瓶頸 數(shù)據(jù)處理需求與 傳統(tǒng)平臺硬件擴 展的差距不斷擴 大 Industry Progress 大數(shù)據(jù)處理 需要的擴展 能力 大數(shù)據(jù)分析不同于傳統(tǒng) BI分析 ? 結(jié)構(gòu)化數(shù)據(jù) ? 數(shù)據(jù)規(guī)模一般為 TB規(guī)模 ? 集中式，為了分析進行大量數(shù)據(jù)移動，數(shù)據(jù)向計算靠近 ? 批處理為主 ? 結(jié)構(gòu)化 /非結(jié)構(gòu)化混合分析的能力 ? 數(shù)據(jù)規(guī)模從數(shù)十 TB到 PB級別 ? 分布式，計算向數(shù)據(jù)靠近 ? 支持流式分析 事務(wù) 關(guān)系型數(shù)據(jù)庫 批處理 數(shù)據(jù)倉庫 分析 集群化 非結(jié)構(gòu)化 流式 多種數(shù)據(jù)源 分析 (MapReduce) 組織 傳統(tǒng) BI分析 大數(shù)據(jù)分析 Examples: Telco Govt Finance Web 分布式數(shù)據(jù)平臺與傳統(tǒng)數(shù)據(jù)平臺融合 Raw Data Hadoop Cluster (Hundreds of TB’s to PB’s) Existing Data Warehouse (Hundreds of TB’s) Applications and Tools (Modeling on 100’s of TBs to PB’s) Structured Data SemiStructured Data BI/Stat Tools Historical/Archival/Event Level Aggregated/Enriched Summary/Interactive ? ETL ? Data Enrichment ? Direct Query ? Direct query ? Direct Modeling 提綱 ? 大 數(shù) 據(jù)帶來的挑 戰(zhàn) ? 大數(shù)據(jù)案例介紹 ? Intel大數(shù)據(jù)平臺 12 聯(lián)通 3G詳單查詢 問 題來源（ 1/2） 隨著移動互聯(lián)網(wǎng)業(yè)務(wù)的發(fā)展，上網(wǎng)記錄查詢成為用戶投訴的 焦點 問題來源 ? 目前 ，中國聯(lián)通省分公司 3G客戶數(shù)據(jù)流量問題爭議占 3G業(yè)務(wù)投訴達 710%， 且近幾個月呈上 升趨勢，個別省分比例高達 20% ? 一些用戶對 3G業(yè)務(wù)流量產(chǎn)生及計費方式不了解，主觀認為自己未使用或使用較少數(shù)據(jù)流量，
高考資料相關(guān)推薦
鄂ICP備17016276號-1