intel英特爾大數(shù)據(jù)平臺(tái)最佳實(shí)踐-文庫吧資料
2025-03-15 10:53本頁面
【正文】 力 ? 數(shù)據(jù)規(guī)模從數(shù)十 TB到 PB級(jí)別 ? 分布式，計(jì)算向數(shù)據(jù)靠近 ? 支持流式分析 事務(wù) 關(guān)系型數(shù)據(jù)庫 批處理 數(shù)據(jù)倉庫 分析 集群化 非結(jié)構(gòu)化 流式 多種數(shù)據(jù)源 分析 (MapReduce) 組織 傳統(tǒng) BI分析 大數(shù)據(jù)分析 Examples: Telco Govt Finance Web 分布式數(shù)據(jù)平臺(tái)與傳統(tǒng)數(shù)據(jù)平臺(tái)融合 Raw Data Hadoop Cluster (Hundreds of TB’s to PB’s) Existing Data Warehouse (Hundreds of TB’s) Applications and Tools (Modeling on 100’s of TBs to PB’s) Structured Data SemiStructured Data BI/Stat Tools Historical/Archival/Event Level Aggregated/Enriched Summary/Interactive ? ETL ? Data Enrichment ? Direct Query ? Direct query ? Direct Modeling 提綱 ? 大 數(shù) 據(jù)帶來的挑 戰(zhàn) ? 大數(shù)據(jù)案例介紹 ? Intel大數(shù)據(jù)平臺(tái) 12 聯(lián)通 3G詳單查詢 問 題來源（ 1/2） 隨著移動(dòng)互聯(lián)網(wǎng)業(yè)務(wù)的發(fā)展，上網(wǎng)記錄查詢成為用戶投訴的 焦點(diǎn) 問題來源 ? 目前 ，中國聯(lián)通省分公司 3G客戶數(shù)據(jù)流量問題爭(zhēng)議占 3G業(yè)務(wù)投訴達(dá) 710%， 且近幾個(gè)月呈上 升趨勢(shì)，個(gè)別省分比例高達(dá) 20% ? 一些用戶對(duì) 3G業(yè)務(wù)流量產(chǎn)生及計(jì)費(fèi)方式不了解，主觀認(rèn)為自己未使用或使用較少數(shù)據(jù)流量， 要求運(yùn)營商提供上網(wǎng)記錄 ，而現(xiàn)有系統(tǒng)不具備此功能，從而導(dǎo)致投訴 升級(jí)。 ? 大 數(shù)據(jù)應(yīng)用是在云上跑的、非常典型的應(yīng)用 。英特爾大數(shù)據(jù) 平臺(tái) 最佳實(shí)踐 提綱 ? 大 數(shù) 據(jù)帶來的挑 戰(zhàn) ? 大數(shù)據(jù) 案例介紹 ? Intel大數(shù)據(jù)平臺(tái) 2 Big Big Data 云計(jì)算技術(shù)是處理大數(shù)據(jù)的有效手段 ? 大數(shù)據(jù)和云是兩個(gè)不同的概念，但兩者之間有很多交集 。 ? 支 撐大數(shù)據(jù)以及云計(jì)算的底層原則是一樣的，即規(guī)模化、自動(dòng)化、資源配置、自愈性，因此實(shí)際上大數(shù)據(jù)和云之間存在很多合力的地方 。 ——大數(shù)據(jù)處理離不開云 大數(shù)據(jù)時(shí)代 數(shù)據(jù)爆發(fā)性增長(zhǎng) 4 IDC預(yù)測(cè)全球的數(shù)據(jù)使用量到 2023年會(huì)增長(zhǎng) 44倍，達(dá)到 (1ZB = 10億 TB) *Source: McKinsey Global Institute Analysis SG Cross Asset Research, PwC 統(tǒng)計(jì)、分析、預(yù)測(cè)、實(shí)時(shí)處理 大數(shù)據(jù)處理速度要求越來越高 Source: IDC Digital Universe Study, sponsored by EMC, May 2023 ? 大數(shù)據(jù)與海量數(shù)據(jù)的一個(gè)重要區(qū)別，在于不但數(shù)據(jù)尺寸大，而且對(duì)數(shù)據(jù)處理的響應(yīng)速度有有著更高的要求 ? 傳統(tǒng)的以周，天，小時(shí)為單位的運(yùn)算處理周期，下降到以分鐘，秒為單位 ? 大數(shù)據(jù)高價(jià)值的重要體現(xiàn) 處理速度 Value High utility Diminishing utility Archival value Time High Low Negative 數(shù)據(jù)的多樣性 Source: IDC Digital Universe Study, sponsored by EMC, May 2023 ? 數(shù)據(jù)形式的多樣 : – 結(jié)構(gòu)化數(shù)據(jù) ，數(shù)據(jù)間有很強(qiáng)的因果關(guān)系 – 半結(jié)構(gòu)化數(shù)據(jù) ，數(shù)據(jù)間因果關(guān)系較弱 – 非結(jié)構(gòu)化數(shù)據(jù)， 數(shù)據(jù)間無因果關(guān)系 ? 數(shù)據(jù)來源的多樣性 : – 不同的應(yīng)用系統(tǒng) – 各種設(shè)備 – 互聯(lián)網(wǎng) – 其它 Flat file 創(chuàng) 造顯著業(yè)務(wù)價(jià)值（ VALUE） 169。 3G流量費(fèi)爭(zhēng)議占總咨詢投訴量 比率 上網(wǎng) 記錄 查詢對(duì)中國聯(lián)通的業(yè)務(wù)發(fā)展產(chǎn)生了較大的影響 影響 ? 對(duì) 用戶而言： ? “ …要是能查到流量是和誰發(fā)生的就好了，如果是手機(jī)的問題，我也才知道今后怎么防范，現(xiàn)在連防范誰都不知道，誰知道下次還會(huì)不會(huì)發(fā)生類似問題 ?‖ ? 對(duì) 運(yùn)營 商而言： ? 根據(jù)中國聯(lián)通客戶服務(wù)部門提供 的數(shù)據(jù)，目前移動(dòng)業(yè)務(wù)每萬元收入，因無法提供上網(wǎng)詳單造成的退費(fèi)和賠付約 ； ? 如果問題得不到根本解決，將會(huì) 影響 運(yùn)營商 按 流量計(jì)費(fèi)的資費(fèi)模式， 對(duì)運(yùn)營商 3G業(yè)務(wù)的開展將產(chǎn)生較大 影響 ? 用戶上網(wǎng)記錄
環(huán)評(píng)公示相關(guān)推薦
鄂ICP備17016276號(hào)-1