【正文】 夠滿足用戶需求的各類應用程序 關注軟件架構與服務，提供應用在基礎設施中進行計算所需要的各類服務 提供系統(tǒng)運行所需的計算與存儲資源 SMP 集群 VM VM VM 臨時性應用 固化應用 SMP+MPP+Hadoop 小型機 /X86 SMP集群 數(shù)據(jù)庫資源池 網(wǎng)絡設備 23. 169。 海量 多樣化 速度 生命周期 軟硬件平臺 層次劃分 數(shù)據(jù)集定義 建設方法 數(shù)據(jù)存放 數(shù)據(jù)模型 – 明確應該存在幾套數(shù)據(jù)模型，每類數(shù)據(jù)模型的定位和承接關系 ,統(tǒng)一模型和個性化模型之間的關系，如何滿足省分 5級 /7級要求 – 選擇企業(yè)現(xiàn)有數(shù)據(jù)模型 +IBM行業(yè)數(shù)據(jù)模型 +其它優(yōu)秀實踐， 確立企業(yè)級邏輯數(shù)據(jù)模型的主題域、數(shù)據(jù)分類和數(shù)據(jù)子類 數(shù)據(jù)模型 28. 169。 – 由亍大數(shù)據(jù)平臺環(huán)境下數(shù)據(jù)和應用的擴展能力比較大，要求保證數(shù)據(jù)管控的可擴展能力。 Copyright IBM Corporation 2023 Airtel | IBM | Confidential Business Consulting Services 演講完畢，謝謝觀看！ 。 – 大數(shù)據(jù)平臺中流轉是分布式的，其數(shù)據(jù)管控技術應不之相適應進行分布式的管控信息采集，幵盡可能實現(xiàn)數(shù)據(jù)管控本身于化部署。 系統(tǒng)現(xiàn)狀 管理需求現(xiàn)狀 系統(tǒng)時間窗口 采集管控 采集監(jiān)控 問題處置 – 選擇合適的采集技術，保證數(shù)據(jù)原生態(tài)、時效要求 – 針對結構化 /非結構化、海量數(shù)據(jù)幵發(fā)處理、實時數(shù)據(jù)處理等要求，確定統(tǒng)一的和標準的數(shù)據(jù)采集方式 數(shù)據(jù) 分類 數(shù)據(jù)分布傳輸 27. 169。 Copyright IBM Corporation 2023 Airtel | IBM | Confidential Business Consulting Services 總體邏輯架構圖 大數(shù)據(jù)平臺 總部系統(tǒng) 基于企業(yè)大數(shù)據(jù)平臺生態(tài)系統(tǒng)框架，總體架構可分為系統(tǒng)平臺和參與人兩大部分，其中系統(tǒng)平臺可分為大數(shù)據(jù)平臺、總部 IT系統(tǒng)和省分 IT系統(tǒng)，參與人可分為企業(yè)內部用戶、外部用戶、系統(tǒng)建設廠商 系統(tǒng)建設廠商 集成廠商 實施廠商 咨詢廠商 信息提供商 …… 省分系統(tǒng) 圖例 邏輯庫 物理庫 數(shù)據(jù)流 控制流 數(shù)據(jù)整合與存儲 DW/DM ODS Cloudi（資源） 統(tǒng)一 IaaS服務接口 數(shù)據(jù)服務 數(shù)據(jù)管控 數(shù)據(jù)應用 開發(fā)平臺 標準化API 分析 模型 SDK …… 工具 軟件 數(shù)據(jù)獲取 非結構化數(shù)據(jù) 企業(yè)內部用戶 企業(yè)外部客戶 21. 169。 2. 數(shù)據(jù)交換 1. 一般情況下， D域中的分析類應用系統(tǒng)中不單獨存儲數(shù)據(jù)，系統(tǒng)所需的和系統(tǒng)產(chǎn)生的數(shù)據(jù)都存放在數(shù)據(jù)平臺的數(shù)據(jù)集市中。 Copyright IBM Corporation 2023 Airtel | IBM | Confidential Business Consulting Services 前期初步確立的大數(shù)據(jù)平臺目標技術架構 目標架構： 擁抱互聯(lián)網(wǎng)、運用云計算技術，建立開放的基于 SOA架構的中國企業(yè)集中化云數(shù)據(jù)服務支撐平臺，面向全國各級經(jīng)營主體和總部集中平臺提供大數(shù)據(jù)、分布式、實時智能數(shù)據(jù)服務支撐與客戶響應，并注重公共數(shù)據(jù)、公共能力的一點沉淀與全網(wǎng)共享，實現(xiàn)基于特定對象、特定需求的個性化自主定制、靈活組件組裝，高效實現(xiàn)一級系統(tǒng)多維應用多級支撐 總部目標集中生產(chǎn)系統(tǒng) 應用 統(tǒng)一訪問門戶 透明管控 科學運營 價值創(chuàng)造 生產(chǎn)類應用 SaaS（軟件） 中間件 即服務 業(yè)務 即服務 ESB BPM 組件集 1 … … 組件集 2 … 組件集 3 報表 工具 聯(lián)機分 析工具 挖掘 工具 PaaS（平臺） 數(shù)據(jù) 即服務 DW 分析類數(shù)據(jù) 生產(chǎn)類數(shù)據(jù) ODS/MDM 統(tǒng)一 IaaS服務接口 小型機 X86服務器 高端存儲 中低端存儲 網(wǎng)絡資源 IaaS（資源） … SDK開發(fā)平臺 生命周期 管控 數(shù)據(jù) 質量 管控 數(shù)據(jù) 安全 管控 元數(shù)據(jù) 管控 指標體系 統(tǒng)一視圖 CUBE 開發(fā) 工具 近線區(qū) 歸檔 ETL 元 數(shù) 據(jù) ? 圍繞三個維度： 透明管控、科學運營、價值創(chuàng)造 ? 強調開放靈活： 基于開放業(yè)務組件、應用開發(fā)平臺、公共應用模型等構建，靈活支撐個性化應用開發(fā)、部署和推廣 ? 實施五項管控： 數(shù)據(jù)模型與標準、數(shù)據(jù)質量、數(shù)據(jù)安全、元數(shù)據(jù)、數(shù)據(jù)生命周期 ? 推行五個一點： 一點源頭采集、一點加工轉換、一點存儲、一點分析挖掘、一點服務提供 數(shù)據(jù)模型 標準管控 15. 169。 c. 應用 /數(shù)據(jù) — 技術 ：系統(tǒng)組件承接了應用和數(shù)據(jù)，因此要實現(xiàn)該層面的解耦，需要解決系統(tǒng)組件對應用的依賴，可通過建立應用開發(fā)平臺、數(shù)據(jù)交換平臺和數(shù)據(jù)管控平臺來實現(xiàn)。 Copyright IBM Corporation 2023 Airtel | IBM | Confidential Business Consulting Services 大數(shù)據(jù)應用價值可以從公司側和客戶側體現(xiàn) 客戶： 精準服務 及時響應 智能應用 透明管控 圍繞大數(shù)據(jù)應用，促使公司實現(xiàn)科學運營、價值創(chuàng)造以及透明管控，一方面能使得公司側感知到大數(shù)據(jù)帶來的管理、決策、運營效率和質量的提升；另一方面，能夠使客戶感知到大數(shù)據(jù)帶來業(yè)務開發(fā)的智能、服務及時以及與需求匹配的精準。169。 Copyright IBM Corporation 2023 Airtel | IBM | Confidential Business Consulting Services 大數(shù)據(jù)思考 根據(jù) Gartner的定義，大數(shù)據(jù)的特征具體涵蓋了 3V的內容： 1. 數(shù)據(jù)量龐大（ Volume）：從 PB擴展到 ZB； IT系統(tǒng)、互聯(lián)網(wǎng)、物聯(lián)網(wǎng)等每天都在產(chǎn)生大量新生數(shù)據(jù)，過去的兩年間產(chǎn)生的數(shù)據(jù)占到了所有數(shù)據(jù)的 90% 2. 數(shù)據(jù)變化快 (Velocity)：數(shù)據(jù)變化與處理的頻度由天加速到秒 /毫秒；訂單、支付、欺詐、微博、監(jiān)控視頻、傳感器、信令每時每刻都在不停的產(chǎn)生數(shù)據(jù) 3. 數(shù)據(jù)多樣（ Variety)：數(shù)據(jù)種類繁多：數(shù)據(jù)庫表，格式文本，自然語言文本，電子表格，聲音，圖片，視頻 …… 數(shù)據(jù)規(guī)模大 數(shù)據(jù)范圍廣 數(shù)據(jù)加工深入 數(shù)據(jù)服務對象全面 數(shù)據(jù)類型多 數(shù)據(jù)管理復雜 1. 生產(chǎn)系統(tǒng)數(shù)據(jù) 2. 網(wǎng)元等設備數(shù)據(jù) 3. 平臺自生數(shù)據(jù) 4. 外部互聯(lián)網(wǎng)數(shù)據(jù) 5. …… 10PB級 + 指數(shù)級快速增長 1. 結構化、非結構化 2. 靜態(tài)、動態(tài) 3. …… 1. 在線、近線、離線 2. 高性能、低成本、高質量、可追溯 3. …… 1. 企業(yè)內部（管理層、執(zhí)行層、一線營銷群體等） 2. 企業(yè)外部（客戶，合作伙伴，供應鏈、政府部門等） 3. 內部生產(chǎn)系統(tǒng) 4. …