【正文】 Copyright IBM Corporation 2023 Airtel | IBM | Confidential Business Consulting Services 演講完畢，謝謝觀看！ 。 Copyright IBM Corporation 2023 Airtel | IBM | Confidential Business Consulting Services QA 32. 169。 – 管控各環(huán)節(jié)會涉及到多廠商的系統(tǒng)和數(shù)據(jù)環(huán)境。 – 由亍大數(shù)據(jù)平臺環(huán)境下數(shù)據(jù)和應(yīng)用的擴(kuò)展能力比較大，要求保證數(shù)據(jù)管控的可擴(kuò)展能力。 – 大數(shù)據(jù)平臺中流轉(zhuǎn)是分布式的，其數(shù)據(jù)管控技術(shù)應(yīng)不之相適應(yīng)進(jìn)行分布式的管控信息采集，幵盡可能實(shí)現(xiàn)數(shù)據(jù)管控本身于化部署。 Copyright IBM Corporation 2023 Airtel | IBM | Confidential Business Consulting Services 數(shù)據(jù)管控方案設(shè)計(jì)思想和關(guān)注點(diǎn) 技術(shù)架構(gòu) 管控開發(fā)環(huán)境 管控范圍 全面管控 突出重點(diǎn) 分布式 層次化 可擴(kuò)展 集成開發(fā)環(huán)境 多廠商支持 應(yīng)用推廣能力 – 大數(shù)據(jù)平臺數(shù)據(jù)流轉(zhuǎn)的各環(huán)節(jié)都應(yīng)該得到有效管控，包括數(shù)據(jù)采集、整合、存儲、服務(wù)、應(yīng)用等。 – 將數(shù)據(jù)服務(wù)劃分為 3個層次，中層服務(wù)、底層服務(wù)開放給內(nèi)部應(yīng)用系統(tǒng)使用，高層服務(wù)向所有用戶開放； – 數(shù)據(jù)應(yīng)用基亍數(shù)據(jù)服務(wù)，通過 EAB取得數(shù)據(jù)，數(shù)據(jù)服務(wù)可復(fù)用部分?jǐn)?shù)據(jù)交虧進(jìn)程，幵依據(jù)數(shù)據(jù)標(biāo)準(zhǔn)、元數(shù)據(jù)提供服務(wù)； – 建立簡單、易用的數(shù)據(jù)封裝、服務(wù)開發(fā)向?qū)?，能夠快捷的對?shù)據(jù)進(jìn)行封裝，發(fā)布新服務(wù)； – 兩層服務(wù)接入安全管理，以及對服務(wù)請求優(yōu)先級管理，控制服務(wù)執(zhí)行的數(shù)量，保障系統(tǒng)安全平穩(wěn)的運(yùn)行； – 高層服務(wù)請求需要進(jìn)行語義轉(zhuǎn)換，然后執(zhí)行服務(wù)，中層、底層服務(wù)丌需要語義轉(zhuǎn)換，直接執(zhí)行服務(wù)； 服務(wù)運(yùn)行方式 數(shù)據(jù)服務(wù)目標(biāo) – 建立應(yīng)用和數(shù)據(jù)之間標(biāo)準(zhǔn)化的訪問接口，能夠快速響應(yīng)用戶的各種數(shù)據(jù)請求，提升不外部系統(tǒng)實(shí)時的虧動不信息共享能力； – 將數(shù)據(jù)不應(yīng)用隔離開來，實(shí)現(xiàn)系統(tǒng)間的松耦合性，依托大數(shù)據(jù)平臺能力，對各種數(shù)據(jù)請求作出快速響應(yīng)，實(shí)現(xiàn)實(shí)時的信息共享； – 將各種接口技術(shù)及響應(yīng)模式組合成多種服務(wù)方式，快速響應(yīng)各種服務(wù)請求，用戶可根據(jù)實(shí)際情況選擇適合自己的服務(wù)方式； 不其它模塊協(xié)作 服務(wù)功能劃分 29. 169。 海量 多樣化 速度 生命周期 軟硬件平臺 層次劃分 數(shù)據(jù)集定義 建設(shè)方法 數(shù)據(jù)存放 數(shù)據(jù)模型 – 明確應(yīng)該存在幾套數(shù)據(jù)模型，每類數(shù)據(jù)模型的定位和承接關(guān)系 ,統(tǒng)一模型和個性化模型之間的關(guān)系，如何滿足省分 5級 /7級要求 – 選擇企業(yè)現(xiàn)有數(shù)據(jù)模型 +IBM行業(yè)數(shù)據(jù)模型 +其它優(yōu)秀實(shí)踐， 確立企業(yè)級邏輯數(shù)據(jù)模型的主題域、數(shù)據(jù)分類和數(shù)據(jù)子類 數(shù)據(jù)模型 28. 169。 系統(tǒng)現(xiàn)狀 管理需求現(xiàn)狀 系統(tǒng)時間窗口 采集管控 采集監(jiān)控 問題處置 – 選擇合適的采集技術(shù)，保證數(shù)據(jù)原生態(tài)、時效要求 – 針對結(jié)構(gòu)化 /非結(jié)構(gòu)化、海量數(shù)據(jù)幵發(fā)處理、實(shí)時數(shù)據(jù)處理等要求，確定統(tǒng)一的和標(biāo)準(zhǔn)的數(shù)據(jù)采集方式 數(shù)據(jù) 分類 數(shù)據(jù)分布傳輸 27. 169。 Copyright IBM Corporation 2023 Airtel | IBM | Confidential Business Consulting Services 數(shù)據(jù)獲取方案設(shè)計(jì)思想和關(guān)注點(diǎn) 采集周期 數(shù)據(jù)傳輸 采集范圍 數(shù)據(jù)模型 采集技術(shù) 采集方式 采集方式 聯(lián)動機(jī)制 傳輸技術(shù) – 選擇企業(yè)現(xiàn)有數(shù)據(jù)模型 +IBM行業(yè)數(shù)據(jù)模型 +其它優(yōu)秀實(shí)踐， 確立企業(yè)級邏輯數(shù)據(jù)模型 – 結(jié)合逐步實(shí)現(xiàn)一點(diǎn)源頭采集、 覆蓋 MBO全域全景數(shù)據(jù)，滿足橫縱向、內(nèi)外部眾多數(shù)據(jù)源需要 – 根據(jù)系統(tǒng)中丌同數(shù)據(jù)類型的時間串口（實(shí)時 /準(zhǔn)實(shí)時 /日月）確定合理的數(shù)據(jù)采集周期 – 根據(jù)管理要求，確定數(shù)據(jù)的采集周期要求，幵執(zhí)行 – 保證采集不源系統(tǒng)聯(lián)動，避免源系統(tǒng)變化影響 – 根據(jù)數(shù)據(jù)類型、數(shù)據(jù)量、數(shù)據(jù)時效等特性選擇合適的傳輸技術(shù)和策略 – 確定數(shù)據(jù)采集和傳輸過程中的關(guān)鍵問題點(diǎn)，監(jiān)控采集可能出現(xiàn)的問題。 Copyright IBM Corporation 2023 Airtel | IBM | Confidential Business Consulting Services 大數(shù)據(jù)平臺方案設(shè)計(jì)關(guān)鍵點(diǎn)和相關(guān)方法論 高可用 數(shù)據(jù)提供 – 數(shù)據(jù)全面性 – 數(shù)據(jù)質(zhì)量 – 數(shù)據(jù)快速提供與分發(fā) 數(shù)據(jù)整合 分區(qū)與定位 – 應(yīng)該如何給大數(shù)據(jù)平臺劃分?jǐn)?shù)據(jù)區(qū)，每個區(qū)的數(shù)據(jù)目標(biāo)是什么 – 應(yīng)該分為哪些類數(shù)據(jù)整合區(qū)，有多少個數(shù)據(jù)庫，每個數(shù)據(jù)庫的定位是什么，必要性如何 數(shù)據(jù)存儲 成本與性能 – 海量、多樣性、實(shí)時數(shù)據(jù)的高性價比的數(shù)據(jù)管理 – 在線、近線、離線數(shù)據(jù)的管理策略 – 易擴(kuò)展的數(shù)據(jù)存儲架構(gòu) 支撐大數(shù)據(jù)業(yè)務(wù)戰(zhàn)略的應(yīng)用框架 – 自頂向下：五個一點(diǎn)要承接 – 自底向上：從大數(shù)據(jù) 4V特性，如何進(jìn)行創(chuàng)新，真正實(shí)現(xiàn) IT對業(yè)務(wù)的推動 – IBM 行業(yè)模型 – eTom與 SID – IBM 數(shù)據(jù)治理方法論 – – 企業(yè)信息工廠方法論 – 維度建模方法論 – IBM BI方法論 – 維度建模方法論 – IBM BI方法論 – Hadoop實(shí)施方案 – IBM 企業(yè)架構(gòu) (EA)方法論 – IBM CBM業(yè)務(wù)組件模型 關(guān)鍵點(diǎn) 方法論 關(guān)鍵點(diǎn)描述 自助式 應(yīng)用開發(fā) – 支持開發(fā)人員的敏捷化開發(fā) – 支持最終用戶的自助式的查詢、分析和挖掘 – IBM BI方法論 – 工行數(shù)據(jù)大集中經(jīng)驗(yàn) 25. 169。 Copyright IBM Corporation 2023 Airtel | IBM | Confidential Business Consulting Services 總體物理架構(gòu)圖 IaaS SaaS PaaS 物理資源 實(shí)時流 /批量 ETL 海量分析平臺 歸檔區(qū)資源池 虛擬化 中低端存儲 高端存儲 小型機(jī) X86服務(wù)器 提供能夠滿足用戶需求的各類應(yīng)用程序 關(guān)注軟件架構(gòu)與服務(wù)，提供應(yīng)用在基礎(chǔ)設(shè)施中進(jìn)行計(jì)算所需要的各類服務(wù) 提供系統(tǒng)運(yùn)行所需的計(jì)算與存儲資源 SMP 集群 VM VM VM 臨時性應(yīng)用 固化應(yīng)用 SMP+MPP+Hadoop 小型機(jī) /X86 SMP集群 數(shù)據(jù)庫資源池 網(wǎng)絡(luò)設(shè)備 23. 169。 Copyright IBM Corporation 2023 Airtel | IBM | Confidential Business Consulting Services 總體邏輯架構(gòu)圖 大數(shù)據(jù)平臺 總部系統(tǒng) 基于企業(yè)大數(shù)據(jù)平臺生態(tài)系統(tǒng)框架，總體架構(gòu)可分為系統(tǒng)平臺和參與人兩大部分，其中系統(tǒng)平臺可分為大數(shù)據(jù)平臺、總部 IT系統(tǒng)和省分 IT系統(tǒng)，參與人可分為企業(yè)內(nèi)部用戶、外部用戶、系統(tǒng)建設(shè)廠商 系統(tǒng)建設(shè)廠商 集成廠商 實(shí)施廠商