【正文】 綜合網(wǎng)絡(luò)數(shù)據(jù)采集平臺 技術(shù)方案 1. 修改記錄 序號 版本 日期 修改人 修改描述 1 20200805 曹哲銘 初始創(chuàng)建 2 20201119 曹哲銘 全部章節(jié)內(nèi)容修改 2. 概述 . 背景 隨著網(wǎng)絡(luò)運(yùn)維管理 集中化程度的進(jìn)一步提高，網(wǎng)絡(luò)維護(hù)人員及管理人員對網(wǎng)管系統(tǒng)的新的需求也不斷出現(xiàn)，網(wǎng)管集成的應(yīng)用功能不斷增多，逐漸造成以下問題： 系統(tǒng)擴(kuò)展能力不強(qiáng) ：采集處理能力無法平滑擴(kuò)展，新增的采集機(jī)需要手工部署相應(yīng)的采集程序及調(diào)試，升級割接過程存在影響現(xiàn)網(wǎng)業(yè)務(wù)的風(fēng)險(xiǎn)。 系統(tǒng)可靠性低：采集任務(wù)為靜態(tài)負(fù)載分配，當(dāng)某采集機(jī)出現(xiàn)故障，沒有自動恢復(fù)能力。 采集資源浪費(fèi)：數(shù)據(jù)消費(fèi)情況沒有有效管理手段，不支持按需采集；各專業(yè)分別建設(shè)采集平臺，容易造成對網(wǎng)元的重復(fù)采集；原有專業(yè)采集機(jī)普遍采集小型機(jī)硬件架構(gòu)，資源利用率低，且對硬件和機(jī)房要 求高。 采集效率有待提高 ：集團(tuán)對上報(bào)數(shù)據(jù)的時延要求在不斷提升，同時省端用戶對生成及時報(bào)表的速度也不滿意。需要從采集速度、接入速度兩個方面提升現(xiàn)有采集系統(tǒng)的效率。 采集管理維護(hù)困難：各專業(yè)分別開發(fā)采集程序，造成采集程序、數(shù)據(jù)、設(shè)備分散，網(wǎng)元訪問頻繁，網(wǎng)元安全無法保障，管理維護(hù)崗位重復(fù)設(shè)置，缺乏集中的維護(hù)監(jiān)控手段。 采集質(zhì)量無法保障：缺少采集數(shù)據(jù)質(zhì)量監(jiān)控的手段，當(dāng)采集數(shù)據(jù)不及時、不準(zhǔn)確時，無法及時自動發(fā)現(xiàn)，采集問題難以定位，采集過程不透明。 數(shù)據(jù)開放共享問題：用戶對采集層數(shù)據(jù)的開放管控要求越來越高，需要采集 系統(tǒng)具有統(tǒng)一的北向數(shù)據(jù)服務(wù)接口，面向各應(yīng)用系統(tǒng)提供靈活的數(shù)據(jù)采集定制功能。 接入效率問題：新網(wǎng)元接入或新指標(biāo)升級開發(fā)效率低，開發(fā)周期長； 指標(biāo)算法問題：指標(biāo)算法不透明； 系統(tǒng)安全問題：目前網(wǎng)元 /設(shè)備廠家網(wǎng)管訪問信息多處使用多處配置，采集系統(tǒng)對外共享數(shù)據(jù)接口標(biāo)準(zhǔn)不一，導(dǎo)致對系統(tǒng)安全存在威脅； 為了更好的解決以上問題， 綜合網(wǎng)絡(luò)數(shù)據(jù)采集平臺 整合專業(yè)網(wǎng)管采集模塊，向 各類系統(tǒng) 提供采集共享數(shù)據(jù)。統(tǒng)一規(guī)劃數(shù)據(jù)采集也是集中管理、集中監(jiān)控、集中維護(hù)的網(wǎng)絡(luò)維護(hù)思路的良好體現(xiàn)。 . 設(shè)計(jì)目的 針對目前 OSS支撐系統(tǒng)建設(shè)中的數(shù)據(jù)問題從系統(tǒng)生命周期的各個階段分別進(jìn)行問題現(xiàn)象的描述，如下： 規(guī)劃階段： ? 不同的系統(tǒng)對相同的原始數(shù)據(jù)進(jìn)行采集，造成網(wǎng)元處理壓力大； ? 不同的系統(tǒng)由于數(shù)據(jù)邊界劃分不清晰，造成數(shù)據(jù)的生產(chǎn)和消費(fèi)脫節(jié)，每個系統(tǒng)按照各自理解管理數(shù)據(jù)，形成重疊交叉； ? 由于沒有清晰的數(shù)據(jù)共享要求，系統(tǒng)規(guī)劃時無法滿足后續(xù)項(xiàng)目對于數(shù)據(jù)開放的需求。 建設(shè)階段： ? 建設(shè)綜合性系統(tǒng)，需從各專業(yè)系統(tǒng)提取數(shù)據(jù)，但專業(yè)系統(tǒng)由于接口問題、模型問題、提供能力問題，進(jìn)行有效數(shù)據(jù)交互的工作量大、靈活性差，實(shí)施極其困難； ? 同一組數(shù)據(jù)由 于在不同系統(tǒng)中模型定義不一致，需要進(jìn)行映射來解決，增加實(shí)施工作量和難度。 使用階段： ? 由于 OSS 系統(tǒng)提供的數(shù)據(jù)質(zhì)量不高，造成可信度下降，影響系統(tǒng)的推廣使用； ? 希望對系統(tǒng)產(chǎn)生的數(shù)據(jù)進(jìn)行進(jìn)一步加工處理，發(fā)現(xiàn)系統(tǒng)的數(shù)據(jù)存儲和組織方式完全封閉，根本無法獲取和使用。 ? 維護(hù)階段： ? 系統(tǒng)在維護(hù)過程中，發(fā)現(xiàn)數(shù)據(jù)不完整、不及時，卻無法進(jìn)行問題定位，導(dǎo)致系統(tǒng)的可用性下降； ? 不同系統(tǒng)提供的數(shù)據(jù)相互矛盾，但數(shù)據(jù)的產(chǎn)生處理過程無法蹤。 這些問題歸結(jié)到統(tǒng)一采集適配方面的需求能力問題主要體現(xiàn)如下： ? 制定統(tǒng)一的采集適配規(guī)范，支持各專業(yè)數(shù)據(jù)接入，支持第三方廠商采集適配器接入； ? 統(tǒng)一任務(wù)調(diào)度和任務(wù)管理，提升系統(tǒng)執(zhí)行效率； ? 優(yōu)化共享機(jī)制，加強(qiáng)共享安全管理，以消費(fèi)驅(qū)動采集，減少無用采集，提升機(jī)器硬件利用率； ? 加強(qiáng)配置信息集中管理，提升采集系統(tǒng)自管理能力和系統(tǒng)自維護(hù)能力，方便數(shù)據(jù)的快速接入； ? 優(yōu)化系統(tǒng)執(zhí)行效率，增強(qiáng)數(shù)據(jù)質(zhì)量監(jiān)控手段，全面提升數(shù)據(jù)質(zhì)量； ? 實(shí)現(xiàn)多臺采集機(jī)之間的硬件資源共享和任務(wù)動態(tài)分擔(dān)，實(shí)現(xiàn)采集機(jī)的負(fù)載均衡。 . 設(shè)計(jì)原則 1) 開放性： 開放性與標(biāo)準(zhǔn)化的 IT 系統(tǒng)賴以生存發(fā)展的基礎(chǔ)，系統(tǒng)建設(shè)必須基于業(yè)界開放式標(biāo) 準(zhǔn)，以保證系統(tǒng)的生命力，保護(hù)投資，體現(xiàn)良好的擴(kuò)展性和互操作能力。 2) 安全可靠性 ： 系統(tǒng)本著安全、可靠的原則，提供良好的可靠性策略，支持多種安全可靠性技術(shù)手段，制定嚴(yán)格的安全可靠性管理措施。 3) 先進(jìn)性： 系統(tǒng)應(yīng)采用先進(jìn)成熟的設(shè)備，確保系統(tǒng)的技術(shù)先進(jìn)性，應(yīng)用軟件充分采用國內(nèi)外先進(jìn)技術(shù)，立足國內(nèi)發(fā)展，保證投資的有效性和延續(xù)性。 4) 高效性 ： 遵從系統(tǒng)設(shè)計(jì)的高效性原則，充分利用軟硬件平臺的處理能力，實(shí)現(xiàn)盡可能高的系統(tǒng)運(yùn)行效率，滿足系統(tǒng)的運(yùn)行要求。 5) 可擴(kuò)展性： 系統(tǒng)設(shè)計(jì)應(yīng)充分考慮擴(kuò)展性。系統(tǒng)設(shè)備必須能充分估計(jì)未來的擴(kuò)展情況，系統(tǒng)設(shè)計(jì)必須是模塊化、可配置，能夠適應(yīng)一定時間內(nèi)的業(yè)務(wù)變化，并保證系統(tǒng)在進(jìn)行擴(kuò)展時，不影響系統(tǒng)的正常運(yùn)行。 . 參考資料 《 中國移動采集共享與聯(lián)機(jī)指令平臺技術(shù)規(guī)范總體技術(shù)要求 》 《 中國移動采集共享與聯(lián)機(jī)指令平臺技術(shù)規(guī)范接口技術(shù)規(guī)范 》 《 中國移動 總體技術(shù)規(guī)范 》 《中國移動通信網(wǎng)設(shè)備 OMC 或網(wǎng)元直連北向網(wǎng)管接口規(guī)范》 《中國移動綜合網(wǎng)管系統(tǒng)南向接口數(shù)據(jù)規(guī)范》 《中國移動運(yùn)維門戶系統(tǒng)技術(shù)規(guī)范》 《中國移動網(wǎng)管系統(tǒng)監(jiān)控平臺技術(shù)規(guī)范》接口 要求 《中國移動安全管控系統(tǒng)技術(shù)規(guī)范》接口要求 《中國移動支撐系統(tǒng)安全域劃分與邊界整合技術(shù)規(guī)范》 . 關(guān)鍵術(shù)語 下列術(shù)語、定義和縮略語適用于本標(biāo)準(zhǔn)： 序號 概念 /術(shù)語 概念 /術(shù)語解釋 1 指標(biāo)組 同一類對象的一組指標(biāo) /屬性的集合統(tǒng)稱為一個指標(biāo)組，如 :BSC的性能指標(biāo) a、 b屬于一個指標(biāo)組，通常用來描述資源數(shù)據(jù)、性能數(shù)據(jù)、業(yè)務(wù)數(shù)據(jù)。 2 采集源 所采集數(shù)據(jù)的來源，如：話務(wù)中從 OMC采集的采集源為 OMC，直連網(wǎng)元采集的采集源為網(wǎng)元，傳輸網(wǎng)采集源為 EMS，數(shù)據(jù)網(wǎng)采集源為網(wǎng)絡(luò)設(shè)備（交換機(jī)、路由器、防火墻）、主機(jī) 等 。 3 適配器 面向某類采集源 ， 獨(dú)立完成一個或多個指標(biāo)組 采集 的程序包，該程序包包括從數(shù)據(jù)源獲取數(shù)據(jù) 的 部分 ， 也包含指標(biāo)算法信息。適配器具體和廠家、版本相關(guān)。 4 適配器注冊 在進(jìn)行適配器安裝時，適配器會把相關(guān)信息告訴采集平臺，這個過程叫適配器注冊。 5 適配器實(shí)例 完成適配器注冊以后，執(zhí)行實(shí)際采集任務(wù)的運(yùn)行中的一個 適配器 程序稱為一個適配器實(shí)例。 6 適配器模板 是對某一類接口適配器的抽象，形成統(tǒng)一的處理流程，并固化成模板，其中包括：公共程序 +算法配置模板 +公共參數(shù)配置，隨平臺發(fā)布的是適配器模板而不是某個具體適配器。 7 網(wǎng)元管理系統(tǒng) 由網(wǎng)元設(shè)備廠商提供的子網(wǎng)管理系統(tǒng)，在管理功能上能夠具備網(wǎng)元管理層或網(wǎng)絡(luò)管理層功能，但 通常 只能對本廠商的設(shè)備進(jìn)行管理。 3. 系統(tǒng)架構(gòu) . 總體架構(gòu) 無 線 、 交 換 、 數(shù) 據(jù) 、 傳 輸 、 動 環(huán) 等 專 業(yè) 網(wǎng) 元 / O M CT e l n e t / s s h S o c k e t F T P D B。 。 。C O R B AS N M P綜 合 網(wǎng) 絡(luò) 數(shù) 據(jù) 采 集 平 臺安全管控平臺數(shù) 據(jù) 質(zhì) 量監(jiān) 控指 標(biāo) 管 理綜 合 分 析 無 線 網(wǎng) 優(yōu)綜 合 監(jiān) 控綜 合 資 源 。 。 。其 它 應(yīng) 用 外 部應(yīng) 用數(shù) 據(jù) 管 控 平 臺 . 功能 架構(gòu) 綜 合 網(wǎng) 絡(luò) 數(shù) 據(jù) 采 集I a a S服 務(wù) 器 存 儲 設(shè) 備 網(wǎng) 絡(luò) 設(shè) 備虛 擬 化數(shù) 據(jù) 存 儲 基 礎(chǔ) 服 務(wù) 接 口 適 配 安 全 服 務(wù) 資 源 服 務(wù) 負(fù) 載 管 理網(wǎng) 絡(luò) 層廠 家 網(wǎng) 管華 為 E M S 中 興 E M S 貝 爾 E M S ? ?專 業(yè) 網(wǎng) 管傳 輸 專 業(yè) 數(shù) 據(jù) 專 業(yè) 動 環(huán) 專 業(yè) 接 入 專 業(yè) ? ?網(wǎng) 絡(luò) 設(shè) 備瑞 斯 康 達(dá) 烽 火 愛 默 生P a a S適 配 層接 口 層數(shù) 據(jù) 層綜 合 網(wǎng) 絡(luò) 數(shù) 據(jù) 采 集 平 臺告 警 采 集 性 能 采 集 流 量 采 集 日 志 采 集 D P I 采 集 信 令 采 集 詳 單 采 集 話 單 采 集資 源 采 集分 布 式 M Y S Q L 大 數(shù) 據(jù) 引 擎 分 布 式 N O S Q L分 布 式 文 件 系 統(tǒng)分 布 式 緩 存S O C K E T F T P W S D L S O A P S N M P R P C R M I D B S G M P C O R B A ? ?第 三 方 系 統(tǒng)綜 合 資 源綜 合 監(jiān) 控綜 合 分 析信 令 監(jiān) 測? ?S a a S. 業(yè)務(wù) 架構(gòu) 適 配 層數(shù) 據(jù) 共 享外 部 系 統(tǒng)外 部 接 口內(nèi) 部 接 口適 配 器 適 配 器適 配 器綜 合 網(wǎng) 絡(luò) 數(shù) 據(jù) 采 集 平 臺 技 術(shù) 架 構(gòu)統(tǒng) 一 適配 平 臺指 標(biāo) 計(jì) 算任 務(wù) 就 緒任 務(wù) 執(zhí) 行數(shù) 據(jù) 檢 查系統(tǒng)消息總線網(wǎng) 元 層高 速數(shù) 據(jù)內(nèi)存庫網(wǎng) 絡(luò)數(shù) 據(jù)功 能支 撐基 礎(chǔ)數(shù) 據(jù)實(shí) 時 庫網(wǎng) 絡(luò) 數(shù)據(jù)基 礎(chǔ) 數(shù)據(jù)分 析 庫...綜 合 監(jiān) 控綜 合 分 析 無 線 網(wǎng) 優(yōu) 綜 合 資 源專 業(yè) 網(wǎng) 管 其 他O M C / E M S N E 勱 環(huán) 信 令 監(jiān) 測 設(shè) 備自 勱 撥 測 設(shè) 備其 他適 配 器 適 配 器 適 配 器適 配 器適 配 器接 口S o c k e tC o r b a S N M PT L 1 T r a pF T P D B S y s lo g適 配 器… …勱 態(tài) 加 載任 務(wù) 狀 態(tài)文 件 通 知文 件 推 送消 息 發(fā) 送告 警 過 濾控 制 層狀 態(tài) 監(jiān) 控H D F S文 件系 統(tǒng)任 務(wù) 生 成任 務(wù) 分 發(fā)策 略 下 發(fā)自 勱 補(bǔ) 采定 制 策 略訂 閱 與 鑒 權(quán)策 略 預(yù) 判共 享 數(shù) 據(jù)訂 閱訂 閱訂 閱 4. 系統(tǒng)功能 采集接入管理 適配器注冊 可對適配器進(jìn)行注冊、卸載、查詢操作。 適配器注冊： 對新增適配器進(jìn)行注冊，注冊時系統(tǒng)提示是否注冊成功。注冊成功后可查看該適配器的屬性。 示意圖如下： 適配器注冊對話框 適配器注冊選擇要注冊的適配器 適配器注冊 適配器注冊系統(tǒng)提示執(zhí)行成功 適配器屬性查詢 適配器卸載： 對已注冊的適配器進(jìn)行卸載。 卸載過程中提示用戶是否確認(rèn)執(zhí)行該操作。示意圖如下： 展開適配器資源樹圖 卸載適配器 注冊結(jié)果查詢： 對已注冊的適配器，可以查詢 該適配器在各采集機(jī)上的注冊情況。 示意圖如下： 適配器注冊結(jié)果查詢 適配器查詢 查詢每個采集機(jī)上的適配器注冊情況 。 在采集 機(jī)樹圖中選擇某個采集機(jī)，列表中展示該采集機(jī)上所有已安裝適配器的詳細(xì)情況，展示信息包含：采集機(jī)別名、采集機(jī)名稱、業(yè)務(wù)類型、廠家名稱、適配器版本、是否安裝成功。 示意圖如下： 適配器查詢 適配器查詢 結(jié)果 適配器裝載 ? 支持在采集機(jī)上動態(tài)加載適配器。 ? 適配器安裝后，采集機(jī) 自動同步適配器。 采集單元設(shè)置 支持對 采集源進(jìn)行新增、復(fù)制、刪除操作 ，可修改采集源屬性信息 。 新增采集源： 通過選擇已注冊的適配器且進(jìn)行各個屬性信息的編輯完成對采集源的新增 , 是 否可編輯 一欄 標(biāo)識為必填的行是必須填寫的、標(biāo)識為只讀的行為不可修改、標(biāo)識為可讀寫的行為可修改 。新增后可查看和 編輯 采集源的屬性信息。 示意圖如下： 新增采集源對話框 新增采集源確定后的頁面 保存提示執(zhí)行成功的頁面 查看采集源屬性 編輯采集源屬性 修改后的 采集 源節(jié)點(diǎn) 注：如果新增的采集源與另一個采集源屬于接入同一個廠家設(shè)備僅接口不同的關(guān)系，那么需要針對這兩種不同接口注冊安裝兩個廠家適配器，兩個采集源設(shè)置為兩個不同的采集單元，但這兩個采集源的“采集源名稱”需設(shè)置為同一個，而且要求這兩個采集源設(shè)定的定向采集機(jī)是同一個采集機(jī) ID。如下圖所示，采集源“ YNT20204P|38001”與采集源“ YNT20204P|38002”接入同一廠家設(shè)備 ,但接入不同接口，分別隸屬于同一廠家兩個不同版本的適配器的實(shí)例，采集源名稱都設(shè)置為“ Y