【導(dǎo)讀】部署相應(yīng)的采集程序及調(diào)試，升級割接過程存在影響現(xiàn)網(wǎng)業(yè)務(wù)的風(fēng)險。機硬件架構(gòu)，資源利用率低，且對硬件和機房要求高。戶對生成及時報表的速度也不滿意。需要從采集速度、接入速度兩個方面提升現(xiàn)。準(zhǔn)確時，無法及時自動發(fā)現(xiàn)，采集問題難以定位，采集過程不透明。具有統(tǒng)一的北向數(shù)據(jù)服務(wù)接口，面向各應(yīng)用系統(tǒng)提供靈活的數(shù)據(jù)采集定制功能。系統(tǒng)對外共享數(shù)據(jù)接口標(biāo)準(zhǔn)不一，導(dǎo)致對系統(tǒng)安全存在威脅；為了更好的解決以上問題，綜合網(wǎng)絡(luò)數(shù)據(jù)采集平臺整合專業(yè)網(wǎng)管采集模塊，不同的系統(tǒng)對相同的原始數(shù)據(jù)進行采集，造成網(wǎng)元處理壓力大；不同的系統(tǒng)由于數(shù)據(jù)邊界劃分不清晰，造成數(shù)據(jù)的生產(chǎn)和消費脫節(jié)，每。模型問題、提供能力問題，進行有效數(shù)據(jù)交互的工作量大、靈活性差，希望對系統(tǒng)產(chǎn)生的數(shù)據(jù)進行進一步加工處理，發(fā)現(xiàn)系統(tǒng)的數(shù)據(jù)存儲和組。制定統(tǒng)一的采集適配規(guī)范，支持各專業(yè)數(shù)據(jù)接入，支持第三方廠商采集。持多種安全可靠性技術(shù)手段，制定嚴(yán)格的安全可靠性管理措施。

　　

【正文】 按照時間、采集機的條件過濾進行任務(wù)量分析，集機可以選擇某一特定采集機也可以選擇全部采集機。任務(wù)量分析支持任務(wù)和負(fù)荷兩個維度。 示意圖如下： 任務(wù)量分析選擇窗口 任務(wù)維度： 任務(wù)維度細(xì)化條件為執(zhí)行失敗、正在執(zhí)行、等待執(zhí)行、執(zhí)行時長小于 10 分鐘、執(zhí)行時長大于 10 分鐘，橫坐標(biāo)為時間單位 1，不足一天以當(dāng)天 0 點到當(dāng)前時刻的前一個整點的數(shù)據(jù)來統(tǒng)計，縱坐標(biāo)為任務(wù)量，鼠標(biāo)放到相應(yīng)的柱狀條時顯示該時刻的任務(wù)量分析信息，分析信息包括細(xì)化維度、時間點、任務(wù)量。點擊柱狀圖可下鉆到詳細(xì)分析信息頁面。采集機可以選擇某一特定采集機也可以選擇全部采集機 。示意圖如下： 任務(wù)維度 （單采集機） 任務(wù)維度（多采集機） 負(fù)荷維度： 負(fù)荷維度橫坐標(biāo)為時間單位 1，不足一天以當(dāng)天 0點到當(dāng)前時刻的前一個整點的數(shù)據(jù)來統(tǒng)計，縱坐標(biāo)為負(fù)荷率，鼠標(biāo)放到相應(yīng)的柱狀條時顯示該時刻的任務(wù)量分析信息，分析信息包括采集機、時間點、負(fù)荷率。點擊柱狀圖可下鉆到詳細(xì)分析信息頁面。 采集機可以選擇某一特定采集機也可以選擇全部采集機。 示意圖如下： 負(fù)荷維度（單采集機） 負(fù)荷維度（多采集機） 告警轉(zhuǎn)發(fā)設(shè)置 支持告警轉(zhuǎn)發(fā)設(shè)置，設(shè)置某級別的告警后，當(dāng)告警產(chǎn)生時自動發(fā)送到綜合監(jiān)控平臺，綜合監(jiān)控平臺可發(fā)送短信通知。 選擇一行數(shù)據(jù)點擊“修改是否發(fā)送”按鈕，彈出選擇框，在下拉框中選擇是否要發(fā)送，點擊“確定”按鈕即完成告警發(fā)送設(shè)置的修改。 示意圖如下： 告警發(fā)送設(shè)置 告警發(fā)送設(shè)置彈出窗口 檢查閾值設(shè)置 支持對完整性、及時性閾值設(shè)置 、合理性閾值設(shè)置，超過閾值后標(biāo)注突出 顏色顯示，并生成告警信息 。 完整性閥值設(shè)置： 完整性閾值（ %）支持 按照 指標(biāo)組級別 （大小網(wǎng)元） 分專業(yè)批量 設(shè)置和按照節(jié)點設(shè)置兩種方式。 按照 指標(biāo)組級別 （大小網(wǎng)元） 批量 設(shè)置 完整性閾值 后， 其下子節(jié)點的閥值也進行了相應(yīng)設(shè)置，不必再為子節(jié)點設(shè)置閥值。 示意圖如下： 展開完整性閥值樹圖 為大小網(wǎng)元設(shè)定閥值 設(shè)置閥值窗口 子節(jié)點設(shè)定閥值 及時性閾值設(shè)置： 及時性監(jiān)控閾值支持 按照 專業(yè)批量設(shè)置和 采集源的指標(biāo)組 來 設(shè)置兩種方式，及時性閾值 分總閾值、采集閾值、廠家閾值。按照專業(yè) 來 批量 設(shè)定 及時性閾值后，其下子節(jié)點的閥值也進行了相應(yīng)設(shè)置，不必再為子節(jié)點設(shè)置閥值。 示意圖如下： 及時性閥值樹圖 專業(yè)設(shè)置閥值 指標(biāo)組設(shè)置閥值 及時性閥值設(shè)定窗口 合理性閾值設(shè)置： 合理性監(jiān)控閾值支持 按照 指標(biāo)組的指標(biāo) 來 設(shè)置 ，支持設(shè)置指標(biāo)取值范圍，可設(shè)置指標(biāo)取值的上限值與下限值。 示意圖如下： 合理性閥值設(shè)置 合理閾值列表 合理性檢查設(shè)置： 支持 按照 指標(biāo)粒度 來設(shè)定 指標(biāo)合理性 ， 指標(biāo)被設(shè)置后根據(jù)設(shè)定的指標(biāo)閾值， 監(jiān)控某個采集源每個時間點該指標(biāo)是否越界，對集團考核的重點指標(biāo)進行監(jiān)控 。示意圖如下： 展開合理性樹圖 設(shè)備割接處理 針對設(shè)備割接期間，數(shù)據(jù)完整性變化幅度較大，在割接前預(yù)設(shè)定割接期間，減少割接期間系統(tǒng)告警 。 支持 設(shè)備割接設(shè)置操作， 設(shè)置的信息包括采集源、描述信息、割接時間。 割接信息設(shè)置后，可以查看進行割接設(shè)置的采集源、割接時間，系統(tǒng)根據(jù)設(shè)置的割接時間自動維護設(shè)備割接列表內(nèi)容，如某采集源割接 時間 3天后已完成割接進入穩(wěn)定運行狀態(tài)，則系統(tǒng)自動更新列表將該采集源從割接列表中刪除。正常情況下 數(shù)據(jù)完整性判斷的經(jīng)驗值采用前三天同一時間段的數(shù)據(jù)條數(shù) 的最大值，如果采集源在此處進行了設(shè)備割接設(shè)置則對該采集源數(shù)據(jù)完整性判斷的經(jīng)驗值是以當(dāng)前時間段之前三個小時的最大值作為經(jīng)驗值。用戶可以進行設(shè)備割接設(shè)置的新增、修改和刪除。 示意圖如下： 點擊上限值或下限值即可添加所要設(shè)定的閥值 設(shè)備割接設(shè)置 設(shè)備割接設(shè)置新增窗口 修改信息 刪除確認(rèn) 數(shù)據(jù)共享管理 數(shù)據(jù)消費者管理 用戶可以進行數(shù)據(jù)消費者 的新增 、刪除和回退 操作 。 數(shù)據(jù)消費者的信息包括消費者 ID、消費者名稱、消費者密碼、描述信息。 新增消費者： 默認(rèn)生成一條名為 northUserName 消費者記錄，不設(shè)置消費者密碼保存后，默認(rèn)密碼為 password，保存后系統(tǒng)自動生成消費者 id。如果需要修改新增的消費者的名稱，單擊上圖紅色標(biāo)識的部分進行名稱的編輯，如改為 newcustomer11，單擊保存，系統(tǒng)提示執(zhí)行成功，修改后的新記錄已出現(xiàn)在頁面中 。支持對數(shù)據(jù)消費者密碼重置 ，在密碼框中輸入要重置的新的密碼 ， 在重復(fù)密碼框中再次輸入要重置的密碼， 兩次輸入的密碼須相同，否則會報錯。系統(tǒng) 對于 消費者密碼的要求為：密碼須 包括數(shù)字和字符并大于 5位 ，若不符合要求會提示錯誤信息。完成密碼輸入 后點擊確定完成密碼的重置 ， 系統(tǒng)提示執(zhí)行成功 。示意圖如下： 新增數(shù)據(jù)消費者 消費者密碼重置 消費者密碼重置常見錯誤 2 兩次密碼不一致 消費者密碼重置常見錯誤 1 密碼不符合要求 消費者密碼重置系統(tǒng)提示執(zhí)行成功 回退： 系統(tǒng)提供回退功能，支持 對于錯誤操作的 撤消 ，執(zhí)行回退操作 由當(dāng)前狀態(tài)回退到用戶上次保存時的系統(tǒng)頁面狀態(tài)，已經(jīng)保存的操作無法執(zhí)行回退功能 ，回退操作過程中提示用戶是否確認(rèn)執(zhí)行該操作 。 示意圖如下： 回退確認(rèn)信息 刪除消費者： 系統(tǒng)提供刪除消費者的功能，操確認(rèn)提示用戶是否確認(rèn)執(zhí)行該操作，確認(rèn)刪除后彈出對話框提示“請手工刪除如下消費者的隊列”，提示框中點擊確定按鈕后消費者列表中不再顯示該消費者信息，需按提示信息手工刪除消費者的隊列。 示意圖如下： 刪除消費者 提示手工刪除消費者隊列 數(shù)據(jù)消費者授權(quán) 設(shè)置某個消費者能夠訪問那些數(shù)據(jù) ，包括數(shù)據(jù)訪問權(quán)限分配和數(shù)據(jù)訪問權(quán)限取消兩部分。 權(quán)限分配： 在消費者樹圖上單擊要設(shè)置權(quán)限的消費者，中間區(qū)域展示為指標(biāo)樹圖。展開指標(biāo)樹圖下的各個節(jié)點，單擊要選擇的指標(biāo)組，例如選擇了 tpd_cell_half， 單擊它左邊的單選框， 其父節(jié)點 管理層指標(biāo)組也 被選中 。同理 填加其它指標(biāo)組，選擇完畢后單擊保存，系統(tǒng)提示執(zhí)行成功。示意圖如下： 選擇消費者 選擇指標(biāo)組 消費者權(quán)限設(shè)置執(zhí)行成功 權(quán)限取消： 如果要通過設(shè)置取消費者的權(quán)限，從左側(cè)的消費者列表中選擇消費者，然后從右側(cè)的指標(biāo)樹圖中選擇要取消的指標(biāo)組，將要撤消的指標(biāo)組選擇完畢后，單擊刪除按鈕，系統(tǒng)提示執(zhí)行成功就完成了權(quán)限的撤消。 數(shù)據(jù)訂閱請求接收 接收數(shù)據(jù)訂閱的消息及對消息 應(yīng)答。 數(shù)據(jù)訂閱鑒權(quán) 根據(jù) 數(shù)據(jù)消費者 權(quán)限設(shè)定，判斷數(shù)據(jù)請求是否合理。 數(shù)據(jù)分發(fā) 采集機把數(shù)據(jù)生成后，及時通知訂閱該數(shù)據(jù)的消費者獲取數(shù)據(jù)文件 。 數(shù)據(jù)消費查詢 查詢對每個消費者提供數(shù)據(jù)的時間、數(shù)據(jù)文件情況，并支持導(dǎo)出。 數(shù)據(jù)消費情況的查詢： 用戶可以通過設(shè)定消費者名稱、專業(yè)、數(shù)據(jù)源、指標(biāo)組、開始時間、結(jié)束時間等查詢條件 進行數(shù)據(jù)消費情況的過濾查詢。查詢結(jié)果包括消費者名稱、數(shù)據(jù)源、指標(biāo)組、子網(wǎng)元名稱、文件內(nèi)容記錄數(shù)、開始時間、結(jié)束時間、時間戳、文件名、文件列表等信息，可 通過單擊“重置”按鈕重新設(shè)置查詢條件 。示意圖如下： 數(shù)據(jù)消費查詢 當(dāng)前系統(tǒng)中北向數(shù)據(jù)消費的情況進行查詢： 用戶可以通過設(shè)定消費者名稱、專業(yè)、數(shù)據(jù)源、指標(biāo)組、開始時間、結(jié)束時間等查詢條件進行北向數(shù)據(jù)消費的過濾查詢 。查詢結(jié)果包括策略 ID、 SESSION_ID 號、消費者名稱、數(shù)據(jù)源、指標(biāo)組、子網(wǎng)元名稱、專業(yè)類型、分類標(biāo)識、文件內(nèi)容記錄數(shù)、開始時間、結(jié)束時間、時間戳、文件名、等信息，可 通過單擊“重置”按鈕重新設(shè)置查詢條件 。查詢結(jié)果支持 導(dǎo)出到 EXCEL 表中。 示意圖如下： 北向 數(shù)據(jù)消費查詢 數(shù)據(jù)重傳機制 通知消費者失敗后，可以根據(jù)設(shè)定的重傳策略多次通知消費者。 數(shù)據(jù)重傳設(shè)置支持設(shè)置一次發(fā)送失敗后自動嘗試進行幾次重傳以及重傳時間間隔，用戶可以進行北向重傳策略的新增、回退、刪除和保存。示意圖如下： 北向重傳策略設(shè)置 北向重傳策略新增： 新增重傳策略時，默認(rèn)生成一條北向重傳策略，默認(rèn)重傳時間間隔（單位秒）為 100，重傳次第數(shù)自動加 1，可對重傳時間間隔和描述信息進行編輯后保存， 完成對北向重傳策略的新增。示意圖如下： 北向重傳策略新增窗口 北向重傳策略回退： 支持北向重傳策略設(shè)置的回退，用于對于錯誤操作的撤消。操作時系統(tǒng)是否確認(rèn)執(zhí)行該操作，操作完成后由當(dāng)前狀態(tài)回退到用戶上次保存時的系統(tǒng)頁面狀態(tài)，已經(jīng)保存的操作無法執(zhí)行回退。示意圖如下： 回退確認(rèn)信息 北向重傳策略刪除： 支持 刪除北向重傳策略， 操作時系統(tǒng)是否是否確認(rèn)執(zhí)行該操作，操作完成后 北向重傳策略列表中不再顯示該北向重傳策略信息 。示意圖如下： 刪除北向重傳策略 北向重傳策略保存： 北向 重傳策略的刪除、新增、回退操作后，點擊“保存”按鈕可對所作設(shè)置進行系統(tǒng)保存，已經(jīng)保存的操作無法執(zhí)行回退功能。 系統(tǒng)自身管理 系統(tǒng)運行監(jiān)控 系統(tǒng)運行監(jiān)控包括心跳監(jiān)控、運行負(fù)荷監(jiān)控、運行負(fù)荷分析、自身狀態(tài)監(jiān)控 。 . 心跳監(jiān)控 系統(tǒng) 實時監(jiān)控采集機心跳狀態(tài)，查詢采集機狀態(tài)停止、恢復(fù)情況 。 . 運行負(fù)荷監(jiān)控 運行負(fù)荷監(jiān)控可以監(jiān)控到采集機運行時對硬件資源（ CPU、內(nèi)存、磁盤）的占用情況，超過閾值后發(fā)送告警 。 采集機定期發(fā)送狀態(tài)信息給平臺，也可通過“手動刷新數(shù)據(jù)”按鈕實時手動刷新狀態(tài)信息。 運行負(fù)荷監(jiān)控的內(nèi)容包括采集機別名、采集主機 IP、 CPU利用率（ %）、 CPU總量（ G*N）、內(nèi)存占用（ MB）、虛擬機內(nèi)存總量（ M）、磁盤利用率（ %）、磁盤總量（ G）、心跳閾值（秒）、心跳時間、采集機主機名稱。其中 CPU利用率（ %）、內(nèi)存占用（ MB）、磁盤利用率（ %）以不同顏色來標(biāo)注資源占用不同情況，綠色代表正常，藍色代表警告，棕色 代表輕微警告，黃色代表主要警告，紅色代表嚴(yán)重警告，灰色代表未設(shè)置告警級別。支持按照監(jiān)控列進行升序、降序排序。支持監(jiān)控列的自由設(shè)定操作，用戶可以通過選擇需要顯示的列，去除不關(guān)心的系統(tǒng)狀態(tài)參數(shù)以保證只監(jiān)控關(guān)心的、重點的運行狀態(tài)。 示意圖如下： 運行負(fù)荷監(jiān)控 1 運行負(fù)荷監(jiān)控 2 . 運行負(fù)荷分析 提供一段時間內(nèi)采集機負(fù)荷情況分析 。 運行負(fù)荷分析 支持按照日期與 采集機 組合條件 進行運行負(fù)荷分析，分析內(nèi)容包括 CPU、MEMORY（內(nèi)存）、 DISK（磁盤空間） THREADS（線程），分析結(jié)果以圖示方式呈現(xiàn)。 示意圖如下： 運行負(fù)荷分析 行負(fù)荷分析圖形 . 自身狀態(tài)監(jiān)控 監(jiān)控系統(tǒng)自身運行狀態(tài)，包括進程狀態(tài)、數(shù)據(jù)庫狀態(tài)、 MQ隊列狀態(tài)等。 系統(tǒng)可以定期更新狀態(tài)信息，也可通過“刷新”按鈕實時手動刷新狀態(tài)信息。支持按照監(jiān)控列進行 升序、降序排序。支持監(jiān)控列的自由設(shè)定操作，用戶可以通過選擇需要顯示的列，去除不關(guān)心的系統(tǒng)狀態(tài)參數(shù)以保證只監(jiān)控關(guān)心的、重點的運行狀態(tài)。 示意圖如下 : 自身狀態(tài)監(jiān)控 系統(tǒng)運行維護 . 故障知識庫管理 系統(tǒng)故障知識庫對系統(tǒng)中的故障及其解決方法進行管理，便于經(jīng)驗積累和問題快速解決。 系統(tǒng)知識庫管理包括新增、修改、導(dǎo)入和刪除故障知識庫記錄的功能。用戶也可以通過查詢和精確查詢來查找系統(tǒng)已經(jīng)記錄下來的故障及相應(yīng)的解決辦法，并可通過下載模板來保存故障知識庫內(nèi)容到指定文件。 新增： 通過錄入每條故障知識信息的故障出處、故障描述、解決辦法、描述人四部分信息完成故障知識信息的新增。故障描述分為網(wǎng)絡(luò)故障錯誤、系統(tǒng)運行錯誤、系統(tǒng)數(shù)據(jù)錯誤、消費者管理、策略管理、數(shù)據(jù)提供查詢、系統(tǒng)啟停等類別，分別來描述采集過程中各個節(jié)點的錯誤類型，為故障排查和解決故障提供經(jīng)驗信息。新增故障知識信息完成后，在故障知識列表中呈現(xiàn)。示意圖如下： 新增故障知識信息對話框 新增故障知識信息對話框故障出處下拉列表 填寫新增故障知識信息對話框內(nèi)容 新增故障知識信息保存成功 故障知識信息列表 刪除： 支持對故障知識信息的刪除，刪除操作過程中提示用戶是否確認(rèn)執(zhí)行該操作。刪除故障知識信息完成后，刪除的信息在故障知識列表中消失。示意圖如下： 故障知識信息刪除 故障知識信息刪除對話框 故障知識信息刪除執(zhí)行成功 導(dǎo)入 : 批量導(dǎo)入故障問題 ,可將文件導(dǎo)入至故障知識庫中。示意圖如下： 批量導(dǎo)入故障問題 查詢： 支持對故障知識進行 精確查詢和模糊查詢。精確查詢時，需輸入起始時間、結(jié)束時間、故障出處、描述人、故障描述、解決方法各項信息，模糊查詢時只需輸入部分信息，如輸入“網(wǎng)絡(luò)故障”即可。示意圖如下： 精確查詢對話框 故障出處下拉列表 故障查詢