海量非結(jié)構(gòu)化數(shù)據(jù)技術(shù)在運(yùn)營管理中的運(yùn)用(編輯修改稿)
2025-03-17 15:15 本頁面
【文章內(nèi)容簡介】 。 報(bào)文類采集及使用日志類數(shù)據(jù)采集： 生產(chǎn)日志分析與監(jiān)控的需求日志類數(shù)據(jù)采集： 日志關(guān)鍵字分析使用樣例日志類數(shù)據(jù)采集： 非結(jié)構(gòu)數(shù)據(jù)結(jié)構(gòu)化的使用216。 數(shù)據(jù)分類及采集216。 日志類采集及使用216。 報(bào)文類采集及使用25網(wǎng)絡(luò)交換機(jī)流量交換機(jī)探針 監(jiān)控服務(wù)器將流量通過網(wǎng)絡(luò)交換機(jī)鏡像端口鏡像到流量交換機(jī)流量過濾，報(bào)文拆分不影響網(wǎng)絡(luò)運(yùn)行將二進(jìn)制流轉(zhuǎn)換為可讀的 Pcap包按照通訊協(xié)議和報(bào)文格式解包網(wǎng)絡(luò)交易報(bào)文采集分析實(shí)現(xiàn)原理25通過網(wǎng)絡(luò)報(bào)文分析、提前預(yù)警 故障隱患q 前置 Connex上海 前置 connex北京26通過網(wǎng)絡(luò)報(bào)文分析、觀察關(guān)鍵業(yè)務(wù)會話狀態(tài)業(yè)務(wù)分析、創(chuàng)新支持?jǐn)?shù)據(jù)歸檔、查詢服務(wù)運(yùn)行采集、容量管理估值預(yù)警、隱患分析綜合監(jiān)控、聚焦定位綜合采集使用日志 +報(bào)文 +數(shù)據(jù)庫28運(yùn)行狀態(tài)綜合展現(xiàn)： 觀測發(fā)現(xiàn)、聚焦定位、診斷分析服務(wù)臺視圖告警中心視圖 告警大屏視圖交易視圖 應(yīng)用關(guān)聯(lián)性視圖 交易詳情視圖交易路徑視圖 資源使用視圖告警熱度圖會話性能視圖一線視圖二線視圖 通過各種視圖有效運(yùn)用，能夠把監(jiān)控系統(tǒng)采集到的各類數(shù)據(jù)，展示給不同角色的用戶，在日常運(yùn)維、重保值守，故障影響分析、故障定向定位等方面發(fā)揮重要作用。29系統(tǒng)容量數(shù)據(jù)采集： 系統(tǒng)數(shù)據(jù)、應(yīng)用數(shù)據(jù)、交易數(shù)據(jù)31歷史數(shù)據(jù)綜合查詢： 海量歸檔、轉(zhuǎn)結(jié)構(gòu)化、多維查詢32業(yè)務(wù)運(yùn)行狀態(tài)分析： 業(yè)務(wù)類型分布、業(yè)務(wù)類型趨勢用戶行為分析： 操作行為、過程行為、結(jié)果選擇目錄34銀行數(shù)據(jù)全生命周期管理探討1海量非結(jié)構(gòu)化數(shù)據(jù)特點(diǎn)及使用2167。 采集與傳輸、歸檔與處理、查詢與統(tǒng)計(jì)、分析與展現(xiàn)、集成與運(yùn)用167。 采集的復(fù)雜性、傳輸?shù)目煽啃?、處理的高效性、結(jié)構(gòu)化能力 ..........海量非結(jié)構(gòu)化數(shù)據(jù)技術(shù)要點(diǎn)與實(shí)現(xiàn)335類型 采集方式 日志來源 管理目標(biāo) 歸檔周期 過期處理 備注syslog syslogTCPsyslogUDP網(wǎng)絡(luò) 采集，查詢，歸檔 6個(gè)月 銷毀 記錄采集時(shí)間，日志發(fā)生時(shí)間。加工采集數(shù)據(jù)。防火墻webServerAPP服務(wù)器DBServerOracletrace tail DB 采集，查詢，歸檔 ，實(shí)時(shí)監(jiān)控 6個(gè)月 銷毀文本 tail webServer 采集，查詢，歸檔，實(shí)時(shí)監(jiān)控 12個(gè)月 留存中間件應(yīng)用日志性能 tail OVO 采集，查詢，實(shí)時(shí)監(jiān)控 1個(gè)月 銷毀ITM事件 tail OMNIBUS采集，查詢，實(shí)時(shí)監(jiān)控，歸檔6個(gè)月 銷毀資產(chǎn) tail 交易流水 采集，查詢，實(shí)時(shí)監(jiān)控，歸檔12個(gè)月 留存統(tǒng)一監(jiān)控平臺網(wǎng)絡(luò)報(bào)文 tail BPC 采集，查詢，實(shí)時(shí)監(jiān)控，歸檔6個(gè)月 銷毀WRT技術(shù)要點(diǎn)與實(shí)現(xiàn)架構(gòu)： 明確數(shù)據(jù)對象、設(shè)計(jì)技術(shù)手段216。 日志類采集技術(shù)要點(diǎn)216。 網(wǎng)絡(luò)報(bào)文采集技術(shù)要點(diǎn)216。 數(shù)據(jù)整體管理與展現(xiàn)p采集與傳輸 ：p采集 ：根據(jù)業(yè)務(wù)、運(yùn)維、監(jiān)控、審計(jì)的需要，能夠按照 關(guān)聯(lián)性、完整性、統(tǒng)計(jì)性 等要求，采集 各技術(shù)層面、各類生產(chǎn)環(huán)境、各中類型 的生產(chǎn)日志；p傳輸 ：能夠?qū)⒉杉降母黝惾罩?，按照要求（是否可丟失），安全、穩(wěn)定、可靠的進(jìn)行傳輸，傳送到日志采集服務(wù)器；p歸檔與查詢 ：p歸檔 ：將采集到的各類日志，按照 系統(tǒng)、模塊、節(jié)點(diǎn)等架構(gòu)規(guī)則 ， 采集時(shí)間、保存周期等周期規(guī)則 ， 業(yè)務(wù)、系統(tǒng)等屬性規(guī)則 ，進(jìn)行多維度歸檔與備份；p查詢 ：按照歸檔的多維度屬性，能夠進(jìn)行跨系統(tǒng)、跨節(jié)點(diǎn)、跨文件綜合查詢；p分析與使用 ：p分析 ：針對非結(jié)構(gòu)化數(shù)據(jù)，能夠完成各類邏輯分析（如：周期內(nèi)同一事件的發(fā)生次數(shù)、比例等）p使用 ：根據(jù)分析規(guī)則，能夠產(chǎn)生各類、各級報(bào)警信息，并集成到監(jiān)控系統(tǒng)，提供業(yè)務(wù)運(yùn)行狀態(tài)實(shí)時(shí)數(shù)據(jù)及分析結(jié)果，提供業(yè)務(wù)運(yùn)行特征分析結(jié)果；日志類數(shù)據(jù)采集關(guān)鍵技術(shù)要點(diǎn)虛擬設(shè)備 VS 管道程序v 開發(fā)和移植方面 ：管道兼容普通 LINUX 及類 UNIX 系統(tǒng)，而設(shè)備方式除了 linux 通用外，每一個(gè) UNIX都是一套新的設(shè)備程序。v 日志采集能力方面 ：設(shè)備方式可以采集任何寫入文件的日志，而管道方式只能采集 ” a+”(無文件則創(chuàng)建，有文件則追加 ) 文件。v 日志采集范圍方面 ：設(shè)備方式是一個(gè)設(shè)備可以采集該操作系統(tǒng)上所有應(yīng)用日志，而管道方式，每多一個(gè)日志文件，必須對應(yīng)多增加一個(gè)進(jìn)程或線程來采集。在不修改應(yīng)用系統(tǒng)的情況下，采集各類日志：固定
教學(xué)課件相關(guān)推薦
鄂ICP備17016276號-1