海量非結(jié)構(gòu)化數(shù)據(jù)技術(shù)在運營管理中的運用-文庫吧
2025-02-17 15:15 本頁面
【正文】 有 在同一字段內(nèi) 有 運營商貴金屬交易系統(tǒng) (GOLD) 有 有 有 有 有 無核心業(yè)務(wù)系統(tǒng)（ ECAS） 有 有 有 有 有 業(yè)務(wù)種類CallCenter系統(tǒng) (CCS) 有 有 有 有 有 交易種類總行大前置系統(tǒng)（ EBIP） 前置二期監(jiān)控實施中總行中間業(yè)務(wù)平臺（ EBMP） 有 有 有 有 有 無新網(wǎng)絡(luò)銀行系統(tǒng)（ NBANK） 有 有 有 有 有 交易渠道基金托管系統(tǒng) (FTS) 有 有 有 有 有 有第三方存管系統(tǒng) (IFTS) 有 有 有 有 有 交易渠道企業(yè)年金系統(tǒng)（ EPAMS） 有 有 有 有 改造后有 交易渠道客戶信息統(tǒng)一管理系統(tǒng) (ECIF) 有 有 有 有 有 無信貸風(fēng)險流程管理系統(tǒng)（ CECM） 有 有 有 無 有 無市場風(fēng)險管理系統(tǒng) (SUMMIT) 有 有 有 有 有 無結(jié)構(gòu)化數(shù)據(jù)及其采集使用： 交易流水 ......216。 數(shù)據(jù)管理如何實現(xiàn)216。 哪些是結(jié)構(gòu)化數(shù)據(jù)216。 哪些是非結(jié)構(gòu)化數(shù)據(jù)非結(jié)構(gòu)化數(shù)據(jù)： 運行產(chǎn)生的各類日志【靜態(tài)】運行過程中產(chǎn)生的各類日志為非結(jié)構(gòu)化特性數(shù)據(jù)輸入? 日志的結(jié)構(gòu)化程度很低? 日志的字段標(biāo)示等非標(biāo)準(zhǔn)化? 跨日志關(guān)聯(lián)性高，但搜索線索難以自動化? 日志生成的形式多種多樣（文件名不定）? 難以采集、歸檔、查詢? 非標(biāo)準(zhǔn)日志難以定期清理? 難以保證日志的完整性? 難以做上下文關(guān)聯(lián)分析網(wǎng)絡(luò)端口? 監(jiān)聽所有端口? TCP/UDP? syslog, SNMP, IMAP, POP3, JMS計算機(jī)文件? 監(jiān)測運行的文件? 批量上傳文件? 網(wǎng)絡(luò)，應(yīng)用，服務(wù)器和設(shè)備日志自定義腳本與 APIs? 可設(shè)定測試? WMI, perfmon, AD, LDAP, SQL/DBI, OPSEC, LEA, JMX, VMware, Powershell文件系統(tǒng)? 監(jiān)測系統(tǒng)的變化? 配置? 密碼文件? 關(guān)鍵性腳本與代碼13q XX系統(tǒng)應(yīng)用協(xié)議分析：– WTC+SOP是基本結(jié)構(gòu)， SOP內(nèi)還封裝其他協(xié)議– 封裝 XML、封裝 ~|~分隔的 keyvalue pair非結(jié)構(gòu)化數(shù)據(jù)： 運行產(chǎn)生的網(wǎng)絡(luò)報文【動態(tài)】生產(chǎn)環(huán)境中的各類數(shù)據(jù)的關(guān)聯(lián)性、多樣性、復(fù)雜性?短會話連接情況短會話連接情況（標(biāo)準(zhǔn)輸出）（標(biāo)準(zhǔn)輸出）?網(wǎng)絡(luò)報文網(wǎng)絡(luò)報文?系統(tǒng)日志（系統(tǒng)日志（ SYSLOG)?WEBSERVER日志（文本日志（文本 /XML））?用戶打開頁面用戶打開頁面詳細(xì)記錄（文本）詳細(xì)記錄（文本）?系統(tǒng)日志（系統(tǒng)日志（ SYSLOG)?中間件日志（文本，中間件日志（文本，每臺服務(wù)器每個服務(wù)每臺服務(wù)器每個服務(wù)一個）一個）?交易日志（交易日志（ group文件文件，每臺服務(wù)器，每臺服務(wù)器 50個）個）?程序報錯日志（程序報錯日志（ XML））?系統(tǒng)日志（系統(tǒng)日志（ SYSLOG））?數(shù)據(jù)庫日志（多數(shù)據(jù)庫日志（多個文本）個文本）?系統(tǒng)日志系統(tǒng)日志（（ SYSLOG））數(shù)據(jù)庫表數(shù)據(jù)庫表系統(tǒng)間會話網(wǎng)絡(luò)報文、交易報文、文本日志、數(shù)據(jù)庫流水系統(tǒng)間會話網(wǎng)絡(luò)報文、交易報文、文本日志、數(shù)據(jù)庫流水目錄16銀行數(shù)據(jù)全生命周期管理探討1海量非結(jié)構(gòu)化數(shù)據(jù)特點及使用2167。 動態(tài)數(shù)據(jù)、靜態(tài)數(shù)據(jù)、結(jié)構(gòu)化、非結(jié)構(gòu)化、多層分布、邏輯相關(guān)167。 運行監(jiān)控、趨勢分析、容量管理、數(shù)據(jù)歸檔、查詢統(tǒng)計、運營分析海量非結(jié)構(gòu)化數(shù)據(jù)技術(shù)要點與實現(xiàn)3216。 數(shù)據(jù)分類及采集216。 日志類采集及使用216。 報文類采集及使用根據(jù)不同類型數(shù)據(jù)的特點，采取不同的技術(shù)手段l利用 Hadoop、 Storm等主流大數(shù)據(jù)技術(shù)，采集歸檔并分析海量非結(jié)構(gòu)化日志，可完成跨層面跨節(jié)點的多維度查詢與分析；l網(wǎng)絡(luò)報文為動態(tài)瞬時存在數(shù)據(jù)，采集、解讀、處理難度大，但數(shù)據(jù)為強(qiáng)客觀性，分析與利用價值高；網(wǎng)絡(luò)交易報文l利用 GoldenGate等數(shù)據(jù)庫同步技術(shù)采集結(jié)構(gòu)化數(shù)據(jù)，實現(xiàn)離線狀態(tài)下實時交易性能分析；非結(jié)構(gòu)化日志離線交易流水監(jiān)控預(yù)警運營分析業(yè)務(wù)支持18網(wǎng)絡(luò)交易報文采集u 交易協(xié)議標(biāo)準(zhǔn)、規(guī)范u 協(xié)議非加密u 網(wǎng)絡(luò)鏡像流量獲取方便u 網(wǎng)絡(luò)節(jié)點間交易監(jiān)控 應(yīng)用交易日志采集u 交易日志保存在文本文件中u 日志格式標(biāo)準(zhǔn)、規(guī)范u 對交易日志有歸檔查詢、故障診斷分析的需求交易流水鏡像采集u 交易流水內(nèi)容豐富u 交易流水信息保存在數(shù)據(jù)庫中 u 交易流水表以 Inset操作為主采集方式 適用場景根據(jù)不同類型數(shù)據(jù)的特點，采取不同的技術(shù)手段19216。 數(shù)據(jù)分類及采集216。 日志類采集及使用216
教學(xué)課件相關(guān)推薦
鄂ICP備17016276號-1