海量非結構化數(shù)據(jù)技術在運營管理中的運用-預覽頁
【正文】 文件系統(tǒng)? 監(jiān)測系統(tǒng)的變化? 配置? 密碼文件? 關鍵性腳本與代碼13q XX系統(tǒng)應用協(xié)議分析：– WTC+SOP是基本結構， SOP內還封裝其他協(xié)議– 封裝 XML、封裝 ~|~分隔的 keyvalue pair非結構化數(shù)據(jù)： 運行產(chǎn)生的網(wǎng)絡報文【動態(tài)】生產(chǎn)環(huán)境中的各類數(shù)據(jù)的關聯(lián)性、多樣性、復雜性?短會話連接情況短會話連接情況（標準輸出）（標準輸出）?網(wǎng)絡報文網(wǎng)絡報文?系統(tǒng)日志（系統(tǒng)日志（ SYSLOG)?WEBSERVER日志（文本日志（文本 /XML））?用戶打開頁面用戶打開頁面詳細記錄（文本）詳細記錄（文本）?系統(tǒng)日志（系統(tǒng)日志（ SYSLOG)?中間件日志（文本，中間件日志（文本，每臺服務器每個服務每臺服務器每個服務一個）一個）?交易日志（交易日志（ group文件文件，每臺服務器，每臺服務器 50個）個）?程序報錯日志（程序報錯日志（ XML））?系統(tǒng)日志（系統(tǒng)日志（ SYSLOG））?數(shù)據(jù)庫日志（多數(shù)據(jù)庫日志（多個文本）個文本）?系統(tǒng)日志系統(tǒng)日志（（ SYSLOG））數(shù)據(jù)庫表數(shù)據(jù)庫表系統(tǒng)間會話網(wǎng)絡報文、交易報文、文本日志、數(shù)據(jù)庫流水系統(tǒng)間會話網(wǎng)絡報文、交易報文、文本日志、數(shù)據(jù)庫流水目錄16銀行數(shù)據(jù)全生命周期管理探討1海量非結構化數(shù)據(jù)特點及使用2167。 日志類采集及使用216。 報文類采集及使用日志類數(shù)據(jù)采集： 生產(chǎn)日志分析與監(jiān)控的需求日志類數(shù)據(jù)采集： 日志關鍵字分析使用樣例日志類數(shù)據(jù)采集： 非結構數(shù)據(jù)結構化的使用216。29系統(tǒng)容量數(shù)據(jù)采集： 系統(tǒng)數(shù)據(jù)、應用數(shù)據(jù)、交易數(shù)據(jù)31歷史數(shù)據(jù)綜合查詢： 海量歸檔、轉結構化、多維查詢32業(yè)務運行狀態(tài)分析： 業(yè)務類型分布、業(yè)務類型趨勢用戶行為分析： 操作行為、過程行為、結果選擇目錄34銀行數(shù)據(jù)全生命周期管理探討1海量非結構化數(shù)據(jù)特點及使用2167。防火墻webServerAPP服務器DBServerOracletrace tail DB 采集，查詢，歸檔 ，實時監(jiān)控 6個月 銷毀文本 tail webServer 采集，查詢，歸檔，實時監(jiān)控 12個月 留存中間件應用日志性能 tail OVO 采集，查詢，實時監(jiān)控 1個月 銷毀ITM事件 tail OMNIBUS采集，查詢，實時監(jiān)控，歸檔6個月 銷毀資產(chǎn) tail 交易流水 采集，查詢，實時監(jiān)控，歸檔12個月 留存統(tǒng)一監(jiān)控平臺網(wǎng)絡報文 tail BPC 采集，查詢，實時監(jiān)控，歸檔6個月 銷毀WRT技術要點與實現(xiàn)架構： 明確數(shù)據(jù)對象、設計技術手段216。v 日志采集能力方面 ：設備方式可以采集任何寫入文件的日志，而管道方式只能采集 ” a+”(無文件則創(chuàng)建，有文件則追加 ) 文件。43大數(shù)據(jù)平臺 邏輯架構? Storm ：是一套分布式的、可靠的，可容錯的用于處理流式數(shù)據(jù)的系統(tǒng)。 Hadoop是高效的，因為它以并行的方式工作，通過并行處理加快處理速度。 日志類采集技術要點216。49216。? Flume負責采集日志數(shù)據(jù)，并把數(shù)據(jù)發(fā)送給 Kafka。51感謝交流哈爾濱銀行 姜巖 靜夜四無鄰，荒居舊業(yè)貧。 14:43:3814:43:3814:43Saturday, March 27, 20231乍見翻疑夢，相悲各問年。 2023/3/27 14:43:3814:43:3827 March 20231做前，能夠環(huán)視四周；做時，你只能或者最好沿著以腳為起點的射線向前。 三月 2114:43:3814:43Mar2127Mar211世間成事，不求其絕對圓滿，留一份不足，可得無限完美。 三月 212:43 下午 三月 2114:43March 27, 20231少年十五二十時，步行奪得胡馬騎。 14:43:3814:43:3814:433/27/2023 2:43:38 PM1越是沒有本領的就越加自命不凡。 三月 21三月 2114:43:3814:43:38March 27, 20231意志堅強的人能把世界放在手中像泥塊一樣任意揉捏。 2:43:38 下午 2:43 下午 14:43:38三月 21MOMODA POWERPOINTLorem ipsum dolor sit, eleifend nulla ac, fringilla purus. Nulla iaculis tempor felis amet, consectetur adipiscing elit. Fusce id urna blanditut cursus. 感謝您的下載觀看專家告
教學課件相關推薦
鄂ICP備17016276號-1