海量非結構化數(shù)據(jù)技術在運營管理中的運用(文件)
【正文】 p采集與傳輸 ：p采集 ：根據(jù)業(yè)務、運維、監(jiān)控、審計的需要，能夠按照 關聯(lián)性、完整性、統(tǒng)計性 等要求，采集 各技術層面、各類生產環(huán)境、各中類型 的生產日志；p傳輸 ：能夠將采集到的各類日志，按照要求（是否可丟失），安全、穩(wěn)定、可靠的進行傳輸，傳送到日志采集服務器；p歸檔與查詢 ：p歸檔 ：將采集到的各類日志，按照 系統(tǒng)、模塊、節(jié)點等架構規(guī)則 ， 采集時間、保存周期等周期規(guī)則 ， 業(yè)務、系統(tǒng)等屬性規(guī)則 ，進行多維度歸檔與備份；p查詢 ：按照歸檔的多維度屬性，能夠進行跨系統(tǒng)、跨節(jié)點、跨文件綜合查詢；p分析與使用 ：p分析 ：針對非結構化數(shù)據(jù)，能夠完成各類邏輯分析（如：周期內同一事件的發(fā)生次數(shù)、比例等）p使用 ：根據(jù)分析規(guī)則，能夠產生各類、各級報警信息，并集成到監(jiān)控系統(tǒng)，提供業(yè)務運行狀態(tài)實時數(shù)據(jù)及分析結果，提供業(yè)務運行特征分析結果；日志類數(shù)據(jù)采集關鍵技術要點虛擬設備 VS 管道程序v 開發(fā)和移植方面 ：管道兼容普通 LINUX 及類 UNIX 系統(tǒng)，而設備方式除了 linux 通用外，每一個 UNIX都是一套新的設備程序。42大數(shù)據(jù)平臺 邏輯架構? Kafka 是由 LinkedIn 開發(fā)，主要是用來處理 LinkedIn的大面積活躍數(shù)據(jù)流處理 (activity stream)1. 可持久化消息2．目標是高流量處理 3．消費狀態(tài)信息并不保存在服務端，而是保存在消費端 4．支持分布式。 Hadoop 是可靠的，因為它假設計算元素和存儲會失敗，因此它維護多個工作數(shù)據(jù)副本，確保能夠針對失敗的節(jié)點重新分布處理。45216。計算交易量，響應時間、成功率、響應率request應用報文TCP報頭IP報頭幀頭 幀尾應用報文TCP報頭IP報頭應用報文TCP報頭網(wǎng)絡報文分析： 應用協(xié)議及交易解碼分析系統(tǒng)信息頭的格式如下：（ 55bytes）數(shù)據(jù)包長度 （ SHJBCD） unsigned short(2)報文 MAC (BAWMAC) char(16)MAC機構號 MACJGH char(4) PIN種子 PINZHZ char(16) 目標地址 (YNDIZH) unsigned char(4) 源地址 (MBIODZ) unsigned char(4) …..前臺日期 QANTRQchar(8)根據(jù)報文規(guī)范中規(guī)定的長度和編碼等信息，對數(shù)據(jù)包 payload中對應位置的數(shù)據(jù)進行解碼，并驗證正確性，例如最前面兩個字節(jié)按照規(guī)定應該是報文長度，這段報文中是 00 B2，是短整型，轉換成十進制是 178，與真實的payload長度 178對應。 數(shù)據(jù)整體管理與展現(xiàn)運維數(shù)據(jù)采集與運用整體技術架構? 通過配套方式將各類數(shù)據(jù)轉換為 SysLog和 GroupLog等形式，轉發(fā)到采集機。? ElasticSearch負責創(chuàng)建實時查詢索引，提供實時查詢功能 。 三月 2114:43:3814:43Mar2127Mar211故人江海別，幾度隔山川。 三月 212:43 下午 三月 2114:43March 27, 20231行動出成果，工作出財富。 14:43:3814:43:3814:433/27/2023 2:43:38 PM1成功就是日復一日那一點點小小努力的積累。 27 三月 20232:43:38 下午 14:43:38三月 211楚塞三湘接，荊門九派通。 三月 21三月 21Saturday, March 27, 2023閱讀一切好書如同和過去最杰出的人談話。勝人者有力，自勝者強。 2023/3/27 14:43:3814:43:3827 March 20231一個人即使已登上頂峰，也仍要自強不息。 27 三月 20232:43:38 下午 14:43:38三月 211最具挑戰(zhàn)性的挑戰(zhàn)莫過于提升自我。 三月 2114:43:3814:43Mar2127Mar211越是無能的人，越喜歡挑剔別人的錯兒。 2023/3/27 14:43:3814:43:3827 March 20231空山新雨后，天氣晚來秋。 14:43:3814:43:3814:43Saturday, March 27, 20231不知香積寺，數(shù)里入云峰。 2:43:38 下午 2:43 下午 14:43:38三月 21沒有失敗，只有暫時停止成功！。 三月 21三月 2114:43:3814:43:38March 27, 20231他鄉(xiāng)生白發(fā)，舊國見青山。 三月 21三月 21Saturday, March 27, 2023雨中黃葉樹，燈下白頭人。? Storm負責對日志進行實時計算。 日志類
教學課件相關推薦
鄂ICP備17016276號-1