海量日志分析系統(tǒng)實踐-在線瀏覽
2025-06-17 01:26本頁面
【正文】 表 d_， 以及觸發(fā)器及存儲過程的調用。每小時獲取 M點更新的配置完成自更新 數(shù)據(jù)格式：壓縮后的統(tǒng)一規(guī)范定義的標準日志格式 運算節(jié)點 功能：根據(jù)需求分析日志并推送到 D點 運算機制：逐行分析日志 + 多進程 工具 :使用 FaceBook的 HipHop加快運算速度 頻率：每兩分鐘調度分析腳本 分析結果：保存為文本，格式為 sql語句。基于 MySql的日志分析系統(tǒng)設計 漆興 主要內容 ?日志分析系統(tǒng)查詢需求分析 ?訪問特點分析 ?基于性能考慮的系統(tǒng)體系架構 ?基于需求的 mysql優(yōu)化及表設計 ?基于需求的 memcache使用 ?其他開源工具的使用 ?總結 系統(tǒng)簡介 ? 分析各大產(chǎn)品線的訪問情況，以圖形和圖表的方式，提供各種監(jiān)控及訪問信息，為決策者提供可靠的數(shù)據(jù)支持 ? 系統(tǒng)目前支持的分析指標有， Hits、 帶寬、 UIP（ 獨立用戶 IP）、 下載速度、下載時長、響應時間、受訪URL、 受訪域名、來路 URL、 來路域名、全國用戶分布統(tǒng)計、運營商分布統(tǒng)計、受訪文件大小、文件類型、Squid命中率、請求響應類型、異常用戶統(tǒng)計 ? 系統(tǒng)基礎工作 :各業(yè)務部門統(tǒng)一 web服務器的日志格式 系統(tǒng)需求特點 ? 海量數(shù)據(jù) ? 實時性 ? 寫多讀少 ? 系統(tǒng)現(xiàn)狀 :天表每天增量千萬級 ,每天入庫上 1億條。 數(shù)據(jù)庫增量 400G， 日志存儲增量近 2TB 系統(tǒng)部分需求展示 1 系統(tǒng)部分需求展示 2 系統(tǒng)整體架構 系統(tǒng)架構說明 ?該系統(tǒng)架構根據(jù)功能模塊可分為如下節(jié)點 : ?A(Agent) ?B(Bee) ?D(Data) ?M(Manger) ?R(Relay) 系統(tǒng)執(zhí)行流程 采集節(jié)點 功能：負責推送日志到 B點 實現(xiàn)過程：利用 Rsync實現(xiàn)推送，以接口方式訪問 M點獲取 Rsync的目標地址 動作：在每五分鐘內切割完日志并推送。如insert into table values ( ),( ),( ) Relay點 存在的意義 : 保障數(shù)據(jù)傳輸?shù)乃俣燃靶?，減少網(wǎng)絡問題導致的數(shù)據(jù)阻塞及不完整性 問題重現(xiàn) :電信和網(wǎng)通之間的互相訪問問題，導致日志傳輸丟失或不能在規(guī)定時間內到達指定節(jié)點 解決方法 :電信服務器訪問電信，網(wǎng)通服務器則訪問網(wǎng)通 數(shù)據(jù)節(jié)點 功能：負責將接收到的 sql文本入庫 動作：在每兩分鐘運行入庫腳本。將最近三天的分鐘表，最近三個月的小時表，定義為熱數(shù)據(jù)，并定期創(chuàng)建為 merge類型，方便程序的編寫。 Gearman介紹 Gearman流 : Clien
法律信息相關推薦
鄂ICP備17016276號-1