海量日志分析系統(tǒng)實(shí)踐(編輯修改稿)
2025-05-27 01:26 本頁面
【文章內(nèi)容簡介】 )建立索引。采用整形如選擇 2022年 04月03的 128個(gè)五分鐘 ,where minf=20220403128,這種方式雖然增大了字段長度，但是對索引的查找及索引的基數(shù)的擴(kuò)大都是有幫助的，屬于用空間換時(shí)間。 ，在每天建立的 m_分鐘表中按小時(shí)建子分區(qū) 3，在 MyISAM表中盡量使用定長類型 數(shù)據(jù)節(jié)點(diǎn) — 表的設(shè)計(jì)續(xù) IP字段存儲(chǔ)為整形 m_20220317__top_refere,h_,d_ merge表 myisampack enum 使 PROCEDURE ANALYSE() 數(shù)據(jù)節(jié)點(diǎn)的優(yōu)化 — Mysql架構(gòu)優(yōu)化 ?增加數(shù)據(jù)庫節(jié)點(diǎn) ?按產(chǎn)品線分庫 ?按時(shí)間拆表 數(shù)據(jù)節(jié)點(diǎn)的優(yōu)化 — 單 D點(diǎn)的優(yōu)化 瓶頸 : 磁盤 IO 優(yōu)化方式 : 初期 : m,h,d表的索引文件及數(shù)據(jù)文件分布到不同磁盤 atime屬性 數(shù)據(jù)節(jié)點(diǎn)的優(yōu)化 — 單 D點(diǎn)的優(yōu)化 瓶頸 : 磁盤 IO是主要問題 優(yōu)化方式 :硬件升級 后期 : 操作系統(tǒng)及文件系統(tǒng)調(diào)優(yōu) raid0 或 lvm條帶化 修改相關(guān) mysql參數(shù) sql語句的慢查詢分析及索引調(diào)優(yōu) 數(shù)據(jù)節(jié)點(diǎn)的優(yōu)化 — 單 D點(diǎn)性能分析 沒優(yōu)化前 : 負(fù)載比較高，時(shí)常會(huì)超過 10， CPU Idle經(jīng)常會(huì)小于 30%，有時(shí) Idle為 0， CPU io wait 比較大 優(yōu)化后 : CPU的 負(fù)載 降了一半左右，同 時(shí) 磁 盤 寫入性能比之前提升了一倍之多 數(shù)據(jù)節(jié)點(diǎn)的優(yōu)化 — 特殊需求優(yōu)化 使用 tmpfs作 cache磁盤 (ramdisk） 優(yōu)點(diǎn) :內(nèi)存操作，沒有磁盤 IO消耗，不用修改應(yīng)用程序 缺點(diǎn) :cache空間有限 Mount –bind /dev/shm /var//cache 寫一個(gè)清 cache的腳本程序，配置在 cron中， 3每小時(shí)執(zhí)行一次，檢查 /dev/shm的使用率超過60%時(shí)，使用 find命令找出太舊的 cache文件刪除掉 數(shù)據(jù)節(jié)點(diǎn)的優(yōu)化 — infobright使用 ICE版進(jìn)行相關(guān)日志分析 ，導(dǎo)入到infobright ，提搞了 select速度及減少了預(yù)處理的量，和相關(guān)統(tǒng)計(jì)報(bào)表工作 :千萬級表，包含 sum,group by,order by操作 ICE比 MyISAM快幾倍 數(shù)據(jù)節(jié)點(diǎn)的優(yōu)化 — infobright特點(diǎn) 列存儲(chǔ) 適合范圍查詢及群組操作，查詢高效 服務(wù)形式及接口跟 mysql一樣，學(xué)習(xí)成本低 高壓縮比列，減少磁盤空間 無需建索引，避免索引的維護(hù)及增長問題 缺點(diǎn)： ICE版無 DML操作，但支持 load data infile
法律信息相關(guān)推薦
鄂ICP備17016276號(hào)-1