某新產(chǎn)品培訓(xùn)教材(編輯修改稿)
2025-03-23 11:01 本頁(yè)面
【文章內(nèi)容簡(jiǎn)介】 5分鐘日志表的同步后，需要進(jìn)行當(dāng)前 5分鐘附件的同步，直接由同步器將當(dāng)前 5分鐘內(nèi)的附件打包，同步至外置數(shù)據(jù)中心進(jìn)行解包，便完成該 5分鐘附件的同步。外置數(shù)據(jù)中心附件同步日志如下圖： 附件在內(nèi)置數(shù)據(jù)中心打包成 式進(jìn)行同步。 外置數(shù)據(jù)中心同樣具有 load和 recover機(jī)制，原理和內(nèi)置數(shù)據(jù)中心一樣，差別的是，內(nèi)置數(shù)據(jù)中心 load和 recover一直在運(yùn)行，而外置的 load和 recover只是在需要的時(shí)候才調(diào)用，如下圖： 外置數(shù)據(jù)中心日志導(dǎo)入及恢復(fù)功能 sync_file之后，會(huì)調(diào)用 。 sync_file文件中相關(guān)日志，導(dǎo)入到 MYSQL數(shù)據(jù)庫(kù)中。導(dǎo)入成功后， ，等待下一次 datacenter對(duì)其進(jìn)行調(diào)用。 Loader在導(dǎo)入數(shù)據(jù)庫(kù)表的時(shí)候出現(xiàn)錯(cuò)誤，并且進(jìn)行簡(jiǎn)單的repair還無(wú)法修復(fù)，則調(diào)用 。 ，把無(wú)法修復(fù)的表進(jìn)行 drop， drop完之后，再?gòu)?sync_file里面，把對(duì)面的表進(jìn)行恢復(fù)。如果成功，則把控制權(quán)交還給 Loader，并退出。 Recover失敗超過(guò)三次，剛返回給 Loader相關(guān)錯(cuò)誤信息，然后退出。 外置數(shù)據(jù)中心日志導(dǎo)入及恢復(fù)功能（續(xù)） 壓縮算法 同步日志使用壓縮算法 ： LZO和 LZMA，默認(rèn)是 LZO，使用LZMA壓縮算法可以在界面上配置，可以將壓縮比率提高 1倍，但是同步時(shí)間并不一定會(huì)會(huì)因?yàn)閴嚎s比率增加而縮短，因?yàn)閴嚎s也會(huì)占用較長(zhǎng)的時(shí)間了。 注意：?jiǎn)⒂迷撍惴ㄓ锌赡鼙炔粏⒂迷撍惴ǜ?，因?yàn)閴嚎s比較耗時(shí)，也在內(nèi)網(wǎng)環(huán)境下不建議使用。在帶寬不足的情況下，如通過(guò) vpn，多個(gè)分支向總部同步日志，可以啟用。 ? 、內(nèi)置到外置數(shù)據(jù)中心同步，每次傳五分鐘的 sync_file內(nèi)容和五分鐘相關(guān)的附件。傳輸完成后，外置數(shù)據(jù)中心，立刻調(diào)用導(dǎo)入器(Loader)對(duì)日志文件進(jìn)行導(dǎo)入。 ? 、同步日志的順序?yàn)榕渲帽?日志表 附件，其中日志表的同步順序?yàn)椋? A U P M C O I S F Q T ? 、 LZMA算法，壓縮比雖然提高 ，但是同步速度不一定提高。建議內(nèi)網(wǎng)環(huán)境不啟用，帶寬不足時(shí)再啟用。 ? 、內(nèi)置數(shù)據(jù)中心 Loader過(guò)的日志文件 (load_file)會(huì)被刪除，而外置數(shù)據(jù)中心 Loader過(guò)的日志文件不會(huì)被刪除。 ? 、 Recover只能修復(fù)當(dāng)天的數(shù)據(jù)庫(kù)，無(wú)法修復(fù)整個(gè)數(shù)據(jù)庫(kù)。 ? 、 sync_file中的日志文件刪除機(jī)制同數(shù)據(jù)庫(kù)日志刪除機(jī)制 日志同步總結(jié) 四、中間表 隨著審計(jì)日志量的增加，數(shù)據(jù)中心查詢、統(tǒng)計(jì)、生成報(bào)表等速度越來(lái)越慢，為了滿足客戶使用數(shù)據(jù)中心可以在短時(shí)間內(nèi)響應(yīng)并給出結(jié)果的需求，提出中間表的實(shí)現(xiàn)機(jī)制。中間表由后臺(tái)程序 midtable實(shí)現(xiàn)，將原始表中具有求和意義的字段（流量，時(shí)間，行為等）按組、用戶、IP、應(yīng)用類型及具體應(yīng)用做二次統(tǒng)計(jì)，一定程度上提高查詢、統(tǒng)計(jì)的頁(yè)面響應(yīng)。 為什么要引入中間表 ，每半個(gè)小時(shí)作為一個(gè)時(shí)間段，生成中間表。中間表使用有限，如果要統(tǒng)計(jì)四個(gè)小時(shí)的流量，則 需要查詢 8次中間表。 ，生成中間表的原始數(shù)據(jù)不是從數(shù)據(jù)庫(kù)中讀取，直接從 sync_file下的文件中讀取，另外也不僅僅是取半個(gè)小時(shí)內(nèi)置的數(shù)據(jù)生成中間表，可以取半個(gè)小時(shí)，一個(gè)小時(shí)， 4個(gè)小時(shí)內(nèi)的數(shù)據(jù)生成相應(yīng)的中間表，這樣要統(tǒng)計(jì)四個(gè)小時(shí)內(nèi)的流量， 只需要查詢一次中間表即可 ，提高了統(tǒng)計(jì)的速度 對(duì)比之前版本 sync_file下的日志文
教學(xué)課件相關(guān)推薦
鄂ICP備17016276號(hào)-1