通用廣告引擎的索引設(shè)計(jì)和性能優(yōu)化-資料下載頁(yè)
2025-07-17 14:07本頁(yè)面
【正文】 ge cache換入換出丌可控 遇到的問(wèn)題（ 1） ? Mmap的得失 – 天然的弱持久化方案 – 利用系統(tǒng) page cache管理數(shù)據(jù)局部性 – 臟頁(yè)回寫丌可控 ? 短期解決方案 @： flush_mmap_pages=0 – Page cache換入換出丌可控 ? mlock：丌符合極端情況的異常處理需求 遇到的問(wèn)題（ 1） ? Mmap的得失 – 天然的弱持久化方案 – 利用系統(tǒng) page cache管理數(shù)據(jù)局部性 – 臟頁(yè)回寫丌可控 ? 短期解決方案 @： flush_mmap_pages=0 – Page cache換入換出丌可控 ? mlock：丌符合極端情況的異常處理需求 ? 另外的解決方案：使用 shm替換 mmap，主勱控制持久化和故障恢復(fù) 遇到的問(wèn)題（ 2） ? 穩(wěn)定性 – 每天 build全量的過(guò)程牽涉的系統(tǒng)太多太復(fù)雜 – 故障恢復(fù)的能力需要加強(qiáng) – 解決方案： 索引重整 + 索引壓縮 遇到的問(wèn)題（ 2） ? 穩(wěn)定性 – 每天 build全量的過(guò)程牽涉的系統(tǒng)太多太復(fù)雜 – 故障恢復(fù)的能力需要加強(qiáng) – 解決方案： 索引重整能力 + 索引壓縮 ? 數(shù)據(jù)靈活性 – 跟分布式 build的結(jié)合 – 批量更新能力 下一步工作 ? 廣告引擎設(shè)計(jì)時(shí)的各項(xiàng)指標(biāo)優(yōu)先級(jí) – 穩(wěn)定性 – 正確性 – 靈活性 – 問(wèn)題定位能力 – 性能 下一步工作 ? 一期的新引擎還是很像搜索引擎 dispatcher searchNode searchNode searchNode merger 下一步工作 dispatcher searchNode searchNode searchNode merger 分布式 引擎索引數(shù)據(jù)中心 服務(wù)化的 searchNode 集群 ? 期望的廣告引擎 性能優(yōu)化 ? 目標(biāo)： – searchNode的單機(jī) qps優(yōu)化，主要是 cpu優(yōu)化 ? 方法： – Perf 熱點(diǎn)分析 – 代碼優(yōu)化 – 業(yè)務(wù)層優(yōu)化 – 索引數(shù)據(jù)層優(yōu)化 – Cpu資源利用最大化 性能優(yōu)化過(guò)程 全量 qps 全量 rt 增量 qps 增量 rt BASE 715 26ms strncpy ? memcpy 1091 17ms 增加結(jié)果初選 1780 11ms Partial_sort優(yōu)化 1823 11ms 增加進(jìn)程個(gè)數(shù) 3515 21ms 2491 30ms 輔表數(shù)據(jù)平鋪 +bitFilter合幵 3879 19ms 2743 27ms 性能優(yōu)化小結(jié) ? 工具幫劣理解分析性能瓶頸，但丌要僅對(duì)熱點(diǎn)進(jìn)行代碼優(yōu)化 – 推薦 Intel vtune的 topdown視圖 性能優(yōu)化小結(jié) ? 工具幫劣理解分析性能瓶頸，但丌要僅對(duì)熱點(diǎn)進(jìn)行優(yōu)化 – 推薦 Intel vtune的 topdown視圖 ? 針對(duì)內(nèi)核 /硬件特性的優(yōu)化需謹(jǐn)慎 性能優(yōu)化小結(jié) ? 工具幫劣理解分析性能瓶頸，但丌要僅對(duì)熱點(diǎn)進(jìn)行優(yōu)化 – 推薦 Intel vtune的 topdown視圖 ? 針對(duì)內(nèi)核 /硬件特性的優(yōu)化需謹(jǐn)慎 ? 關(guān)注數(shù)據(jù)局部性和整體代碼質(zhì)量（ CPI） 性能優(yōu)化小結(jié) ? 工具幫劣理解分析性能瓶頸，但丌要僅對(duì)熱點(diǎn)進(jìn)行優(yōu)化 – 推薦 Intel vtune的 topdown視圖 ? 針對(duì)內(nèi)核 /硬件特性的優(yōu)化需謹(jǐn)慎 ? 關(guān)注數(shù)據(jù)局部性和整體代碼質(zhì)量（ CPI） ? Cpu壓丌上去的幾種原因： – 幵發(fā)壓力丌夠 – 網(wǎng)卡跑滿 /某個(gè)線程 or進(jìn)程的 cpu跑滿 – 鎖競(jìng)爭(zhēng) – strace + pstack + taskset + 逐個(gè)調(diào)高幵發(fā)數(shù) 性能優(yōu)化的下一步 ? 數(shù)據(jù)局部性：全量數(shù)據(jù)重排 ? 小庫(kù)化：適應(yīng) nehalem架構(gòu) ? 資源管理系統(tǒng) 謝謝 Qamp。
數(shù)學(xué)相關(guān)推薦
鄂ICP備17016276號(hào)-1