【正文】 A 。通用廣告引擎的索引設(shè)計(jì)和性能優(yōu)化 阿里媽媽事業(yè)部 師陀 Agenda ? 背景 ? 索引設(shè)計(jì)和實(shí)現(xiàn) ? 遇到的問(wèn)題 ? 下一步工作 ? 性能優(yōu)化過(guò)程 ? 性能優(yōu)化小結(jié) ? Qamp。A 背景 ? 廣告引擎的基本狀況 – 層級(jí)結(jié)構(gòu)： ? 廣告主 廣告計(jì)劃 廣告商品 競(jìng)價(jià)詞 背景 ? 廣告引擎的基本狀況 – 層級(jí)結(jié)構(gòu)： ? 廣告主 廣告計(jì)劃 廣告商品 競(jìng)價(jià)詞 – 廣告查詢(xún)流程 ? Query解析 倒排查詢(xún) 過(guò)濾 算分 排序 拼裝結(jié)果返回 背景 ? 廣告引擎的基本狀況 – 層級(jí)結(jié)構(gòu)： ? 廣告主 廣告計(jì)劃 廣告商品 競(jìng)價(jià)詞 – 在線(xiàn)查詢(xún)流程 ? Query解析 倒排查詢(xún) 過(guò)濾 算分 排序 拼裝結(jié)果返回 – 索引數(shù)據(jù)： ? 每天重建全量 + 實(shí)時(shí)更新增量 背景 ? 廣告引擎的基本狀況 – 層級(jí)結(jié)構(gòu)： ? 廣告主 廣告計(jì)劃 廣告商品 競(jìng)價(jià)詞 – 在線(xiàn)查詢(xún)流程 ? Query解析 倒排查詢(xún) 過(guò)濾 算分 排序 拼裝結(jié)果返回 – 索引數(shù)據(jù)： ? 每天重建全量 + 實(shí)時(shí)更新增量 – 多條產(chǎn)品線(xiàn)，引擎技術(shù)有通用性 背景 ? 一年前： – 使用搜索引擎 isearch的索引內(nèi)核 + 自己開(kāi)發(fā)的輔表結(jié)構(gòu) – 相對(duì)實(shí)現(xiàn)復(fù)雜，正排讀接口丌清晰 – 性能問(wèn)題 背景 ? 一年前： – 使用搜索引擎 isearch的索引內(nèi)核 + 自己開(kāi)發(fā)的輔表結(jié)構(gòu) – 相對(duì)實(shí)現(xiàn)復(fù)雜，正排讀接口丌清晰 – 性能問(wèn)題 ? 重構(gòu)：新的通用廣告引擎（一期） – 索引支持主輔表結(jié)構(gòu) – 只做廣告引擎需要的功能 – 目標(biāo)：性能和可維護(hù)性 索引設(shè)計(jì) ? 倒排：全量 + 增量 – Payload字段可配置 – 增量的多級(jí)可回收內(nèi)存池 索引設(shè)計(jì) ? 正排：主 /輔表結(jié)構(gòu) – 多種值類(lèi)型： bit/int8/int16/…/float/string – 多種字段類(lèi)型：?jiǎn)沃?/固定多值 /變長(zhǎng)多值 – 定長(zhǎng)字段和變長(zhǎng)字段的緊密存儲(chǔ) – Package – 表的關(guān)聯(lián) – 字段平鋪 索引設(shè)計(jì) ? 正排：主 /輔表結(jié)構(gòu) – 多種值類(lèi)型： bit/int8/int16/…/float/string – 多種字段類(lèi)型：?jiǎn)沃?/固定多值 /變長(zhǎng)多值 – Package – 表的關(guān)聯(lián) – 字段平鋪 索引設(shè)計(jì) ? 正排 – 多種值類(lèi)型： bit/int8/int16/…/float/string – 多種字段類(lèi)型：?jiǎn)沃?/固定多值 /變長(zhǎng)多值 – 定長(zhǎng)字段和變長(zhǎng)字段的緊密存儲(chǔ) – Package – 表的關(guān)聯(lián) – 字段平鋪 – 主 /輔表 + keyIddocId的 hash表 + DeleteMap 索引實(shí)現(xiàn) + g e t P r o f i l e F i e l d R e a d e r ( )+ g e t I n d e x F i e l d ( )+ a d d ( )+ m o d ( )+ d e l ( )+ m e r g e ( )+ j o i n ( ) C o n f i g M a n a g e r P r o f i l e F i e l d R e a d e r s T a b l e W r i t e r s I n d e x F i e l d sI n d e x l i b M a n a g e r+ g e t I n d e x F i e l d I n f o ( )+ g e t P r o f i l e F i e l d I n f o ( )C o n f i g M a n a g e r+ g e t T e r m R e a d e r ( )