基于用戶群體行為分析的搜索引擎自動(dòng)性能評(píng)價(jià)(編輯修改稿)
2024-11-04 10:40 本頁(yè)面
【文章內(nèi)容簡(jiǎn)介】 查詢的答案標(biāo)注 –結(jié)果唯一，不存在“找不全”的問(wèn)題 –搜索引擎檢索性能高，點(diǎn)擊準(zhǔn)確度較可靠 –能夠發(fā)現(xiàn)用戶的關(guān)注熱點(diǎn)，如 “ 163” = “搜狗” = –答案標(biāo)注的難度較低 搜索引擎效果自動(dòng)評(píng)價(jià) ? 信息事務(wù)類(lèi)查詢的答案標(biāo)注 – 以查詢?cè)~”電影”為例 ? 不同搜索引擎的點(diǎn)擊分布差異大 ? 存在著搜索引擎對(duì)用戶行為的偏置性影響 – 索引數(shù)據(jù)偏置 – 檢索策略偏置 ? 結(jié)果不唯一，全面性難以保證 ? 答案標(biāo)注難度較大 ? 需要借助多個(gè)搜索引擎的用戶行為信息進(jìn)行標(biāo)注 搜索引擎效果自動(dòng)評(píng)價(jià) ? 自動(dòng)評(píng)價(jià)流程 數(shù)據(jù)預(yù)處理 查詢分類(lèi) 信息類(lèi)標(biāo)注 導(dǎo)航類(lèi)標(biāo)注 搜索引擎結(jié)果抓取 性能評(píng)價(jià)指標(biāo)計(jì)算與反饋 搜索引擎日志 搜索引擎效果自動(dòng)評(píng)價(jià) ? 按信息需求將查詢樣例自動(dòng)分類(lèi) Yiqun Liu et al, Automatic Query Type Identification Based on Click Through Information Proceedings of the 3th Asia Information Retrieval Symposium, AIRS 2020 搜索引擎效果自動(dòng)評(píng)價(jià) ? 針對(duì)導(dǎo)航類(lèi)查詢的結(jié)果自動(dòng)標(biāo)注 – 利用單個(gè)搜索引擎的點(diǎn)擊信息即可完成 – 焦點(diǎn)假設(shè)：不同用戶具有相同的導(dǎo)航類(lèi)別檢索需求時(shí)，他們的點(diǎn)擊都會(huì)集中在其檢索目標(biāo)網(wǎng)頁(yè)（或其鏡像）上。 – 網(wǎng)頁(yè) r 針對(duì)查詢 q的點(diǎn)擊集中度 – q的點(diǎn)擊集中度最高的 r即為其檢索目標(biāo)頁(yè)面 )()(),(qofSe s s i onrc l i c k st hatqofSe s s i onrR e s u l tqQ ue r yCl i c k F oc us ?搜索引擎效果自動(dòng)評(píng)價(jià) ? 針對(duì)導(dǎo)航類(lèi)查詢的結(jié)果自動(dòng)標(biāo)注 – 標(biāo)注算法：尋找針對(duì) q的 ClickFocus值最大的 r – 標(biāo)注樣例 查詢 自動(dòng)標(biāo)注的 URL 讀寫(xiě)網(wǎng) 北京現(xiàn)代 NBA 南方都市報(bào) 卓越網(wǎng) 搜索引擎效果自動(dòng)評(píng)價(jià) ? 針對(duì)信息事務(wù)類(lèi)查詢需求的答案自動(dòng)標(biāo)注 – 基于多搜索引擎用戶行為挖掘 1. 利用單搜索引擎用戶行為挖掘方式，進(jìn)行各自獨(dú)立的標(biāo)注 2. 借鑒 Pooling做法，綜合不同標(biāo)注者（這里為搜索引擎用戶的宏觀行為）的意見(jiàn) 搜索引擎效果自動(dòng)評(píng)價(jià) ? 基于多搜索引擎用戶行為挖掘的標(biāo)注算法 – 需要考慮的因素 ? 用戶點(diǎn)擊行為差異 ? 用戶訪問(wèn)量差異 ? 查詢分布差異 ? 搜索引擎相對(duì)重要性的差異 – 綜合考慮以上因素，計(jì)算某個(gè)結(jié)果對(duì)于某個(gè)查詢的置信度 )/( qu rlP i搜索引擎效果自動(dòng)評(píng)價(jià) ? 合并計(jì)算結(jié)果 url對(duì)于查詢 q的置信度 ? – 基于單搜索引擎進(jìn)行答案標(biāo)注的可信度 – 依據(jù)查詢用戶數(shù)來(lái)計(jì)算 ??jjjii qSEPqSEur lPqur lP )|(),|()|()|( qSEP j??jjjj SEinqofs e s s i o nSEinqofs e s s i o nqSEP))(l o g ( ))(l o g ( )|(搜索引擎效果自動(dòng)評(píng)價(jià) ? – 單獨(dú)某個(gè)搜索引擎標(biāo)注答案的可信程度 – 依據(jù)此搜索引擎的用戶點(diǎn)擊的宏觀集中程度來(lái)確定
教學(xué)課件相關(guān)推薦
鄂ICP備17016276號(hào)-1