ir-lab胡曉光(已修改)
2025-10-08 23:57 本頁面
【正文】 信息檢索實驗室 IRLAB 胡曉光 Lucene檢索模型 信息檢索實驗室 檢索模型 ? 檢索模型是一個四元組 [D, Q, F, R(qi, dj)] ? D: 文檔集的機內(nèi)表示 ? Q: 用戶需求的機內(nèi)表示 ? F: 文檔表示、查詢表示和它們之間的關(guān)系的模型框架 (Frame) ? R(qi, dj): 給 query qi 和 document dj評分 信息檢索實驗室 空間向量模型 ? 把索引中的每個詞作為空間的一個維度 ? 把每一篇文檔作為空間中的一個向量 ? 把每一個查詢也作為空間中的一個向量 ? 通過計算文檔和查詢的內(nèi)積或余弦等來表示文檔和查詢的相關(guān)程度 信息檢索實驗室 余弦相似度計算 信息檢索實驗室 詞項的權(quán)重 ? 根據(jù)詞項在文檔 ( tf)和文檔集 ( idf)中的頻率(frequency)計算詞項的權(quán)重 ? tf(i , j) = 詞項 j在文檔 i中的頻率 ? df( j ) = 詞項 j的文檔頻率 = 包含詞項 j的文檔數(shù)量 ? idf( j ) = 詞項 j的反文檔頻率 = log2( N/ dfj) 信息檢索實驗室 詞項的權(quán)重 ? 文檔中詞項的權(quán)重 ? w i,j= tf i,j * idf i ? 其中 tf i,j可以先歸一化處理 ? tfi,j = tfi,j / maxk tf k,j ?
教學(xué)課件相關(guān)推薦
鄂ICP備17016276號-1