[管理學]信息檢索課件東北大學-資料下載頁
2025-10-07 21:44本頁面
【正文】 — 多少維的向量？ 維數(shù)急劇上升 ? 隨著數(shù)據(jù)庫表的記錄的增大，特征值會變得很大。對應(yīng)的文檔向量空間大小的維數(shù)會急劇上升。 – 如：對于一個含有 100個記錄的表來說，其文檔向量空間大小的維數(shù)達到 1000是很正常的 – 但如此大或更大維數(shù)的向量之間運算的時間復(fù)雜度會很高，直接影響查快率。 奇異值分解 ? 第一個矩陣 X中的每一行表示意思相關(guān)的一類詞，其中的每個非零元素表示這類詞中每個詞的重要性（或者說相關(guān)性），數(shù)值越大越相關(guān)。 ? 最后一個矩陣 Y中的每一列表示同一主題一類文章，其中每個元素表示這類文章中每篇文章的相關(guān)性。 ? 中間的矩陣則表示類詞和文章類之間的相關(guān)性。 ? 因此，只要對關(guān)聯(lián)矩陣 A進行一次奇異值分解，就可以同時完成了近義詞分類和文章的分類。（同時得到每類文章和每類詞的相關(guān)性）。 檢索系統(tǒng)的基本模式 網(wǎng)頁 互聯(lián)網(wǎng) 匹配 檢索結(jié)果 用戶需求 網(wǎng)頁采集 分 析 處 理 建立索引 索引庫 相關(guān)反饋 ? Dr：檢索出的文獻中，用戶認可的 ? Dn：檢索出的文獻中，用戶沒有認可的 ?????????njrj DjnDjrn e wDD ddddqq???概率模型（基于概率論） ? D（文獻表示） – 文本表示為帶權(quán)重的標引詞的集合， dj={w1,j, w2,j, …, wt,j} – 二值的標引詞權(quán)重 wi,j＝ 0或者 wi,j＝ 1 ? Q（查詢） – 查詢也表示為帶權(quán)重的標引詞的集合， q={w1,q, w2,q, …, wt,q} – 二值的標引詞權(quán)重 wi,q＝ 0或者 wi,q＝ 1 ? F（聯(lián)系機制） – 理想結(jié)果集 R – 條件概率 概率模型（基于概率論） ? R（排序） )qd()qd(),(jj不相關(guān)與相關(guān)與PPqds imj ?? ? ? ?? ? ? ???????????????0)( i1)( i0)( i1)( ijjjjjj)|k()|k()|k()|k(~)|d()|d(~)()|d()()|d()d|()d|(),(jijijijidgdgdgdgjRPRPRPRPRPRPRPRPRPRPRPRPqds i m概率模型評價 ? 標引詞只有二值權(quán)重 ? 標引詞相互獨立 ? R的確定 – 人工干預(yù) – 隨機
教學課件相關(guān)推薦
鄂ICP備17016276號-1