[管理學(xué)]信息檢索課件東北大學(xué)-資料下載頁(yè)
2025-10-07 21:44本頁(yè)面
【正文】 — 多少維的向量？ 維數(shù)急劇上升 ? 隨著數(shù)據(jù)庫(kù)表的記錄的增大，特征值會(huì)變得很大。對(duì)應(yīng)的文檔向量空間大小的維數(shù)會(huì)急劇上升。 – 如：對(duì)于一個(gè)含有 100個(gè)記錄的表來(lái)說(shuō)，其文檔向量空間大小的維數(shù)達(dá)到 1000是很正常的 – 但如此大或更大維數(shù)的向量之間運(yùn)算的時(shí)間復(fù)雜度會(huì)很高，直接影響查快率。 奇異值分解 ? 第一個(gè)矩陣 X中的每一行表示意思相關(guān)的一類(lèi)詞，其中的每個(gè)非零元素表示這類(lèi)詞中每個(gè)詞的重要性（或者說(shuō)相關(guān)性），數(shù)值越大越相關(guān)。 ? 最后一個(gè)矩陣 Y中的每一列表示同一主題一類(lèi)文章，其中每個(gè)元素表示這類(lèi)文章中每篇文章的相關(guān)性。 ? 中間的矩陣則表示類(lèi)詞和文章類(lèi)之間的相關(guān)性。 ? 因此，只要對(duì)關(guān)聯(lián)矩陣 A進(jìn)行一次奇異值分解，就可以同時(shí)完成了近義詞分類(lèi)和文章的分類(lèi)。（同時(shí)得到每類(lèi)文章和每類(lèi)詞的相關(guān)性）。 檢索系統(tǒng)的基本模式 網(wǎng)頁(yè) 互聯(lián)網(wǎng) 匹配 檢索結(jié)果 用戶需求 網(wǎng)頁(yè)采集 分 析 處 理 建立索引 索引庫(kù) 相關(guān)反饋 ? Dr：檢索出的文獻(xiàn)中，用戶認(rèn)可的 ? Dn：檢索出的文獻(xiàn)中，用戶沒(méi)有認(rèn)可的 ?????????njrj DjnDjrn e wDD ddddqq???概率模型（基于概率論） ? D（文獻(xiàn)表示） – 文本表示為帶權(quán)重的標(biāo)引詞的集合， dj={w1,j, w2,j, …, wt,j} – 二值的標(biāo)引詞權(quán)重 wi,j＝ 0或者 wi,j＝ 1 ? Q（查詢） – 查詢也表示為帶權(quán)重的標(biāo)引詞的集合， q={w1,q, w2,q, …, wt,q} – 二值的標(biāo)引詞權(quán)重 wi,q＝ 0或者 wi,q＝ 1 ? F（聯(lián)系機(jī)制） – 理想結(jié)果集 R – 條件概率 概率模型（基于概率論） ? R（排序） )qd()qd(),(jj不相關(guān)與相關(guān)與PPqds imj ?? ? ? ?? ? ? ???????????????0)( i1)( i0)( i1)( ijjjjjj)|k()|k()|k()|k(~)|d()|d(~)()|d()()|d()d|()d|(),(jijijijidgdgdgdgjRPRPRPRPRPRPRPRPRPRPRPRPqds i m概率模型評(píng)價(jià) ? 標(biāo)引詞只有二值權(quán)重 ? 標(biāo)引詞相互獨(dú)立 ? R的確定 – 人工干預(yù) – 隨機(jī)
教學(xué)課件相關(guān)推薦
鄂ICP備17016276號(hào)-1