infomall數(shù)據(jù)檢索服務(wù)的設(shè)計以及全文檢索系統(tǒng)的初步實-wenkub
2023-03-06 18:32:47 本頁面
【正文】 between 199702 to 202302 location at GEO: 150000 location at URL: *.” 系統(tǒng)組成 全文檢索系統(tǒng) 索引構(gòu)建流程 ? （ 1）從文檔源取得文檔 ? （ 2）對文檔進(jìn)行分詞得到 DocID, Term, Positions三元組 ? （ 3）查看詞典，把新出現(xiàn)的索引詞合并到詞典中，得到 DocID, TermID, Positions ? （ 4）當(dāng) DocID, TermID, Positions三元組的數(shù)量恰好填滿內(nèi)存時，對整個三元組集合執(zhí)行快速排序 ? （ 5）使用“游程編碼”處理遞增排序的三元組，然后編碼壓縮，輸出到臨時順串文件（ run file） ? （ 6）對所有順串文件執(zhí)行多路歸并，結(jié)果輸出為最終索引文件 ? （ 7）將最終得到的詞典存入文件 索引壓縮 ? 目的 ? 減少索引數(shù)據(jù)空間 ? 提高索引構(gòu)建的速度 ? 方法 ? 第一步，游程編碼，也就是把遞增整數(shù)序列變換為差分序列（原來相鄰整數(shù)之間的增量序列） ? 第二步，采用某種編碼方法對整數(shù)進(jìn)行編碼 編碼方法 ? 統(tǒng)計方法 ? 哈夫曼編碼（ Huffman coding） ? 算術(shù)編碼（ arithmetic coding） ? 特定分布的 adhoc編碼 ? Unary Code (Pr[x]=2x ) ? Delta Code ? Golomb Code ? 字典方法
外語相關(guān)推薦
鄂ICP備17016276號-1