sewm20xx中文web檢索評測-文庫吧
2025-09-08 15:02 本頁面
【正文】 Page finding， NP） – 滿足用戶需求的特定頁面 ? 評測準則 – 第一個正確答案出現位置的倒數平均值（ MRR） 主要內容 ? Web檢索評測介紹 ? CWT200g amp。 CWT20g ? 評測結果 ? 總結及討論 測試集使用框架 CWT200g/CWT20g文檔集 ? CWT200g – 根據天網搜索引擎在 2020年 11月份數據中的627,036個站點為數據基礎 – 容量 :197GB – 覆蓋 29,100個網站， 37,482,913個網頁 – 網頁本身是壓縮保存 , 以天網格式保存 ? CWT20g文檔集 – 是 CWT200g文檔集的一部分 – 與 CWT200g采用相同主題集，答案集不一樣 CWT200g文檔集的構建 前期處理 原 始 列 表有 效 列 表無 重 列 表基 本 列 表無 錯 列 表天 網 數 據種 子 列 表有 效 性 過 濾M D 5 重 復 過 濾非 正 式 站 點 過濾 ( n o n 8 0 , I P )錯 誤 站 點 過 濾站 點 統(tǒng) 計自 動 /手 動垃 圾 站 點 過 濾CWT200g文檔集的構建 網頁抓取 (中期 ) ? 多線程抓取 ? 廣度優(yōu)先抓取，限制抓取 3層 ? 單個網站抓取容量不限，抓完停止 ? 抓取了部分動態(tài)網頁 CWT200g文件集的構建 后期處理 ? 全局 MD5消重 (網頁級消重 ) – 充分消除冗余 ? 先抓取 后采樣 – 提高采樣準確性 ? 采用壓縮的天網格式保存 – 進一步提高信息量 TD主題示例 top numNumber:TD182 title法律援助 /title descDescription: 中國法律援助的現狀，需求等報道，及尋求法律援助的論壇等 /top 導航搜索主題示例 (HP/NP) top numNumber:NP878 title都江堰在線 /title /top
教學課件相關推薦
鄂ICP備17016276號-1