資訊檢索系統(tǒng)測試集之比較-在線瀏覽
2024-09-11 14:09本頁面
【正文】 實際相關文件之對照表 A dh o cR o ut i n g各系統(tǒng)送至P oo l 內之文件總數(shù)P oo l 中實際之文件數(shù)( 去除重覆 )實際相關文件數(shù)各系統(tǒng)送至P oo l 內之文件總數(shù)P oo l 中實際之文件數(shù)( 去除重覆 )實際相關文件數(shù)T R E C 1 8800 1279(39% ) 277 (22 %) T R E C 1 2200 1067(49% ) 371 (35 %)T R E C 2 4000 1 106 (28 %) 210 (19 %) T R E C 2 4000 1466(37% ) 210 (14 %)T R E C 3 2700 1005(37% ) 146 (15 %) T R E C 3 2300 703 (31 %) 146 (21 %)T R E C 4 7300 171 1(2 4% ) 130 (08 %) T R E C 4 3800 957 (25 %) 132 (14 %)T R E C 5 10100 2671(27% ) 1 10( 04% ) T R E C 5 3100 955 (31 %) 1 13( 12% )T R E C 6 8480 1445(42% ) 92( 6. 4 %) T R E C 6 4400 1306(30% ) 140 (1 1% )IR System Evaluation 18 TREC～ 評比 T as k s /T rac k s T R EC 1 T R EC 2 T R EC 3 T R EC 4 T R EC 5 T R EC 6 T R EC 7R o u ti n g ? ? ? ? ? ?Main T as k sA d h o c ? ? ? ? ? ? ?C o n f u s ion ? ?C o n f u s ionS p o k en Do cu m e n tR etriev a l? ?Datab as e Mer g ing ? ?F il terin g ? ? ? ?High P rec is ion ? ?In terac ti v e ? ? ? ?C ro s s L an g u ag e ? ?S p an is h ? ? ?Mu lt il ing u alC h i n e s e ? ?Natu ral L an g u ag e P ro ces s i n g ? ?Qu er y ?V ery L ar g e C o rp u s ? ?IR System Evaluation 19 TREC～ 質疑與負面評價 ?測詴集方面 ?查詢主題 ?並非真實的使用者需求 , 過於人工化 ?缺乏需求情境的描述 ?相關判斷 ?二元式的相關判斷不實際 ?pooling method會遺失相關文件 , 導致回收率不準確 ?品質與一致性 ?效益測量方面 ?只關注量化測量 ?回收率的問題 ?適合作系統(tǒng)間的比較 , 但不適合作評估 IR System Evaluation 20 TREC～ 質疑與負面評價 (續(xù) ) ?評比程序方面 ?互動式檢索 ?缺乏使用者介入 ?靜態(tài)的資訊需求不切實際 IR System Evaluation 21 BMIRJ2 ～ 簡介 ?第一個日文資訊檢索系統(tǒng)測詴集 ?BMIRJ1: 1996 ?BMIRJ2: ?發(fā)展單位 : IPSGSIGDS ?文件集 : 主要為新聞文件 ?每 日新聞 : 5080篇 ?經(jīng)濟與工程 ?查詢主題 : 60個 IR System Evaluation 22 BMIRJ2 ～ 相關判斷 ?以布林邏輯結合關鍵詞檢索 12個 IR系統(tǒng) ?由資料庫檢索者做進一步的相關判斷 ?由建構測詴集的人員再次檢查 IR System Evaluation 23 BMIRJ2 ～ 查詢主題 Q: F=oxoxo: “Utilizing solar energy” Q: N1: Retrieve texts mentioning user of solar energy Q: N2: Include texts concerning generating electricity and drying things with solar heat. ?查詢主題的分類 ?目的 : 標明該測詴主題的特性 ,以利系統(tǒng)選擇 ?標記 : o(necessary), x(unnecessary) ?類別 ?The basic function ?The numeric range function ?The syntactic function ?The semantic function ?The world knowledge function: IR System Evaluation 24 NTCIR ～ 簡介 ?NTCIR: NACSIS Test Collections for IR ?主辦 : NACSIS(日本國家科學資訊系統(tǒng)中心 ) ?發(fā)展背景 ?大型日文標竿測詴集的需求 ?跨語言檢索的研究發(fā)展需要 ?文件集 ?來源為 NACSIS Academic Conference Papers Database ?主要為會議論文的摘要 ?超過 330,000篇文件 , 其中超過 1/2為英日文對照之文件 ?有部分包含 partofspeech tags IR System Evaluation 25 NTCIR～ 查詢主題 ?來源 : 搜集真實的使用者需求 , 再據(jù)其修正改寫 ?每個學科主題領域各有 100個測詴主題 ?組成結構 TOPIC q=nnnn編號 title標題 /title description資訊需求之簡短描述 /description narrative資訊需求 之細部描述 , 包括更進一步的解釋 , 名詞的定義 , 背景知識 , 檢索的目的 , 預期的相關文件數(shù)量 , 希望的文件類型 , 相關判斷的標準等 /narrative concepts相關概念的關鍵詞 /concepts IR System Evaluation 26 NTCIR ～ 相關判斷 ?判斷方法 ?利用 pooling method先進行篩選 ?由各主題專家 , 及查詢主題的建構者進行判斷 ?判斷基準 ?A: 相關 ?B: 部分相關 ?C: 不相關 ?精確率計算 : 依測詴項目的不同而有不同 ?Relev
法律信息相關推薦
鄂ICP備17016276號-1