資訊檢索系統(tǒng)測(cè)試集之比較-資料下載頁(yè)
2025-08-01 14:09本頁(yè)面
【正文】 ant: B與 C均視為不相關(guān) ?Partial Relevant : A與 B均視為相關(guān) IR System Evaluation 27 NTCIR～ 評(píng)比 ?Adhoc Information Retrieval Task ?Crosslingual Information Retrieval Task ?利用日文查詢主題檢索英文文件 ?共有 21個(gè)查詢主題 , 其相關(guān)判斷包括英文文件與日文文件 ?系統(tǒng)可選擇自動(dòng)或人工建立 查詢問(wèn)題 ?系統(tǒng)需送回前 1000篇檢索結(jié)果 ?Automatic Term Extraction and Role Analysis Task ?Automatic Term Extraction: 從 題名與摘要中抽取出technical terms ?Role Analysis Task: 抽取出主旨 , 研究方法 , 研究程序 IR System Evaluation 28 IREX ～ 簡(jiǎn)介 ?IREX: Information Retrieval and Extraction Exercise ?主辦 : IREX Committee ?參加者 : 約 20隊(duì) (或以上 ) ?預(yù)備測(cè)詴 ：利用 BMIRJ2測(cè)詴集中之查詢主題 ?文件集 ?每日新聞 , 19941995 ?參加者必須購(gòu)買新聞?wù)Z料 IR System Evaluation 29 IREX ～ 查詢主題 ?組成結(jié)構(gòu) topic_id編號(hào) /topic_id description 簡(jiǎn)短的資訊需求 , 主要為名詞與其修飾語(yǔ) 構(gòu)成的名詞詞組 /description narrative 詳細(xì)的資訊需求 , 以自然語(yǔ)言敘述 , 通常為 2 至 3個(gè)句子組 成 , 亦包含名詞解釋 , 同義詞 或?qū)嵗?. /narrative ?description欄位中的詞彙必須包含在 narrative欄位中 IR System Evaluation 30 IREX ～ 相關(guān)判斷 ?判斷依據(jù) : 測(cè)詴主題的所有欄位 ?判斷方法 : 由學(xué)生二名進(jìn)行判斷 ?若二人之判斷結(jié)果一致 , 則完成相關(guān)判斷 ?若二人之判斷結(jié)果不一致或不確定 , 則由三人來(lái)作最後的判定 ?判斷基準(zhǔn) ?學(xué)生 : 6個(gè)判斷層次 ?A: 相關(guān) A?: 不確定是否為相關(guān) ?B: 部分相關(guān) B?: 不確定是否為部分相關(guān) ?C: 不相關(guān) C?: 不確定是否為不相關(guān) IR System Evaluation 31 IREX ～ 相關(guān)判斷 (續(xù) ) ?最終判斷者 : 3個(gè)判斷層次 ?A: 相關(guān) ?B: 部分相關(guān) ?C: 不相關(guān) ?相關(guān)判斷的修正 IR System Evaluation 32 IREX ～ 評(píng)比 ?評(píng)比項(xiàng)目 ?Name Entity Task (NE) ?與 MUC相似 , 測(cè)詴系統(tǒng)自動(dòng)抽取專有名詞的能力 , 如組織名 , 人名 , 地名等 . ?一般領(lǐng)域文件抽取 . 特殊領(lǐng)域文件抽取 ?Information Retrieval (IR) ?與 TREC相似 ?評(píng)比規(guī)則 ?送回文件：前 300篇 ?Query的建構(gòu)：一律由系統(tǒng)自動(dòng)建構(gòu) IR System Evaluation 33 BMIRJ2 ～ 簡(jiǎn)介 ?第一個(gè)日文資訊檢索系統(tǒng)測(cè)詴集 ?BMIRJ1: 1996 ?BMIRJ2: ?發(fā)展單位 : IPSGSIGDS ?文件集 : 主要為新聞文件 ?每 日新聞 : 5080篇 ?經(jīng)濟(jì)與工程 ?查詢主題 : 60個(gè) IR System Evaluation 34 BMIRJ2 ～ 相關(guān)判斷 ?以布林邏輯結(jié)合關(guān)鍵詞檢索 12個(gè) IR系統(tǒng) ?由資料庫(kù)檢索者做進(jìn)一步的相關(guān)判斷 ?由建構(gòu)測(cè)詴集的人員再次檢查 IR System Evaluation 35 BMIRJ2 ～ 查詢主題 Q: F=oxoxo: “Utilizing solar energy” Q: N1: Retrieve texts mentioning user of solar energy Q: N2: Include texts concerning generating electricity and drying things with solar heat. ?查詢主題的分類 ?目的 : 標(biāo)明該測(cè)詴主題的特性 ,以利系統(tǒng)選擇 ?標(biāo)記 : o(necessary), x(unnecessary) ?類別 ?The basic function ?The numeric range function ?The syntactic function ?The semantic function ?The world knowledge function: IR System Evaluation 36 AMARYLLIS～ 簡(jiǎn)介 ?主辦： INIST (INstitute of Information Scientific and Technique) ?參加者 : 約近 10隊(duì) ?文件集 ?新聞文件 : the World, 共 2萬(wàn)餘篇 ?Pascal(19841995)及 Francis(19921995)資料中抽取出來(lái)的文件題名與摘要部分 , 共 30餘萬(wàn)篇 IR System Evaluation 37 AMARYLLIS～ 查詢主題 ?組成結(jié)構(gòu) num編號(hào) /num dom所屬之學(xué)科領(lǐng)域 /dom suj標(biāo)題 /suj que資訊需求之簡(jiǎn)單描述 /que cinf資訊需求之詳細(xì)描述 /cinf cceptc概念 , 敘述語(yǔ) /ccept/c IR System Evaluation 38 AMARYLLIS～ 相關(guān)判斷 ?原始的相關(guān)判斷 ?由文件集之擁有者負(fù)責(zé)建構(gòu) ?標(biāo)準(zhǔn)答案的修正 ?加入 ?不在最初的標(biāo)準(zhǔn)答案中，但被一半以上的參加者檢索出來(lái)的文件 ?參加者所送回的檢索結(jié)果中的前 10篇的文件 ?減去 ?在原始的標(biāo)準(zhǔn)答案中出現(xiàn)，但在參加者送回的檢索結(jié)果中未出現(xiàn)的文件 IR System Evaluation 39 AMARYLLIS～ 評(píng)比 ?系統(tǒng)需送回檢索結(jié)果的前 250篇 ?系統(tǒng)可選擇採(cǎi)取自動(dòng)或人工的方式建立 query ?評(píng)比項(xiàng)目 ?Routing Task ?Adhoc Tas
法律信息相關(guān)推薦
鄂ICP備17016276號(hào)-1