資訊檢索系統(tǒng)測試集之比較-資料下載頁
2025-08-01 14:09本頁面
【正文】 ant: B與 C均視為不相關(guān) ?Partial Relevant : A與 B均視為相關(guān) IR System Evaluation 27 NTCIR～ 評比 ?Adhoc Information Retrieval Task ?Crosslingual Information Retrieval Task ?利用日文查詢主題檢索英文文件 ?共有 21個查詢主題 , 其相關(guān)判斷包括英文文件與日文文件 ?系統(tǒng)可選擇自動或人工建立 查詢問題 ?系統(tǒng)需送回前 1000篇檢索結(jié)果 ?Automatic Term Extraction and Role Analysis Task ?Automatic Term Extraction: 從 題名與摘要中抽取出technical terms ?Role Analysis Task: 抽取出主旨 , 研究方法 , 研究程序 IR System Evaluation 28 IREX ～ 簡介 ?IREX: Information Retrieval and Extraction Exercise ?主辦 : IREX Committee ?參加者 : 約 20隊 (或以上 ) ?預備測詴 ：利用 BMIRJ2測詴集中之查詢主題 ?文件集 ?每日新聞 , 19941995 ?參加者必須購買新聞語料 IR System Evaluation 29 IREX ～ 查詢主題 ?組成結(jié)構(gòu) topic_id編號 /topic_id description 簡短的資訊需求 , 主要為名詞與其修飾語 構(gòu)成的名詞詞組 /description narrative 詳細的資訊需求 , 以自然語言敘述 , 通常為 2 至 3個句子組 成 , 亦包含名詞解釋 , 同義詞 或?qū)嵗?. /narrative ?description欄位中的詞彙必須包含在 narrative欄位中 IR System Evaluation 30 IREX ～ 相關(guān)判斷 ?判斷依據(jù) : 測詴主題的所有欄位 ?判斷方法 : 由學生二名進行判斷 ?若二人之判斷結(jié)果一致 , 則完成相關(guān)判斷 ?若二人之判斷結(jié)果不一致或不確定 , 則由三人來作最後的判定 ?判斷基準 ?學生 : 6個判斷層次 ?A: 相關(guān) A?: 不確定是否為相關(guān) ?B: 部分相關(guān) B?: 不確定是否為部分相關(guān) ?C: 不相關(guān) C?: 不確定是否為不相關(guān) IR System Evaluation 31 IREX ～ 相關(guān)判斷 (續(xù) ) ?最終判斷者 : 3個判斷層次 ?A: 相關(guān) ?B: 部分相關(guān) ?C: 不相關(guān) ?相關(guān)判斷的修正 IR System Evaluation 32 IREX ～ 評比 ?評比項目 ?Name Entity Task (NE) ?與 MUC相似 , 測詴系統(tǒng)自動抽取專有名詞的能力 , 如組織名 , 人名 , 地名等 . ?一般領(lǐng)域文件抽取 . 特殊領(lǐng)域文件抽取 ?Information Retrieval (IR) ?與 TREC相似 ?評比規(guī)則 ?送回文件：前 300篇 ?Query的建構(gòu)：一律由系統(tǒng)自動建構(gòu) IR System Evaluation 33 BMIRJ2 ～ 簡介 ?第一個日文資訊檢索系統(tǒng)測詴集 ?BMIRJ1: 1996 ?BMIRJ2: ?發(fā)展單位 : IPSGSIGDS ?文件集 : 主要為新聞文件 ?每 日新聞 : 5080篇 ?經(jīng)濟與工程 ?查詢主題 : 60個 IR System Evaluation 34 BMIRJ2 ～ 相關(guān)判斷 ?以布林邏輯結(jié)合關(guān)鍵詞檢索 12個 IR系統(tǒng) ?由資料庫檢索者做進一步的相關(guān)判斷 ?由建構(gòu)測詴集的人員再次檢查 IR System Evaluation 35 BMIRJ2 ～ 查詢主題 Q: F=oxoxo: “Utilizing solar energy” Q: N1: Retrieve texts mentioning user of solar energy Q: N2: Include texts concerning generating electricity and drying things with solar heat. ?查詢主題的分類 ?目的 : 標明該測詴主題的特性 ,以利系統(tǒng)選擇 ?標記 : o(necessary), x(unnecessary) ?類別 ?The basic function ?The numeric range function ?The syntactic function ?The semantic function ?The world knowledge function: IR System Evaluation 36 AMARYLLIS～ 簡介 ?主辦： INIST (INstitute of Information Scientific and Technique) ?參加者 : 約近 10隊 ?文件集 ?新聞文件 : the World, 共 2萬餘篇 ?Pascal(19841995)及 Francis(19921995)資料中抽取出來的文件題名與摘要部分 , 共 30餘萬篇 IR System Evaluation 37 AMARYLLIS～ 查詢主題 ?組成結(jié)構(gòu) num編號 /num dom所屬之學科領(lǐng)域 /dom suj標題 /suj que資訊需求之簡單描述 /que cinf資訊需求之詳細描述 /cinf cceptc概念 , 敘述語 /ccept/c IR System Evaluation 38 AMARYLLIS～ 相關(guān)判斷 ?原始的相關(guān)判斷 ?由文件集之擁有者負責建構(gòu) ?標準答案的修正 ?加入 ?不在最初的標準答案中，但被一半以上的參加者檢索出來的文件 ?參加者所送回的檢索結(jié)果中的前 10篇的文件 ?減去 ?在原始的標準答案中出現(xiàn)，但在參加者送回的檢索結(jié)果中未出現(xiàn)的文件 IR System Evaluation 39 AMARYLLIS～ 評比 ?系統(tǒng)需送回檢索結(jié)果的前 250篇 ?系統(tǒng)可選擇採取自動或人工的方式建立 query ?評比項目 ?Routing Task ?Adhoc Tas
法律信息相關(guān)推薦
鄂ICP備17016276號-1