【正文】
s et of IBM stan dar ds th at pr ov id e con sis tent us erin terfaces, pr og ramming in terfaces, and mu ni catio ns pr otoco ls amon g all IBM co m pu ters fr omm i cro to mainf ra me./top IR System Evaluation 11 TREC3查詢主題 top nu m N um ber: 17 7 title T op ic : En gl ish a s t he O f f icial L ang uag e in U .S . des c D esc ript ion :D ocum ent w ill prov id e ar gu m ents sup po rt ing the m akin g o f E ng lish th e s tand a rd lan gu age of theU .S . narr N ar ra tive :A relev ant d o cum ent w ill note instan ce s in w hi ch E ng lish is f avo red a s a s tand ard lang uag e.E xa m ples are th e po si tive resu lts a chie ved by im m igran ts in th e a reas o f ac cep tan ce, grea tereco no m ic op po rtun ity , and incr ease d a cad em ic ach ieve m ent. R epo rts a re al so d es ired w hichdes crib e so m e of the lan gu age dif f icultie s en cou nte red b y o ther n a tion s and gr ou ps o f nati on s, .,C ana da, B elgiu m , E uro pea n C o m m un ity , w hen they hav e op t ed f or th e us e of tw o o r m orelang uag es a s the ir of f icial m ean s of co m m un ication . N ot relev ant a re repo rt s w hich pro m otebiling ua lism or m ultiling ual ism ./top IR System Evaluation 12 TREC4查詢主題 t o p n um N umb e r : 217 de s c D e s c r i pt i o n:R e p o r t i n g o n po s s i b i l i t y of a nd s e a r c h f o r e xt ra t e rr e s t ri a l l i f e / i n t e l l i ge n c e . / t o pIR System Evaluation 13 TREC~ 查詢主題 字?jǐn)?shù) ( 包含停字 )欄位最小字?jǐn)?shù)最大字?jǐn)?shù)平均字?jǐn)?shù)T otal 44 250 107. 4T it le 1 11 3. 8Des cri ption 5 41 17 . 9Nar rat ive 23 209 64 . 5TR EC 1(5 11 00 )C on ce pts 4 1 1 1 21 . 2T otal 54 231130. 8T it le 2 9 4. 9Des cri ption 6 41 18 . 7Nar rat ive 27 165 78 . 8TR EC 2(1 0 115 0 )C on ce pts 3 88 28 . 5T otal 49 180 103. 4T it le 2 20 6. 5Des cri ption 9 42 22 . 3TR EC 3(1 5 120 0 )Nar rat ive 26 146 74 . 6T otal 8 33 16 . 3TR EC 4(2 0 1 250 ) Des cri ption 8 33 16 . 3T otal 29 213 82 . 7T it le 2 10 3. 8Des cri ption 6 40 15 . 7TR EC 5(2 5 130 0 )Nar rat ive 19 168 63 . 2T otal 47 156 88 . 4T it le 1 5 2. 7Des cri ption 5 62 20 . 4TR EC 6( 301 350 )Nar rat ive 17 142 65 . 3?主題結(jié)構(gòu)與長(zhǎng)度 ?主題建構(gòu) ?主題篩選 ?presearch ?判斷相關(guān)文件的數(shù)量 IR System Evaluation 14 TREC6之主題篩選程序 前 25 篇文章中有多少篇是相關(guān)的 ?0 1 5 6 2 0 ≧ 20不採(cǎi)納此主題繼續(xù)閱讀檢索出的第 2 6 1 0 0 篇文件 ,判斷其相關(guān) 性根據(jù)相關(guān)回饋等方式 ,輸入更多的 查詢問句 ,再次執(zhí)行檢 索 ,並判斷前 100篇文件的相關(guān)性記錄相關(guān)文件的數(shù)量不採(cǎi)納此主題在 PR I SE 系統(tǒng)中輸入關(guān)鍵字執(zhí)行檢索IR System Evaluation 15 TREC~ 相關(guān)判斷 ?判斷方法 ?Pooling Method ?人工判斷 ?判斷基準(zhǔn) : 二元式 , 相關(guān)與不相關(guān) ?相關(guān)判斷品質(zhì) ?完整性 ?一致性 IR System Evaluation 16 Pooling法 ?針對(duì)每個(gè)查詢主題 , 從參與評(píng)比的各系統(tǒng)所送回之測(cè)詴結(jié)果中抽取出前 n篇文件 , 合併形成一個(gè)Pool ?視為該查詢主題可能的相關(guān)文件候選集合 , 將集合中重覆的文件去除後 , 再送回給該查詢主題的原始建構(gòu)者進(jìn)行相關(guān)判斷 。 IR System Evaluation 17 TREC 候選集合與