sewm20xx中文web檢索評(píng)測(cè)-資料下載頁
2025-09-20 20:08本頁面
【導(dǎo)讀】在Sogou用戶日志的基礎(chǔ)上，統(tǒng)計(jì)出查詢的。查詢數(shù)量，對(duì)應(yīng)文件。其中非空查詢?yōu)?4,430,803個(gè)，含非重復(fù)查詢。以下的查詢有4,153,437個(gè)，占到非重復(fù)查詢的%.說明不同用戶之間的查詢還是比較獨(dú)立的。對(duì)于一個(gè)特定主題發(fā)現(xiàn)一組關(guān)鍵資源。判斷是否一個(gè)好的首頁面,應(yīng)該考查結(jié)果是。–是否大部分切合主題；–提供主題的可靠的信息；查詢集是從搜索引擎用戶日志中采樣出來的。保持總體在三個(gè)屬性（關(guān)鍵詞長(zhǎng)度、查詞頻。率和結(jié)果點(diǎn)擊次數(shù)）上面的頻次分布。評(píng)測(cè)的指標(biāo)主要采用P@10和MAP，分別。作為用戶級(jí)指標(biāo)和系統(tǒng)級(jí)指標(biāo)。還采用一些不完全標(biāo)注下的指標(biāo)作為輔助
【正文】 u_run1, jxnu_run2 大連理工大學(xué) DLUT dlut_run1, dlut_run2 評(píng)估準(zhǔn)則 ? 評(píng)測(cè)的指標(biāo)主要采用 P@10和 MAP，分別作為用戶級(jí)指標(biāo)和系統(tǒng)級(jí)指標(biāo)。 ? 還采用一些不完全標(biāo)注下的指標(biāo)作為輔助評(píng)價(jià)指標(biāo)。 11[ ] [ ] ( )|| t i i i i j i jt t i j iiM A P A P c p c p pTp?? ?? ? ?? ? ? ??[Ben, et al.,2020] C. Ben, A. James, and S. Ramesh, Minimal test collections for retrieval evaluation, in Proceedings of the 29th annual international ACM SIGIR conference on Research and development in information retrieval. Seattle, Washington, USA: ACM, 2020. 評(píng)測(cè)結(jié)果 run eMAP eRprec eP10 eP30 eP50 dlut_1 dlut_2 jxnu_1 jxnu_2 評(píng)測(cè)從設(shè)計(jì)上和數(shù)據(jù)上總結(jié) ? 查詢集合中有部分無效的 query沒有過濾掉 –如： [site:+黃韜 +博客 ] ? sogou提供的日志不是原始用戶輸入形式 – [acd+see+軟件下載 ] ? 文檔集和查詢加大后，參加評(píng)測(cè)單位減少 ? 評(píng)測(cè)任務(wù)的設(shè)定 –主題型網(wǎng)頁發(fā)現(xiàn)任務(wù)和網(wǎng)頁內(nèi)容信息塊發(fā)現(xiàn)任務(wù)，沒有繼續(xù)
教學(xué)課件相關(guān)推薦
鄂ICP備17016276號(hào)-1