去偽存真去粗取精——頁面質(zhì)量評估及其在網(wǎng)絡(luò)信息檢索中的(編輯修改稿)
2024-08-14 14:42 本頁面
【文章內(nèi)容簡介】 圾 ? 內(nèi)容推薦和主題相關(guān)假設(shè)受到挑戰(zhàn) ? 過多關(guān)注頁面自身的特性，忽略用戶的實(shí)際需求 ? 只重視鏈接結(jié)構(gòu)特征，忽略頁面其他類型的查詢無關(guān)特征 是我們研究的重點(diǎn) 頁面質(zhì)量評估的研究現(xiàn)狀 ? 頁面質(zhì)量評估應(yīng)當(dāng)涉及到鏈接關(guān)系之外的特征信息 PageRank only uses the link structure of the web to estimate page quality. It seems to us that a better estimate of the quality of a page requires additional sources of information. Monika R. Henzinger, Research Director of Google – 我們的理解： 對于檢索系統(tǒng)而言，頁面質(zhì)量的最根本評價(jià)不是由諸如頁面在鏈接結(jié)構(gòu)圖中的重要程度這樣的特征來決定的。 能否滿足用戶獲取信息的需要是頁面質(zhì)量評價(jià)的根本出發(fā)點(diǎn)。 ? 研究用戶需要什么，而非假設(shè)用戶需要什么 頁面質(zhì)量評估：我們的做法 ? 有可能成為用戶檢索目標(biāo)的頁面才是高質(zhì)量的 ? 用戶需要什么？ – 反映在用戶查詢的目標(biāo)頁面中 – 高質(zhì)量頁面：可能成為用戶檢索目標(biāo)的 Web頁面 – 矛盾： ? 查詢目標(biāo)頁面是與查詢相關(guān)的 ? 頁面質(zhì)量評估是查詢無關(guān)的過程必須使用查詢無關(guān)特征 ? 宏觀上來講，與查詢相關(guān)的查詢目標(biāo)頁面是否存在與查詢無關(guān)的特征呢？ 去偽存真 去粗取精 ? 問題背景 ? 頁面質(zhì)量評估的相關(guān)工作概述 ? 高質(zhì)量頁面的查詢無關(guān)特征分析 ? 基于學(xué)習(xí)的頁面質(zhì)量評估算法 ? 應(yīng)用展望 高質(zhì)量頁面的查詢無關(guān)特征分析 ? 基于真實(shí)網(wǎng)絡(luò)語料庫進(jìn)行查詢目標(biāo)頁面 的查詢無關(guān)特征分析 – 語料庫 ? 3700萬中文網(wǎng)頁 ? 占用空間超過 Terabyte. ? 自 – 高質(zhì)量頁面采樣 ? 訓(xùn)練集 : 1600頁面 ? 測試集 : 17000頁面 ? 由 Sogou工程師手工標(biāo)注 高質(zhì)量頁面的查詢無關(guān)特征分析 ? 基于超鏈接結(jié)構(gòu)分析的特征 – PageRank – 入鏈接個(gè)數(shù) – 入鏈接文本長度 ? 其他特征 – 文檔長度 /大小 – 完全鏡像個(gè)數(shù) – URL長度與類型 – 頁面編碼 高質(zhì)量頁面的查詢無關(guān)特征分析 ? PageRank 高質(zhì)量頁面的查詢無關(guān)特征分析 ? 入鏈接個(gè)數(shù) 高質(zhì)量頁面的查詢無關(guān)特征分析 ? 入鏈接文本長度 高質(zhì)量頁面的查詢無關(guān)特征分析 ? 文檔長度 高質(zhì)量頁面的查詢無關(guān)特征分析 ? 頁面鏡像個(gè)數(shù) 高質(zhì)量頁面的查詢無關(guān)特征分析 ? URL 長度 /類型 高質(zhì)量頁面的查詢無關(guān)特征分析 ? 其他部分特征 ? 查詢無關(guān)特征能夠有效地區(qū)分目標(biāo)頁面與普通頁面，亦即查詢目標(biāo)頁面具有查詢無關(guān)特征 普通頁面 查詢目標(biāo)頁面 動(dòng)態(tài)頁面 % % 編碼非 GBK % % 是否是 Hub類型 % % 去偽存真 去粗取精 ? 問題背景 ? 頁面質(zhì)量評估的相關(guān)工作概述 ? 高質(zhì)量頁面的查詢無關(guān)特征分析 ? 基于學(xué)習(xí)的頁面質(zhì)量評估算法 ? 應(yīng)用展望 基于學(xué)習(xí)的頁面質(zhì)量評估算法 ? 根據(jù)查詢無關(guān)特征計(jì)算頁面成為查詢目標(biāo)頁面的可能性，用這種可能性表示頁面質(zhì)量的高低 ? 形式化的表述為： 具有查詢無關(guān)特征 A1, A2, A3, …, An 的頁面 P成為查詢目標(biāo)頁面的可能性 ), . . . ,|( 21 nAAAfe a t u r ehaspp a g eT a r g e tpP ?基于學(xué)習(xí)的頁面質(zhì)量評估算法 ? 算法描述 [1] 單特征分析 )()( )|()|(p a g eT a r g e tpPAf e a t u r eh
高考資料相關(guān)推薦
鄂ICP備17016276號-1