主題型網(wǎng)頁發(fā)現(xiàn)以及網(wǎng)頁內(nèi)信息塊發(fā)現(xiàn)(編輯修改稿)
2024-11-17 12:49 本頁面
【文章內(nèi)容簡介】 –分類器的特征選擇 ?網(wǎng)頁正文文字?jǐn)?shù)目 ?網(wǎng)頁正文標(biāo)點符號數(shù)目 ? URL層數(shù) ? URL中數(shù)字的個數(shù) ?…… 結(jié)果分析 ? 測試集： cwt_quark_70thousand 71502個 web ? 階段 1： （輸入 71502個 web ） ? 主題型網(wǎng)頁： 33161個 ? 非主題型網(wǎng)頁： 19623個 ? 無法判斷的網(wǎng)頁： 18718個（ %） ? 階段 2： （輸入 18718個 web ，利用 SVM分類） ? 主題型網(wǎng)頁： 15139個 ? 非主題型網(wǎng)頁： 3579個 ? 階段 3： 根據(jù)主題型網(wǎng)頁信息塊抽取結(jié)果，去掉只能抽取到極少內(nèi)容的主題型網(wǎng)頁3206個 ? 最終 ： ? 主題型網(wǎng)頁： 45094個（ %） ? 非主題型網(wǎng)頁： 26408個（ %） 結(jié)果分析 ? 從階段 1的分類結(jié)果看出：大部分的網(wǎng)頁（ %）可以根據(jù)網(wǎng)頁的重要特征的閾值進行分類，方法簡單高效。 ? 雖然只有 %的網(wǎng)頁需要利用分類器進行進一步的分類，但這 %的網(wǎng)頁可能恰恰決定了本算法的分類效果。因為這 %的網(wǎng)頁都是模棱兩可的，對它們進行準(zhǔn)確的分類至關(guān)重要！ ? 由于階段 1和階段 2都可能存在一定的誤差，因此經(jīng)過信息塊抽取之后的反饋是很重要的。 不足與改進 ? 對網(wǎng)頁的特征選擇與抽取還有待完善，期望以后能挖掘出更能描述網(wǎng)頁性質(zhì)的特征。 ? 在網(wǎng)頁去噪方面略顯粗糙，需做進一步改善 ? 階段 1的特征閾值設(shè)定過于簡單。 ? 階段 3的反饋機制過于簡單。 網(wǎng)頁內(nèi)信息塊發(fā)現(xiàn) 一、術(shù)語定義 ? 主題型網(wǎng)頁： 主題型網(wǎng)頁是指網(wǎng)頁
教學(xué)課件相關(guān)推薦
鄂ICP備17016276號-1