主題型網(wǎng)頁(yè)發(fā)現(xiàn)以及網(wǎng)頁(yè)內(nèi)信息塊發(fā)現(xiàn)(編輯修改稿)
2024-11-17 12:49 本頁(yè)面
【文章內(nèi)容簡(jiǎn)介】 –分類(lèi)器的特征選擇 ?網(wǎng)頁(yè)正文文字?jǐn)?shù)目 ?網(wǎng)頁(yè)正文標(biāo)點(diǎn)符號(hào)數(shù)目 ? URL層數(shù) ? URL中數(shù)字的個(gè)數(shù) ?…… 結(jié)果分析 ? 測(cè)試集： cwt_quark_70thousand 71502個(gè) web ? 階段 1： （輸入 71502個(gè) web ） ? 主題型網(wǎng)頁(yè)： 33161個(gè) ? 非主題型網(wǎng)頁(yè)： 19623個(gè) ? 無(wú)法判斷的網(wǎng)頁(yè)： 18718個(gè)（ %） ? 階段 2： （輸入 18718個(gè) web ，利用 SVM分類(lèi)） ? 主題型網(wǎng)頁(yè)： 15139個(gè) ? 非主題型網(wǎng)頁(yè)： 3579個(gè) ? 階段 3： 根據(jù)主題型網(wǎng)頁(yè)信息塊抽取結(jié)果，去掉只能抽取到極少內(nèi)容的主題型網(wǎng)頁(yè)3206個(gè) ? 最終 ： ? 主題型網(wǎng)頁(yè)： 45094個(gè)（ %） ? 非主題型網(wǎng)頁(yè)： 26408個(gè)（ %） 結(jié)果分析 ? 從階段 1的分類(lèi)結(jié)果看出：大部分的網(wǎng)頁(yè)（ %）可以根據(jù)網(wǎng)頁(yè)的重要特征的閾值進(jìn)行分類(lèi)，方法簡(jiǎn)單高效。 ? 雖然只有 %的網(wǎng)頁(yè)需要利用分類(lèi)器進(jìn)行進(jìn)一步的分類(lèi)，但這 %的網(wǎng)頁(yè)可能恰恰決定了本算法的分類(lèi)效果。因?yàn)檫@ %的網(wǎng)頁(yè)都是模棱兩可的，對(duì)它們進(jìn)行準(zhǔn)確的分類(lèi)至關(guān)重要！ ? 由于階段 1和階段 2都可能存在一定的誤差，因此經(jīng)過(guò)信息塊抽取之后的反饋是很重要的。 不足與改進(jìn) ? 對(duì)網(wǎng)頁(yè)的特征選擇與抽取還有待完善，期望以后能挖掘出更能描述網(wǎng)頁(yè)性質(zhì)的特征。 ? 在網(wǎng)頁(yè)去噪方面略顯粗糙，需做進(jìn)一步改善 ? 階段 1的特征閾值設(shè)定過(guò)于簡(jiǎn)單。 ? 階段 3的反饋機(jī)制過(guò)于簡(jiǎn)單。 網(wǎng)頁(yè)內(nèi)信息塊發(fā)現(xiàn) 一、術(shù)語(yǔ)定義 ? 主題型網(wǎng)頁(yè)： 主題型網(wǎng)頁(yè)是指網(wǎng)頁(yè)
教學(xué)課件相關(guān)推薦
鄂ICP備17016276號(hào)-1