主題型網(wǎng)頁發(fā)現(xiàn)以及網(wǎng)頁內(nèi)信息塊發(fā)現(xiàn)(更新版)
【正文】 二、主題型網(wǎng)頁特點(diǎn) ? 主題型網(wǎng)頁通常包含利用大量的文本來介紹，而且這部分文本中絕大部分都是 PlainText。 ? 雖然只有 %的網(wǎng)頁需要利用分類器進(jìn)行進(jìn)一步的分類，但這 %的網(wǎng)頁可能恰恰決定了本算法的分類效果。 URL體現(xiàn)了網(wǎng)站內(nèi)容管理的層次，對(duì)于大型網(wǎng)站而言， URL往往非常有規(guī)律。 – 鏈接較少 主題型網(wǎng)頁的主體在于“文字”，相對(duì)于導(dǎo)航型網(wǎng)頁，其鏈接數(shù)較少。因?yàn)檫@ %的網(wǎng)頁都是模棱兩可的，對(duì)它們進(jìn)行準(zhǔn)確的分類至關(guān)重要！ ? 由于階段 1和階段 2都可能存在一定的誤差，因此經(jīng)過信息塊抽取之后的反饋是很重要的。 ? 將網(wǎng)頁以樹（ Tree）的形式表現(xiàn)， HTML標(biāo)簽以及標(biāo)簽內(nèi)的文本都作為樹的（ Tree）節(jié)點(diǎn)存在于該樹中。 } M=M+parent。 四、進(jìn)一步去除噪音 ? 干擾信息： script、 frame（廣告、或網(wǎng)站定制的腳本） ? 對(duì)腳本、 frame的信息進(jìn)行定位，并根據(jù)每段正文的起始和結(jié)束位置與干擾信息塊的關(guān)系，將正文提取出來。而對(duì)于 p的任何一個(gè)子節(jié)點(diǎn) pc， L中都存在節(jié)點(diǎn)，該節(jié)點(diǎn)不是 pc的子節(jié)點(diǎn)。 ? 在網(wǎng)頁去噪方面略顯粗糙，需做進(jìn)一步改善 ? 階段 1的特征閾值設(shè)定過于簡(jiǎn)單。無需復(fù)雜算法，只需設(shè)置特征閾值。 – URL較長(zhǎng) 在一般的 Web網(wǎng)站鏈接導(dǎo)航樹上，主題型網(wǎng)頁主要分布于底層，多為葉節(jié)點(diǎn)。 – 階段 3： 經(jīng)過上面兩個(gè)階段的分類之后，對(duì)主題型網(wǎng)頁進(jìn)行信息塊抽取，根據(jù)抽取結(jié)果的反饋，進(jìn)一步篩選網(wǎng)頁，去掉非主題型網(wǎng)頁。 ? PlainText： 最終在瀏覽器中顯示的文本，而且這些文本不是錨文本。 L=Ll
教學(xué)課件相關(guān)推薦
鄂ICP備17016276號(hào)-1