最新網(wǎng)頁(yè)正文提取系統(tǒng)的詳細(xì)設(shè)計(jì)與實(shí)現(xiàn)畢業(yè)設(shè)計(jì)(參考版)
2025-07-02 02:35本頁(yè)面
【正文】 s and Embedded Core ,2005:211255 24 。(2) 提高程序效率：預(yù)處理費(fèi)時(shí)最多，找到更好的開(kāi)源工具或?qū)ΜF(xiàn)在所用工具進(jìn)行優(yōu)化。在論文完成過(guò)程中，理論研究方面對(duì)垂直搜索引擎所需要的技術(shù)支持進(jìn)行了系統(tǒng)的研究；針對(duì)在網(wǎng)頁(yè)去重、建立高質(zhì)量的索引、獲得準(zhǔn)確的分類(lèi)聚類(lèi)結(jié)果以及為用戶(hù)提供準(zhǔn)確的文摘等方面的廣泛應(yīng)用，設(shè)計(jì)實(shí)現(xiàn)了網(wǎng)頁(yè)正文提取系統(tǒng)。通過(guò)研究討論了網(wǎng)頁(yè)正文提取主要功能，提出了總體設(shè)計(jì)方案——此次設(shè)計(jì)提取的流程。當(dāng)將上述非正文信息移除掉后，DOM樹(shù)中剩余的內(nèi)容就是正文信息，可以直接從余下的樹(shù)節(jié)點(diǎn)中抽取出正文信息。鏈接群的移除：計(jì)算每一個(gè)節(jié)點(diǎn)所包含的鏈接個(gè)數(shù)相對(duì)非鏈接的詞個(gè)數(shù)的比例，如果比例大于一個(gè)給定的閾值則刪除此節(jié)點(diǎn)。(2) 遞歸地遍歷DOM樹(shù)，移除DOM樹(shù)中的各種非正文信息，主要包括廣告信息、鏈接群信息和非重要節(jié)點(diǎn)信息。此方法的具體步驟是：(1) 利用開(kāi)源工具建立HTML文件的DOM樹(shù)。DOM將HTML文檔表示為樹(shù)形對(duì)象集合的形式，一個(gè)DOM樹(shù)包含有元素、樹(shù)形、文本等，每一個(gè)HTML的元素被表示為樹(shù)的一個(gè)節(jié)點(diǎn)，其中HTML中的嵌套結(jié)構(gòu)被用DOM樹(shù)中節(jié)點(diǎn)的父子關(guān)系表示，并列結(jié)構(gòu)被表示為節(jié)點(diǎn)的兄弟關(guān)系。 本章小結(jié)本章詳細(xì)闡述了本次設(shè)計(jì)工作的主要內(nèi)容：正文提取的一種方法是利用HTML的DOM樹(shù)來(lái)完成對(duì)網(wǎng)頁(yè)的正文信息的分析和提取。但找到p標(biāo)簽時(shí)，如果MaxLinkNum不為0則根據(jù)公式（22）提取出其中包含的正文內(nèi)容，如果MaxLinkNum減到0則認(rèn)為正文內(nèi)容已經(jīng)結(jié)束，不再向后查找p節(jié)點(diǎn)。根據(jù)nodemax包含的正文字?jǐn)?shù)（Word）設(shè)置正文間最大鏈接個(gè)數(shù)（MaxLinkNum）采用公式（23）：(23)將MaxLinkNum設(shè)置完畢后，對(duì)nodemax標(biāo)簽以及位于其前的p標(biāo)簽進(jìn)行正文抽取。和為系數(shù)。因此需要對(duì)這些子樹(shù)包含的每個(gè)子節(jié)點(diǎn)計(jì)算包含噪聲的權(quán)重，如果此權(quán)重較小則認(rèn)為此子節(jié)點(diǎn)包含的噪聲較少而正文較多，提取出此節(jié)點(diǎn)對(duì)應(yīng)的標(biāo)簽嵌套包含的文字信息加入正文。同時(shí)，由于分段標(biāo)簽p一般都會(huì)包含正文，因此也將所有p標(biāo)簽對(duì)應(yīng)的子樹(shù)加入正文節(jié)點(diǎn)集合中。和分別是系數(shù)。對(duì)每個(gè)table和div標(biāo)簽對(duì)應(yīng)的樹(shù)節(jié)點(diǎn)計(jì)算包含正文的權(quán)重，計(jì)算公式如下： (21) 公式（41）中Weighti表示可能包含正文的第i個(gè)樹(shù)節(jié)點(diǎn)（僅限table和div對(duì)應(yīng)的樹(shù)節(jié)點(diǎn)）的權(quán)重，權(quán)重越大說(shuō)明此節(jié)點(diǎn)包含正文的內(nèi)容越多而包含噪聲信息越少。(2) 定位包含正文的樹(shù)節(jié)點(diǎn)網(wǎng)頁(yè)的大段正文一般包含在一個(gè)table和div標(biāo)簽中，一些段落還可能出現(xiàn)在p標(biāo)簽中。算法的具體步驟如下[12]：(1) 去除包含噪聲的樹(shù)節(jié)點(diǎn)有些HTML標(biāo)簽不會(huì)包含正文內(nèi)容，如下拉表單標(biāo)簽select，圖片標(biāo)簽img，script，span等。 核心算法基本思想經(jīng)觀(guān)察發(fā)現(xiàn)，新聞?lì)惖木W(wǎng)頁(yè)的正文絕大部分都包含在table、div和p標(biāo)簽中，其中table和div標(biāo)簽一般包含正文的主體部分，p中包含正文的剩余段落，而且正文中含有較多中文標(biāo)點(diǎn)而含有較少的鏈接（a標(biāo)簽）。正確的嵌套形式應(yīng)該是〈a〉?〈b〉?〈/ b〉?〈/ a〉。(4) 所有的標(biāo)記必須是正確嵌套的。(3) 所有標(biāo)記的屬性值都必須放在引號(hào)中。(2) 所有的標(biāo)記必須匹配。gt 。lt 。在把網(wǎng)頁(yè)表示成一棵樹(shù)之前，必須先對(duì)網(wǎng)頁(yè)進(jìn)行預(yù)處理，使其變?yōu)橐?guī)范的網(wǎng)頁(yè)。所以，我們需要先把網(wǎng)頁(yè)表示成一棵樹(shù)。建立網(wǎng)頁(yè)的DOM樹(shù)后，每一個(gè)HTML標(biāo)簽對(duì)應(yīng)一個(gè)樹(shù)節(jié)點(diǎn)，嵌套的標(biāo)簽利用子樹(shù)表示，因此可以方便地對(duì)網(wǎng)頁(yè)標(biāo)簽進(jìn)行遍歷和其它操作。h1hrheading/h1h2subhrheading/h2修改為hrh1heading/h1h2sub/h2hrh2heading/h2(6) 在結(jié)束標(biāo)簽中丟失“/”a href=refsReferencesa修改為a href=refsReferences/a(7) 列出丟失的標(biāo)簽body li1st list item li2nd list item修改為
規(guī)章制度相關(guān)推薦
鄂ICP備17016276號(hào)-1