最新網(wǎng)頁正文提取系統(tǒng)的詳細設(shè)計與實現(xiàn)畢業(yè)設(shè)計-全文預(yù)覽
【正文】 立成符合W3C組織發(fā)布的DOM標準的樹形結(jié)構(gòu)，以方便網(wǎng)頁的處理。下面就處理頁面源碼時遇到的情況分類說明。 網(wǎng)頁預(yù)處理系統(tǒng) HTML標簽規(guī)范化由于HTML標簽文法的自由性，導(dǎo)致許多網(wǎng)頁的標簽使用不規(guī)范，為網(wǎng)頁處理帶來了很大困難。因此根據(jù)中文新聞網(wǎng)頁的特點，本文采用文獻[4]提到的方法，利用中文標點符號定位正文所在標簽，并針對此方法的不足，本文提出了利用中文標點結(jié)合鏈接數(shù)的方法定位包含正文的標簽，然后利用中文標點及鏈接在每個子標簽中的比例去除其中的噪聲，準確提取正文內(nèi)容。研究的重點是合理的機內(nèi)文本表示，尋找“發(fā)現(xiàn)”正文和噪聲的方法，提取正文，去除噪聲。在設(shè)計開發(fā)的過程中，提取系統(tǒng)應(yīng)體現(xiàn)自己的特點。然后將符合要求的數(shù)據(jù)存儲到數(shù)據(jù)庫，進行進一步的加工處理，如：去重、分類等，最后分詞、所以再以搜索的方式滿足用戶的需求。他們可以滿足大量信息的橫向搜索、提供，但很難兼顧搜索的準確度與相關(guān)度的質(zhì)量。信息爆炸帶來了劇烈的市場變化。就以上面的例子來講，如果用關(guān)鍵詞查詢，多半人會用“virus”這個詞來檢索，結(jié)果中必然會包括各類病毒的介紹、病毒是怎樣產(chǎn)生的等等許多無效信息，而用“how can kill virus of puter？”，搜索引擎會將怎樣殺病毒的信息提供給用戶，提高了檢索效率。搜索引擎的最新技術(shù)發(fā)展包括以下幾個方面[2]： (1) 提高搜索引擎對用戶檢索提問的理解為了提高搜索引擎對用戶檢索提問的理解，就必須有一個好的檢索提問語言，為了克服關(guān)鍵詞檢索和目錄查詢的缺點，現(xiàn)在已經(jīng)出現(xiàn)了自然語言智能答詢?；ヂ?lián)網(wǎng)每一個殺手級應(yīng)用都離不開信息和傳遞這兩個關(guān)鍵詞。像國外的Inktomi（已被Yahoo收購），它本身并不是直接面向用戶的搜索引擎，但向包括Overture（原GoTo，已被Yahoo收購）、LookSmart、MSN、HotBot等在內(nèi)的其他搜索引擎提供全文網(wǎng)頁搜索服務(wù)。同年4月，斯坦福（Stanford）大學(xué)的兩名博士生，David Filo和美籍華人楊致遠（Gerry Yang）共同創(chuàng)辦了超級目錄索引Yahoo，并成功地使搜索引擎的概念深入人心。該方法相比傳統(tǒng)的基于包裝器的抽取方法，具有簡單，實用的特點，試驗結(jié)果表明，該抽取方法準確率達到90％以上，具有很好的實用價值。這時，搜索引擎的出現(xiàn)無疑給人們帶來了極大的方便。目錄摘 要 3 4 4 4 5 6 、目的和意義 8 主要研究內(nèi)容 9 10 基本原理 10 網(wǎng)頁預(yù)處理系統(tǒng) 11 HTML標簽規(guī)范化 11 建立網(wǎng)頁的DOM樹結(jié)構(gòu) 14 核心算法基本思想 15 本章小結(jié) 19 結(jié) 論 22 參考文獻 23 摘 要隨著互聯(lián)網(wǎng)信息技術(shù)的不斷發(fā)展，互聯(lián)網(wǎng)的信息量也日益膨脹。面對如此巨大的互聯(lián)網(wǎng)信息庫，如何快速、有效、經(jīng)濟地檢索到某個主題的所有相關(guān)信息就成了當前一個十分熱門的研究課題。該方法首先將網(wǎng)頁表示成基于XML的DOM樹形式，利用統(tǒng)計的節(jié)點信息從樹中過濾掉噪音數(shù)據(jù)節(jié)點，最后再選取正文節(jié)點。當時Michael Mauldin將John Leavitt的蜘蛛程序接入到其索引程序中，創(chuàng)建了大家現(xiàn)在熟知的Lycos。比如最近風頭正勁的Google，其數(shù)據(jù)庫中存放的網(wǎng)頁已達30億之巨！隨著互聯(lián)網(wǎng)規(guī)模的急劇膨脹，一家搜索引擎光靠自己單打獨斗已無法適應(yīng)目前的市場狀況，因此現(xiàn)在搜索引擎之間開始出現(xiàn)了分工協(xié)作，并有了專業(yè)的搜索引擎技術(shù)和搜索數(shù)據(jù)庫服務(wù)提供商。 互聯(lián)網(wǎng)存在的價值就是低成本、高容量、多方的信息傳遞。在可以預(yù)見的不久的將來，從產(chǎn)品角度看待網(wǎng)頁搜索引擎的發(fā)展大致有如下幾個方面[1]：(1) 確解用戶之意，信息抽取，優(yōu)化排序(2) 基于視覺網(wǎng)頁塊分析(3) 網(wǎng)頁庫內(nèi)容分類(4) 潛在相關(guān)性(5) 網(wǎng)頁結(jié)構(gòu)化信息抽取類技術(shù)，網(wǎng)頁上文本內(nèi)容的相關(guān)性分析(6) 自然語言處理、簡單的語意語
規(guī)章制度相關(guān)推薦
鄂ICP備17016276號-1