最新網頁正文提取系統的詳細設計與實現畢業(yè)設計-wenkub.com
2025-06-26 02:35 本頁面
【正文】 參考文獻1 盧亮,2007:44462 孫天澤,袁文菊,2005:95973 毛德操, ,2005:23244 :12135 邱哲,2007:236 ,2006:33357 ,2004:238 苗奪謙,2007:349 ,2007:235510 ,2006:112411 Karim, Embedded Linux :36638912 Miro Samek . Practical Statecharts in C/C++ Quantum Programming for Embedded ,2003:647213 Alfred . DesignForTest For Digital IC39。之后詳細總結說明了網頁預處理，提取，用戶界面三個組成部分的設計和實現方法，深入淺出的闡述了編寫基本提取算法的過程，為垂直搜索引擎的技術發(fā)展提供了一套的解決方案。刪除不包含重要信息的節(jié)點：用戶事先指定一些不重要的HTML標簽以及一個有用標簽至少需要包含多少字符，系統在DOM tree中查找所有用戶指定的HTML標簽以及包含字符數少于閾值的節(jié)點將其刪除。由于一些HTML文件書寫錯誤或者不規(guī)范，因此要改正HTML文件中的書寫錯誤，之后再根據HTML文件建立起與之相對應的DOM樹，可以使用OpenXML工具來完成HTML文件的更正和建立DOM樹工作。DOM（Document Object Model）是由W3C組織發(fā)布的一種訪問和操作HTML文檔的規(guī)范。然后從nodemax標簽向后查找p標簽，遇到a標簽則將MaxLinkNum減1，遇到div、hr、input和form等明顯的網頁分隔符則將MaxLinkNum除以2。其中計算節(jié)點的噪聲權重采用公式（22）：(22)Wi表示子節(jié)點i的噪聲權重，na表示此子節(jié)點對應子樹中包含的鏈接標簽a的個數，N為此子節(jié)點對應子樹包含的所有標簽數，ca表示包含的a標簽所包含的鏈接漢字數，C表示子節(jié)點對應子樹中包含的所有漢字數。 建立一個空的用于存放包含正文的子樹集合A，采用公式（21）對每個table和div計算權重，選取權重最大的樹節(jié)點nodemax，則認為此節(jié)點包含的子樹中具有最多的正文與最少的噪聲信息，將此子樹加入候選的正文節(jié)點中。因此本文采用的方法是，利用中文標點和鏈接內容定位包含最多正文內容和最少噪聲的table或div樹節(jié)點。因此本文先利用中文標點和鏈接信息來定位最可能包含正文部分的標簽，然后對這些標簽下的內容進行篩選，提取出正文內容。如〈a〉?〈b〉?〈/ a〉?〈/ b〉是不正確的嵌套。即每個開始標記都對應一個結束標記?！焙汀癮mp。由于網頁結構的復雜性。本文采用開源工具TinyXml建立網頁的DOM樹。SpiderHtmlTidyTiny對Dom Tree進行遍歷，刪除其中的鏈接群，以及廣告，Css，腳本等信息。例如某些開始標簽沒有對應的結束標簽，標簽的嵌套順序錯亂等。針對有些網頁尾部包含的無關鏈接的摘要噪聲與正文形式類似的情況，本文發(fā)現正文塊之間包含的鏈接個數較少，而正文與無關摘要噪聲間通常相隔若干鏈接群的特點，提出了正文間最大鏈接數目的概念，可以有效去除正文后面跟隨的無關鏈接的摘要信息，提高正文提取的準確率。并針對網頁表現形式多種多樣，互聯網網頁源碼風格差異較大等難點提出了解決方案。所以，本次設計的主要目標是建立一個由新聞信息結構化提取和檢索為主要服務內容的新聞網頁正文提取系統。整個過程中，數據由非結構化數據抽取成結構化數據，經過深度加工處理后以非結構化的方式返回給用戶。通用搜索引擎的價值在于在所大量的信息導航，對于信息需求相對集中、分類更加詳細的行業(yè)客戶缺乏想到。展現在人們面前的已經不是局限于本部門、本單位和本行業(yè)的龐大數據庫，而是浩瀚無垠的信息海洋。(2) 對檢索結果進行處理 基于鏈接評價的搜索引擎 基于訪問大眾性的搜索引擎 去掉檢索結果中附加的多余信息(3)確定搜索引擎信息搜集范圍，提高搜索引擎的針對性 垂直主
規(guī)章制度相關推薦
鄂ICP備17016276號-1