【正文】 } } } 對于 blockList中的每一個 block。 博客正文抽取模塊簡介 在 Geeseek中，博客正文抽取模塊的實現(xiàn)主要在 WrapperInducer項目中。 所 以， 從整體上來看， 該 算 法的實現(xiàn) 并不復雜；從效果上來看， 對博客正文抽取的準 確 率也比較高。最后一項的 ArticleType是一個二值，YES代表該塊是正文塊， NO代表該塊不是正文塊。因此 ， 可利用“ DIV”標記對頁面進行解析。可以認為網(wǎng)頁是由不同的內容塊組成的。 本系統(tǒng)的基于體裁的增量式博客網(wǎng)頁分類方法流程圖如下： 湖南大學畢業(yè)論文 第 16 頁 湖南大學軟件學院 訓 練 集 網(wǎng) 頁提 取 體 裁 特 征特 征 選 擇建 立 體 裁決 策 樹 模 型是 否 達 到 分 類所 需 精 度分 類 器分 類 結 果 評 價測 試 集 網(wǎng) 頁多 次 使 用測 試 集 進 行 實 驗提 取 錯 誤 分 類網(wǎng) 頁 體 裁 特 征優(yōu) 化 體 裁決 策 樹 模 型是否 圖 基于體 裁的增量式博客網(wǎng)頁分類流程圖 具體步驟如下： Html特征 指向相同域名的鏈接數(shù)量 / 所有鏈接數(shù)量； 指向不同域名的鏈接數(shù)量 / 所有鏈接數(shù)量； 在以下 5組標簽中，某特定標簽數(shù)量 / 所有標簽數(shù)量； 文本格式 ： abbr, acronym,address, b, basefont, bdo,big, blockquote, center, cite,code, del, dfn, em, font,h1, h2, h3, h4, h5, h6,i, ins, kbd, pre, q, s,samp, small, strike, strong,style, sub, sup, tt, u,var； 文檔結構 ： br, caption,col, colgroup, dd, dir,div, dl, dt, frame, hr,iframe, li, menu, noframes,ol, p, span, table, 湖南大學畢業(yè)論文 第 17 頁 湖南大學軟件學院 tbody,td, tfoot, th, thead, tr,ul； 用戶交互 ： button, fieldset,form, input, isindex, label,legend, optgroup, option,select, textarea； 導航 ： 計算以下標簽的鏈接屬性 a, area, link和 base； 鏈接數(shù)量 ： 所有域名 ， 外部域名 ， 交 互標簽； 表單元素數(shù)量 ： Form標簽 ， 復選框標簽 ， 列表 ， 密碼文本框 ， 文本區(qū)域 ， 按鈕 ， 單選按鈕 ， 文件上傳； 表單鏈接數(shù)量 ： 域名； 1標簽數(shù)量 ： 所有強調 （ 粗體 ， 斜體 ， 下滑線 ） ， 字體 ， 腳本 ， 表格 ， 段落 ，圖片； 1 HTML 深度 ： 最大 HTML深度 ， 最大 table深度； 1 URL 長度 ： 所有 URL長度 ， 目錄路徑長度； 1錨文本包含事先定義的關鍵詞的鏈接數(shù)量 / 所有鏈接數(shù)量； 1 URL字符中包含事先定義的關鍵詞的鏈接數(shù)量 / 所有鏈接數(shù)量。 本文就 提出 了一種基于 HTML特征和機器學習的博客正文抽取實現(xiàn)方法。所謂自主抽取是指根據(jù)用戶的需求去訪問專業(yè)信息服務網(wǎng)站的相關頁面，自動抽取用戶感興趣的信息 （ 尤其是多記錄構成的表格信息的內容 ） ，而不是以一種固定模式將所有信息內容全部都抽取出來。 去重，即去除重復的信息，使得數(shù)據(jù)庫中不會出現(xiàn)重復的記錄。例如在 “Intro to Linguistics is taught”這句話中，你不能把這句話都包含進來，也不能只保留 “Intro to”。依次從父節(jié)點抽取路徑上的每個子節(jié)點， Wrapper 就能夠從頁面中抽取任何用戶感興趣的項目。 Web 信息抽取 （ Web Information Extraction，簡稱 WIE） 是指：給 出 屬 于 同一類型的若干樣本網(wǎng)頁。這項評測旨在開發(fā)自動內容抽取技術以支持對三種不同來源（普通文本、由自動語音識別 ASR得到的文本、由光學字符識別 OCR得到的文本）的語言文本的自動處理，研究的主要內容是自動抽取新聞語料中出現(xiàn)的實體、關系、事件等內容，即對新聞語料中實體、關系、事件的識別與描述。其目標是研究中文信息提取中的一些基礎性和關鍵性的問題，為開發(fā)實用的信息提取技術提供理論指導，并具體探討信息提取系統(tǒng)設計的各個環(huán)節(jié) 。二者的結合能夠更好地服務于用戶的信息處理需求。正是 MUC系列會議使信息抽取發(fā)展成為自然語言處理領域一個重要分支，并一直推動這一領域的研究向前發(fā)展。 作者簽名： 日期： 年 月 日 導師簽名： 日期： 年 月 日 湖南大學畢業(yè)論文 第 V 頁 湖南大學軟件學院 目 錄 1. 緒論 ....................................................................................................................................... 1 課題背景及目的 .............................................................................................................. 1 國內外研究狀況 .............................................................................................................. 3 國內研究現(xiàn)狀 ........................................................................................................... 3 國外研究 現(xiàn)狀 ........................................................................................................... 4 課題研究方法 .................................................................................................................. 5 論文構成及研究內容 ...................................................................................................... 5 2. Web 信息抽取及網(wǎng)頁文本對象抽取概述 ............................................................................ 7 Web 信息抽取的概念 ....................................................................................................... 7 Web 信息抽取的方法 ....................................................................................................... 8 Web 信息抽取的典型流程 ............................................................................................... 9 網(wǎng)頁文本對象抽取的理論和方法 ................................................................................. 11 3. 博客正文信息抽取系統(tǒng)的設計 ......................................................................................... 14 博客搜索的概況 ............................................................................................................ 14 博客正文抽取的過程 .................................................................................................... 15 分類 ......................................................................................................................... 15 分塊 ......................................................................................................................... 18 統(tǒng)計訓練，獲取決策樹 ......................................................................................... 21 算法的測試和評估 ........................................................................................................ 24 博客正文抽取算法的意義和思考 ................................................................................ 25 4. 基于博客正文抽取的 Geeseek 搜索引擎 .......................................................................... 27 Geeseek 系統(tǒng)介紹 .......................................................................................................... 27 博客正文抽取模塊 ......................................................................................................... 28 博客正文抽取模塊簡介 ......................................................................................... 28 博客正文抽取模塊的主要數(shù)據(jù)類 ......................................................................... 29 博客正文抽取模塊的實現(xiàn)思路 ............................................................................. 30 系統(tǒng)展示 ......................................................................................................................... 33 5. 總結 ..................................................................................................................................... 36 致 謝 ...................................................................................................................................... 37 參考文獻 ...........................................................................................................