【正文】 String [] files = ()。}}第 4 章 模塊實現(xiàn)34以上是Main函數(shù)，指定需要解析的目錄文件，指定需要生成文本文件和圖片文件的地址。if ( ().endsWith() ||(!().endsWith() amp。(count)。抽象方法，用于供子類實現(xiàn)。// close()。(系統(tǒng)找不到指定的文件)。 HASH_ALGORITHM = md5。private String outputPath = 。 操作界面以下是網絡爬蟲（heritrix）爬取下來的比賽信息的html頁面文件。 } else { return。public class FrontierSchedulerForRace extends FrontierScheduler { //private static final Logger LOGGER=(())。創(chuàng)建自己的FrontierSchedulerForRace來繼承FrontierScheduler。}…第 4 章 模塊實現(xiàn)26構造函數(shù)，第一個正則式，適用于匹配 cdrace 信息的格式第二個正則式，則是用于匹配所有的a href=“xxx”將鏈接對象先轉成字符串。所以我們應該建立自己的 Extractor。而 BdbFrontier 的父類 AbstractFrontier 中的 start（）方法和 unpause()方法。 jobState = 。通過構造一個CrawlController 的實例，來完成并進行抓取任務，還有以下幾個步驟：首先，構造一個 XMLSettingsHandler 對象，將 內的屬性信息裝入。private transient ServerCache serverCache。網頁信息圖如圖 所示：圖 網頁信息圖 核心代碼1．中央控制器是一次抓取任務中的核心組件，他將決定整個仍無的開始和結束。一種是采用壓縮的方式（Arc），還有一種是鏡像方式（Mirror）。3）Select Pre Processors：這個隊列的處理器是用來對抓取時的一些先決條件進行判斷。接下來需要運行文件，本系統(tǒng)在拓展完成 FrontierScheduler 和向heritrix 中添加自己的 extractor。設置 = admin:admin，“admin:admin”分別為用戶名和密碼。該文件夾是用來提供 servlet 引擎的，包含了 Heritrix 的 web UI 文件。如圖 所示。在該類的 innerProcess(CrawlURI) 函數(shù)中，首先檢查當前鏈接隊列中是否有一些屬于高優(yōu)先級的鏈接。此項功能是為了方便后臺管理員的查看與審。ER 圖如圖中 所示：第 3 章 系統(tǒng)分析與設計14圖 ER 圖 邏輯結構設計由上述概念結構 ER 圖可知，關于用戶所對應的包括了用戶信息、帖子、賽事信息等等屬性。（6）爬蟲管理：對從網上爬來的的信息進行修改、刪除和分類，對于一些錯誤的信息進行修改，對于一些過期的、多余的和雜亂的信息進行刪除，對于關于比賽的信息進行統(tǒng)一分類，把錯誤率降到最低，便于用戶查閱。前臺系統(tǒng)狀態(tài)圖如圖 所示：圖 前臺系統(tǒng)狀態(tài)圖后臺管理員需要登入后臺，通過登入成功可以享有后臺的用戶管理包括用戶添加以及刪除、論壇帖子管理包括帖子的添加與刪除、信息錄入、爬蟲管理即更新爬蟲信息等。最后是會員或是管理員的登入后，依據正確的用戶名和密碼實現(xiàn)完一系列操作即可安全退出登入，反之如用戶名、密碼出錯即登入敗。 JDBC 技術JDBC[10]（Java Data Base Connectivity,java 數(shù)據庫連接 ）是一種用于執(zhí)行 SQL 語句的 Java API，可以為多種關系數(shù)據庫提供統(tǒng)一訪問，簡單說，JDBC 可做三件事：與數(shù)據庫建立連接、發(fā)送 操作數(shù)據庫的語句并處理結果。PipedInputStream 是從與其它線程共用的管道中讀取數(shù)據，與Piped 相關的知識后續(xù)單獨介紹。不過，每次的執(zhí)行編譯后的字節(jié)碼需要消耗一定的時間，這同時也在一定程度上降低了 Java 程序的性能。在全球云計算和移動互聯(lián)網的產業(yè)環(huán)境下，Java 更具備了顯著優(yōu)勢和廣闊前景。利用一個開源的包htmlparser 分析網頁結構，并將結果存儲起來。加入預定隊列。下面就 heritrix、htmlparser、java 及 java io、JDBC 進行介紹 heritrix 技術heritrix[6]技術 Heritrix 是一個專門為互聯(lián)網上的網頁進行存檔而開發(fā)的網頁檢索器。它能超高速解析 html，而且不會出錯。相 關 工 具 ： Microsoft SQL Server 202Macromedia dreamweaver My Eclipse 。第 1 章為緒論，分為 3 節(jié)，主要介紹系統(tǒng)的開發(fā)背景、系統(tǒng)的開發(fā)目標及研究內容及本文的組織。大學生以課堂學習為主要接受方式，這對大學生來說非常重要，但這些理論知識并不代表大學生的實際技能，往往難以直接運用于現(xiàn)實生活之中。希望通過此次開發(fā)的平臺項目，能為廣大學生及賽事愛好者提供全面、即時的賽事信息，在分享賽事資訊的同時提供一個交流、討論的平臺。有一個屬于自己的比賽信息集成系統(tǒng)成為亟待解決的問題。AbstractIIAbstractIn view of the current work for lack of petition information integration, it is difficult to conveniently find current situation of one stage held by all the game information. Therefore, to build a service to students and staff, easy, convenient, interactive participation in various petitions contest portal imminent, therefore, this system aims to systematically collect and collate all areas of various events, to provide the best quality information service for the participants from all over the country, the contestants you can learn from each other to share experiences, and through various meaningful games continue to improve their own.In order to provide students the most prehensive event information, petition information platform through the design event crawler system, integrating all the event information, and after screening appear in front of users. The main function modules of the system including the realization of the website, making web crawler, the forum39。為此，全力打造一個服務于在校學生和在職人員等輕松、便捷、互動地參與各類競賽活動的競賽門戶網站迫在眉睫。后臺使用 heritrix 和 htmlparser 技術實現(xiàn)比賽信息的抓取和篩選等工作，同時使用 java 技術錄入信息，并管理前臺的會員信息、論壇信息及賽事信息等，前臺運用 java 技術 js 特效等實現(xiàn)賽事呈現(xiàn)、論壇運行、會員賽事發(fā)布等功能。與此同時，現(xiàn)在的大學生缺乏社會實踐鍛煉，自我競爭的意識在逐漸降低，而且社會上多數(shù)在校大學生沉迷于網絡游戲，缺乏主動學習、參與競爭的意識。賽才網偏社區(qū)、家園、群組，提供的范圍較大且包含很多新聞信息；與賽事信息集成系統(tǒng)地不同在于，比賽信息集成系統(tǒng)要做的是以賽事信息提供為主，主打“方便、即時、全面”的概念，對賽事信息要求較高，討論交流區(qū)為輔。主要表現(xiàn)在（1）有利于大學生正確認識自己，對自身成長產生緊迫感。在比賽中的困難和危險面前，要求大學生們具有一定的犧牲精神和堅強的品質。軟 件 環(huán) 境 : MyEclipse 、Apache、Tomcat 。Heritrix最出色之處在于它的可擴展性，開發(fā)者可以擴展它的各個組件，來實現(xiàn)個性的抓取邏輯，比賽信息系統(tǒng)利用它實現(xiàn)更多賽事信息的全網爬取，取得更多的大學生賽事資源。JAVA IO[4]流可分為四大抽象類：字符流：ReaderWriter，字節(jié)流：InputStream（讀數(shù)據）OutputStream（寫數(shù)據）本系統(tǒng)中主要運用的是字節(jié)第 2 章 相關技術簡介5流與讀寫數(shù)據 InputStream 和 OutputStream。到現(xiàn)在已經成為一個成熟的開源爬蟲，并被廣泛使用。接著可以實行簡單的任務抓取工作，當然，簡單的安裝于抓取工作不能滿足本系統(tǒng)的需求，因此需要更多的擴展與組件的開發(fā)，首先需要擴FrontierScheduler，將需要的所有鏈接的處理。本系統(tǒng)主要是通過 htmlparser 解析 heritrix 爬取下來的許多 html 文件，通過相關正則表達式知識，遍歷解析 html 信息，再把本來亂七八糟的 html 信息格式化成 txt 文本，方便 java io 流進行讀寫操作。Java 不同于一般的編譯執(zhí)行計算機語言和解釋執(zhí)行計算機語言。本系統(tǒng)主要是輸入流 InputStreamIO 及輸出流 outputStreamIO 實現(xiàn)對txt 文本信息的讀取及輸入到數(shù)據庫中。第 2 章 相關技術簡介83)ObjectOutputStream 和所有 FilterOutputStream 的子類都是裝飾流。對于一般的未注冊的游客，只能享受賽事信息的瀏覽，賽事信息的檢索以及賽事網站的分享功能。注冊成功則可進行前臺登入，成功后可以享受郵箱訂閱、查看信息、發(fā)帖、論壇刪帖、賽事查詢、資料下載等功能。（3）論壇管理：實現(xiàn)對帖子的刪除，管理。同時可以直接管理用戶信息，包括添加用戶，刪除用戶等等。信息編號是設置為自動增長主鍵，用的是 int 型，而信息內容則是設置為 Max 最大的長度實現(xiàn)內容的完整輸入。核心類可以配置，但不能被覆蓋，插件模塊可以由第三方模塊取代。第 4 章 模塊實現(xiàn)18Heritrix 所用到的工具類庫都在 \lib 目錄下，需要將其導入 heritrix1 工程。3）將 \src 下 conf 文件夾拷貝至 Heritrix 工程根目錄。4. 修改配置文件conf 文件夾是用來提供配置文件的，里面包含了一個很重要的文件：。然后在 Classpath 頁選擇 UserEntries 選項，此時右邊的 Advanced 按鈕處于激活狀態(tài)，點擊它，在彈出的對話框中選擇“Add Folders”，然后選擇 MyHeritrix 工程下的 conf 文件夾。2）Select URI Frontier：Frontier 是一個 URL 的處理器，它決定下一個被處理的 URL 是什么。第 4 章 模塊實現(xiàn)225）Select Extractors：主要是用于解析當前服務器返回的內容，取出頁面中的 URL，等待下次繼續(xù)抓取。添加自己的 RaceExtractor 如圖 和添加FrontierScheduleForRace 如圖 所示：圖 添加 RaceExtractor 圖圖 添加 FrontierScheduleForRace 圖第 4 章 模塊實現(xiàn)23進入 Settings 進行設置。private transient Frontier frontier。5）ToePool：線程池，管理所有該任務所創(chuàng)建的子線程。 sendCrawlStateChangeEvent(STARTED, )。 ()。很明顯，heritrix 內嵌的 Extractor 并不能很好的完成所需要的工作，因為我們常常有特定的需要，比如可以抓取某一特定格式的文本片段。 private static Logger logger=(())。 } catch(URIException e) { if(getController()!=null) { getController().logUriError(e,(),url)。import 。protected void schedule(CandidateURI caUri) { String url=()。毫不夸張地說，htmlparser 就是目前最好的 html 解析和分析的工具。inputFilePath表示當前所有被抓取的網頁的鏡