【正文】 String [] files = ()。}}第 4 章 模塊實(shí)現(xiàn)34以上是Main函數(shù)，指定需要解析的目錄文件，指定需要生成文本文件和圖片文件的地址。if ( ().endsWith() ||(!().endsWith() amp。(count)。抽象方法，用于供子類實(shí)現(xiàn)。// close()。(系統(tǒng)找不到指定的文件)。 HASH_ALGORITHM = md5。private String outputPath = 。 操作界面以下是網(wǎng)絡(luò)爬蟲（heritrix）爬取下來的比賽信息的html頁面文件。 } else { return。public class FrontierSchedulerForRace extends FrontierScheduler { //private static final Logger LOGGER=(())。創(chuàng)建自己的FrontierSchedulerForRace來繼承FrontierScheduler。}…第 4 章 模塊實(shí)現(xiàn)26構(gòu)造函數(shù)，第一個(gè)正則式，適用于匹配 cdrace 信息的格式第二個(gè)正則式，則是用于匹配所有的a href=“xxx”將鏈接對(duì)象先轉(zhuǎn)成字符串。所以我們應(yīng)該建立自己的 Extractor。而 BdbFrontier 的父類 AbstractFrontier 中的 start（）方法和 unpause()方法。 jobState = 。通過構(gòu)造一個(gè)CrawlController 的實(shí)例，來完成并進(jìn)行抓取任務(wù)，還有以下幾個(gè)步驟：首先，構(gòu)造一個(gè) XMLSettingsHandler 對(duì)象，將 內(nèi)的屬性信息裝入。private transient ServerCache serverCache。網(wǎng)頁信息圖如圖 所示：圖 網(wǎng)頁信息圖 核心代碼1．中央控制器是一次抓取任務(wù)中的核心組件，他將決定整個(gè)仍無的開始和結(jié)束。一種是采用壓縮的方式（Arc），還有一種是鏡像方式（Mirror）。3）Select Pre Processors：這個(gè)隊(duì)列的處理器是用來對(duì)抓取時(shí)的一些先決條件進(jìn)行判斷。接下來需要運(yùn)行文件，本系統(tǒng)在拓展完成 FrontierScheduler 和向heritrix 中添加自己的 extractor。設(shè)置 = admin:admin，“admin:admin”分別為用戶名和密碼。該文件夾是用來提供 servlet 引擎的，包含了 Heritrix 的 web UI 文件。如圖 所示。在該類的 innerProcess(CrawlURI) 函數(shù)中，首先檢查當(dāng)前鏈接隊(duì)列中是否有一些屬于高優(yōu)先級(jí)的鏈接。此項(xiàng)功能是為了方便后臺(tái)管理員的查看與審。ER 圖如圖中 所示：第 3 章 系統(tǒng)分析與設(shè)計(jì)14圖 ER 圖 邏輯結(jié)構(gòu)設(shè)計(jì)由上述概念結(jié)構(gòu) ER 圖可知，關(guān)于用戶所對(duì)應(yīng)的包括了用戶信息、帖子、賽事信息等等屬性。（6）爬蟲管理：對(duì)從網(wǎng)上爬來的的信息進(jìn)行修改、刪除和分類，對(duì)于一些錯(cuò)誤的信息進(jìn)行修改，對(duì)于一些過期的、多余的和雜亂的信息進(jìn)行刪除，對(duì)于關(guān)于比賽的信息進(jìn)行統(tǒng)一分類，把錯(cuò)誤率降到最低，便于用戶查閱。前臺(tái)系統(tǒng)狀態(tài)圖如圖 所示：圖 前臺(tái)系統(tǒng)狀態(tài)圖后臺(tái)管理員需要登入后臺(tái)，通過登入成功可以享有后臺(tái)的用戶管理包括用戶添加以及刪除、論壇帖子管理包括帖子的添加與刪除、信息錄入、爬蟲管理即更新爬蟲信息等。最后是會(huì)員或是管理員的登入后，依據(jù)正確的用戶名和密碼實(shí)現(xiàn)完一系列操作即可安全退出登入，反之如用戶名、密碼出錯(cuò)即登入敗。 JDBC 技術(shù)JDBC[10]（Java Data Base Connectivity,java 數(shù)據(jù)庫連接 ）是一種用于執(zhí)行 SQL 語句的 Java API，可以為多種關(guān)系數(shù)據(jù)庫提供統(tǒng)一訪問，簡單說，JDBC 可做三件事：與數(shù)據(jù)庫建立連接、發(fā)送 操作數(shù)據(jù)庫的語句并處理結(jié)果。PipedInputStream 是從與其它線程共用的管道中讀取數(shù)據(jù)，與Piped 相關(guān)的知識(shí)后續(xù)單獨(dú)介紹。不過，每次的執(zhí)行編譯后的字節(jié)碼需要消耗一定的時(shí)間，這同時(shí)也在一定程度上降低了 Java 程序的性能。在全球云計(jì)算和移動(dòng)互聯(lián)網(wǎng)的產(chǎn)業(yè)環(huán)境下，Java 更具備了顯著優(yōu)勢和廣闊前景。利用一個(gè)開源的包htmlparser 分析網(wǎng)頁結(jié)構(gòu)，并將結(jié)果存儲(chǔ)起來。加入預(yù)定隊(duì)列。下面就 heritrix、htmlparser、java 及 java io、JDBC 進(jìn)行介紹 heritrix 技術(shù)heritrix[6]技術(shù) Heritrix 是一個(gè)專門為互聯(lián)網(wǎng)上的網(wǎng)頁進(jìn)行存檔而開發(fā)的網(wǎng)頁檢索器。它能超高速解析 html，而且不會(huì)出錯(cuò)。相 關(guān) 工 具 ： Microsoft SQL Server 202Macromedia dreamweaver My Eclipse 。第 1 章為緒論，分為 3 節(jié)，主要介紹系統(tǒng)的開發(fā)背景、系統(tǒng)的開發(fā)目標(biāo)及研究內(nèi)容及本文的組織。大學(xué)生以課堂學(xué)習(xí)為主要接受方式，這對(duì)大學(xué)生來說非常重要，但這些理論知識(shí)并不代表大學(xué)生的實(shí)際技能，往往難以直接運(yùn)用于現(xiàn)實(shí)生活之中。希望通過此次開發(fā)的平臺(tái)項(xiàng)目，能為廣大學(xué)生及賽事愛好者提供全面、即時(shí)的賽事信息，在分享賽事資訊的同時(shí)提供一個(gè)交流、討論的平臺(tái)。有一個(gè)屬于自己的比賽信息集成系統(tǒng)成為亟待解決的問題。AbstractIIAbstractIn view of the current work for lack of petition information integration, it is difficult to conveniently find current situation of one stage held by all the game information. Therefore, to build a service to students and staff, easy, convenient, interactive participation in various petitions contest portal imminent, therefore, this system aims to systematically collect and collate all areas of various events, to provide the best quality information service for the participants from all over the country, the contestants you can learn from each other to share experiences, and through various meaningful games continue to improve their own.In order to provide students the most prehensive event information, petition information platform through the design event crawler system, integrating all the event information, and after screening appear in front of users. The main function modules of the system including the realization of the website, making web crawler, the forum39。為此，全力打造一個(gè)服務(wù)于在校學(xué)生和在職人員等輕松、便捷、互動(dòng)地參與各類競賽活動(dòng)的競賽門戶網(wǎng)站迫在眉睫。后臺(tái)使用 heritrix 和 htmlparser 技術(shù)實(shí)現(xiàn)比賽信息的抓取和篩選等工作，同時(shí)使用 java 技術(shù)錄入信息，并管理前臺(tái)的會(huì)員信息、論壇信息及賽事信息等，前臺(tái)運(yùn)用 java 技術(shù) js 特效等實(shí)現(xiàn)賽事呈現(xiàn)、論壇運(yùn)行、會(huì)員賽事發(fā)布等功能。與此同時(shí)，現(xiàn)在的大學(xué)生缺乏社會(huì)實(shí)踐鍛煉，自我競爭的意識(shí)在逐漸降低，而且社會(huì)上多數(shù)在校大學(xué)生沉迷于網(wǎng)絡(luò)游戲，缺乏主動(dòng)學(xué)習(xí)、參與競爭的意識(shí)。賽才網(wǎng)偏社區(qū)、家園、群組，提供的范圍較大且包含很多新聞信息；與賽事信息集成系統(tǒng)地不同在于，比賽信息集成系統(tǒng)要做的是以賽事信息提供為主，主打“方便、即時(shí)、全面”的概念，對(duì)賽事信息要求較高，討論交流區(qū)為輔。主要表現(xiàn)在（1）有利于大學(xué)生正確認(rèn)識(shí)自己，對(duì)自身成長產(chǎn)生緊迫感。在比賽中的困難和危險(xiǎn)面前，要求大學(xué)生們具有一定的犧牲精神和堅(jiān)強(qiáng)的品質(zhì)。軟 件 環(huán) 境 : MyEclipse 、Apache、Tomcat 。Heritrix最出色之處在于它的可擴(kuò)展性，開發(fā)者可以擴(kuò)展它的各個(gè)組件，來實(shí)現(xiàn)個(gè)性的抓取邏輯，比賽信息系統(tǒng)利用它實(shí)現(xiàn)更多賽事信息的全網(wǎng)爬取，取得更多的大學(xué)生賽事資源。JAVA IO[4]流可分為四大抽象類：字符流：ReaderWriter，字節(jié)流：InputStream（讀數(shù)據(jù)）OutputStream（寫數(shù)據(jù)）本系統(tǒng)中主要運(yùn)用的是字節(jié)第 2 章 相關(guān)技術(shù)簡介5流與讀寫數(shù)據(jù) InputStream 和 OutputStream。到現(xiàn)在已經(jīng)成為一個(gè)成熟的開源爬蟲，并被廣泛使用。接著可以實(shí)行簡單的任務(wù)抓取工作，當(dāng)然，簡單的安裝于抓取工作不能滿足本系統(tǒng)的需求，因此需要更多的擴(kuò)展與組件的開發(fā)，首先需要擴(kuò)FrontierScheduler，將需要的所有鏈接的處理。本系統(tǒng)主要是通過 htmlparser 解析 heritrix 爬取下來的許多 html 文件，通過相關(guān)正則表達(dá)式知識(shí)，遍歷解析 html 信息，再把本來亂七八糟的 html 信息格式化成 txt 文本，方便 java io 流進(jìn)行讀寫操作。Java 不同于一般的編譯執(zhí)行計(jì)算機(jī)語言和解釋執(zhí)行計(jì)算機(jī)語言。本系統(tǒng)主要是輸入流 InputStreamIO 及輸出流 outputStreamIO 實(shí)現(xiàn)對(duì)txt 文本信息的讀取及輸入到數(shù)據(jù)庫中。第 2 章 相關(guān)技術(shù)簡介83)ObjectOutputStream 和所有 FilterOutputStream 的子類都是裝飾流。對(duì)于一般的未注冊(cè)的游客，只能享受賽事信息的瀏覽，賽事信息的檢索以及賽事網(wǎng)站的分享功能。注冊(cè)成功則可進(jìn)行前臺(tái)登入，成功后可以享受郵箱訂閱、查看信息、發(fā)帖、論壇刪帖、賽事查詢、資料下載等功能。（3）論壇管理：實(shí)現(xiàn)對(duì)帖子的刪除，管理。同時(shí)可以直接管理用戶信息，包括添加用戶，刪除用戶等等。信息編號(hào)是設(shè)置為自動(dòng)增長主鍵，用的是 int 型，而信息內(nèi)容則是設(shè)置為 Max 最大的長度實(shí)現(xiàn)內(nèi)容的完整輸入。核心類可以配置，但不能被覆蓋，插件模塊可以由第三方模塊取代。第 4 章 模塊實(shí)現(xiàn)18Heritrix 所用到的工具類庫都在 \lib 目錄下，需要將其導(dǎo)入 heritrix1 工程。3）將 \src 下 conf 文件夾拷貝至 Heritrix 工程根目錄。4. 修改配置文件conf 文件夾是用來提供配置文件的，里面包含了一個(gè)很重要的文件：。然后在 Classpath 頁選擇 UserEntries 選項(xiàng)，此時(shí)右邊的 Advanced 按鈕處于激活狀態(tài)，點(diǎn)擊它，在彈出的對(duì)話框中選擇“Add Folders”，然后選擇 MyHeritrix 工程下的 conf 文件夾。2）Select URI Frontier：Frontier 是一個(gè) URL 的處理器，它決定下一個(gè)被處理的 URL 是什么。第 4 章 模塊實(shí)現(xiàn)225）Select Extractors：主要是用于解析當(dāng)前服務(wù)器返回的內(nèi)容，取出頁面中的 URL，等待下次繼續(xù)抓取。添加自己的 RaceExtractor 如圖 和添加FrontierScheduleForRace 如圖 所示：圖 添加 RaceExtractor 圖圖 添加 FrontierScheduleForRace 圖第 4 章 模塊實(shí)現(xiàn)23進(jìn)入 Settings 進(jìn)行設(shè)置。private transient Frontier frontier。5）ToePool：線程池，管理所有該任務(wù)所創(chuàng)建的子線程。 sendCrawlStateChangeEvent(STARTED, )。 ()。很明顯，heritrix 內(nèi)嵌的 Extractor 并不能很好的完成所需要的工作，因?yàn)槲覀兂３Ｓ刑囟ǖ男枰?，比如可以抓取某一特定格式的文本片段? private static Logger logger=(())。 } catch(URIException e) { if(getController()!=null) { getController().logUriError(e,(),url)。import 。protected void schedule(CandidateURI caUri) { String url=()。毫不夸張地說，htmlparser 就是目前最好的 html 解析和分析的工具。inputFilePath表示當(dāng)前所有被抓取的網(wǎng)頁的鏡