【正文】 // Used to enable/disable singlethreaded operation after OOM第 4 章 模塊實(shí)現(xiàn)24在 CrawlController 類中，定義了以下幾個(gè)組件：1）CrawlOrder：一個(gè)抓取工作必須要的一個(gè) Order 對象，他保存了對該次抓取任務(wù)中的 的屬性配置。再次調(diào)用 CrawlController 的 intialize(SettingsHandler)方法，初始化CrawlController 實(shí)例。 // A proper exit will change this value. = 。若不允許則 controller 停止抓取，若允許開始，則簡單的調(diào)用 unpause（）方法。 } else { // simply begin unpause()。 判斷是否是 cdrace 的信息格式，倘若符合調(diào)用 addLinkFromString()方法，來將這個(gè)鏈接加入到某個(gè)緩存中，以備后續(xù)處理。package 。 }…第 4 章 模塊實(shí)現(xiàn)28這里，、.rar、.xls、robots .txt、dns的鏈接（即不下載這類的文件）。 } } }第 4 章 模塊實(shí)現(xiàn)29 頁面解析文本信息入庫模塊（htmlparser） 設(shè)計(jì)思想htmlparser 是一個(gè)純的 java 寫的 html（標(biāo)準(zhǔn)通用標(biāo)記語言下一個(gè)應(yīng)用）解析的庫，它不依賴于其它的 java 庫文件，主要用于改造或提取 html。示：第 4 章 模塊實(shí)現(xiàn)31圖 數(shù)據(jù)庫信息更新圖 核心代碼1，需要運(yùn)行寫入main函數(shù)的 Extractor后，控制臺(tái)輸出信息，獲得所定義的目標(biāo)目錄下并沒有相應(yīng)的txt文檔與圖片生成。private String mirrorDir = 。protected boolean copyImage(String image_url, String new_image_file) {//uploads/allimg/130503/String dirs = (0, ()1)。}File file_out = new File(new File(imageDir), new_image_file)。return (true)。再獲取正在處理的文件的路徑getInputFilePath()從mirror目錄下拷貝文件至所設(shè)定的圖片目錄，該方法可能需要被改變。}if (()) {String[] files = ()。 ().endsWith(.html)amp。定義圖片地址imageURI。 i 。 信息篩選上傳、信息查看刪除的模塊 設(shè)計(jì)思想經(jīng)過以上步驟，最后一步——信息的錄入和篩選，查看和刪除，同時(shí)管理員還可以自行的添加本網(wǎng)站獨(dú)家賽事信息。(())。}} else {String pathname = ()。(F:\\work\\htmlParse\\data\\\\)。獲取輸出的路徑getOutputPath(),通過設(shè)置輸出的路徑，通常在初始化Extractor時(shí)就應(yīng)該做。int c。try {// instance the File as file_in and file_outFile file_in = new File(dirs)。public static final String SEPARATOR = ======================。mirrorDir用于存放被處理過后的產(chǎn)口的圖片的目錄，通過構(gòu)…public abstract class Extractor {protected static final String NEWLINE = \r\n。無論你是想抓取網(wǎng)頁數(shù)據(jù)還是改造 html 的內(nèi)容，都可以使用htmlparser。 Matcher m=(url)。import 。 } else { (failed creatAndAddLinkRelativeToBase+curi+,+url+,+context+,+hopType+:+e)。 public RaceExtractor(String name) {this(name,Race links from HTML documents)。Heritrix 所提供的大眾化的 Extractor 只能夠?qū)⑺械男畔⒆ト∠聛怼? ()。 String jobState。6）ServerCache：緩存，保存了所有在當(dāng)前任務(wù)中，抓取過的 Host 名稱和 Server 名稱。private transient AtomicInteger loopingToes。修改 heritrix 的版本號(hào)和需要爬取的網(wǎng)址，添加一個(gè)郵箱地址，可以不是真的郵箱地址。這里我們使用默認(rèn)值。同時(shí)，它還會(huì)將經(jīng)由處理器鏈解析出來的 URL 加入到等待處理的隊(duì)列中去。5. 創(chuàng)建網(wǎng)頁抓取任務(wù)“Java Application”，如果配置正確，會(huì)在控制臺(tái)輸出啟動(dòng)信息找到 包中的 文件，它是 Heritrix 爬蟲啟動(dòng)的入口，右鍵單擊選擇“Run As”。heritrix .properties 中配置了大量與 Heritrix 運(yùn)行息息相關(guān)的參數(shù)，這些參數(shù)的配置決定了 Heritrix 運(yùn)行時(shí)的一些默認(rèn)工具類、Web UI 的啟動(dòng)參數(shù)，以及 Heritrix 的日志格式等。它包含了 Heritrix 運(yùn)行所需的配置文件。1）將 下的 lib 文件夾拷貝到 heritrix1 項(xiàng)目根目錄；“Configure Build Path …”，然后選擇 Library 選項(xiàng)卡，單擊“Add JARs …”，加載數(shù)據(jù)圖如圖 所示：圖 加載數(shù)據(jù)圖2）在 heritrix1 工程上右鍵單擊選擇“Build Path”。因此可用實(shí)現(xiàn)了特定抓取邏輯的第三方模塊來取代默認(rèn)的插件模塊，從而滿足抓取的需要。信息篩選表除了信息編號(hào)設(shè)置成主鍵，內(nèi)容最大長度外，還存放了網(wǎng)頁地址名稱，方便存入爬取下來的網(wǎng)頁地址，圖片地址，即可以重復(fù)使用的圖片地址資料，以及更新時(shí)間，方便后臺(tái)及時(shí)更新賽事信息，時(shí)間是數(shù)據(jù)庫在存入資料時(shí)自動(dòng)生成的，類別則是方便爬取不同網(wǎng)站類別而設(shè)定的，類別一般是同種網(wǎng)站使用同一種類別。因此可知一個(gè)管理員也可以存在一對多的關(guān)系，管理員可以包擴(kuò)賽事、帖子、用戶等等的屬性。（4）郵箱管理：對已進(jìn)行郵箱訂閱的用戶的郵箱進(jìn)行統(tǒng)一管理，以便信息統(tǒng)一和及時(shí)發(fā)送。用戶在處理的這些個(gè)人功能時(shí)，需要結(jié)合數(shù)據(jù)庫查詢，如資料的下載上傳或是賽事的上傳需要通過數(shù)據(jù)庫匹配，以實(shí)現(xiàn)用戶積分的增減，為下次的操作提供基礎(chǔ)。對于已經(jīng)注冊了的會(huì)員，除了享受信息瀏覽，檢索等一般游客的功能，同時(shí)，享有個(gè)人空間，個(gè)人空間中實(shí)現(xiàn)已注冊個(gè)人信息的修改，論壇發(fā)帖，賽事信息郵箱的訂閱，以及相關(guān)賽事的上傳與下載的權(quán)利。本系統(tǒng)利用輸入字節(jié)流 InputStream 和輸出字節(jié)流 OutputStream 通過file 類實(shí)現(xiàn)對需要讀取的文件夾進(jìn)行遍歷的操作，F(xiàn)ile 類是對文件系統(tǒng)中文件以及文件夾進(jìn)行封裝的對象，可以通過對象的思想來操作文件和文件夾。 InputStream1)InputStream 是所有的輸入字節(jié)流的父類，它是一個(gè)抽象類。它首先將源代碼編譯成二進(jìn)制字節(jié)碼（byte code） ，然后依賴各種不同平臺(tái)上的虛擬機(jī)來解釋執(zhí)行字節(jié)碼。 java 語言java 語言 Java 是一種可以撰寫跨平臺(tái)應(yīng)用軟件的面向?qū)ο蟮某绦蛟O(shè)計(jì)語言，是由 Sun Microsystems 公司于 1995 年 5 月推出的 Java 程序設(shè)計(jì)語言和Java 平臺(tái)（即 JavaSE, JavaEE, JavaME）的總稱。將已經(jīng)爬過的 URI 做標(biāo)記，并將未處理的鏈接放入待處理隊(duì)列。它的工作流程是一個(gè)循環(huán)，具體流程是：1 在預(yù)定的 URI 中選擇一個(gè)。最后，而存入數(shù)據(jù)庫則使用較為普遍的 JDBC[5]技術(shù)，JDBC（Java Data Base Connectivity,java 數(shù)據(jù)庫連接）是一種用于執(zhí)行 SQL 語句的 Java API，可以為多種關(guān)系數(shù)據(jù)庫提供統(tǒng)一訪問，它由一組用 Java 語言編寫的類和接口組成。其次，Java [2] [3]語言是一種功能強(qiáng)大的編程語言，負(fù)責(zé) heritrix 應(yīng)用的業(yè)務(wù)邏輯的實(shí)現(xiàn)和對應(yīng)用程序進(jìn)行控制。相關(guān)技術(shù): Html+div+css+javascript。賽事活動(dòng)多了，并且能深入下去，大學(xué)生在積極參與的過程中，就會(huì)逐漸養(yǎng)成堅(jiān)韌、頑強(qiáng)的優(yōu)良品性，養(yǎng)成務(wù)實(shí)的學(xué)習(xí)態(tài)度和生活作風(fēng)，不斷提高自己、完善自己。通過廣泛的社會(huì)比賽，能讓學(xué)生看到自己和市場需求之間的差距，看到自身知識(shí)和能力上存在的不足，比較客觀地去重新認(rèn)識(shí)、評價(jià)自我，逐漸擺正個(gè)人與社會(huì)、個(gè)人與人民群眾的位置。兩者側(cè)重點(diǎn)不一。當(dāng)下社會(huì)，競爭與挑戰(zhàn)是每一個(gè)人都將面對且必須面對的，比賽，是可以更好地證明自己的一個(gè)重要手段。論文首先敘述了系統(tǒng)的開發(fā)背景和研究內(nèi)容，接著簡單介紹了系統(tǒng)的開發(fā)平臺(tái)及相關(guān)技術(shù)，然后對系統(tǒng)做了一個(gè)整體的系統(tǒng)規(guī)劃和交互數(shù)據(jù)的設(shè)計(jì)，最后對網(wǎng)絡(luò)爬蟲模塊和后臺(tái)信息篩選調(diào)度模塊的設(shè)計(jì)與具體實(shí)現(xiàn)做了重點(diǎn)闡述。摘要I比賽信息集成系統(tǒng)后臺(tái)網(wǎng)絡(luò)爬蟲與信息處理摘要針對當(dāng)前網(wǎng)絡(luò)中對于比賽信息整合的缺乏，人們難以方便地尋找到當(dāng)前某一階段所舉辦的全部比賽信息的現(xiàn)狀。關(guān)鍵詞：網(wǎng)絡(luò)爬蟲技術(shù)；頁面解析技術(shù)；數(shù)據(jù)流技術(shù)；js 特效。然而現(xiàn)今缺乏一個(gè)整合了所有比賽信息方便人們尋找的平臺(tái)，學(xué)生獲得信息的途徑也總是少得可憐。針對于此，此次項(xiàng)目致力打造一個(gè)服務(wù)于在校大學(xué)生的輕松、便捷、互動(dòng)地參與各類競賽活動(dòng)的競賽門戶網(wǎng)站，致力于系統(tǒng)地收集和整理各個(gè)領(lǐng)域的各類賽事，為參賽者提供最優(yōu)質(zhì)的信息服務(wù),使得來自全國各地的參賽選手可以相互學(xué)習(xí)分享心得,通過各種有意義的比賽不斷提升自己。（2）有利于大學(xué)生對理論知識(shí)的轉(zhuǎn)化和拓展，增強(qiáng)運(yùn)用知識(shí)解決實(shí)際問題的能力。 本文的組織論文正文包括四章：引言、系統(tǒng)相關(guān)技術(shù)、比賽信息集成系統(tǒng)的分析與設(shè)計(jì)、系統(tǒng)模塊的設(shè)計(jì)與實(shí)現(xiàn)。爬蟲 heritrix；頁面解析技術(shù)：htmlparser；數(shù)據(jù)庫 sql；struts2 模式。再次，Htmlparser 是一個(gè)純的 java 寫的 html（標(biāo)準(zhǔn)通用標(biāo)記語言下的一個(gè)應(yīng)用）解析的庫，它不依賴于其它的 java 庫文件，主要用于改造或提取html。JDBC 提供了一種基準(zhǔn)，據(jù)此可以構(gòu)建更高級(jí)的工具和接口，使數(shù)據(jù)庫開發(fā)人員能夠編寫數(shù)據(jù)庫應(yīng)用程序。2 從選擇的URI 的網(wǎng)址下載遠(yuǎn)程文件 3 分析，歸檔下載到的內(nèi)容 4 從分析到的內(nèi)容里面選擇感興趣的 URI。其次 擴(kuò)展 MirrorWriterProcessor，有的時(shí)候我們需要在網(wǎng)頁下載之前將網(wǎng)頁進(jìn)行分析并提取有效內(nèi)容存儲(chǔ)起來，這時(shí)我們可以擴(kuò)展 MirrorWriterProcessor 這個(gè)模塊。Java 技術(shù)具有卓越的通用性、高效性、平臺(tái)移植性和安全性，廣泛應(yīng)用于個(gè)人 PC、數(shù)據(jù)中心、游戲控制臺(tái)、科學(xué)超級(jí)計(jì)算機(jī)、移動(dòng)電話和互聯(lián)網(wǎng)，同時(shí)擁有全球最大的開發(fā)者專業(yè)社群。從而實(shí)現(xiàn)了“一次編譯、到處執(zhí)行”的跨平臺(tái)特性。2)ByteArrayInputStrea、StringBufferInputStream、FileInputStream 是三種基本的介質(zhì)流，它們分別從 Byte 數(shù)組、 StringBuffer、和本地文件中讀取數(shù)據(jù)。File類保存文件或目錄的各種元數(shù)據(jù)信息，包括文件名、文件長度、最后修改時(shí)間、是否可讀、獲取當(dāng)前文件的路徑名，判斷指定文件是否存在、獲得當(dāng)前目錄中的文件列表，創(chuàng)建、刪除文件和目錄等方法。對于管理員，主要是后臺(tái)的論壇管理，包括論壇帖子的添刪改查，用戶管理及用戶信息的添刪改查，以及賽事信息的管理，同樣是賽事的添刪改查。而用戶賽事的上傳也需要后臺(tái)管理員的審核，通過審核，則可展現(xiàn)在網(wǎng)站前臺(tái)頁面上。（5）上傳下載的管理：對用戶所進(jìn)行的上傳下載進(jìn)行管理，不合法的內(nèi)容進(jìn)行屏蔽或刪除。而相對的，一個(gè)屬性只能聯(lián)系一個(gè)實(shí)體實(shí)現(xiàn)其數(shù)據(jù)的聯(lián)系。最后是發(fā)布賽事的信息表，方便前臺(tái)用戶的發(fā)布，因此多了發(fā)布的用戶名。同時(shí)，需要擴(kuò)展 FrontierScheduler 來抓取特定網(wǎng)站 FrontierScheduler 是 包中的一個(gè)類，它的作用是將在 Extractor 中所分析得出的鏈接加入到 Frontier 中，以待繼續(xù)處理。3）在彈出的“JAR Selection”對話框中選擇 MyHeritrix 工程 lib 文件夾下所有的 jar 文件，然后點(diǎn)擊 OK 按鈕。第 4 章 模塊實(shí)現(xiàn)194）將 \src 中的 webapps 文件夾拷貝至 Heritrix 工程根目錄。當(dāng)?shù)谝淮芜\(yùn)行 Heritrix 時(shí)，只需要修改該文件，為其加入 Web UI 的用戶名和密碼。運(yùn)行圖如圖 所示：圖 運(yùn)行圖至此 heritrix 已經(jīng)成功安裝配置完畢。這里我們使用默認(rèn)值。6）Select Writers：它主要用于設(shè)定將所抓取到的信息以何種形式寫入磁盤。最后點(diǎn)擊 Submit job，創(chuàng)建項(xiàng)目進(jìn)行爬取即可，以下是爬取下來的網(wǎng)頁信息。private transie