【正文】 摘要I比賽信息集成系統(tǒng)后臺(tái)網(wǎng)絡(luò)爬蟲與信息處理摘要針對(duì)當(dāng)前網(wǎng)絡(luò)中對(duì)于比賽信息整合的缺乏，人們難以方便地尋找到當(dāng)前某一階段所舉辦的全部比賽信息的現(xiàn)狀。為此，全力打造一個(gè)服務(wù)于在校學(xué)生和在職人員等輕松、便捷、互動(dòng)地參與各類競(jìng)賽活動(dòng)的競(jìng)賽門戶網(wǎng)站迫在眉睫。因此，該系統(tǒng)致力于系統(tǒng)地收集和整理各個(gè)領(lǐng)域的各類賽事，為參賽者提供最優(yōu)質(zhì)的信息服務(wù),使得來自全國(guó)各地的參賽選手可以相互學(xué)習(xí)可以分享心得,并且通過各種有意義的比賽不斷提升自己。為了提供最全面的大學(xué)生賽事信息，比賽信息平臺(tái)通過設(shè)計(jì)賽事的爬蟲系統(tǒng)，整合所有的賽事信息，并經(jīng)過篩選后呈現(xiàn)在用戶面前。系統(tǒng)主要功能模塊包括前臺(tái)網(wǎng)站的實(shí)現(xiàn)，網(wǎng)絡(luò)爬蟲的制作，論壇的開發(fā)，后臺(tái)開發(fā)與管理以及會(huì)員空間的開發(fā)與實(shí)現(xiàn)。系統(tǒng)使用了 heritrix、htmlparser 和 java 相結(jié)合的技術(shù)開發(fā)。后臺(tái)使用 heritrix 和 htmlparser 技術(shù)實(shí)現(xiàn)比賽信息的抓取和篩選等工作，同時(shí)使用 java 技術(shù)錄入信息，并管理前臺(tái)的會(huì)員信息、論壇信息及賽事信息等，前臺(tái)運(yùn)用 java 技術(shù) js 特效等實(shí)現(xiàn)賽事呈現(xiàn)、論壇運(yùn)行、會(huì)員賽事發(fā)布等功能。論文首先敘述了系統(tǒng)的開發(fā)背景和研究?jī)?nèi)容，接著簡(jiǎn)單介紹了系統(tǒng)的開發(fā)平臺(tái)及相關(guān)技術(shù)，然后對(duì)系統(tǒng)做了一個(gè)整體的系統(tǒng)規(guī)劃和交互數(shù)據(jù)的設(shè)計(jì)，最后對(duì)網(wǎng)絡(luò)爬蟲模塊和后臺(tái)信息篩選調(diào)度模塊的設(shè)計(jì)與具體實(shí)現(xiàn)做了重點(diǎn)闡述。關(guān)鍵詞：網(wǎng)絡(luò)爬蟲技術(shù)；頁面解析技術(shù)；數(shù)據(jù)流技術(shù)；js 特效。AbstractIIAbstractIn view of the current work for lack of petition information integration, it is difficult to conveniently find current situation of one stage held by all the game information. Therefore, to build a service to students and staff, easy, convenient, interactive participation in various petitions contest portal imminent, therefore, this system aims to systematically collect and collate all areas of various events, to provide the best quality information service for the participants from all over the country, the contestants you can learn from each other to share experiences, and through various meaningful games continue to improve their own.In order to provide students the most prehensive event information, petition information platform through the design event crawler system, integrating all the event information, and after screening appear in front of users. The main function modules of the system including the realization of the website, making web crawler, the forum39。s development, the development and implementation of the development and management as well as members of space. System development using heritrix, Htmlparser and Java bination. Grab and screening, the background using heritrix and Htmlparser technology to realize the game information, Java technology is used to input information, and manage the membership information, forum information and event information, front using Java technology JS effects such as realization of the event show, running, Members Forum event dissemination functions.This paper first describes the development background of the system and the content of the research, and then introduces the system development platform and related technologies, and then designed a whole system planning and interactive data on the system, the design of work crawler module and background information screening himself responsible for the scheduling module and implementation to make the key exposition.Keywords: Web crawler technology。 page analysis technology。 data stream。 JS effects.目錄III目錄第 1 章 引言 ...............................................1 系統(tǒng)開發(fā)的背景 ..............................................1 系統(tǒng)開發(fā)的目標(biāo)、意義 ........................................1 本文的組織 ..................................................2第 2 章 相關(guān)技術(shù)簡(jiǎn)介 .......................................4 系統(tǒng)開發(fā)平臺(tái)及開發(fā)工具 ......................................4 工具和編程語言 ..............................................4 HERITRIX 技術(shù) .....................................................5 HTMLPARSER 技術(shù) ...................................................6 JAVA 語言 ........................................................6 JAVA IO 流技術(shù) ....................................................7 JDBC 技術(shù) .......................................................8第 3 章 系統(tǒng)分析與設(shè)計(jì) .....................................9 功能需求 ....................................................9 系統(tǒng)數(shù)據(jù)流圖 ....................................................9 系統(tǒng)狀態(tài)圖 .....................................................11 功能介紹 ...................................................12 概念結(jié)構(gòu) ...................................................13 概念結(jié)構(gòu)設(shè)計(jì) ...................................................13 邏輯結(jié)構(gòu)設(shè)計(jì) ...................................................14第 4 章 模塊實(shí)現(xiàn) ..........................................17 爬蟲模塊 ...................................................17 設(shè)計(jì)事項(xiàng) .......................................................17 操作界面 .......................................................17 核心代碼 .......................................................23 頁面解析文本信息入庫模塊（HTMLPARSER） .......................29目錄IV 設(shè)計(jì)思想 .......................................................29 操作界面 .......................................................29 核心代碼 .......................................................31 信息篩選上傳、信息查看刪除的模塊 ...........................34 設(shè)計(jì)思想 .......................................................34 操作界面 .......................................................35 核心代碼 .......................................................37總結(jié) .....................................................40參考文獻(xiàn) .................................................42第 1 章 引言1第 1 章 引言 系統(tǒng)開發(fā)的背景信息在現(xiàn)代經(jīng)濟(jì)生活中的作用越來越大，對(duì)于個(gè)人而言，缺乏信息將導(dǎo)致很多機(jī)會(huì)的喪失。與此同時(shí)，現(xiàn)在的大學(xué)生缺乏社會(huì)實(shí)踐鍛煉，自我競(jìng)爭(zhēng)的意識(shí)在逐漸降低，而且社會(huì)上多數(shù)在校大學(xué)生沉迷于網(wǎng)絡(luò)游戲，缺乏主動(dòng)學(xué)習(xí)、參與競(jìng)爭(zhēng)的意識(shí)。當(dāng)下社會(huì)，競(jìng)爭(zhēng)與挑戰(zhàn)是每一個(gè)人都將面對(duì)且必須面對(duì)的，比賽，是可以更好地證明自己的一個(gè)重要手段。然而現(xiàn)今缺乏一個(gè)整合了所有比賽信息方便人們尋找的平臺(tái)，學(xué)生獲得信息的途徑也總是少得可憐。有一個(gè)屬于自己的比賽信息集成系統(tǒng)成為亟待解決的問題。缺少一個(gè)可以每天登陸系統(tǒng)，了解到當(dāng)下最新的比賽資訊，能夠分門別類的，整整有序的，及時(shí)全面的網(wǎng)站平臺(tái)。鑒于此想法，本次項(xiàng)目選擇開發(fā)比賽信息集成系統(tǒng)。希望通過比賽信息集成系統(tǒng)這個(gè)平臺(tái)讓大學(xué)生真正得到鍛煉的機(jī)會(huì)，讓他們認(rèn)識(shí)到自己的真正價(jià)值，發(fā)現(xiàn)自己除了游戲之余還有更大的發(fā)展空間。目前，國(guó)內(nèi)同類的賽事信息類系統(tǒng)有“賽才網(wǎng)” 。賽才網(wǎng)偏社區(qū)、家園、群組，提供的范圍較大且包含很多新聞信息；與賽事信息集成系統(tǒng)地不同在于，比賽信息集成系統(tǒng)要做的是以賽事信息提供為主，主打“方便、即時(shí)、全面”的概念，對(duì)賽事信息要求較高，討論交流區(qū)為輔。兩者側(cè)重點(diǎn)不一。針對(duì)于此，此次項(xiàng)目致力打造一個(gè)服務(wù)于在校大學(xué)生的輕松、便捷、互動(dòng)地參與各類競(jìng)賽活動(dòng)的競(jìng)賽門戶網(wǎng)站，致力于系統(tǒng)地收集和整理各個(gè)領(lǐng)域的各類賽事，為參賽者提供最優(yōu)質(zhì)的信息服務(wù),使得來自全國(guó)各地的參賽選手可以相互學(xué)習(xí)分享心得,通過各種有意義的比賽不斷提升自己。希望通過此次開發(fā)的平臺(tái)項(xiàng)目，能為廣大學(xué)生及賽事愛好者提供全面、即時(shí)的賽事信息，在分享賽事資訊的同時(shí)提供一個(gè)交流、討論的平臺(tái)。 系統(tǒng)開發(fā)的目標(biāo)、意義開發(fā)目標(biāo):本系統(tǒng)主要為全力打造一個(gè)服務(wù)于在校學(xué)生和在職人員等輕松、便捷、互動(dòng)地參與各類競(jìng)賽活動(dòng)的競(jìng)賽門戶網(wǎng)站，為參賽者提供最優(yōu)質(zhì)的信息服務(wù),來自全國(guó)各地的參賽選手可以相互學(xué)習(xí)分享心得,通過各種有意義的比賽不斷提升自己。系統(tǒng)中主要的開發(fā)包括賽事信息網(wǎng)站前臺(tái)以及賽事網(wǎng)站后臺(tái)兩第 1 章 引言2大部分。其中前臺(tái)中，本組開發(fā)主要集中于網(wǎng)站的開發(fā)，方便用戶瀏覽下載信息；賽事論壇開發(fā)，用戶可以分享賽事經(jīng)驗(yàn)，共享賽事資源；用戶中心開發(fā)，方便用戶獲得更多的賽事資源的權(quán)利；而后臺(tái)，主要著重爬蟲系統(tǒng)開發(fā)，半自動(dòng)