【正文】 屬性的數(shù)據(jù)聯(lián)系所對應(yīng)的表格。同時(shí)可以直接管理用戶信息，包括添加用戶，刪除用戶等等。系統(tǒng)功能第 3 章 系統(tǒng)分析與設(shè)計(jì)13模塊圖如圖 所示：比 賽 信 息 集 成 系 統(tǒng) 前 臺 操 作 后 臺 操 作 登 錄 模 塊 用戶名 修改密碼 密碼 個(gè) 人 中 心 信息發(fā)布信息刪除 信息修改 資料上傳 賽事信息 賽事達(dá)人 資料下載 信 息 模 塊 賽事論壇 用 戶 管 理 信 息 管 理 查看用戶信息 添加用戶信息 刪除用戶信息 修改用戶信息 達(dá)人信息管理 資料信息管理賽事信息管理 論壇信息管理 添加信息 查看信息 修改信息 刪除信息 圖 功能模塊圖 概念結(jié)構(gòu) 概念結(jié)構(gòu)設(shè)計(jì)在本系統(tǒng)中，實(shí)體主要包括管理員、會員和游客三大種類，聯(lián)系框包括操作、管理等，實(shí)現(xiàn)對屬性的操作，屬性包括賬號、密碼、上傳下載等。（3）論壇管理：實(shí)現(xiàn)對帖子的刪除，管理。管理員執(zhí)行任何一種管理功能時(shí)，會出現(xiàn)兩種不同狀態(tài)：操作成功和操作失敗。注冊成功則可進(jìn)行前臺登入，成功后可以享受郵箱訂閱、查看信息、發(fā)帖、論壇刪帖、賽事查詢、資料下載等功能。在后臺管理員的賽事信息管理中，還包括了爬蟲管理的功能，其中需要管理員開啟服務(wù)器中的 heritrix 程序，根據(jù)需要爬取的網(wǎng)站，可以一次性或是多次輸入需要爬取的網(wǎng)站，再通過后臺的 htmlparser 遍歷解析出文本文件和.jpg、.gif 等圖片，再通過傳入數(shù)據(jù)庫 java io 流呈現(xiàn)在后臺的信息管理當(dāng)中 ，最后管理員可將已經(jīng)傳入數(shù)據(jù)庫的賽事信息進(jìn)行分類的方式上傳至前臺網(wǎng)站。對于一般的未注冊的游客，只能享受賽事信息的瀏覽，賽事信息的檢索以及賽事網(wǎng)站的分享功能。在使用 jdbc[11]技術(shù)是，系統(tǒng)需要引用 包，通過建立 java 平臺與 sql 數(shù)據(jù)庫的數(shù)據(jù)連接，從而使得賽事信息的查看等的展現(xiàn)。第 2 章 相關(guān)技術(shù)簡介83)ObjectOutputStream 和所有 FilterOutputStream 的子類都是裝飾流。3)ObjectInputStream 和所有 FilterInputStream 的子類都是裝飾流（裝飾器模式的主角） 。本系統(tǒng)主要是輸入流 InputStreamIO 及輸出流 outputStreamIO 實(shí)現(xiàn)對txt 文本信息的讀取及輸入到數(shù)據(jù)庫中。編輯 Java 源代碼可以使用任何無格式的純文本編輯器，在 Windows 操作系統(tǒng)上可以使用微軟記事本（Notepad ） 、EditPlus 等程序，在 Linux 平臺上可使用 vi 工具等。Java 不同于一般的編譯執(zhí)行計(jì)算機(jī)語言和解釋執(zhí)行計(jì)算機(jī)語言。java[7]編程語言 的風(fēng)格十分接近 C 語言、 C++語言。本系統(tǒng)主要是通過 htmlparser 解析 heritrix 爬取下來的許多 html 文件，通過相關(guān)正則表達(dá)式知識，遍歷解析 html 信息，再把本來亂七八糟的 html 信息格式化成 txt 文本，方便 java io 流進(jìn)行讀寫操作。htmlparser 可以在文件中獲得。接著可以實(shí)行簡單的任務(wù)抓取工作，當(dāng)然，簡單的安裝于抓取工作不能滿足本系統(tǒng)的需求，因此需要更多的擴(kuò)展與組件的開發(fā)，首先需要擴(kuò)FrontierScheduler，將需要的所有鏈接的處理。5 標(biāo)記已經(jīng)處理過的 URI。到現(xiàn)在已經(jīng)成為一個(gè)成熟的開源爬蟲，并被廣泛使用。它使用 Java 編寫并且完全開源。JAVA IO[4]流可分為四大抽象類：字符流：ReaderWriter，字節(jié)流：InputStream（讀數(shù)據(jù)）OutputStream（寫數(shù)據(jù)）本系統(tǒng)中主要運(yùn)用的是字節(jié)第 2 章 相關(guān)技術(shù)簡介5流與讀寫數(shù)據(jù) InputStream 和 OutputStream。就其他解析工具來說，htmlparser 就是目前最好的 html 解析和分析的工具。Heritrix最出色之處在于它的可擴(kuò)展性，開發(fā)者可以擴(kuò)展它的各個(gè)組件，來實(shí)現(xiàn)個(gè)性的抓取邏輯，比賽信息系統(tǒng)利用它實(shí)現(xiàn)更多賽事信息的全網(wǎng)爬取，取得更多的大學(xué)生賽事資源。 工具和編程語言在比賽信息集成系統(tǒng)中，運(yùn)用了 java+sql+heritrix+htmlparser 等技術(shù)。軟 件 環(huán) 境 : MyEclipse 、Apache、Tomcat 。第 2 章為系統(tǒng)相關(guān)技術(shù)，分為 2 節(jié)，主要介紹系統(tǒng)相關(guān)技術(shù)：爬蟲技術(shù)功能、頁面解析的功能、以及信息篩選及錄入的功能等的前提下進(jìn)行介紹的，運(yùn)第 1 章 引言3用了 heritrix、htmlparser、java io、java 技術(shù)等實(shí)現(xiàn)。在比賽中的困難和危險(xiǎn)面前，要求大學(xué)生們具有一定的犧牲精神和堅(jiān)強(qiáng)的品質(zhì)。比賽的方式使大學(xué)生接近社會，獲得大量的感性認(rèn)識和許多有價(jià)值的新知識，同時(shí)使他們能夠把自己所學(xué)的理論知識與接觸的實(shí)際現(xiàn)象進(jìn)行對照、比較，把抽象的理論知識逐漸轉(zhuǎn)化為認(rèn)識和解決實(shí)際問題的能力。主要表現(xiàn)在（1）有利于大學(xué)生正確認(rèn)識自己，對自身成長產(chǎn)生緊迫感。 系統(tǒng)開發(fā)的目標(biāo)、意義開發(fā)目標(biāo):本系統(tǒng)主要為全力打造一個(gè)服務(wù)于在校學(xué)生和在職人員等輕松、便捷、互動地參與各類競賽活動的競賽門戶網(wǎng)站，為參賽者提供最優(yōu)質(zhì)的信息服務(wù),來自全國各地的參賽選手可以相互學(xué)習(xí)分享心得,通過各種有意義的比賽不斷提升自己。賽才網(wǎng)偏社區(qū)、家園、群組，提供的范圍較大且包含很多新聞信息；與賽事信息集成系統(tǒng)地不同在于，比賽信息集成系統(tǒng)要做的是以賽事信息提供為主，主打“方便、即時(shí)、全面”的概念，對賽事信息要求較高，討論交流區(qū)為輔。缺少一個(gè)可以每天登陸系統(tǒng)，了解到當(dāng)下最新的比賽資訊，能夠分門別類的，整整有序的，及時(shí)全面的網(wǎng)站平臺。與此同時(shí)，現(xiàn)在的大學(xué)生缺乏社會實(shí)踐鍛煉，自我競爭的意識在逐漸降低，而且社會上多數(shù)在校大學(xué)生沉迷于網(wǎng)絡(luò)游戲，缺乏主動學(xué)習(xí)、參與競爭的意識。s development, the development and implementation of the development and management as well as members of space. System development using heritrix, Htmlparser and Java bination. Grab and screening, the background using heritrix and Htmlparser technology to realize the game information, Java technology is used to input information, and manage the membership information, forum information and event information, front using Java technology JS effects such as realization of the event show, running, Members Forum event dissemination functions.This paper first describes the development background of the system and the content of the research, and then introduces the system development platform and related technologies, and then designed a whole system planning and interactive data on the system, the design of work crawler module and background information screening himself responsible for the scheduling module and implementation to make the key exposition.Keywords: Web crawler technology。后臺使用 heritrix 和 htmlparser 技術(shù)實(shí)現(xiàn)比賽信息的抓取和篩選等工作，同時(shí)使用 java 技術(shù)錄入信息，并管理前臺的會員信息、論壇信息及賽事信息等，前臺運(yùn)用 java 技術(shù) js 特效等實(shí)現(xiàn)賽事呈現(xiàn)、論壇運(yùn)行、會員賽事發(fā)布等功能。因此，該系統(tǒng)致力于系統(tǒng)地收集和整理各個(gè)領(lǐng)域的各類賽事，為參賽者提供最優(yōu)質(zhì)的信息服務(wù),使得來自全國各地的參賽選手可以相互學(xué)習(xí)可以分享心得,并且通過各種有意義的比賽不斷提升自己。為此，全力打造一個(gè)服務(wù)于在校學(xué)生和在職人員等輕松、便捷、互動地參與各類競賽活動的競賽門戶網(wǎng)站迫在眉睫。系統(tǒng)使用了 heritrix、htmlparser 和 java 相結(jié)合的技術(shù)開發(fā)。AbstractIIAbstractIn view of the current work for lack of petition information integration, it is difficult to conveniently find current situation of one stage held by all the game information. Therefore, to build a service to students and staff, easy, convenient, interactive participation in various petitions contest portal imminent, therefore, this system aims to systematically collect and collate all areas of various events, to provide the best quality information service for the participants from all over the country, the contestants you can learn from each other to share experiences, and through various meaningful games continue to improve their own.In order to provide students the most prehensive event information, petition information platform through the design event crawler system, integrating all the event information, and after screening appear in front of users. The main function modules of the system including the realization of the website, making web crawler, the forum39。 JS effects.目錄III目錄第 1 章 引言 ...............................................1 系統(tǒng)開發(fā)的背景 ..............................................1 系統(tǒng)開發(fā)的目標(biāo)、意義 ........................................1 本文的組織 ..................................................2第 2 章 相關(guān)技術(shù)簡介 .......................................4 系統(tǒng)開發(fā)平臺及開發(fā)工具 ......................................4 工具和編程語言 ..............................................4 HERITRIX 技術(shù) .....................................................5 HTMLPARSER 技術(shù) ...................................................6 JAVA 語言 ........................................................6 JAVA IO 流技術(shù) ....................................................7 JDBC 技術(shù) .......................................................8第 3 章 系統(tǒng)分析與設(shè)計(jì) .........