【正文】 4 系統(tǒng)開(kāi)發(fā)平臺(tái)及開(kāi)發(fā)工具 ......................................4 工具和編程語(yǔ)言 ..............................................4 HERITRIX 技術(shù) .....................................................5 HTMLPARSER 技術(shù) ...................................................6 JAVA 語(yǔ)言 ........................................................6 JAVA IO 流技術(shù) ....................................................7 JDBC 技術(shù) .......................................................8第 3 章 系統(tǒng)分析與設(shè)計(jì) .....................................9 功能需求 ....................................................9 系統(tǒng)數(shù)據(jù)流圖 ....................................................9 系統(tǒng)狀態(tài)圖 .....................................................11 功能介紹 ...................................................12 概念結(jié)構(gòu) ...................................................13 概念結(jié)構(gòu)設(shè)計(jì) ...................................................13 邏輯結(jié)構(gòu)設(shè)計(jì) ...................................................14第 4 章 模塊實(shí)現(xiàn) ..........................................17 爬蟲(chóng)模塊 ...................................................17 設(shè)計(jì)事項(xiàng) .......................................................17 操作界面 .......................................................17 核心代碼 .......................................................23 頁(yè)面解析文本信息入庫(kù)模塊（HTMLPARSER） .......................29目錄IV 設(shè)計(jì)思想 .......................................................29 操作界面 .......................................................29 核心代碼 .......................................................31 信息篩選上傳、信息查看刪除的模塊 ...........................34 設(shè)計(jì)思想 .......................................................34 操作界面 .......................................................35 核心代碼 .......................................................37總結(jié) .....................................................40參考文獻(xiàn) .................................................42第 1 章 引言1第 1 章 引言 系統(tǒng)開(kāi)發(fā)的背景信息在現(xiàn)代經(jīng)濟(jì)生活中的作用越來(lái)越大，對(duì)于個(gè)人而言，缺乏信息將導(dǎo)致很多機(jī)會(huì)的喪失。當(dāng)下社會(huì)，競(jìng)爭(zhēng)與挑戰(zhàn)是每一個(gè)人都將面對(duì)且必須面對(duì)的，比賽，是可以更好地證明自己的一個(gè)重要手段。有一個(gè)屬于自己的比賽信息集成系統(tǒng)成為亟待解決的問(wèn)題。鑒于此想法，本次項(xiàng)目選擇開(kāi)發(fā)比賽信息集成系統(tǒng)。目前，國(guó)內(nèi)同類的賽事信息類系統(tǒng)有“賽才網(wǎng)” 。兩者側(cè)重點(diǎn)不一。希望通過(guò)此次開(kāi)發(fā)的平臺(tái)項(xiàng)目，能為廣大學(xué)生及賽事愛(ài)好者提供全面、即時(shí)的賽事信息，在分享賽事資訊的同時(shí)提供一個(gè)交流、討論的平臺(tái)。系統(tǒng)中主要的開(kāi)發(fā)包括賽事信息網(wǎng)站前臺(tái)以及賽事網(wǎng)站后臺(tái)兩第 1 章 引言2大部分。通過(guò)前后臺(tái)的整合，統(tǒng)一，協(xié)調(diào)地完成此次系統(tǒng)開(kāi)發(fā)出分門別類的、整整有序的、及時(shí)全面的賽事網(wǎng)站平臺(tái)系統(tǒng)開(kāi)發(fā)能為在校的大學(xué)生提供最為全面、優(yōu)質(zhì)的賽事信息，為提高中國(guó)大學(xué)生的身心素質(zhì)做出貢獻(xiàn)。通過(guò)廣泛的社會(huì)比賽，能讓學(xué)生看到自己和市場(chǎng)需求之間的差距，看到自身知識(shí)和能力上存在的不足，比較客觀地去重新認(rèn)識(shí)、評(píng)價(jià)自我，逐漸擺正個(gè)人與社會(huì)、個(gè)人與人民群眾的位置。大學(xué)生以課堂學(xué)習(xí)為主要接受方式，這對(duì)大學(xué)生來(lái)說(shuō)非常重要，但這些理論知識(shí)并不代表大學(xué)生的實(shí)際技能，往往難以直接運(yùn)用于現(xiàn)實(shí)生活之中。（3）有利于發(fā)展大學(xué)生的組織協(xié)調(diào)能力和創(chuàng)新意識(shí)。（4）有利于提高大學(xué)生個(gè)人素養(yǎng)，完善個(gè)性品質(zhì)。賽事活動(dòng)多了，并且能深入下去，大學(xué)生在積極參與的過(guò)程中，就會(huì)逐漸養(yǎng)成堅(jiān)韌、頑強(qiáng)的優(yōu)良品性，養(yǎng)成務(wù)實(shí)的學(xué)習(xí)態(tài)度和生活作風(fēng)，不斷提高自己、完善自己。第 1 章為緒論，分為 3 節(jié)，主要介紹系統(tǒng)的開(kāi)發(fā)背景、系統(tǒng)的開(kāi)發(fā)目標(biāo)及研究?jī)?nèi)容及本文的組織。第 3 章為比賽信息集成系統(tǒng)的分析與設(shè)計(jì)，分 4 節(jié)，包括系統(tǒng)模塊設(shè)計(jì)，功能需求，數(shù)據(jù)需求，數(shù)據(jù)庫(kù)設(shè)計(jì)。第 2 章 相關(guān)技術(shù)簡(jiǎn)介4第 2 章 相關(guān)技術(shù)簡(jiǎn)介 系統(tǒng)開(kāi)發(fā)平臺(tái)及開(kāi)發(fā)工具硬件環(huán)境: 個(gè)人 PC、電網(wǎng)、電信網(wǎng)絡(luò)等。相關(guān)技術(shù): Html+div+css+javascript。相 關(guān) 工 具 ： Microsoft SQL Server 202Macromedia dreamweaver My Eclipse 。其中后臺(tái)主要運(yùn)用了 heritrix 爬蟲(chóng)技術(shù)。它來(lái)自于 。其次，Java [2] [3]語(yǔ)言是一種功能強(qiáng)大的編程語(yǔ)言，負(fù)責(zé) heritrix 應(yīng)用的業(yè)務(wù)邏輯的實(shí)現(xiàn)和對(duì)應(yīng)用程序進(jìn)行控制。它能超高速解析 html，而且不會(huì)出錯(cuò)。因此，從 heritrix 爬取 頁(yè)面通過(guò) htmlparser 文件，為賽事信息的篩選以及錄入做好充足的準(zhǔn)備。再次，本系統(tǒng)還引入了 文件的讀寫(xiě)工作。最后，而存入數(shù)據(jù)庫(kù)則使用較為普遍的 JDBC[5]技術(shù)，JDBC（Java Data Base Connectivity,java 數(shù)據(jù)庫(kù)連接）是一種用于執(zhí)行 SQL 語(yǔ)句的 Java API，可以為多種關(guān)系數(shù)據(jù)庫(kù)提供統(tǒng)一訪問(wèn)，它由一組用 Java 語(yǔ)言編寫(xiě)的類和接口組成。下面就 heritrix、htmlparser、java 及 java io、JDBC 進(jìn)行介紹 heritrix 技術(shù)heritrix[6]技術(shù) Heritrix 是一個(gè)專門為互聯(lián)網(wǎng)上的網(wǎng)頁(yè)進(jìn)行存檔而開(kāi)發(fā)的網(wǎng)頁(yè)檢索器。它主要的用戶界面可以通過(guò)一個(gè)web 流量器來(lái)訪問(wèn)并通過(guò)它來(lái)控制檢索器的行為，另外，它還有一個(gè)命令行工具來(lái)供用戶選擇調(diào)用。第一次正式發(fā)布是在 2022 年 1 月，并不斷的被互聯(lián)網(wǎng)檔案館和其他感興趣的第三方改進(jìn)。它的工作流程是一個(gè)循環(huán)，具體流程是：1 在預(yù)定的 URI 中選擇一個(gè)。加入預(yù)定隊(duì)列。Heritrix 的使用首先應(yīng)該知道它的配置與使用，在這里，本系統(tǒng)用的是heritrix 的 的版本，安裝 heritrix 時(shí)值得注意的 文件。當(dāng)?shù)谝淮芜\(yùn)行 Heritrix 時(shí)，只需要修改該文件，為其加入 WebUI 的登錄名和密碼。將已經(jīng)爬過(guò)的 URI 做標(biāo)記，并將未處理的鏈接放入待處理隊(duì)列。利用一個(gè)開(kāi)源的包htmlparser 分析網(wǎng)頁(yè)結(jié)構(gòu)，并將結(jié)果存儲(chǔ)起來(lái)。再將下載的包添加到項(xiàng)目的引用列表中，從而實(shí)現(xiàn)下個(gè)步驟的開(kāi)發(fā)。信息轉(zhuǎn)換1）鏈接重寫(xiě)，用于修改頁(yè)面中的所有超鏈接；2）網(wǎng)頁(yè)內(nèi)容拷貝，用于將網(wǎng)頁(yè)內(nèi)容保存到本地；3) 內(nèi)容檢驗(yàn)，可以用來(lái)過(guò)濾網(wǎng)頁(yè)上一些令人不愉快的字詞；4) HTML 信息清洗，把本來(lái)亂七八糟的 HTML 信息格式化；5) 轉(zhuǎn)成 XML 格式數(shù)據(jù)。 java 語(yǔ)言java 語(yǔ)言 Java 是一種可以撰寫(xiě)跨平臺(tái)應(yīng)用軟件的面向?qū)ο蟮某绦蛟O(shè)計(jì)語(yǔ)言，是由 Sun Microsystems 公司于 1995 年 5 月推出的 Java 程序設(shè)計(jì)語(yǔ)言和Java 平臺(tái)（即 JavaSE, JavaEE, JavaME）的總稱。在全球云計(jì)算和移動(dòng)互聯(lián)網(wǎng)的產(chǎn)業(yè)環(huán)境下，Java 更具備了顯著優(yōu)勢(shì)和廣闊前景。Java 是一個(gè)純粹的面向?qū)ο蟮某绦蛟O(shè)計(jì)語(yǔ)言，它繼承了 C++語(yǔ)言面向?qū)ο蠹夹g(shù)的核心。 Java 版本中，Java 又引入了泛型編程（Generic Programming）、類型安全的枚舉、不定長(zhǎng)參數(shù)和自動(dòng)裝/拆箱等語(yǔ)言特性。它首先將源代碼編譯成二進(jìn)制字節(jié)碼（byte code） ，然后依賴各種不同平臺(tái)上的虛擬機(jī)來(lái)解釋執(zhí)行字節(jié)碼。不過(guò)，每次的執(zhí)行編譯后的字節(jié)碼需要消耗一定的時(shí)間，這同時(shí)也在一定程度上降低了 Java 程序的性能。Java 是本系統(tǒng)前臺(tái)及后臺(tái)以及爬蟲(chóng)、頁(yè)面解析技術(shù)的基礎(chǔ)語(yǔ)言，通過(guò)運(yùn)用 java 編寫(xiě)的程序?qū)崿F(xiàn)前臺(tái)的功能如：登入，注冊(cè)，論壇帖子發(fā)布，會(huì)員資源管理等等，而后臺(tái)主要實(shí)現(xiàn)后臺(tái)會(huì)員管理，論壇管理，信息錄入等等功能。即數(shù)據(jù)在兩設(shè)備間的傳輸稱為流，流的本質(zhì)是數(shù)據(jù)傳輸，根據(jù)數(shù)據(jù)傳輸特性將流抽象為各種類，方便更直觀的進(jìn)行數(shù)據(jù)操作。 InputStream1)InputStream 是所有的輸入字節(jié)流的父類，它是一個(gè)抽象類。PipedInputStream 是從與其它線程共用的管道中讀取數(shù)據(jù)，與Piped 相關(guān)的知識(shí)后續(xù)單獨(dú)介紹。 OutputStream1)OutputStream 是所有的輸出字節(jié)流的父類，它是一個(gè)抽象類。PipedOutputStream 是向與其它線程共用的管道中寫(xiě)入數(shù)據(jù)。本系統(tǒng)利用輸入字節(jié)流 InputStream 和輸出字節(jié)流 OutputStream 通過(guò)file 類實(shí)現(xiàn)對(duì)需要讀取的文件夾進(jìn)行遍歷的操作，F(xiàn)ile 類是對(duì)文件系統(tǒng)中文件以及文件夾進(jìn)行封裝的對(duì)象，可以通過(guò)對(duì)象的思想來(lái)操作文件和文件夾。 JDBC 技術(shù)JDBC[10]（Java Data Base Connectivity,java 數(shù)據(jù)庫(kù)連接 ）是一種用于執(zhí)行 SQL 語(yǔ)句的 Java API，可以為多種關(guān)系數(shù)據(jù)庫(kù)提供統(tǒng)一訪問(wèn)，簡(jiǎn)單說(shuō)，JDBC 可做三件事：與數(shù)據(jù)庫(kù)建立連接、發(fā)送 操作數(shù)據(jù)庫(kù)的語(yǔ)句并處理結(jié)果。第 3 章 系統(tǒng)分析與設(shè)計(jì)9第 3 章 系統(tǒng)分析與設(shè)計(jì) 功能需求 系統(tǒng)數(shù)據(jù)流圖系統(tǒng)流程圖（System Flowchart）是描繪系統(tǒng)物理模型的傳統(tǒng)工具。在本系統(tǒng)中，主要分為前臺(tái)和后臺(tái)兩大模塊，從對(duì)象上區(qū)分也 可以分為會(huì)員功能，管理員功能以及游客功能。對(duì)于已經(jīng)注冊(cè)了的會(huì)員，除了享受信息瀏覽，檢索等一般游客的功能，同時(shí)，享有個(gè)人空間，個(gè)人空間中實(shí)現(xiàn)已注冊(cè)個(gè)人信息的修改，論壇發(fā)帖，賽事信息郵箱的訂閱，以及相關(guān)賽事的上傳與下載的權(quán)利。最后是會(huì)員或是管理員的登入后，依據(jù)正確的用戶名和密碼實(shí)現(xiàn)完一系列操作即可安全退出登入，反之如用戶名、密碼出錯(cuò)即登入敗。值得一說(shuō)的是，賽事過(guò)期后管理員可根據(jù)賽事信息上傳的時(shí)間分批進(jìn)行賽事信息的刪除，或是根據(jù)賽事上傳的時(shí)間，越是晚更新越排前臺(tái)網(wǎng)站的前端。游客點(diǎn)擊注冊(cè)，正確填寫(xiě)信息后核對(duì)成功注冊(cè)完成，反之注冊(cè)失敗。用戶在處理的這些個(gè)人功能時(shí)，需要結(jié)合數(shù)據(jù)庫(kù)查詢，如資料的下載上傳或是賽事的上傳需要通過(guò)數(shù)據(jù)庫(kù)匹配，以實(shí)現(xiàn)用戶積分的增減，為下次的操作提供基礎(chǔ)。前臺(tái)系統(tǒng)狀態(tài)圖如圖 所示：圖 前臺(tái)系統(tǒng)狀態(tài)圖后臺(tái)管理員需要登入后臺(tái)，通過(guò)登入成功可以享有后臺(tái)的用戶管理包括用戶添加以及刪除、論壇帖子管理包括帖子的添加與刪除、信息錄入、爬蟲(chóng)管理即更新爬蟲(chóng)信息等。如在操作發(fā)帖功能時(shí)，當(dāng)操作符合后臺(tái)要求時(shí)，操作成功，后臺(tái)正常發(fā)布帖子；反之，失敗，后臺(tái)重新返回發(fā)布帖子頁(yè)面。（2）比賽信息管理：實(shí)現(xiàn)對(duì)信息的更新，發(fā)布，刪除。（4）郵箱管理：對(duì)已進(jìn)行郵箱訂閱的用戶的郵箱進(jìn)行統(tǒng)一管理，以便信息統(tǒng)一和及時(shí)發(fā)送。（6）爬蟲(chóng)管理：對(duì)從網(wǎng)上爬來(lái)的的信息進(jìn)行修改、刪除和分類，對(duì)于一些錯(cuò)誤的信息進(jìn)行修改，對(duì)于一些過(guò)期的、多余的和雜亂的信息進(jìn)行刪除，對(duì)于關(guān)于比賽的信息進(jìn)行統(tǒng)一分類，把錯(cuò)誤率降到最低，便于用戶查閱。實(shí)線則是表示屬性與實(shí)體之間的聯(lián)系。后臺(tái)中，管理員通過(guò)操作屬性發(fā)布賽事信息、更新賽事信息以及刪除賽事信息。因此可知一個(gè)管理員也可以存在一對(duì)多的關(guān)系，管理員可以包擴(kuò)賽事、帖子、用戶等等的屬性。ER 圖如圖中 所示：第 3 章 系統(tǒng)分析與設(shè)計(jì)14圖 ER 圖 邏輯結(jié)構(gòu)設(shè)計(jì)由上述概念結(jié)構(gòu) ER 圖可知，關(guān)于用戶所對(duì)應(yīng)的包括了用戶信息、帖子、賽事信息等等屬性。都是通過(guò)后臺(tái)進(jìn)行管理的。信息錄入表中的幾大賽事信息表指定了信息編號(hào)、信息內(nèi)容以及、信息標(biāo)題等名稱。信息篩選表除了信息編號(hào)設(shè)