【正文】 4 系統(tǒng)開發(fā)平臺及開發(fā)工具 ......................................4 工具和編程語言 ..............................................4 HERITRIX 技術(shù) .....................................................5 HTMLPARSER 技術(shù) ...................................................6 JAVA 語言 ........................................................6 JAVA IO 流技術(shù) ....................................................7 JDBC 技術(shù) .......................................................8第 3 章 系統(tǒng)分析與設(shè)計 .....................................9 功能需求 ....................................................9 系統(tǒng)數(shù)據(jù)流圖 ....................................................9 系統(tǒng)狀態(tài)圖 .....................................................11 功能介紹 ...................................................12 概念結(jié)構(gòu) ...................................................13 概念結(jié)構(gòu)設(shè)計 ...................................................13 邏輯結(jié)構(gòu)設(shè)計 ...................................................14第 4 章 模塊實現(xiàn) ..........................................17 爬蟲模塊 ...................................................17 設(shè)計事項 .......................................................17 操作界面 .......................................................17 核心代碼 .......................................................23 頁面解析文本信息入庫模塊（HTMLPARSER） .......................29目錄IV 設(shè)計思想 .......................................................29 操作界面 .......................................................29 核心代碼 .......................................................31 信息篩選上傳、信息查看刪除的模塊 ...........................34 設(shè)計思想 .......................................................34 操作界面 .......................................................35 核心代碼 .......................................................37總結(jié) .....................................................40參考文獻(xiàn) .................................................42第 1 章 引言1第 1 章 引言 系統(tǒng)開發(fā)的背景信息在現(xiàn)代經(jīng)濟(jì)生活中的作用越來越大，對于個人而言，缺乏信息將導(dǎo)致很多機(jī)會的喪失。當(dāng)下社會，競爭與挑戰(zhàn)是每一個人都將面對且必須面對的，比賽，是可以更好地證明自己的一個重要手段。有一個屬于自己的比賽信息集成系統(tǒng)成為亟待解決的問題。鑒于此想法，本次項目選擇開發(fā)比賽信息集成系統(tǒng)。目前，國內(nèi)同類的賽事信息類系統(tǒng)有“賽才網(wǎng)” 。兩者側(cè)重點不一。希望通過此次開發(fā)的平臺項目，能為廣大學(xué)生及賽事愛好者提供全面、即時的賽事信息，在分享賽事資訊的同時提供一個交流、討論的平臺。系統(tǒng)中主要的開發(fā)包括賽事信息網(wǎng)站前臺以及賽事網(wǎng)站后臺兩第 1 章 引言2大部分。通過前后臺的整合，統(tǒng)一，協(xié)調(diào)地完成此次系統(tǒng)開發(fā)出分門別類的、整整有序的、及時全面的賽事網(wǎng)站平臺系統(tǒng)開發(fā)能為在校的大學(xué)生提供最為全面、優(yōu)質(zhì)的賽事信息，為提高中國大學(xué)生的身心素質(zhì)做出貢獻(xiàn)。通過廣泛的社會比賽，能讓學(xué)生看到自己和市場需求之間的差距，看到自身知識和能力上存在的不足，比較客觀地去重新認(rèn)識、評價自我，逐漸擺正個人與社會、個人與人民群眾的位置。大學(xué)生以課堂學(xué)習(xí)為主要接受方式，這對大學(xué)生來說非常重要，但這些理論知識并不代表大學(xué)生的實際技能，往往難以直接運用于現(xiàn)實生活之中。（3）有利于發(fā)展大學(xué)生的組織協(xié)調(diào)能力和創(chuàng)新意識。（4）有利于提高大學(xué)生個人素養(yǎng)，完善個性品質(zhì)。賽事活動多了，并且能深入下去，大學(xué)生在積極參與的過程中，就會逐漸養(yǎng)成堅韌、頑強(qiáng)的優(yōu)良品性，養(yǎng)成務(wù)實的學(xué)習(xí)態(tài)度和生活作風(fēng)，不斷提高自己、完善自己。第 1 章為緒論，分為 3 節(jié)，主要介紹系統(tǒng)的開發(fā)背景、系統(tǒng)的開發(fā)目標(biāo)及研究內(nèi)容及本文的組織。第 3 章為比賽信息集成系統(tǒng)的分析與設(shè)計，分 4 節(jié)，包括系統(tǒng)模塊設(shè)計，功能需求，數(shù)據(jù)需求，數(shù)據(jù)庫設(shè)計。第 2 章 相關(guān)技術(shù)簡介4第 2 章 相關(guān)技術(shù)簡介 系統(tǒng)開發(fā)平臺及開發(fā)工具硬件環(huán)境: 個人 PC、電網(wǎng)、電信網(wǎng)絡(luò)等。相關(guān)技術(shù): Html+div+css+javascript。相 關(guān) 工 具 ： Microsoft SQL Server 202Macromedia dreamweaver My Eclipse 。其中后臺主要運用了 heritrix 爬蟲技術(shù)。它來自于 。其次，Java [2] [3]語言是一種功能強(qiáng)大的編程語言，負(fù)責(zé) heritrix 應(yīng)用的業(yè)務(wù)邏輯的實現(xiàn)和對應(yīng)用程序進(jìn)行控制。它能超高速解析 html，而且不會出錯。因此，從 heritrix 爬取 頁面通過 htmlparser 文件，為賽事信息的篩選以及錄入做好充足的準(zhǔn)備。再次，本系統(tǒng)還引入了 文件的讀寫工作。最后，而存入數(shù)據(jù)庫則使用較為普遍的 JDBC[5]技術(shù)，JDBC（Java Data Base Connectivity,java 數(shù)據(jù)庫連接）是一種用于執(zhí)行 SQL 語句的 Java API，可以為多種關(guān)系數(shù)據(jù)庫提供統(tǒng)一訪問，它由一組用 Java 語言編寫的類和接口組成。下面就 heritrix、htmlparser、java 及 java io、JDBC 進(jìn)行介紹 heritrix 技術(shù)heritrix[6]技術(shù) Heritrix 是一個專門為互聯(lián)網(wǎng)上的網(wǎng)頁進(jìn)行存檔而開發(fā)的網(wǎng)頁檢索器。它主要的用戶界面可以通過一個web 流量器來訪問并通過它來控制檢索器的行為，另外，它還有一個命令行工具來供用戶選擇調(diào)用。第一次正式發(fā)布是在 2022 年 1 月，并不斷的被互聯(lián)網(wǎng)檔案館和其他感興趣的第三方改進(jìn)。它的工作流程是一個循環(huán)，具體流程是：1 在預(yù)定的 URI 中選擇一個。加入預(yù)定隊列。Heritrix 的使用首先應(yīng)該知道它的配置與使用，在這里，本系統(tǒng)用的是heritrix 的 的版本，安裝 heritrix 時值得注意的 文件。當(dāng)?shù)谝淮芜\行 Heritrix 時，只需要修改該文件，為其加入 WebUI 的登錄名和密碼。將已經(jīng)爬過的 URI 做標(biāo)記，并將未處理的鏈接放入待處理隊列。利用一個開源的包htmlparser 分析網(wǎng)頁結(jié)構(gòu)，并將結(jié)果存儲起來。再將下載的包添加到項目的引用列表中，從而實現(xiàn)下個步驟的開發(fā)。信息轉(zhuǎn)換1）鏈接重寫，用于修改頁面中的所有超鏈接；2）網(wǎng)頁內(nèi)容拷貝，用于將網(wǎng)頁內(nèi)容保存到本地；3) 內(nèi)容檢驗，可以用來過濾網(wǎng)頁上一些令人不愉快的字詞；4) HTML 信息清洗，把本來亂七八糟的 HTML 信息格式化；5) 轉(zhuǎn)成 XML 格式數(shù)據(jù)。 java 語言java 語言 Java 是一種可以撰寫跨平臺應(yīng)用軟件的面向?qū)ο蟮某绦蛟O(shè)計語言，是由 Sun Microsystems 公司于 1995 年 5 月推出的 Java 程序設(shè)計語言和Java 平臺（即 JavaSE, JavaEE, JavaME）的總稱。在全球云計算和移動互聯(lián)網(wǎng)的產(chǎn)業(yè)環(huán)境下，Java 更具備了顯著優(yōu)勢和廣闊前景。Java 是一個純粹的面向?qū)ο蟮某绦蛟O(shè)計語言，它繼承了 C++語言面向?qū)ο蠹夹g(shù)的核心。 Java 版本中，Java 又引入了泛型編程（Generic Programming）、類型安全的枚舉、不定長參數(shù)和自動裝/拆箱等語言特性。它首先將源代碼編譯成二進(jìn)制字節(jié)碼（byte code） ，然后依賴各種不同平臺上的虛擬機(jī)來解釋執(zhí)行字節(jié)碼。不過，每次的執(zhí)行編譯后的字節(jié)碼需要消耗一定的時間，這同時也在一定程度上降低了 Java 程序的性能。Java 是本系統(tǒng)前臺及后臺以及爬蟲、頁面解析技術(shù)的基礎(chǔ)語言，通過運用 java 編寫的程序?qū)崿F(xiàn)前臺的功能如：登入，注冊，論壇帖子發(fā)布，會員資源管理等等，而后臺主要實現(xiàn)后臺會員管理，論壇管理，信息錄入等等功能。即數(shù)據(jù)在兩設(shè)備間的傳輸稱為流，流的本質(zhì)是數(shù)據(jù)傳輸，根據(jù)數(shù)據(jù)傳輸特性將流抽象為各種類，方便更直觀的進(jìn)行數(shù)據(jù)操作。 InputStream1)InputStream 是所有的輸入字節(jié)流的父類，它是一個抽象類。PipedInputStream 是從與其它線程共用的管道中讀取數(shù)據(jù)，與Piped 相關(guān)的知識后續(xù)單獨介紹。 OutputStream1)OutputStream 是所有的輸出字節(jié)流的父類，它是一個抽象類。PipedOutputStream 是向與其它線程共用的管道中寫入數(shù)據(jù)。本系統(tǒng)利用輸入字節(jié)流 InputStream 和輸出字節(jié)流 OutputStream 通過file 類實現(xiàn)對需要讀取的文件夾進(jìn)行遍歷的操作，F(xiàn)ile 類是對文件系統(tǒng)中文件以及文件夾進(jìn)行封裝的對象，可以通過對象的思想來操作文件和文件夾。 JDBC 技術(shù)JDBC[10]（Java Data Base Connectivity,java 數(shù)據(jù)庫連接 ）是一種用于執(zhí)行 SQL 語句的 Java API，可以為多種關(guān)系數(shù)據(jù)庫提供統(tǒng)一訪問，簡單說，JDBC 可做三件事：與數(shù)據(jù)庫建立連接、發(fā)送 操作數(shù)據(jù)庫的語句并處理結(jié)果。第 3 章 系統(tǒng)分析與設(shè)計9第 3 章 系統(tǒng)分析與設(shè)計 功能需求 系統(tǒng)數(shù)據(jù)流圖系統(tǒng)流程圖（System Flowchart）是描繪系統(tǒng)物理模型的傳統(tǒng)工具。在本系統(tǒng)中，主要分為前臺和后臺兩大模塊，從對象上區(qū)分也 可以分為會員功能，管理員功能以及游客功能。對于已經(jīng)注冊了的會員，除了享受信息瀏覽，檢索等一般游客的功能，同時，享有個人空間，個人空間中實現(xiàn)已注冊個人信息的修改，論壇發(fā)帖，賽事信息郵箱的訂閱，以及相關(guān)賽事的上傳與下載的權(quán)利。最后是會員或是管理員的登入后，依據(jù)正確的用戶名和密碼實現(xiàn)完一系列操作即可安全退出登入，反之如用戶名、密碼出錯即登入敗。值得一說的是，賽事過期后管理員可根據(jù)賽事信息上傳的時間分批進(jìn)行賽事信息的刪除，或是根據(jù)賽事上傳的時間，越是晚更新越排前臺網(wǎng)站的前端。游客點擊注冊，正確填寫信息后核對成功注冊完成，反之注冊失敗。用戶在處理的這些個人功能時，需要結(jié)合數(shù)據(jù)庫查詢，如資料的下載上傳或是賽事的上傳需要通過數(shù)據(jù)庫匹配，以實現(xiàn)用戶積分的增減，為下次的操作提供基礎(chǔ)。前臺系統(tǒng)狀態(tài)圖如圖 所示：圖 前臺系統(tǒng)狀態(tài)圖后臺管理員需要登入后臺，通過登入成功可以享有后臺的用戶管理包括用戶添加以及刪除、論壇帖子管理包括帖子的添加與刪除、信息錄入、爬蟲管理即更新爬蟲信息等。如在操作發(fā)帖功能時，當(dāng)操作符合后臺要求時，操作成功，后臺正常發(fā)布帖子；反之，失敗，后臺重新返回發(fā)布帖子頁面。（2）比賽信息管理：實現(xiàn)對信息的更新，發(fā)布，刪除。（4）郵箱管理：對已進(jìn)行郵箱訂閱的用戶的郵箱進(jìn)行統(tǒng)一管理，以便信息統(tǒng)一和及時發(fā)送。（6）爬蟲管理：對從網(wǎng)上爬來的的信息進(jìn)行修改、刪除和分類，對于一些錯誤的信息進(jìn)行修改，對于一些過期的、多余的和雜亂的信息進(jìn)行刪除，對于關(guān)于比賽的信息進(jìn)行統(tǒng)一分類，把錯誤率降到最低，便于用戶查閱。實線則是表示屬性與實體之間的聯(lián)系。后臺中，管理員通過操作屬性發(fā)布賽事信息、更新賽事信息以及刪除賽事信息。因此可知一個管理員也可以存在一對多的關(guān)系，管理員可以包擴(kuò)賽事、帖子、用戶等等的屬性。ER 圖如圖中 所示：第 3 章 系統(tǒng)分析與設(shè)計14圖 ER 圖 邏輯結(jié)構(gòu)設(shè)計由上述概念結(jié)構(gòu) ER 圖可知，關(guān)于用戶所對應(yīng)的包括了用戶信息、帖子、賽事信息等等屬性。都是通過后臺進(jìn)行管理的。信息錄入表中的幾大賽事信息表指定了信息編號、信息內(nèi)容以及、信息標(biāo)題等名稱。信息篩選表除了信息編號設(shè)