【正文】 象根目錄在Heritrix用mirror目錄表示。protected static final String HASH_ALGORITHM = md5。}dirs = ([\\\\/]{1,}, /)。byte [] bytes = new byte[1024]。 // if fail then return false}}…第 4 章 模塊實現(xiàn)33SEPARATOR表示裝載需要的網(wǎng)頁文件。(F:\\work\\htmlParse\\race\\image\\)。 i++) {traverse(extractor, new File(path, files[i]))。fileName = (\\\\|//|:, race)。讀取信息，并寫入數(shù)據(jù)庫中，至此遍歷下的文件即可輸入到數(shù)據(jù)庫中。 i++) {File productfile = new File(file, files[i])。類型category ，更新時間updatetime ，內(nèi)容content，鏈接line，標(biāo)題fname等等。amp。for (int i = 0。public static void main(String[] args) throws Exception {Extractor extractor = new ExtractRace()。 // if success then return true} catch (Exception e) {()。FileInputStream in1 = new FileInputStream(file_in)。String[] ds = (/)。private String imageDir = D:\\data\\dst\\pic\\。Newline表示所有結(jié)果的輸出路徑。它能超高速解析 html，而且不會出錯。可以通過幾成FrontierSchedule，并重寫內(nèi)部的schedule方法達(dá)到我們的需要。import 。打開 文件，在所有 webui 中設(shè)置處理鏈接，頁面上的下拉列表中數(shù)據(jù)都保存在其中，加入我們開發(fā)的 RaceExtractor。 }}…public class RaceExtractor extends Extractor {protected boolean ignoreUnexceptionHTML=true。unpause（）方法則是將阻塞的信號量設(shè)置為 false，即允許線程開始活動，然后通過 notifyAll（）方法喚醒線程池中的被阻線程，開始抓取。 Thread statLogger = new Thread(statistics)。最后，CrawlController 已經(jīng)具備了運(yùn)行條件，就可以開始運(yùn)行了，在此時，只需調(diào)用它的 requestCrawlStart（）方法，就可以啟運(yùn)線程池和Frontier 方法，然后就可以開始不斷的抓取網(wǎng)頁了。2）CrawlScope：決定當(dāng)前的抓取范圍的一個組件。private transient CrawlScope scope。這里我們使用默認(rèn)值。4）Select Fetchers：這個參數(shù)用于解析網(wǎng)絡(luò)傳輸協(xié)議，比如解析 DNS、HTTP 或 FTP 等。例如選擇 BroadScope 則表示當(dāng)前的抓取范圍不受限制，選擇 HostScope 則表示抓取的范圍在當(dāng)前的 Host 范圍內(nèi)。其中的 Name 參數(shù)可以設(shè)置為任何方便識別的名字?？截愅戤吅蟮?MyHeritrix 工程目錄層次如圖 4 . 所示。2）將 \src\resources\\archive\util 下的文件 tlds 拷貝到 heritrix1\src\\archive\util 中。很明顯，heritrix 內(nèi)嵌的 extractor 并不能夠很好的完成所需要的工作，是因為在解析頁面是，常常有特定的需要，比如，可能只想抓取某種格式的鏈接，或是抓取某個特定格式的文本片斷，heritrix 所提供的大眾化 extractor 只能將所有信息全部抓取下來，所以，系統(tǒng)需要寫一個類，繼承 extractor 的基類。 設(shè)計事項由于 Heritrix 采用了模塊化的設(shè)計，所以用戶在運(yùn)行時選擇要用的模塊。后臺的數(shù)據(jù)表包括了用戶信息表，信息錄入信息表包括（科技創(chuàng)新）內(nèi)容信息表、 （影視歌舞）內(nèi)容信息表、 （藝術(shù)愛好）內(nèi)容信息表、 （手機(jī)網(wǎng)絡(luò)）內(nèi)容信息表、 （體育競技）內(nèi)容信息表、 （自我展示）內(nèi)容信息表、發(fā)布賽事信息表、信息篩選內(nèi)容信息表。前臺中，游客可享受信息瀏覽查看與注冊等功能，而會員在此基礎(chǔ)上可以享受更多功能，因此會員都存在一對多的關(guān)系，包括通過操作實現(xiàn)上傳、下載、查看、更新等多個屬性。后臺系統(tǒng)狀態(tài)圖如圖 所示：第 3 章 系統(tǒng)分析與設(shè)計12登入[ 點(diǎn)擊登入 ] [ 登入失敗 ] 后臺界面[ 登入成功 ] 用戶信息添加[ 信息添加失敗 ] [ 點(diǎn)擊添加 ] 用戶信息刪除[ 添加 ] 用戶添加成功[ 刪除用戶失敗 ] 用戶刪除成功[ 點(diǎn)擊刪除 ] [ 刪除 ] 帖子添加[ 點(diǎn)擊添加 ] [ 添加帖子失敗 ] 帖子添加成功[ 添加 ] 刪除帖子[ 點(diǎn)擊刪除 ] [ 帖子刪除失敗 ] 帖子刪除成功[ 刪除 ] 更新信息[ 點(diǎn)擊更新 ] [ 更新失敗 ] 信息更新成功[ 點(diǎn)擊更新 ] [ 返回更新 ] 爬蟲管理[ 點(diǎn)擊爬取 ] [ 爬取失敗 ] [ 點(diǎn)擊爬取 ] 爬取成功[ 返回 ] 后臺系統(tǒng)狀態(tài)圖 功能介紹前臺操作模塊主要是會員操作功能（1）登入模塊，通過注冊登入，享有個人空間，會員資料的修改、添加；（2）個人中心模塊，賽事資料上傳，賽事信息的上傳（需后臺審核） ，論壇帖子的發(fā)布、修改與刪除，郵箱訂閱，獲取最新賽事信息；（3）信息模塊，主要是瀏覽賽事信息，包括賽事信息、資料信息、賽事達(dá)人信息以及論壇帖子的瀏覽與回復(fù)；后臺操作模塊包括管理員能夠?qū)崿F(xiàn)的功能（對數(shù)據(jù)庫的操作）（1）用戶管理：實現(xiàn)對用戶的增加，刪除，修改，查看。系統(tǒng)數(shù)據(jù)流圖如圖 和 所示：第 3 章 系統(tǒng)分析與設(shè)計10登錄系統(tǒng)會員管理員個人信息修改論壇發(fā)帖郵箱訂閱用戶信息表修改用戶增加用戶刪除用戶修改賽事信息刪除賽事信息發(fā)布賽事信息用戶信息表賽事信息表論壇信息表游客賽事信息檢索賽事分享論壇管理賽事資料上傳及下載論壇信息表準(zhǔn)備資料管理表圖 系統(tǒng)數(shù)據(jù)流圖用戶管理 登錄信息 身份驗證 成功失敗權(quán)限識別意外否是結(jié)束操作 ， 推出系統(tǒng)根據(jù)權(quán)限不同進(jìn)入不同子系統(tǒng) ， 并執(zhí)行相應(yīng)操作圖 系統(tǒng)數(shù)據(jù)流圖第 3 章 系統(tǒng)分析與設(shè)計11 系統(tǒng)狀態(tài)圖前臺游客需要注冊成為用戶，可以享受更多功能。它的基本思想是用圖形符號以黑盒子形式描繪系統(tǒng)里面的每個部件(程序、文件、數(shù)據(jù)庫、表格、人工過程等） ，表達(dá)信息在各個部件之間流動的情況。2)ByteArrayOutputStream、FileOutputStream 是兩種基本的介質(zhì)流，它們分別向 Byte 數(shù)組、和本地文件中寫入數(shù)據(jù)。 java io 流技術(shù)流 [8] [9]是一組有順序的，有起點(diǎn)和終點(diǎn)的字節(jié)集合，是對數(shù)據(jù)傳輸?shù)目偡Q或抽象。Java 舍棄了 C 語言中容易引起錯誤的指針（以引用取代）、運(yùn)算符重載（operator overloading）、多重繼承（以接口取代）等特性，增加了 垃圾回收器功能用于回收不再被引用的對象所占據(jù)的內(nèi)存空間，使得程序員不用再為內(nèi)存管理而擔(dān)第 2 章 相關(guān)技術(shù)簡介7憂。第 2 章 相關(guān)技術(shù)簡介6 Htmlparser 技術(shù)HTMLParser 主要是常用來解析 html 頁面并獲取自己需要的數(shù)據(jù)，經(jīng)常是和網(wǎng)絡(luò)爬蟲（如：Heritrix）一同使用，它的基本功能是：信息提取1）文本信息抽取，例如對 HTML 進(jìn)行有效信息搜索；2）鏈接提取，用于自動給頁面的鏈接文本加上鏈接的標(biāo)簽；3）資源提取，例如對一些圖片、聲音的資源的處理；4）鏈接檢查，用于檢查 HTML 中的鏈接是否有效；5）頁面內(nèi)容的監(jiān)控。在 中配置了大量與 Heritrix 運(yùn)行息息相關(guān)的參數(shù)，這些參數(shù)主要是配置了 Heritrix 運(yùn)行時的一些默認(rèn)工具類、 WebUI 啟動參數(shù)，以及 Heritrix 的日志格式等。Heritrix 是由互聯(lián)網(wǎng)檔案館和北歐國家圖書館聯(lián)合規(guī)范化編寫于 2022 年初。因為 htmlparser 需要與數(shù)據(jù)庫 sql 連接進(jìn)行頁面的解析存儲，因此本系統(tǒng)在這里運(yùn)用了 JAVA 中的資源文件(properties)，通過加載 文件解析并保存到指定的文件中。首先，Heritrix [1]是一個純由 Java 開發(fā)的、開源的 Web 網(wǎng)絡(luò)爬蟲，用戶可以使用它從網(wǎng)絡(luò)上抓取想要的資源。第 4 章為個人模塊設(shè)計與實現(xiàn)，分 4 節(jié)，包括比賽信息系統(tǒng)的爬蟲模塊、頁面解析文本信息入庫模塊，以及信息篩選上傳、信息查看刪除的模塊的設(shè)計。各種種類繁多的比賽沒有課堂教學(xué)太多的束縛和校園生活的限制，學(xué)生們的積極性被充分調(diào)動起來，興趣高漲，思維也空前的活躍起來，往往會產(chǎn)生一些創(chuàng)造性火花，在實踐中勇于開拓、敢于創(chuàng)新。其中前臺中，本組開發(fā)主要集中于網(wǎng)站的開發(fā)，方便用戶瀏覽下載信息；賽事論壇開發(fā)，用戶可以分享賽事經(jīng)驗，共享賽事資源；用戶中心開發(fā)，方便用戶獲得更多的賽事資源的權(quán)利；而后臺，主要著重爬蟲系統(tǒng)開發(fā)，半自動傻瓜式的獲取全網(wǎng)更多賽事資源，整合成為本系統(tǒng)的資訊，賽事資源豐富，更受用戶青睞；用戶管理、論壇管理等等，系統(tǒng)地、有條理地管理前臺信息，讓系統(tǒng)健全運(yùn)行。希望通過比賽信息集成系統(tǒng)這個平臺讓大學(xué)生真正得到鍛煉的機(jī)會，讓他們認(rèn)識到自己的真正價值，發(fā)現(xiàn)自己除了游戲之余還有更大的發(fā)展空間。 data stream。系統(tǒng)主要功能模塊包括前臺網(wǎng)站的實現(xiàn)，網(wǎng)絡(luò)爬蟲的制作，論壇的開發(fā)，后臺開發(fā)與管理以及會員空間的開發(fā)與實現(xiàn)。為了提供最全面的大學(xué)生賽事信息，比賽信息平臺通過設(shè)計賽事的爬蟲系統(tǒng)，整合所有的賽事信息，并經(jīng)過篩選后呈現(xiàn)在用戶面前。 page analysis technology。鑒于此想法，本次項目選擇開發(fā)比賽信息集成系統(tǒng)。系統(tǒng)中主要的開發(fā)包括賽事信息網(wǎng)站前臺以及賽事網(wǎng)站后臺兩第 1 章 引言2大部分。（3）有利于發(fā)展大學(xué)生的組織協(xié)調(diào)能力和創(chuàng)新意識。第 3 章為比賽信息集成系統(tǒng)的分析與設(shè)計，分 4 節(jié)，包括系統(tǒng)模塊設(shè)計，功能需求，數(shù)據(jù)需求，數(shù)據(jù)庫設(shè)計。其中后臺主要運(yùn)用了 heritrix 爬蟲技術(shù)。因此，從 heritrix 爬取 頁面通過 htmlparser 文件，為賽事信息的篩選以及錄入做好充足的準(zhǔn)備。它主要的用戶界面可以通過一個web 流量器來訪問并通過它來控制檢索器的行為，另外，它還有一個命令行工具來供用戶選擇調(diào)用。Heritrix 的使用首先應(yīng)該知道它的配置與使用，在這里，本系統(tǒng)用的是heritrix 的 的版本，安裝 heritrix 時值得注意的 文件。再將下載的包添加到項目的引用列表中，從而實現(xiàn)下個步驟的開發(fā)。Java 是一個純粹的面向?qū)ο蟮某绦蛟O(shè)計語言，它繼承了 C++語言面向?qū)ο蠹夹g(shù)的核心。Java 是本系統(tǒng)前臺及后臺以及爬蟲、頁面解析技術(shù)的基礎(chǔ)語言，通過運(yùn)用 java 編寫的程序?qū)崿F(xiàn)前臺的功能如：登入，注冊，論壇帖子發(fā)布，會員資源管理等等，而后臺主要實現(xiàn)后臺會員管理，論壇管理，信息錄入等等功能。 OutputStream1)OutputStream 是所有的輸出字節(jié)流的父類，它是一個抽象類。第 3 章 系統(tǒng)分析與設(shè)計9第 3 章 系統(tǒng)分析與設(shè)計 功能需求 系統(tǒng)數(shù)據(jù)流圖系統(tǒng)流程圖（System Flowchart）是描繪系統(tǒng)物理模型的傳統(tǒng)工具。值得一說的是，賽事過期后管理員可根據(jù)賽事信息上傳的時間分批進(jìn)行賽事信息的刪除，或是根據(jù)賽事上傳的時間，越是晚更新越排前臺網(wǎng)站的前端。如在操作發(fā)帖功能時，當(dāng)操作符合后臺要求時，操作成功，后臺正常發(fā)布帖子；反之，失敗，后臺重新返回發(fā)布帖子頁面。實線則是表示屬性與實體之間的聯(lián)系。都是通過后臺進(jìn)行管理的。它的最出色之處在于良好的可擴(kuò)展性，方便用戶實現(xiàn)自己的抓取邏輯，開發(fā)出適合的賽事信息系統(tǒng)。此外，還需要向 heritrix 中添加自己的 extractor。這三個文件夾包含了運(yùn)行 Heritrix 所必須的核心源代碼。或直接用 的 webapps 文件夾替換 \src 中的 webapps 文件夾，缺點(diǎn)是這個是打包好的 .war 文件，無法修改源代碼。修改用戶信息圖如圖 所示所示：圖 修改用戶信息圖5. 配置運(yùn)行文件第 4 章 模塊實現(xiàn)20“Run Configurations”，確保 Main 選項卡中的 Project 和 Main class 選項內(nèi)容正確。1）Select Crawl Scope：Crawl Scope 用于配置當(dāng)前應(yīng)該在什么范圍內(nèi)抓取網(wǎng)頁鏈接。這里我們使用默認(rèn)值。7）Select Post Processors：這個參數(shù)主要用于抓取解析過程結(jié)束后的掃尾工作，比如將 Extractor 解析出來的 URL 有條件地加入到待處理的隊列中去。private transient CrawlOrder order。