【正文】 MyHeritrix\webapps\admin\docs（需新建 docs 文件夾）下。第 4 章 模塊實現(xiàn)194）將 \src 中的 webapps 文件夾拷貝至 Heritrix 工程根目錄。3）將 \src 下 conf 文件夾拷貝至 Heritrix 工程根目錄。2）將 \src\resources\\archive\util 下的文件 tlds 拷貝到 heritrix1\src\\archive\util 中。3. 拷貝源代碼1）將 \src\java 下的 、 和 st 三個文件夾拷貝進 heritrix1 工程的 src 下。3）在彈出的“JAR Selection”對話框中選擇 MyHeritrix 工程 lib 文件夾下所有的 jar 文件，然后點擊 OK 按鈕。第 4 章 模塊實現(xiàn)18Heritrix 所用到的工具類庫都在 \lib 目錄下，需要將其導入 heritrix1 工程。很明顯，heritrix 內嵌的 extractor 并不能夠很好的完成所需要的工作，是因為在解析頁面是，常常有特定的需要，比如，可能只想抓取某種格式的鏈接，或是抓取某個特定格式的文本片斷，heritrix 所提供的大眾化 extractor 只能將所有信息全部抓取下來，所以，系統(tǒng)需要寫一個類，繼承 extractor 的基類。如果有，則立刻轉走進行處理；如果沒有，則對所有的鏈接進行遍歷，然后調用 Frontier 中的 schedule() 方法加入隊列進行理。同時，需要擴展 FrontierScheduler 來抓取特定網(wǎng)站 FrontierScheduler 是 包中的一個類，它的作用是將在 Extractor 中所分析得出的鏈接加入到 Frontier 中，以待繼續(xù)處理。核心類可以配置，但不能被覆蓋，插件模塊可以由第三方模塊取代。 設計事項由于 Heritrix 采用了模塊化的設計，所以用戶在運行時選擇要用的模塊。后臺數(shù)據(jù)表如表 所示：表 （科技創(chuàng)新）內容信息表中文字段名 英文字段名 字段類型 長度 主鍵 字段值約束信息編號 number int p Not null信息標題 tag varchar 50 Not null信息內容 recontent varchar max Not null第 3 章 系統(tǒng)分析與設計15表 （影視歌舞）內容信息表中文字段名 英文字段名 字段類型 長度 主鍵 字段值約束信息編號 number int p Not null信息標題 tag varchar 50 Not null信息內容 recontent varchar max Not null表 （藝術愛好）內容信息表中文字段名 英文字段名 字段類型 長度 主鍵 字段值約束信息編號 number int p Not null信息標題 tag varchar 50 Not null信息內容 recontent varchar max Not null表 （手機網(wǎng)絡）內容信息表中文字段名 英文字段名 字段類型 長度 主鍵 字段值約束信息編號 number int p Not null信息標題 tag varchar 50 Not null信息內容 recontent varchar max Not null表 （體育競技）內容信息表中文字段名 英文字段名 字段類型 長度 主鍵 字段值約束信息編號 number int p Not null信息標題 tag varchar 50 Not null信息內容 recontent varchar max Not null表 （自我展示）內容信息表中文字段名 英文字段名 字段類型 長度 主鍵 字段值約束信息編號 number int p Not null信息標題 tag varchar 50 Not null信息內容 recontent varchar max Not null表 發(fā)布賽事信息表中文字段名 英文字段名 字段類型 長度 主鍵 字段值約束編號 number int p Not null用戶名 username varchar 50 Not null標題 tag varchar 50 Not null內容 con varchar max Not null第 3 章 系統(tǒng)分析與設計16表 信息篩選內容信息表中文字段名 英文字段名 字段類型 長度 主鍵 字段值約束編號 id int p Not null標題 title varchar 500 null內容 content varchar max null網(wǎng)頁地址 url varchar 500 null圖片地址 imageurl varchar 50 null更新時間 update varchar 500 null類別 category varchar 50 null第 4 章 模塊實現(xiàn)17第 4 章 模塊實現(xiàn) 爬蟲模塊爬蟲模塊是本系統(tǒng)的核心技術，它的實現(xiàn)使得系統(tǒng)從一個只能人工復制粘貼別的網(wǎng)站的系統(tǒng)，變成可以按時遍歷，全面、方便、針對性更強搜索信息的半自動化系統(tǒng)。最后是發(fā)布賽事的信息表，方便前臺用戶的發(fā)布，因此多了發(fā)布的用戶名。信息編號是設置為自動增長主鍵，用的是 int 型，而信息內容則是設置為 Max 最大的長度實現(xiàn)內容的完整輸入。后臺的數(shù)據(jù)表包括了用戶信息表，信息錄入信息表包括（科技創(chuàng)新）內容信息表、 （影視歌舞）內容信息表、 （藝術愛好）內容信息表、 （手機網(wǎng)絡）內容信息表、 （體育競技）內容信息表、 （自我展示）內容信息表、發(fā)布賽事信息表、信息篩選內容信息表。本節(jié)則說明相關屬性的數(shù)據(jù)聯(lián)系所對應的表格。而相對的，一個屬性只能聯(lián)系一個實體實現(xiàn)其數(shù)據(jù)的聯(lián)系。同時可以直接管理用戶信息，包括添加用戶，刪除用戶等等。前臺中，游客可享受信息瀏覽查看與注冊等功能，而會員在此基礎上可以享受更多功能，因此會員都存在一對多的關系，包括通過操作實現(xiàn)上傳、下載、查看、更新等多個屬性。系統(tǒng)功能第 3 章 系統(tǒng)分析與設計13模塊圖如圖 所示：比 賽 信 息 集 成 系 統(tǒng) 前 臺 操 作 后 臺 操 作 登 錄 模 塊 用戶名 修改密碼 密碼 個 人 中 心 信息發(fā)布信息刪除 信息修改 資料上傳 賽事信息 賽事達人 資料下載 信 息 模 塊 賽事論壇 用 戶 管 理 信 息 管 理 查看用戶信息 添加用戶信息 刪除用戶信息 修改用戶信息 達人信息管理 資料信息管理賽事信息管理 論壇信息管理 添加信息 查看信息 修改信息 刪除信息 圖 功能模塊圖 概念結構 概念結構設計在本系統(tǒng)中，實體主要包括管理員、會員和游客三大種類，聯(lián)系框包括操作、管理等，實現(xiàn)對屬性的操作，屬性包括賬號、密碼、上傳下載等。（5）上傳下載的管理：對用戶所進行的上傳下載進行管理，不合法的內容進行屏蔽或刪除。（3）論壇管理：實現(xiàn)對帖子的刪除，管理。后臺系統(tǒng)狀態(tài)圖如圖 所示：第 3 章 系統(tǒng)分析與設計12登入[ 點擊登入 ] [ 登入失敗 ] 后臺界面[ 登入成功 ] 用戶信息添加[ 信息添加失敗 ] [ 點擊添加 ] 用戶信息刪除[ 添加 ] 用戶添加成功[ 刪除用戶失敗 ] 用戶刪除成功[ 點擊刪除 ] [ 刪除 ] 帖子添加[ 點擊添加 ] [ 添加帖子失敗 ] 帖子添加成功[ 添加 ] 刪除帖子[ 點擊刪除 ] [ 帖子刪除失敗 ] 帖子刪除成功[ 刪除 ] 更新信息[ 點擊更新 ] [ 更新失敗 ] 信息更新成功[ 點擊更新 ] [ 返回更新 ] 爬蟲管理[ 點擊爬取 ] [ 爬取失敗 ] [ 點擊爬取 ] 爬取成功[ 返回 ] 后臺系統(tǒng)狀態(tài)圖 功能介紹前臺操作模塊主要是會員操作功能（1）登入模塊，通過注冊登入，享有個人空間，會員資料的修改、添加；（2）個人中心模塊，賽事資料上傳，賽事信息的上傳（需后臺審核） ，論壇帖子的發(fā)布、修改與刪除，郵箱訂閱，獲取最新賽事信息；（3）信息模塊，主要是瀏覽賽事信息，包括賽事信息、資料信息、賽事達人信息以及論壇帖子的瀏覽與回復；后臺操作模塊包括管理員能夠實現(xiàn)的功能（對數(shù)據(jù)庫的操作）（1）用戶管理：實現(xiàn)對用戶的增加，刪除，修改，查看。管理員執(zhí)行任何一種管理功能時，會出現(xiàn)兩種不同狀態(tài)：操作成功和操作失敗。而用戶賽事的上傳也需要后臺管理員的審核，通過審核，則可展現(xiàn)在網(wǎng)站前臺頁面上。注冊成功則可進行前臺登入，成功后可以享受郵箱訂閱、查看信息、發(fā)帖、論壇刪帖、賽事查詢、資料下載等功能。系統(tǒng)數(shù)據(jù)流圖如圖 和 所示：第 3 章 系統(tǒng)分析與設計10登錄系統(tǒng)會員管理員個人信息修改論壇發(fā)帖郵箱訂閱用戶信息表修改用戶增加用戶刪除用戶修改賽事信息刪除賽事信息發(fā)布賽事信息用戶信息表賽事信息表論壇信息表游客賽事信息檢索賽事分享論壇管理賽事資料上傳及下載論壇信息表準備資料管理表圖 系統(tǒng)數(shù)據(jù)流圖用戶管理 登錄信息 身份驗證 成功失敗權限識別意外否是結束操作 ， 推出系統(tǒng)根據(jù)權限不同進入不同子系統(tǒng) ， 并執(zhí)行相應操作圖 系統(tǒng)數(shù)據(jù)流圖第 3 章 系統(tǒng)分析與設計11 系統(tǒng)狀態(tài)圖前臺游客需要注冊成為用戶，可以享受更多功能。在后臺管理員的賽事信息管理中，還包括了爬蟲管理的功能，其中需要管理員開啟服務器中的 heritrix 程序，根據(jù)需要爬取的網(wǎng)站，可以一次性或是多次輸入需要爬取的網(wǎng)站，再通過后臺的 htmlparser 遍歷解析出文本文件和.jpg、.gif 等圖片，再通過傳入數(shù)據(jù)庫 java io 流呈現(xiàn)在后臺的信息管理當中 ，最后管理員可將已經(jīng)傳入數(shù)據(jù)庫的賽事信息進行分類的方式上傳至前臺網(wǎng)站。對于管理員，主要是后臺的論壇管理，包括論壇帖子的添刪改查，用戶管理及用戶信息的添刪改查，以及賽事信息的管理，同樣是賽事的添刪改查。對于一般的未注冊的游客，只能享受賽事信息的瀏覽，賽事信息的檢索以及賽事網(wǎng)站的分享功能。它的基本思想是用圖形符號以黑盒子形式描繪系統(tǒng)里面的每個部件(程序、文件、數(shù)據(jù)庫、表格、人工過程等） ，表達信息在各個部件之間流動的情況。在使用 jdbc[11]技術是，系統(tǒng)需要引用 包，通過建立 java 平臺與 sql 數(shù)據(jù)庫的數(shù)據(jù)連接，從而使得賽事信息的查看等的展現(xiàn)。File類保存文件或目錄的各種元數(shù)據(jù)信息，包括文件名、文件長度、最后修改時間、是否可讀、獲取當前文件的路徑名，判斷指定文件是否存在、獲得當前目錄中的文件列表，創(chuàng)建、刪除文件和目錄等方法。第 2 章 相關技術簡介83)ObjectOutputStream 和所有 FilterOutputStream 的子類都是裝飾流。2)ByteArrayOutputStream、FileOutputStream 是兩種基本的介質流，它們分別向 Byte 數(shù)組、和本地文件中寫入數(shù)據(jù)。3)ObjectInputStream 和所有 FilterInputStream 的子類都是裝飾流（裝飾器模式的主角） 。2)ByteArrayInputStrea、StringBufferInputStream、FileInputStream 是三種基本的介質流，它們分別從 Byte 數(shù)組、 StringBuffer、和本地文件中讀取數(shù)據(jù)。本系統(tǒng)主要是輸入流 InputStreamIO 及輸出流 outputStreamIO 實現(xiàn)對txt 文本信息的讀取及輸入到數(shù)據(jù)庫中。 java io 流技術流 [8] [9]是一組有順序的，有起點和終點的字節(jié)集合，是對數(shù)據(jù)傳輸?shù)目偡Q或抽象。編輯 Java 源代碼可以使用任何無格式的純文本編輯器，在 Windows 操作系統(tǒng)上可以使用微軟記事本（Notepad ） 、EditPlus 等程序，在 Linux 平臺上可使用 vi 工具等。從而實現(xiàn)了“一次編譯、到處執(zhí)行”的跨平臺特性。Java 不同于一般的編譯執(zhí)行計算機語言和解釋執(zhí)行計算機語言。Java 舍棄了 C 語言中容易引起錯誤的指針（以引用取代）、運算符重載（operator overloading）、多重繼承（以接口取代）等特性，增加了 垃圾回收器功能用于回收不再被引用的對象所占據(jù)的內存空間，使得程序員不用再為內存管理而擔第 2 章 相關技術簡介7憂。java[7]編程語言 的風格十分接近 C 語言、 C++語言。Java 技術具有卓越的通用性、高效性、平臺移植性和安全性，廣泛應用于個人 PC、數(shù)據(jù)中心、游戲控制臺、科學超級計算機、移動電話和互聯(lián)網(wǎng)，同時擁有全球最大的開發(fā)者專業(yè)社群。本系統(tǒng)主要是通過 htmlparse