【正文】 同時(shí)需要初始化。 i 。return (false)。for(String dir:ds){dirs = (\\).concat(dir)。outputPath表示當(dāng)前正在被處理的文件。這樣，此次heritrix在執(zhí)行任務(wù)時(shí)，遇到這樣的文件，就會(huì)跳過(guò)抓取，從而達(dá)到對(duì)URL鏈接進(jìn)行篩選的目的。private void addLinkFromString(CrawlURI curi,String url,CharSequence context,char hopType) { try { (url, (), hopType)。1)向 heritrix 中添加自己的 Extractor。2．最終啟動(dòng)抓取工作的事 requestCrawlStart（）方法，代碼如下：public void requestCrawlStart() { runProcessorInitialTasks()。private transient ProcessorChainList processorChains。這里我們使用默認(rèn)值。在 MyHeritrix 工程上右鍵單擊選擇 “Run As”。該文件是一個(gè)頂級(jí)域名列表，在 Heritrix 啟動(dòng)時(shí)會(huì)被讀取。它由核心類（core classes）和插件模塊（pluggable modules）構(gòu)成。后臺(tái)中，管理員通過(guò)操作屬性發(fā)布賽事信息、更新賽事信息以及刪除賽事信息。游客點(diǎn)擊注冊(cè)，正確填寫信息后核對(duì)成功注冊(cè)完成，反之注冊(cè)失敗。PipedOutputStream 是向與其它線程共用的管道中寫入數(shù)據(jù)。 Java 版本中，Java 又引入了泛型編程（Generic Programming）、類型安全的枚舉、不定長(zhǎng)參數(shù)和自動(dòng)裝/拆箱等語(yǔ)言特性。當(dāng)?shù)谝淮芜\(yùn)行 Heritrix 時(shí)，只需要修改該文件，為其加入 WebUI 的登錄名和密碼。再次，本系統(tǒng)還引入了 文件的讀寫工作。第 2 章 相關(guān)技術(shù)簡(jiǎn)介4第 2 章 相關(guān)技術(shù)簡(jiǎn)介 系統(tǒng)開(kāi)發(fā)平臺(tái)及開(kāi)發(fā)工具硬件環(huán)境: 個(gè)人 PC、電網(wǎng)、電信網(wǎng)絡(luò)等。通過(guò)前后臺(tái)的整合，統(tǒng)一，協(xié)調(diào)地完成此次系統(tǒng)開(kāi)發(fā)出分門別類的、整整有序的、及時(shí)全面的賽事網(wǎng)站平臺(tái)系統(tǒng)開(kāi)發(fā)能為在校的大學(xué)生提供最為全面、優(yōu)質(zhì)的賽事信息，為提高中國(guó)大學(xué)生的身心素質(zhì)做出貢獻(xiàn)。 JS effects.目錄III目錄第 1 章 引言 ...............................................1 系統(tǒng)開(kāi)發(fā)的背景 ..............................................1 系統(tǒng)開(kāi)發(fā)的目標(biāo)、意義 ........................................1 本文的組織 ..................................................2第 2 章 相關(guān)技術(shù)簡(jiǎn)介 .......................................4 系統(tǒng)開(kāi)發(fā)平臺(tái)及開(kāi)發(fā)工具 ......................................4 工具和編程語(yǔ)言 ..............................................4 HERITRIX 技術(shù) .....................................................5 HTMLPARSER 技術(shù) ...................................................6 JAVA 語(yǔ)言 ........................................................6 JAVA IO 流技術(shù) ....................................................7 JDBC 技術(shù) .......................................................8第 3 章 系統(tǒng)分析與設(shè)計(jì) .....................................9 功能需求 ....................................................9 系統(tǒng)數(shù)據(jù)流圖 ....................................................9 系統(tǒng)狀態(tài)圖 .....................................................11 功能介紹 ...................................................12 概念結(jié)構(gòu) ...................................................13 概念結(jié)構(gòu)設(shè)計(jì) ...................................................13 邏輯結(jié)構(gòu)設(shè)計(jì) ...................................................14第 4 章 模塊實(shí)現(xiàn) ..........................................17 爬蟲(chóng)模塊 ...................................................17 設(shè)計(jì)事項(xiàng) .......................................................17 操作界面 .......................................................17 核心代碼 .......................................................23 頁(yè)面解析文本信息入庫(kù)模塊（HTMLPARSER） .......................29目錄IV 設(shè)計(jì)思想 .......................................................29 操作界面 .......................................................29 核心代碼 .......................................................31 信息篩選上傳、信息查看刪除的模塊 ...........................34 設(shè)計(jì)思想 .......................................................34 操作界面 .......................................................35 核心代碼 .......................................................37總結(jié) .....................................................40參考文獻(xiàn) .................................................42第 1 章 引言1第 1 章 引言 系統(tǒng)開(kāi)發(fā)的背景信息在現(xiàn)代經(jīng)濟(jì)生活中的作用越來(lái)越大，對(duì)于個(gè)人而言，缺乏信息將導(dǎo)致很多機(jī)會(huì)的喪失。因此，該系統(tǒng)致力于系統(tǒng)地收集和整理各個(gè)領(lǐng)域的各類賽事，為參賽者提供最優(yōu)質(zhì)的信息服務(wù),使得來(lái)自全國(guó)各地的參賽選手可以相互學(xué)習(xí)可以分享心得,并且通過(guò)各種有意義的比賽不斷提升自己。缺少一個(gè)可以每天登陸系統(tǒng)，了解到當(dāng)下最新的比賽資訊，能夠分門別類的，整整有序的，及時(shí)全面的網(wǎng)站平臺(tái)。比賽的方式使大學(xué)生接近社會(huì)，獲得大量的感性認(rèn)識(shí)和許多有價(jià)值的新知識(shí)，同時(shí)使他們能夠把自己所學(xué)的理論知識(shí)與接觸的實(shí)際現(xiàn)象進(jìn)行對(duì)照、比較，把抽象的理論知識(shí)逐漸轉(zhuǎn)化為認(rèn)識(shí)和解決實(shí)際問(wèn)題的能力。 工具和編程語(yǔ)言在比賽信息集成系統(tǒng)中，運(yùn)用了 java+sql+heritrix+htmlparser 等技術(shù)。它使用 Java 編寫并且完全開(kāi)源。htmlparser 可以在文件中獲得。編輯 Java 源代碼可以使用任何無(wú)格式的純文本編輯器，在 Windows 操作系統(tǒng)上可以使用微軟記事本（Notepad ） 、EditPlus 等程序，在 Linux 平臺(tái)上可使用 vi 工具等。在使用 jdbc[11]技術(shù)是，系統(tǒng)需要引用 包，通過(guò)建立 java 平臺(tái)與 sql 數(shù)據(jù)庫(kù)的數(shù)據(jù)連接，從而使得賽事信息的查看等的展現(xiàn)。管理員執(zhí)行任何一種管理功能時(shí)，會(huì)出現(xiàn)兩種不同狀態(tài)：操作成功和操作失敗。本節(jié)則說(shuō)明相關(guān)屬性的數(shù)據(jù)聯(lián)系所對(duì)應(yīng)的表格。如果有，則立刻轉(zhuǎn)走進(jìn)行處理；如果沒(méi)有，則對(duì)所有的鏈接進(jìn)行遍歷，然后調(diào)用 Frontier 中的 schedule() 方法加入隊(duì)列進(jìn)行理。需要注意的是它不包含幫助文檔，如果想使用幫助 ,可以將 heritrix\docs 中的 articles 文件夾拷貝到 MyHeritrix\webapps\admin\docs（需新建 docs 文件夾）下。登入爬蟲(chóng)系統(tǒng)，寫入需要爬取的網(wǎng)站地址相關(guān)信息，爬蟲(chóng)界面圖如圖 所示：圖 爬蟲(chóng)界面圖第 4 章 模塊實(shí)現(xiàn)21首先點(diǎn)擊“Modules”按鈕，在相應(yīng)的頁(yè)面為此次任務(wù)設(shè)置各個(gè)處理模塊，一共有七項(xiàng)可配置的內(nèi)容，這里我們只設(shè)置 Crawl Scope 和 Writers 兩項(xiàng)，參數(shù)設(shè)置圖如圖 所示：圖 參數(shù)設(shè)置圖下面簡(jiǎn)要介紹各項(xiàng)的意義。這里擇簡(jiǎn)單直觀的鏡像方式：。 // This gets passed into the initialize method.private transient SettingsHandler settingsHandler。 sendCrawlStateChangeEvent(, jobState)。public void start() { if (((Boolean)getUncheckedAttribute(null, ATTR_PAUSE_AT_START)) .booleanValue()) { // trigger crawlwide pause ()。在原FrontierSchedule中， 首先檢查當(dāng)前鏈接處理后的結(jié)果集中是否有一些屬于高優(yōu)先級(jí)的鏈接，如果是，則轉(zhuǎn)走進(jìn)行處理，如果沒(méi)有，則對(duì)所有結(jié)果進(jìn)行遍歷，然后調(diào)用Frontier中的schedule 方法加入隊(duì)列進(jìn)行處理。 } } catch(Exception e) { ()。private String inuputFilePath。return false。 其功能主要是解釋網(wǎng)頁(yè)文件將產(chǎn)品信息保存到。amp。for (int i = 0。()。traverse(extractor, new File(F:\\work\\htmlParse\\data\\\\))。While ((c = (bytes))!= 1)(bytes, 0, c)?！?4 章 模塊實(shí)現(xiàn)32HTMLParser的實(shí)例。經(jīng)過(guò)遍歷解析文本文件，把文件中. txt 文件全部存入數(shù)據(jù)庫(kù)中，運(yùn)用 java io 技術(shù)即可。import 。 } public RaceExtractor(String name,String description) {super(name,description)。 }…第 4 章 模塊實(shí)現(xiàn)25其中，抓取工作核心就是要啟動(dòng) Frontier（通過(guò)調(diào)用其 start（）方法），一邊能開(kāi)始想線程池中的工作線程提供 url，供其抓取。以上組件應(yīng)該是一次正常的抓取過(guò)程中所必須的幾項(xiàng)。最后點(diǎn)擊 Submit job，創(chuàng)建項(xiàng)目進(jìn)行爬取即可，以下是爬取下來(lái)的網(wǎng)頁(yè)信息。這里我們使用默認(rèn)值。當(dāng)?shù)谝淮芜\(yùn)行 Heritrix 時(shí)，只需要修改該文件，為其加入 Web UI 的用戶名和密碼。3）在彈出的“JAR Selection”對(duì)話框中選擇 MyHeritrix 工程 lib 文件夾下所有的 jar 文件，然后點(diǎn)擊 OK 按鈕。最后是發(fā)布賽事的信息表，方便前臺(tái)用戶的發(fā)布，因此多了發(fā)布的用戶名。（5）上傳下載的管理：對(duì)用戶所進(jìn)行的上傳下載進(jìn)行管理，不合法的內(nèi)容進(jìn)行屏蔽或刪除。對(duì)于管理員，主要是后臺(tái)的論壇管理，包括論壇帖子的添刪改查，用戶管理及用戶信息的添刪改查，以及賽事信息的管理，同樣是賽事的添刪改查。2)ByteArrayInputStrea、StringBufferInputStream、FileInputStream 是三種基本的介質(zhì)流，它們分別從 Byte 數(shù)組、 StringBuffer、和本地文件中讀取數(shù)據(jù)。Java 技術(shù)具有卓越的通用性、高效性、平臺(tái)移植性和安全性，廣泛應(yīng)用于個(gè)人 PC、數(shù)據(jù)中心、游戲控制臺(tái)、科學(xué)超級(jí)計(jì)算機(jī)、移動(dòng)電話和互聯(lián)網(wǎng)，同時(shí)擁有全球最大的開(kāi)發(fā)者專業(yè)社群。2 從選擇的URI 的網(wǎng)址下載遠(yuǎn)程文件 3 分析，歸檔下載到的內(nèi)容 4 從分析到的內(nèi)容里面選擇感興趣的 URI。再次，Ht