【正文】 nt ToePool toePool。以上組件應(yīng)該是一次正常的抓取過(guò)程中所必須的幾項(xiàng)。 state = RUNNING。 }…第 4 章 模塊實(shí)現(xiàn)25其中，抓取工作核心就是要啟動(dòng) Frontier（通過(guò)調(diào)用其 start（）方法），一邊能開(kāi)始想線程池中的工作線程提供 url，供其抓取。在這種情況下，就無(wú)法控制 heritrix 到底該抓哪些內(nèi)容，不該抓哪些內(nèi)容，今兒造成鏡像信息太復(fù)雜。 } public RaceExtractor(String name,String description) {super(name,description)。 } }} }……|TrapSuppressExtractor|SohuNewsExtractor|RaceExtractor…|TrapSuppressExtractor|SohuNewsExtractor|RaceExtractor第 4 章 模塊實(shí)現(xiàn)272)擴(kuò)展 FrontierSchedule 來(lái)抓取特定的內(nèi)容。import 。 try { if(()||()!=1 //||( ||(.zip) ||(.rar) ||(.xls) ||()!=1 ||(dns)!=1) { if(()!=1) getController().getFrontier().schedule(caUri)。經(jīng)過(guò)遍歷解析文本文件，把文件中. txt 文件全部存入數(shù)據(jù)庫(kù)中，運(yùn)用 java io 技術(shù)即可。public static String fileName。…第 4 章 模塊實(shí)現(xiàn)32HTMLParser的實(shí)例。if (file_in == null || !()) {// file_in = new File(d:\\data\\)。While ((c = (bytes))!= 1)(bytes, 0, c)。使用正則來(lái)匹配并獲得網(wǎng)頁(yè)中的字符串getProp（） ，public abstract void extract()。traverse(extractor, new File(F:\\work\\htmlParse\\data\\\\))。String name = ()。()。 比賽信息集成系統(tǒng)主要將賽事分成了影視歌舞、藝術(shù)愛(ài)好、科技創(chuàng)新、手private void traverse(File file) throws Exception {file=new File(F:\\work\\htmlParse\\race\\news\\)。for (int i = 0。java io技術(shù)實(shí)現(xiàn)文本文件的輸入數(shù)據(jù)庫(kù)功能。amp。}public static void traverse(Extractor extractor, File path)throws Exception {if (path == null) {return。 其功能主要是解釋網(wǎng)頁(yè)文件將產(chǎn)品信息保存到。()。return false。表示對(duì)圖片路徑進(jìn)行哈希的算法，這里采用MD 5算法。private String inuputFilePath。解析出：圖 解析出 html 文件圖通過(guò)htmlparser遍歷解析出html 文件：，即可獲取data文件中的txt文件于race 文件中，分別是文本文件news和image中，txt文件：圖 txt 文件圖第 4 章 模塊實(shí)現(xiàn)30圖 圖片文件圖接下來(lái)程序要將其存入數(shù)據(jù)庫(kù)中race中，新建的表 Race中，數(shù)據(jù)表格圖如：圖 數(shù)據(jù)表格圖 io 流技術(shù)將解析的txt文本文件遍歷寫(xiě)入數(shù)據(jù)庫(kù)中，：圖 運(yùn)行文件圖至此，解析并存入數(shù)據(jù)庫(kù)的步驟就完成了。 } } catch(Exception e) { ()。 Pattern p=(public FrontierSchedulerForRace(String name) { super(name)。在原FrontierSchedule中， 首先檢查當(dāng)前鏈接處理后的結(jié)果集中是否有一些屬于高優(yōu)先級(jí)的鏈接，如果是，則轉(zhuǎn)走進(jìn)行處理，如果沒(méi)有，則對(duì)所有結(jié)果進(jìn)行遍歷，然后調(diào)用Frontier中的schedule 方法加入隊(duì)列進(jìn)行處理。再通過(guò)此段代碼取得當(dāng)前鏈接的返回字符串，以方便對(duì)內(nèi)容進(jìn)行分析與使用，如果沒(méi)有抓取到就先返回，抓取到就先將鏈接返回的內(nèi)容轉(zhuǎn)成字符串，再將字符串內(nèi)容進(jìn)行正則匹配，取出鏈接的信息，若是找到一個(gè)鏈接，判斷他是否是 cdrace 的信息格式，是，加入隊(duì)列，以備后續(xù)處理。public void start() { if (((Boolean)getUncheckedAttribute(null, ATTR_PAUSE_AT_START)) .booleanValue()) { // trigger crawlwide pause ()。在 start（）方法中，首先判斷配置中的屬性是否允許當(dāng)前線程的開(kāi)始。 sendCrawlStateChangeEvent(, jobState)。再調(diào)用 CrawlController 的構(gòu)造函數(shù)，構(gòu)造出一個(gè) CrawlController 實(shí)例。 // This gets passed into the initialize method.private transient SettingsHandler settingsHandler。 .framework中，在他的Field中。這里擇簡(jiǎn)單直觀的鏡像方式：。比如判斷 信息等，它是整個(gè)處理器鏈的入口。登入爬蟲(chóng)系統(tǒng)，寫(xiě)入需要爬取的網(wǎng)站地址相關(guān)信息，爬蟲(chóng)界面圖如圖 所示：圖 爬蟲(chóng)界面圖第 4 章 模塊實(shí)現(xiàn)21首先點(diǎn)擊“Modules”按鈕，在相應(yīng)的頁(yè)面為此次任務(wù)設(shè)置各個(gè)處理模塊，一共有七項(xiàng)可配置的內(nèi)容，這里我們只設(shè)置 Crawl Scope 和 Writers 兩項(xiàng)，參數(shù)設(shè)置圖如圖 所示：圖 參數(shù)設(shè)置圖下面簡(jiǎn)要介紹各項(xiàng)的意義。然后設(shè)置版本參數(shù)為 。需要注意的是它不包含幫助文檔，如果想使用幫助 ,可以將 heritrix\docs 中的 articles 文件夾拷貝到 MyHeritrix\webapps\admin\docs（需新建 docs 文件夾）下。3. 拷貝源代碼1）將 \src\java 下的 、 和 st 三個(gè)文件夾拷貝進(jìn) heritrix1 工程的 src 下。如果有，則立刻轉(zhuǎn)走進(jìn)行處理；如果沒(méi)有，則對(duì)所有的鏈接進(jìn)行遍歷，然后調(diào)用 Frontier 中的 schedule() 方法加入隊(duì)列進(jìn)行理。后臺(tái)數(shù)據(jù)表如表 所示：表 （科技創(chuàng)新）內(nèi)容信息表中文字段名 英文字段名 字段類型 長(zhǎng)度 主鍵 字段值約束信息編號(hào) number int p Not null信息標(biāo)題 tag varchar 50 Not null信息內(nèi)容 recontent varchar max Not null第 3 章 系統(tǒng)分析與設(shè)計(jì)15表 （影視歌舞）內(nèi)容信息表中文字段名 英文字段名 字段類型 長(zhǎng)度 主鍵 字段值約束信息編號(hào) number int p Not null信息標(biāo)題 tag varchar 50 Not null信息內(nèi)容 recontent varchar max Not null表 （藝術(shù)愛(ài)好）內(nèi)容信息表中文字段名 英文字段名 字段類型 長(zhǎng)度 主鍵 字段值約束信息編號(hào) number int p Not null信息標(biāo)題 tag varchar 50 Not null信息內(nèi)容 recontent varchar max Not null表 （手機(jī)網(wǎng)絡(luò)）內(nèi)容信息表中文字段名 英文字段名 字段類型 長(zhǎng)度 主鍵 字段值約束信息編號(hào) number int p Not null信息標(biāo)題 tag varchar 50 Not null信息內(nèi)容 recontent varchar max Not null表 （體育競(jìng)技）內(nèi)容信息表中文字段名 英文字段名 字段類型 長(zhǎng)度 主鍵 字段值約束信息編號(hào) number int p Not null信息標(biāo)題 tag varchar 50 Not null信息內(nèi)容 recontent varchar max Not null表 （自我展示）內(nèi)容信息表中文字段名 英文字段名 字段類型 長(zhǎng)度 主鍵 字段值約束信息編號(hào) number int p Not null信息標(biāo)題 tag varchar 50 Not null信息內(nèi)容 recontent varchar max Not null表 發(fā)布賽事信息表中文字段名 英文字段名 字段類型 長(zhǎng)度 主鍵 字段值約束編號(hào) number int p Not null用戶名 username varchar 50 Not null標(biāo)題 tag varchar 50 Not null內(nèi)容 con varchar max Not null第 3 章 系統(tǒng)分析與設(shè)計(jì)16表 信息篩選內(nèi)容信息表中文字段名 英文字段名 字段類型 長(zhǎng)度 主鍵 字段值約束編號(hào) id int p Not null標(biāo)題 title varchar 500 null內(nèi)容 content varchar max null網(wǎng)頁(yè)地址 url varchar 500 null圖片地址 imageurl varchar 50 null更新時(shí)間 update varchar 500 null類別 category varchar 50 null第 4 章 模塊實(shí)現(xiàn)17第 4 章 模塊實(shí)現(xiàn) 爬蟲(chóng)模塊爬蟲(chóng)模塊是本系統(tǒng)的核心技術(shù)，它的實(shí)現(xiàn)使得系統(tǒng)從一個(gè)只能人工復(fù)制粘貼別的網(wǎng)站的系統(tǒng)，變成可以按時(shí)遍歷，全面、方便、針對(duì)性更強(qiáng)搜索信息的半自動(dòng)化系統(tǒng)。本節(jié)則說(shuō)明相關(guān)屬性的數(shù)據(jù)聯(lián)系所對(duì)應(yīng)的表格。系統(tǒng)功能第 3 章 系統(tǒng)分析與設(shè)計(jì)13模塊圖如圖 所示：比 賽 信 息 集 成 系 統(tǒng) 前 臺(tái) 操 作 后 臺(tái) 操 作 登 錄 模 塊 用戶名 修改密碼 密碼 個(gè) 人 中 心 信息發(fā)布信息刪除 信息修改 資料上傳 賽事信息 賽事達(dá)人 資料下載 信 息 模 塊 賽事論壇 用 戶 管 理 信 息 管 理 查看用戶信息 添加用戶信息 刪除用戶信息 修改用戶信息 達(dá)人信息管理 資料信息管理賽事信息管理 論壇信息管理 添加信息 查看信息 修改信息 刪除信息 圖 功能模塊圖 概念結(jié)構(gòu) 概念結(jié)構(gòu)設(shè)計(jì)在本系統(tǒng)中，實(shí)體主要包括管理員、會(huì)員和游客三大種類，聯(lián)系框包括操作、管理等，實(shí)現(xiàn)對(duì)屬性的操作，屬性包括賬號(hào)、密碼、上傳下載等。管理員執(zhí)行任何一種管理功能時(shí)，會(huì)出現(xiàn)兩種不同狀態(tài)：操作成功和操作失敗。在后臺(tái)管理員的賽事信息管理中，還包括了爬蟲(chóng)管理的功能，其中需要管理員開(kāi)啟服務(wù)器中的 heritrix 程序，根據(jù)需要爬取的網(wǎng)站，可以一次性或是多次輸入需要爬取的網(wǎng)站，再通過(guò)后臺(tái)的 htmlparser 遍歷解析出文本文件和.jpg、.gif 等圖片，再通過(guò)傳入數(shù)據(jù)庫(kù) java io 流呈現(xiàn)在后臺(tái)的信息管理當(dāng)中 ，最后管理員可將已經(jīng)傳入數(shù)據(jù)庫(kù)的賽事信息進(jìn)行分類的方式上傳至前臺(tái)網(wǎng)站。在使用 jdbc[11]技術(shù)是，系統(tǒng)需要引用 包，通過(guò)建立 java 平臺(tái)與 sql 數(shù)據(jù)庫(kù)的數(shù)據(jù)連接，從而使得賽事信息的查看等的展現(xiàn)。3)ObjectInputStream 和所有 FilterInputStream 的子類都是裝飾流（裝飾器模式的主角） 。編輯 Java 源代碼可以使用任何無(wú)格式的純文本編輯器，在 Windows 操作系統(tǒng)上可以使用微軟記事本（Notepad ） 、EditPlus 等程序，在 Linux 平臺(tái)上可使用 vi 工具等。java[7]編程語(yǔ)言 的風(fēng)格十分接近 C 語(yǔ)言、 C++語(yǔ)言。htmlparser 可以在文件中獲得。5 標(biāo)記已經(jīng)處理過(guò)的 URI。它使用 Java 編寫(xiě)并且完全開(kāi)源。就其他解析工具來(lái)說(shuō)，htmlparser 就是目前最好的 html 解析和分析的工具。