【正文】 getController().getFrontier().schedule(caUri)。它能超高速解析 html，而且不會出錯。經(jīng)過遍歷解析文本文件，把文件中. txt 文件全部存入數(shù)據(jù)庫中，運(yùn)用 java io 技術(shù)即可。Newline表示所有結(jié)果的輸出路徑。public static String fileName。private String imageDir = D:\\data\\dst\\pic\\?！?4 章 模塊實(shí)現(xiàn)32HTMLParser的實(shí)例。String[] ds = (/)。if (file_in == null || !()) {// file_in = new File(d:\\data\\)。FileInputStream in1 = new FileInputStream(file_in)。While ((c = (bytes))!= 1)(bytes, 0, c)。 // if success then return true} catch (Exception e) {()。使用正則來匹配并獲得網(wǎng)頁中的字符串getProp（） ，public abstract void extract()。public static void main(String[] args) throws Exception {Extractor extractor = new ExtractRace()。traverse(extractor, new File(F:\\work\\htmlParse\\data\\\\))。for (int i = 0。String name = ()。amp。()。類型category ，更新時(shí)間updatetime ，內(nèi)容content，鏈接line，標(biāo)題fname等等。 比賽信息集成系統(tǒng)主要將賽事分成了影視歌舞、藝術(shù)愛好、科技創(chuàng)新、手private void traverse(File file) throws Exception {file=new File(F:\\work\\htmlParse\\race\\news\\)。 i++) {File productfile = new File(file, files[i])。for (int i = 0。讀取信息，并寫入數(shù)據(jù)庫中，至此遍歷下的文件即可輸入到數(shù)據(jù)庫中。java io技術(shù)實(shí)現(xiàn)文本文件的輸入數(shù)據(jù)庫功能。fileName = (\\\\|//|:, race)。amp。 i++) {traverse(extractor, new File(path, files[i]))。}public static void traverse(Extractor extractor, File path)throws Exception {if (path == null) {return。(F:\\work\\htmlParse\\race\\image\\)。 其功能主要是解釋網(wǎng)頁文件將產(chǎn)品信息保存到。 // if fail then return false}}…第 4 章 模塊實(shí)現(xiàn)33SEPARATOR表示裝載需要的網(wǎng)頁文件。()。byte [] bytes = new byte[1024]。return false。}dirs = ([\\\\/]{1,}, /)。表示對圖片路徑進(jìn)行哈希的算法，這里采用MD 5算法。protected static final String HASH_ALGORITHM = md5。private String inuputFilePath。inputFilePath表示當(dāng)前所有被抓取的網(wǎng)頁的鏡象根目錄在Heritrix用mirror目錄表示。解析出：圖 解析出 html 文件圖通過htmlparser遍歷解析出html 文件：，即可獲取data文件中的txt文件于race 文件中，分別是文本文件news和image中，txt文件：圖 txt 文件圖第 4 章 模塊實(shí)現(xiàn)30圖 圖片文件圖接下來程序要將其存入數(shù)據(jù)庫中race中，新建的表 Race中，數(shù)據(jù)表格圖如：圖 數(shù)據(jù)表格圖 io 流技術(shù)將解析的txt文本文件遍歷寫入數(shù)據(jù)庫中，：圖 運(yùn)行文件圖至此，解析并存入數(shù)據(jù)庫的步驟就完成了。毫不夸張地說，htmlparser 就是目前最好的 html 解析和分析的工具。 } } catch(Exception e) { ()。protected void schedule(CandidateURI caUri) { String url=()。 Pattern p=(public FrontierSchedulerForRace(String name) { super(name)。import 。在原FrontierSchedule中， 首先檢查當(dāng)前鏈接處理后的結(jié)果集中是否有一些屬于高優(yōu)先級的鏈接，如果是，則轉(zhuǎn)走進(jìn)行處理，如果沒有，則對所有結(jié)果進(jìn)行遍歷，然后調(diào)用Frontier中的schedule 方法加入隊(duì)列進(jìn)行處理。 } catch(URIException e) { if(getController()!=null) { getController().logUriError(e,(),url)。再通過此段代碼取得當(dāng)前鏈接的返回字符串，以方便對內(nèi)容進(jìn)行分析與使用，如果沒有抓取到就先返回，抓取到就先將鏈接返回的內(nèi)容轉(zhuǎn)成字符串，再將字符串內(nèi)容進(jìn)行正則匹配，取出鏈接的信息，若是找到一個鏈接，判斷他是否是 cdrace 的信息格式，是，加入隊(duì)列，以備后續(xù)處理。 private static Logger logger=(())。public void start() { if (((Boolean)getUncheckedAttribute(null, ATTR_PAUSE_AT_START)) .booleanValue()) { // trigger crawlwide pause ()。很明顯，heritrix 內(nèi)嵌的 Extractor 并不能很好的完成所需要的工作，因?yàn)槲覀兂３Ｓ刑囟ǖ男枰?，比如可以抓取某一特定格式的文本片段。?start（）方法中，首先判斷配置中的屬性是否允許當(dāng)前線程的開始。 ()。 sendCrawlStateChangeEvent(, jobState)。 sendCrawlStateChangeEvent(STARTED, )。再調(diào)用 CrawlController 的構(gòu)造函數(shù)，構(gòu)造出一個 CrawlController 實(shí)例。5）ToePool：線程池，管理所有該任務(wù)所創(chuàng)建的子線程。 // This gets passed into the initialize method.private transient SettingsHandler settingsHandler。private transient Frontier frontier。 .framework中，在他的Field中。添加自己的 RaceExtractor 如圖 和添加FrontierScheduleForRace 如圖 所示：圖 添加 RaceExtractor 圖圖 添加 FrontierScheduleForRace 圖第 4 章 模塊實(shí)現(xiàn)23進(jìn)入 Settings 進(jìn)行設(shè)置。這里擇簡單直觀的鏡像方式：。第 4 章 模塊實(shí)現(xiàn)225）Select Extractors：主要是用于解析當(dāng)前服務(wù)器返回的內(nèi)容，取出頁面中的 URL，等待下次繼續(xù)抓取。比如判斷 信息等，它是整個處理器鏈的入口。2）Select URI Frontier：Frontier 是一個 URL 的處理器，它決定下一個被處理的 URL 是什么。登入爬蟲系統(tǒng)，寫入需要爬取的網(wǎng)站地址相關(guān)信息，爬蟲界面圖如圖 所示：圖 爬蟲界面圖第 4 章 模塊實(shí)現(xiàn)21首先點(diǎn)擊“Modules”按鈕，在相應(yīng)的頁面為此次任務(wù)設(shè)置各個處理模塊，一共有七項(xiàng)可配置的內(nèi)容，這里我們只設(shè)置 Crawl Scope 和 Writers 兩項(xiàng)，參數(shù)設(shè)置圖如圖 所示：圖 參數(shù)設(shè)置圖下面簡要介紹各項(xiàng)的意義。然后在 Classpath 頁選擇 UserEntries 選項(xiàng)，此時(shí)右邊的 Advanced 按鈕處于激活狀態(tài)，點(diǎn)擊它，在彈出的對話框中選擇“Add Folders”，然后選擇 MyHeritrix 工程下的 conf 文件夾。然后設(shè)置版本參數(shù)為 。4. 修改配置文件conf 文件夾是用來提供配置文件的，里面包含了一個很重要的文件：。需要注意的是它不包含幫助文檔，如果想使用幫助 ,可以將 heritrix\docs 中的 articles 文件夾拷貝到 MyHeritrix\webapps\admin\docs（需新建 docs 文件夾）下。3）將 \src 下 conf 文件夾拷貝至 Heritrix 工程根目錄。3. 拷貝源代碼1）將 \src\java 下的 、 和 st 三個文件夾拷貝進(jìn) heritrix1 工程的 src 下。第 4 章 模塊實(shí)現(xiàn)18Heritrix 所用到的工具類庫都在 \lib 目錄下，需要將其導(dǎo)入 heritrix1 工程。如果有，則立刻轉(zhuǎn)走進(jìn)行處理；如果沒有，則對所有的鏈接進(jìn)行遍歷，然后調(diào)用 Frontier 中的 schedule() 方法加入隊(duì)列進(jìn)行理。核心類可以配置，但不能被覆蓋，插件模塊可以由第三方模塊取代。后臺數(shù)據(jù)表如表 所示：表 （科技創(chuàng)新）內(nèi)容信息表中文字段名 英文字段名 字段類型 長度 主鍵 字段值約束信息編號 number int p Not null信息標(biāo)題 tag varchar 50 Not null信息內(nèi)容 recontent varchar max Not null第 3 章 系統(tǒng)分析與設(shè)計(jì)15表 （影視歌舞）內(nèi)容信息表中文字段名 英文字段名 字段類型 長度 主鍵 字段值約束信息編號 number int p Not null信息標(biāo)題 tag varchar 50 Not null信息內(nèi)容 recontent varchar max Not null表 （藝術(shù)愛好）內(nèi)容信息表中文字段名 英文字段名 字段類型 長度 主鍵 字段值約束信息編號 number int p Not null信息標(biāo)題 tag varchar 50 Not null信息內(nèi)容 recontent varchar max Not null表 （手機(jī)網(wǎng)絡(luò)）內(nèi)容信息表中文字段名 英文字段名 字段類型 長度 主鍵 字段值約束信息編號 number int p Not null信息標(biāo)題 tag varchar 50 Not null信息內(nèi)容 recontent varchar max Not null表 （體育競技）內(nèi)容信息表中文字段名 英文字段名 字段類型 長度 主鍵 字段值約束信息編號 number int p Not null信息標(biāo)題 tag varchar 50 Not null信息內(nèi)容 recontent varchar max Not null表 （自我展示）內(nèi)容信息表中文字段名 英文字段名 字段類型 長度 主鍵 字段值約束信息編號 number int p Not null信息標(biāo)題 tag varchar 50 Not null信息內(nèi)容 recontent varchar max Not null表 發(fā)布賽事信息表中文字段名 英文字段名 字段類型 長度 主鍵 字段值約束編號 number int p Not null用戶名 username varchar 50 Not null標(biāo)題 tag varchar 50 Not null內(nèi)容 con varchar max Not null第 3 章 系統(tǒng)分析與設(shè)計(jì)16表 信息篩選內(nèi)容信息表中文字段名 英文字段名 字段類型 長度 主鍵 字段值約束編號 id int p Not null標(biāo)題 title varchar 500 null內(nèi)容 content varchar max null網(wǎng)頁地址 url varchar 500 null圖片地址 imageurl varchar 50 null更新時(shí)間 update varchar 500 null類別 category varchar 50 null第 4 章 模塊實(shí)現(xiàn)17第 4 章 模塊實(shí)現(xiàn) 爬蟲模塊爬蟲模塊是本系統(tǒng)的核心技術(shù)，它的實(shí)現(xiàn)使得系統(tǒng)從一個只能人工復(fù)制粘貼別的網(wǎng)站的系統(tǒng)，變成可以按時(shí)遍歷，全面、方便、針對性更強(qiáng)搜索信息的半自動化系統(tǒng)。信息編號是設(shè)置為自動增長主鍵，用的是 int 型，而信息內(nèi)容則是設(shè)置為 Max 最大的長度實(shí)現(xiàn)內(nèi)容的完整輸入。本節(jié)則說明相關(guān)