【正文】 ce 信息的格式第二個(gè)正則式，則是用于匹配所有的a href=“xxx”將鏈接對(duì)象先轉(zhuǎn)成字符串。再通過(guò)此段代碼取得當(dāng)前鏈接的返回字符串，以方便對(duì)內(nèi)容進(jìn)行分析與使用，如果沒(méi)有抓取到就先返回，抓取到就先將鏈接返回的內(nèi)容轉(zhuǎn)成字符串，再將字符串內(nèi)容進(jìn)行正則匹配，取出鏈接的信息，若是找到一個(gè)鏈接，判斷他是否是 cdrace 的信息格式，是，加入隊(duì)列，以備后續(xù)處理。 判斷是否是 cdrace 的信息格式，倘若符合調(diào)用 addLinkFromString()方法，來(lái)將這個(gè)鏈接加入到某個(gè)緩存中，以備后續(xù)處理。打開(kāi) 文件，在所有 webui 中設(shè)置處理鏈接，頁(yè)面上的下拉列表中數(shù)據(jù)都保存在其中，加入我們開(kāi)發(fā)的 RaceExtractor。private void addLinkFromString(CrawlURI curi,String url,CharSequence context,char hopType) { try { (url, (), hopType)。 } catch(URIException e) { if(getController()!=null) { getController().logUriError(e,(),url)。 } else { (failed creatAndAddLinkRelativeToBase+curi+,+url+,+context+,+hopType+:+e)。 } }} }……|TrapSuppressExtractor|SohuNewsExtractor|RaceExtractor…|TrapSuppressExtractor|SohuNewsExtractor|RaceExtractor第 4 章 模塊實(shí)現(xiàn)272)擴(kuò)展 FrontierSchedule 來(lái)抓取特定的內(nèi)容。創(chuàng)建自己的FrontierSchedulerForRace來(lái)繼承FrontierScheduler。在原FrontierSchedule中， 首先檢查當(dāng)前鏈接處理后的結(jié)果集中是否有一些屬于高優(yōu)先級(jí)的鏈接，如果是，則轉(zhuǎn)走進(jìn)行處理，如果沒(méi)有，則對(duì)所有結(jié)果進(jìn)行遍歷，然后調(diào)用Frontier中的schedule 方法加入隊(duì)列進(jìn)行處理。package 。import 。import 。import 。import 。import 。public class FrontierSchedulerForRace extends FrontierScheduler { //private static final Logger LOGGER=(())。 Pattern p=(public FrontierSchedulerForRace(String name) { super(name)。 }…第 4 章 模塊實(shí)現(xiàn)28這里，、.rar、.xls、robots .txt、dns的鏈接（即不下載這類的文件）?？梢酝ㄟ^(guò)幾成FrontierSchedule，并重寫內(nèi)部的schedule方法達(dá)到我們的需要。這樣，此次heritrix在執(zhí)行任務(wù)時(shí)，遇到這樣的文件，就會(huì)跳過(guò)抓取，從而達(dá)到對(duì)URL鏈接進(jìn)行篩選的目的。protected void schedule(CandidateURI caUri) { String url=()。 Matcher m=(url)。 try { if(()||()!=1 //||( ||(.zip) ||(.rar) ||(.xls) ||()!=1 ||(dns)!=1) { if(()!=1) getController().getFrontier().schedule(caUri)。 } else { return。 } } catch(Exception e) { ()。 } } }第 4 章 模塊實(shí)現(xiàn)29 頁(yè)面解析文本信息入庫(kù)模塊（htmlparser） 設(shè)計(jì)思想htmlparser 是一個(gè)純的 java 寫的 html（標(biāo)準(zhǔn)通用標(biāo)記語(yǔ)言下一個(gè)應(yīng)用）解析的庫(kù)，它不依賴于其它的 java 庫(kù)文件，主要用于改造或提取 html。它能超高速解析 html，而且不會(huì)出錯(cuò)?，F(xiàn)在 htmlparser 最新版本為 。毫不夸張地說(shuō)，htmlparser 就是目前最好的 html 解析和分析的工具。無(wú)論你是想抓取網(wǎng)頁(yè)數(shù)據(jù)還是改造 html 的內(nèi)容，都可以使用htmlparser。經(jīng)過(guò)遍歷解析文本文件，把文件中. txt 文件全部存入數(shù)據(jù)庫(kù)中，運(yùn)用 java io 技術(shù)即可。 操作界面以下是網(wǎng)絡(luò)爬蟲(chóng)（heritrix）爬取下來(lái)的比賽信息的html頁(yè)面文件。解析出：圖 解析出 html 文件圖通過(guò)htmlparser遍歷解析出html 文件：，即可獲取data文件中的txt文件于race 文件中，分別是文本文件news和image中，txt文件：圖 txt 文件圖第 4 章 模塊實(shí)現(xiàn)30圖 圖片文件圖接下來(lái)程序要將其存入數(shù)據(jù)庫(kù)中race中，新建的表 Race中，數(shù)據(jù)表格圖如：圖 數(shù)據(jù)表格圖 io 流技術(shù)將解析的txt文本文件遍歷寫入數(shù)據(jù)庫(kù)中，：圖 運(yùn)行文件圖至此，解析并存入數(shù)據(jù)庫(kù)的步驟就完成了。示：第 4 章 模塊實(shí)現(xiàn)31圖 數(shù)據(jù)庫(kù)信息更新圖 核心代碼1，需要運(yùn)行寫入main函數(shù)的 Extractor后，控制臺(tái)輸出信息，獲得所定義的目標(biāo)目錄下并沒(méi)有相應(yīng)的txt文檔與圖片生成。Newline表示所有結(jié)果的輸出路徑。outputPath表示當(dāng)前正在被處理的文件。inputFilePath表示當(dāng)前所有被抓取的網(wǎng)頁(yè)的鏡象根目錄在Heritrix用mirror目錄表示。mirrorDir用于存放被處理過(guò)后的產(chǎn)口的圖片的目錄，通過(guò)構(gòu)…public abstract class Extractor {protected static final String NEWLINE = \r\n。public static String fileName。private String outputPath = 。private String inuputFilePath。private String mirrorDir = 。private String imageDir = D:\\data\\dst\\pic\\。private Parser parser。protected static final String HASH_ALGORITHM = md5。public static final String SEPARATOR = ======================?！?4 章 模塊實(shí)現(xiàn)32HTMLParser的實(shí)例。 HASH_ALGORITHM = md5。表示對(duì)圖片路徑進(jìn)行哈希的算法，這里采用MD 5算法。protected boolean copyImage(String image_url, String new_image_file) {//uploads/allimg/130503/String dirs = (0, ()1)。String[] ds = (/)。for(String dir:ds){dirs = (\\).concat(dir)。}dirs = ([\\\\/]{1,}, /)。try {// instance the File as file_in and file_outFile file_in = new File(dirs)。if (file_in == null || !()) {// file_in = new File(d:\\data\\)。(系統(tǒng)找不到指定的文件)。return false。}File file_out = new File(new File(imageDir), new_image_file)。FileInputStream in1 = new FileInputStream(file_in)。FileOutputStream out1 = new FileOutputStream(file_out)。byte [] bytes = new byte[1024]。int c。While ((c = (bytes))!= 1)(bytes, 0, c)。// close()。()。return (true)。 // if success then return true} catch (Exception e) {()。return (false)。 // if fail then return false}}…第 4 章 模塊實(shí)現(xiàn)33SEPARATOR表示裝載需要的網(wǎng)頁(yè)文件。獲取輸出的路徑getOutputPath(),通過(guò)設(shè)置輸出的路徑，通常在初始化Extractor時(shí)就應(yīng)該做。使用正則來(lái)匹配并獲得網(wǎng)頁(yè)中的字符串getProp（） ，public abstract void extract()。抽象方法，用于供子類實(shí)現(xiàn)。 其功能主要是解釋網(wǎng)頁(yè)文件將產(chǎn)品信息保存到。再獲取正在處理的文件的路徑getInputFilePath()從mirror目錄下拷貝文件至所設(shè)定的圖片目錄，該方法可能需要被改變。public static void main(String[] args) throws Exception {Extractor extractor = new ExtractRace()。(F:\\work\\htmlParse\\race\\news\\)。(F:\\work\\htmlParse\\race\\image\\)。(F:\\work\\htmlParse\\data\\\\)。traverse(extractor, new File(F:\\work\\htmlParse\\data\\\\))。(count)。}public static void traverse(Extractor extractor, File path)throws Exception {if (path == null) {return。}if (()) {String[] files = ()。for (int i = 0。 i 。 i++) {traverse(extractor, new File(path, files[i]))。}} else {String pathname = ()。String name = ()。if ( ().endsWith() ||(!().endsWith() amp。amp。 ().endsWith(.html)amp。amp。 ().indexOf(_) == 1 )) {count++。fileName = (\\\\|//|:, race)。(())。()。}}第 4 章 模塊實(shí)現(xiàn)34以上是Main函數(shù)，指定需要解析的目錄文件，指定需要生成文本文件和圖片文件的地址。java io技術(shù)實(shí)現(xiàn)文本文件的輸入數(shù)據(jù)庫(kù)功能。定義圖片地址imageURI。類型category ，更新時(shí)間updatetime ，內(nèi)容content，鏈接line，標(biāo)題fname等等。同時(shí)需要初始化。讀取信息，并寫入數(shù)據(jù)庫(kù)中，至此遍歷下的文件即可輸入到數(shù)據(jù)庫(kù)中。 信息篩選上傳、信息查看刪除的模塊 設(shè)計(jì)思想經(jīng)過(guò)以上步驟，最后一步——信息的錄入和篩選，查看和刪除，同時(shí)管理員還可以自行的添加本網(wǎng)站獨(dú)家賽事信息。 比賽信息集成系統(tǒng)主要將賽事分成了影視歌舞、藝術(shù)愛(ài)好、科技創(chuàng)新、手private void traverse(File file) throws Exception {file=new File(F:\\work\\htmlParse\\race\\news\\)。String [] files = ()。for (int i = 0。 i 。 i++) {File productfile = new File(file, files[i])。String fn