【正文】 NodeList nodeList = null。(textInPage)。(visitor)。myParser = (content, GBK)。(textInPage)。(visitor)。myParser = (content, GBK)。(textInPage)。(visitor)。//設(shè)置編碼(GBK)。 (====================================)。(====================================)。(====================================)。(====================================)。(====================================)。(====================================)。String content = readTextFile(aFile, GBK)。import 。import 。import 。import 。import 。import 。import 。import 。 } }}package 。 getDatabyUrl()。 } } } } } } } catch (ParserException e) { ()。 k 。 // 對不起，沒有你要查詢的記錄！ if ( == 1) { (對不起，沒有你要查詢的記錄)。amp。 j++) { TableRow tr = (TableRow) rows[j]。 for (int j = 0。 i++) { if ((i) instanceof TableTag) { TableTag tag = (TableTag) (i)。 // 可以從數(shù)據(jù)table的size:1921開始到結(jié)束 for (int i = 15。 (new NodeFilter[] { tableFilter })。 NodeFilter tableFilter = new NodeClassFilter()。 NodeList nodeList = null。 } } } } } } catch (ParserException e) { ()。 k++) { // (td + // td[k].toPlainTextString())。 for (int k = 0。 ((id))。 j 。 TableRow[] rows = ()。 i = ()。 try { nodeList = (lastFilter)。 OrFilter lastFilter = new OrFilter()。td231/tdtd232/tdtd233/td/tr/table + /body, GBK)。td221/tdtd222/tdtd223/td/tr + tr id=39。td211/tdtd212/tdtd213/td/tr + tr id=39。td131/tdtd132/tdtd133/td/tr/table + table id=’table2′ + tr id=39。td121/tdtd122/tdtd123/td/tr + tr id=39。td111/tdtd112/tdtd113/td/tr + tr id=39。 myParser = Parser .createParser( body + table id=’table1′ + tr id=39。 } /** * 測試對table * tr * td/td * /tr * /table的解析 */ public void testTable() { Parser myParser。public class ParserTestCase extends TestCase { private static final Logger logger = ()。import 。import 。import 。import 。import 。import 。 //testHtml()。 }*/ TableTag tabletag = (TableTag) (1)。 //標(biāo)簽名稱 (())。i()。 NodeList nodeList = (filter)。 String filterStr = table。 } /** * 讀取文件的方式/utl 來分析內(nèi)容. filePath也可以是一個Url. * param resource :文件/Url * throws Exception */ public static void test5(String resource) throws Exception { Parser myParser = new Parser(resource)。 //字符串的代表性節(jié)點:節(jié)點的描述 (new String(().getBytes(GBK)) + \r\n)。 i ()。 (())。 // 遍歷所有的節(jié)點 NodeList nodes = (new NodeFilter() { public boolean accept(Node node) { return true。 } } /** * 抽取純文本信息 * param inputHtml：html文本 * return * throws Exception */ public static String extractText(String inputHtml) throws Exception { StringBuffer text = new StringBuffer()。 } String testText = extractText(sTotalString)。 l_reader = new ( new (l_urlStream))。 ()。 l_url = new ( :8083/injs100/)。 sTotalString = 。 String sTotalString。import 。import 。import 。 } }}4利用htmlparser提取網(wǎng)頁純文本的例子package parser。 } catch (MalformedURLException e) { ()。 ()。 str = new String(sb)。 while ((s = ()) != null) { (s + CRLF)。 StringBuffer sb = new StringBuffer()。 String s, str。 /** * param args */ public static void main(String[] args) { try { URL ur = new URL()。import 。import 。import 。import 。 }}package parser。 //new GetContent().getContentUsingParser(url)。 // 保留原來的內(nèi)容格式. 包含js代碼 } catch (ParserException e) { ()。 BodyTag bt = (BodyTag) (0)。 try { Parser p = new Parser(url)。 } catch (ParserException e) { ()。 try { text = (link)。 } public void getContentUsingStringExtractor(String url, boolean link) { // StringExtractor se = new StringExtractor(url)。// If true regular space sb .setURL()。 // 是否顯示web頁面的連接(Links) // 為了取得頁面的整潔美觀一般設(shè)置上面兩項為true , 如果要保持頁面的原有格式, 如代碼頁面的空格縮進可以設(shè)置為false (true)。/** * 使用HtmlParser抓去網(wǎng)頁內(nèi)容: 要抓去頁面的內(nèi)容最方便的方法就是使用StringBean. 里面有幾個控制頁面內(nèi)容的幾個參數(shù). * 在后面的代碼中會有說明. Htmlparser包中還有一個示例StringExtractor 里面有個直接得到內(nèi)容的方法, * 其中也是使用了StringBean . 另外直接解析Parser的每個標(biāo)簽也可以的. * * author chenguoyong * */public class GetContent { public void getContentUsingStringBean(String url) { StringBean sb = new StringBean()。import 。import 。import 。 } }}結(jié)果如下：連接1連接22. 使用HtmlParser抓去網(wǎng)頁內(nèi)容package parser。 // 鏈接地址 ((href) + \n)。 i ()。 // 得到所有過濾后，想要的節(jié)點 nodelist = (filter, true)。 } // 所有的節(jié)點 NodeList nodelist = ()。 try { // HtmlPage extends visitor,Apply the given visitor to the current // page. (page)。 // 創(chuàng)建Parser對象根據(jù)傳給字符串和指定的編碼 Parser parser = (htmlcode, GBK)。39。39。import 。import 。import 。import 。import 。i)1. html代碼里面所有的鏈接地址和鏈接名稱package parser。Filter the list with the given filter.recursive)NodeListextractAllNodesThatMatch(NodeFilterNodeListextractAllNodesThatMatch(NodeFilterCreate a one element node list.node)Constructor SummaryNodeList()voidvisitTag(Tagtitle)parser)voidvisitAllNodesWith(NodeVisitorhtml, StringConstruct a parser using the provided URLConnection.Method:staticconnection)由于htmlparser 結(jié)構(gòu)設(shè)計精良，所以擴展htmlparser 非常便利。毫不夸張地說，htmlparser就是目前最好的html解析和分析的工具。 使用htmlparser是一個純的java寫的html解析的庫，htmlparser不依賴于其它的java庫，htmlparser主要用于改造或提取html。 } }}基本能實現(xiàn)網(wǎng)頁抓取，不過要手動輸入URL，此外沒有重構(gòu)。 } catch (MalformedURLException e) { ()。 ()。 str = new String(sb)。 while ((s = ()) != null) { (s + CRLF)。 StringBuffer sb = new StringBuffer()。 String s, str。 /** * par