【正文】 tains tab servicelistp 該頁面時服務(wù)提供商頁面 Sytln url 進(jìn)入 執(zhí)行操作 2 condition2 contentcuri else if urlcontains providers 該頁面是服務(wù)詳細(xì)信息頁面 Sytln url 進(jìn)入 執(zhí)行操作 3 condition3 contentcuri 42 網(wǎng)頁內(nèi)容提取 經(jīng)過過濾鏈后就進(jìn)入 提取鏈在提取鏈中需要根據(jù)網(wǎng)頁類型對網(wǎng)頁進(jìn)行信息提取 網(wǎng)頁信息的代碼結(jié)構(gòu)可能很復(fù)雜那么就需要編寫一個很復(fù)雜的正則表達(dá)式才能從代碼中提取信息例如在頁面中存在一個標(biāo)簽在開發(fā)者編寫代碼時會用一些空格來調(diào)整內(nèi)容的長度根據(jù)內(nèi)容的不同空格的長度也不同如果用正則表達(dá)式來做需要考慮很多情況所以在提取的過程中主要利用 HtmlParser 網(wǎng)頁解析工具對 HTML代碼進(jìn)行解析該工具能根據(jù) HTML代碼中的標(biāo)簽屬性找到標(biāo)簽的全部內(nèi)容 下面分別介紹四種頁面的內(nèi)容提取實(shí)現(xiàn)方式 服務(wù)提供商集合頁面內(nèi)容提取 分析服務(wù)提供 商集合頁面 HTML 代碼后可以得知所有的服務(wù)提供商頁面URL 都在一個屬性 Class providerlist 的 ul 標(biāo)簽中在這個 ul 標(biāo)簽中每個服務(wù)提供商頁面 URL都在一個 a標(biāo)簽中因?yàn)?class providerlist的 ul在這個頁面中是唯一的所以使用 HTMLParser 比較簡單 程序流程如圖 42 所示 圖 42 服務(wù)提供商集合頁面內(nèi)容提取流程圖 部分代碼如下 1 首先新建一個解析類 Parser 實(shí)例 Parser parser null try parser new Parser content catch ParserException e return 2 為需要尋找的標(biāo)簽設(shè)置 FIlter 以下代碼就是要找出屬性 class providerlist 的 ul 標(biāo)簽 NodeFilter attributes_filter new AndFilter new TagNameFilter ul new HasAttributeFilter class providerlist NodeList nodelist null try nodelist parserparse attributes_filter catch ParserException e eprintStackTrace return 3 得到了 class providerlist的 ul標(biāo)簽后把這部分內(nèi)容轉(zhuǎn)換為 String并新建一個 Filter 目的是為了找到 ul 標(biāo)簽下所有 a 標(biāo)簽 String content1 nodelistelementAt 0 toHtml parserreset NodeFilter nodefiter1 new TagNameFilter a try parser new Parser content1 catch ParserException e1 e1printStackTrace NodeList nodelist1 null try nodelist1 parserparse nodefiter1 catch ParserException e eprintStackTrace return 4得到了所有的 a標(biāo)簽集合這些集合都存儲在 nodelist1中循環(huán)遍歷集合得到每個服務(wù)提供商頁面的 URL 并把 URL 通過 addLinkFromStringfor int i 0 i nodelist1size i LinkTag aNode LinkTag nodelist1elementAt i String url aNodegetLink Sytln extractor condition1 url int end urlindexOf if end 1 url urlsubstring 0 end url tab servicelistp 0 Sytln extractor 抓取了 url url addLinkFromString curi url LinkNAVLINK_HOP 通過以上步驟就可以得到服務(wù)提供商集合頁面的所有提供商頁面 URL 并把這些 URL 加入到爬蟲待訪問隊列中爬蟲在后續(xù)的抓取過程中會對這些提供商頁面 URL 進(jìn)行再抓取并提取內(nèi) 容 服務(wù)提供商頁面內(nèi)容提取 服務(wù)提供商頁面的提取過程比較特殊某提供商注冊的服務(wù)比較多需要分頁顯示所以在抓取服務(wù)詳細(xì)信息頁面 URL 的同時也要抓取下一頁的 URL 并把這些URL 加入到待訪問隊列中 Parser parser null try parser new Parser content catch ParserException e return 2 首先通過新建一個 Filter 在頁面中查找屬性 class next 的 li 標(biāo)簽 NodeFilter attributes_filter new AndFilter new TagNameFilter li new HasAttributeFilter classnext NodeList nodelist null try nodelist parserparse attributes_filter catch ParserException e return 3 如果該頁面不是最后一頁提取下一頁的 URL 并加入到帶訪問隊列中 if nodelistsize 0 Node linode nodelistelementAt 0 String str linodetoHtml addLinkFromString curi str LinkNAVLINK_HOP Sytln curitoString next str 4 接下來就是提取該頁面中服務(wù)詳細(xì)信息頁面的 URL 所以新建 一個Filter 目的是為了得到屬性 class web_service 的 li 標(biāo)簽 NodeFilter attributes_filter1 new AndFilter new TagNameFilter li new HasAttributeFilter classweb_service nodelist null parserreset try nodelist parserparse attributes_filter1 catch ParserException e return 5 得到所有 li 標(biāo)簽后就把標(biāo)簽中的 URL 提取出來并加入到待訪問隊列中 if nodelistsize 0 return for int i 0i nodelistsize i String url nodelistelementAt i toHtml Sytln the wsdl page is url addLinkFromString curi url LinkNAVLINK_HOP 服務(wù)詳細(xì)信息頁面內(nèi)容提取 在服務(wù)詳細(xì)信息頁面中服務(wù)的詳細(xì)信息是在一個 table 表格中的例如在服務(wù) QueryService 詳細(xì)信息頁面中服務(wù)的信息在標(biāo)簽 中提取內(nèi)容的流程如圖 44 所示 圖 44 服務(wù)詳細(xì)信息頁面內(nèi)容提取流程圖 提取服務(wù)信息的部分內(nèi)容的實(shí)現(xiàn)如下 服務(wù) WSDL URL 在這段源代碼 input type hidden name uri value news_vti_binsearchasmxwsdl 中提取 WSDL URL 代碼如下 int beginIndexendIndexbaseIndex baseIndex contentindexOf input type \hidden\ name uri content contentsubstring baseIndex beginIndex contentindexOf value \ endIndex contentindexOf \ url contentsubstring beginIndex7 endIndex 服務(wù)提供商在這段源代碼 Provider a href webservices seekdaprovidersa2gov a2gov 中提取服務(wù)提供商代碼如下 int beginIndexendIndexbaseIndex baseIndex contentindexOf Provider content contentsubstring baseIndex beginIndex contentindexOf \ endIndex contentindexOf url contentsubstring beginIndex2 endIndex 服 務(wù) 注冊 時間 在這 段 源代 碼 Monitored since abbr title 20210516T000000Z 2021516 中提取服務(wù)注冊時間代碼如下 int beginIndexendIndexbaseIndex baseIndex contentindexOf Monitored since content contentsubstring baseIndex beginIndex contentindexOf \ endIndex contentindexOf url contentsubstring beginIndex3 endIndex 服務(wù)可用率在這段源代碼 img style width29pxheight12px alt 98availabletitle 98availablesrc webserv_img98 percent_available nbsp 9781 since 五月 2021 中提取服務(wù)可用率代碼如下 int beginIndexendIndexbaseIndex baseIndex contentindexOf Availability content contentsubstring baseIndex beginIndex contentindexOf percent_available\ nbsp endIndex contentindexOf since if beginIndex 1 endIndex 1 url null else url contentsubstring beginIndex27 endIndex2 同理可分析服務(wù)用戶描述服務(wù)標(biāo)簽內(nèi)容的 HTML 代碼結(jié)構(gòu)并編寫 代碼提取內(nèi)容 頁面鏈接提取 該部分是針對沒有提供詳細(xì)服務(wù)信息的網(wǎng)站的抓取過程中對頁面中鏈接的提取的對所有的頁面來說提取所有 a標(biāo)簽中的 url并把 url加入到處理鏈中由其它處理鏈來處理具體的過程如圖 45 所示 45 頁面鏈接提取流程圖 部分代碼如下 1 首先新建一個解析類 Parser 實(shí)例 Parser parser null try parser new Parser content catch ParserException e return 2 為需要尋找的標(biāo)簽設(shè)置 FIlter 以下代碼就是要找出所有 a 標(biāo)簽 NodeFilter attributes_filter new TagNameFilter a NodeList nodelist null