【文章內容簡介】 tains tab servicelistp 該頁面時服務提供商頁面 Sytln url 進入 執(zhí)行操作 2 condition2 contentcuri else if urlcontains providers 該頁面是服務詳細信息頁面 Sytln url 進入 執(zhí)行操作 3 condition3 contentcuri 42 網頁內容提取 經過過濾鏈后就進入 提取鏈在提取鏈中需要根據網頁類型對網頁進行信息提取 網頁信息的代碼結構可能很復雜那么就需要編寫一個很復雜的正則表達式才能從代碼中提取信息例如在頁面中存在一個標簽在開發(fā)者編寫代碼時會用一些空格來調整內容的長度根據內容的不同空格的長度也不同如果用正則表達式來做需要考慮很多情況所以在提取的過程中主要利用 HtmlParser 網頁解析工具對 HTML代碼進行解析該工具能根據 HTML代碼中的標簽屬性找到標簽的全部內容 下面分別介紹四種頁面的內容提取實現方式 服務提供商集合頁面內容提取 分析服務提供 商集合頁面 HTML 代碼后可以得知所有的服務提供商頁面URL 都在一個屬性 Class providerlist 的 ul 標簽中在這個 ul 標簽中每個服務提供商頁面 URL都在一個 a標簽中因為 class providerlist的 ul在這個頁面中是唯一的所以使用 HTMLParser 比較簡單 程序流程如圖 42 所示 圖 42 服務提供商集合頁面內容提取流程圖 部分代碼如下 1 首先新建一個解析類 Parser 實例 Parser parser null try parser new Parser content catch ParserException e return 2 為需要尋找的標簽設置 FIlter 以下代碼就是要找出屬性 class providerlist 的 ul 標簽 NodeFilter attributes_filter new AndFilter new TagNameFilter ul new HasAttributeFilter class providerlist NodeList nodelist null try nodelist parserparse attributes_filter catch ParserException e eprintStackTrace return 3 得到了 class providerlist的 ul標簽后把這部分內容轉換為 String并新建一個 Filter 目的是為了找到 ul 標簽下所有 a 標簽 String content1 nodelistelementAt 0 toHtml parserreset NodeFilter nodefiter1 new TagNameFilter a try parser new Parser content1 catch ParserException e1 e1printStackTrace NodeList nodelist1 null try nodelist1 parserparse nodefiter1 catch ParserException e eprintStackTrace return 4得到了所有的 a標簽集合這些集合都存儲在 nodelist1中循環(huán)遍歷集合得到每個服務提供商頁面的 URL 并把 URL 通過 addLinkFromStringfor int i 0 i nodelist1size i LinkTag aNode LinkTag nodelist1elementAt i String url aNodegetLink Sytln extractor condition1 url int end urlindexOf if end 1 url urlsubstring 0 end url tab servicelistp 0 Sytln extractor 抓取了 url url addLinkFromString curi url LinkNAVLINK_HOP 通過以上步驟就可以得到服務提供商集合頁面的所有提供商頁面 URL 并把這些 URL 加入到爬蟲待訪問隊列中爬蟲在后續(xù)的抓取過程中會對這些提供商頁面 URL 進行再抓取并提取內 容 服務提供商頁面內容提取 服務提供商頁面的提取過程比較特殊某提供商注冊的服務比較多需要分頁顯示所以在抓取服務詳細信息頁面 URL 的同時也要抓取下一頁的 URL 并把這些URL 加入到待訪問隊列中 Parser parser null try parser new Parser content catch ParserException e return 2 首先通過新建一個 Filter 在頁面中查找屬性 class next 的 li 標簽 NodeFilter attributes_filter new AndFilter new TagNameFilter li new HasAttributeFilter classnext NodeList nodelist null try nodelist parserparse attributes_filter catch ParserException e return 3 如果該頁面不是最后一頁提取下一頁的 URL 并加入到帶訪問隊列中 if nodelistsize 0 Node linode nodelistelementAt 0 String str linodetoHtml addLinkFromString curi str LinkNAVLINK_HOP Sytln curitoString next str 4 接下來就是提取該頁面中服務詳細信息頁面的 URL 所以新建 一個Filter 目的是為了得到屬性 class web_service 的 li 標簽 NodeFilter attributes_filter1 new AndFilter new TagNameFilter li new HasAttributeFilter classweb_service nodelist null parserreset try nodelist parserparse attributes_filter1 catch ParserException e return 5 得到所有 li 標簽后就把標簽中的 URL 提取出來并加入到待訪問隊列中 if nodelistsize 0 return for int i 0i nodelistsize i String url nodelistelementAt i toHtml Sytln the wsdl page is url addLinkFromString curi url LinkNAVLINK_HOP 服務詳細信息頁面內容提取 在服務詳細信息頁面中服務的詳細信息是在一個 table 表格中的例如在服務 QueryService 詳細信息頁面中服務的信息在標簽 中提取內容的流程如圖 44 所示 圖 44 服務詳細信息頁面內容提取流程圖 提取服務信息的部分內容的實現如下 服務 WSDL URL 在這段源代碼 input type hidden name uri value news_vti_binsearchasmxwsdl 中提取 WSDL URL 代碼如下 int beginIndexendIndexbaseIndex baseIndex contentindexOf input type \hidden\ name uri content contentsubstring baseIndex beginIndex contentindexOf value \ endIndex contentindexOf \ url contentsubstring beginIndex7 endIndex 服務提供商在這段源代碼 Provider a href webservices seekdaprovidersa2gov a2gov 中提取服務提供商代碼如下 int beginIndexendIndexbaseIndex baseIndex contentindexOf Provider content contentsubstring baseIndex beginIndex contentindexOf \ endIndex contentindexOf url contentsubstring beginIndex2 endIndex 服 務 注冊 時間 在這 段 源代 碼 Monitored since abbr title 20210516T000000Z 2021516 中提取服務注冊時間代碼如下 int beginIndexendIndexbaseIndex baseIndex contentindexOf Monitored since content contentsubstring baseIndex beginIndex contentindexOf \ endIndex contentindexOf url contentsubstring beginIndex3 endIndex 服務可用率在這段源代碼 img style width29pxheight12px alt 98availabletitle 98availablesrc webserv_img98 percent_available nbsp 9781 since 五月 2021 中提取服務可用率代碼如下 int beginIndexendIndexbaseIndex baseIndex contentindexOf Availability content contentsubstring baseIndex beginIndex contentindexOf percent_available\ nbsp endIndex contentindexOf since if beginIndex 1 endIndex 1 url null else url contentsubstring beginIndex27 endIndex2 同理可分析服務用戶描述服務標簽內容的 HTML 代碼結構并編寫 代碼提取內容 頁面鏈接提取 該部分是針對沒有提供詳細服務信息的網站的抓取過程中對頁面中鏈接的提取的對所有的頁面來說提取所有 a標簽中的 url并把 url加入到處理鏈中由其它處理鏈來處理具體的過程如圖 45 所示 45 頁面鏈接提取流程圖 部分代碼如下 1 首先新建一個解析類 Parser 實例 Parser parser null try parser new Parser content catch ParserException e return 2 為需要尋找的標簽設置 FIlter 以下代碼就是要找出所有 a 標簽 NodeFilter attributes_filter new TagNameFilter a NodeList nodelist null