【正文】 _available/ (% since 五月 2022)）中。提取服務(wù)可用率代碼如下： int beginIndex,endIndex,baseIndex。 天津大學(xué) 2022屆本科生畢業(yè)設(shè)計(jì)（論文） 22 baseIndex = (dtAvailability: /dt)。 content = (baseIndex)。 beginIndex = (percent_available\/ ()。 endIndex = (since)。 if(beginIndex == 1 || endIndex == 1){ url = null。 }else{ url = (beginIndex+27, endIndex2)。 } 同理可分析服務(wù)用戶描述、服務(wù)標(biāo)簽內(nèi)容的 HTML 代碼結(jié)構(gòu)。并編寫代碼提取內(nèi)容。 頁面鏈接提取 該部分是針對(duì)沒有提供詳細(xì)服務(wù)信息的網(wǎng)站的抓取過程中對(duì)頁面中鏈接的提取的。對(duì)所有的頁面來說，提取所有 a 標(biāo)簽中的 url，并把 url 加入到處理鏈中。由其它處理鏈來處理。具體的過程如圖 45 所示： 天津大學(xué) 2022屆本科生畢業(yè)設(shè)計(jì)（論文） 23 45 頁面鏈接提取流程圖 部分代碼如下： 1. 首先新 建一個(gè)解析類 Parser 實(shí)例， Parser parser = null。 try { parser = new Parser(content)。 } catch (ParserException e) { return。 } 2. 為需要尋找的標(biāo)簽設(shè)置 FIlter， 以下代碼就是要找出所有 a標(biāo)簽。 NodeFilter attributes_filter = new TagNameFilter(a)。 NodeList nodelist = null。 try { nodelist = (attributes_filter)。 } catch (ParserException e) { 天津大學(xué) 2022屆本科生畢業(yè)設(shè)計(jì)（論文） 24 ()。 return。 } 3. 得到了所有的 a標(biāo)簽集合，這些集合都存儲(chǔ)在 nodelist中，循環(huán)遍歷集合，得到 URL，并把 URL通過 addLinkFromString（） 函數(shù)加入到爬蟲待訪問隊(duì)列中。 for (int i = 0。 i ()。 i++) { LinkTag aNode = (LinkTag) ((i))。 String url = ()。 addLinkFromString(curi, , url, )。 } 下載 WSDL 文檔 在爬蟲抓取過程中，如果抓取到了服務(wù) WSDL 文檔的 URL，就下載 WSDL文檔，具體過程是： 首先得到利用 HTTPClient 工具對(duì) WSDL 文檔進(jìn)行連接，并得到 inputStream。然后就是在本地磁盤上新建一個(gè)文件，最后把流中的內(nèi)容寫入文件中。代碼如下： //得到遠(yuǎn)程服務(wù)器返回 WSDL 文檔的輸入流 ReplayInputStream replayis = ()。 //在硬盤中新建一個(gè)文件 File tf = new File(())。 FileOutputStream fos = new FileOutputStream(tf)。 try { //把返 回的 WSDL文檔內(nèi)容寫入硬盤文件中 (fos)。 } finally { //關(guān)閉返回輸入流和文件流 ()。 ()。 } 結(jié)果展示 下面介紹爬蟲啟動(dòng)過程及爬蟲抓取的中間結(jié)果，最后介紹爬蟲最終抓取結(jié)果。首先介紹爬蟲啟動(dòng)過程： 天津大學(xué) 2022屆本科生畢業(yè)設(shè)計(jì)（論文） 25 jar 文件，彈出命令行窗口，顯示爬蟲版本信息。 ，輸入： 并輸入用戶名和密碼（ admin|admin） ，登陸成功進(jìn)入操作頁面。 圖 46 成功登陸后的頁面 3. 點(diǎn)擊 Jobs 標(biāo)簽，在新頁面點(diǎn)擊 with defaults，顯示新任務(wù)設(shè)置頁面。 4. 在頁面中輸入 Name of new job， description， seeds，如圖 47所示： 圖 47 新任務(wù)設(shè)置頁面 天津大學(xué) 2022屆本科生畢業(yè)設(shè)計(jì)（論文） 26 5. 然后點(diǎn)擊 Modules 標(biāo)簽，進(jìn)入新頁面，如圖 48和 49所示： 在 select crawl scope 選項(xiàng)中，選擇 BroadScope,并點(diǎn)擊 change 按鈕。 在 Select Extractors 選項(xiàng)中，依次刪除 ExtractorHTML， ExtractorCSS， ExtractorJS， ExtractorSWF。 在 Select Extractors 選項(xiàng)中，添加 在 Select Post Processors 選項(xiàng) 中，刪除 FrontierScheduler，并添加 FrontierSchedulerForSeekda。 圖 48 設(shè)置 module頁面 1 天津大學(xué) 2022屆本科生畢業(yè)設(shè)計(jì)（論文） 27 圖 49 設(shè)置 module 頁面 2 6． 點(diǎn)擊 setting 標(biāo)簽，進(jìn)入?yún)?shù)設(shè)置頁面： 在 useragent: 處，修改為 Mozilla/ (patible。 heritrix/ + 在 from: 處，修改為 ： 在 maxretries:處，修改為 5，在 retrydelayseconds 處，修改為 60。 執(zhí)行完以上 6步后，點(diǎn)擊 submit job， 然后 在 console 頁面，點(diǎn)擊 start 按鈕，爬蟲就開始運(yùn)行了。爬蟲運(yùn)行的中間結(jié)果如圖 410所示： 天津大學(xué) 2022屆本科生畢業(yè)設(shè)計(jì)（論文） 28 圖 410 爬蟲運(yùn)行中間結(jié)果 爬蟲運(yùn)行最終結(jié)果是： seekda網(wǎng)站的抓取過程花費(fèi)了大約 2天的時(shí)間，抓取到了 21273個(gè)服 務(wù)，這些服務(wù)中，能夠下載 WSDL文檔的服務(wù)有 17255個(gè)，下載的服務(wù)信息存儲(chǔ)在數(shù)據(jù)庫中。如圖 411所示： 圖 411 數(shù)據(jù)庫存儲(chǔ)內(nèi)容展示 天津大學(xué) 2022屆本科生畢業(yè)設(shè)計(jì)（論文） 29 第五章 總結(jié)和展望 論文總結(jié) 本系統(tǒng)的目標(biāo)是搜集網(wǎng)絡(luò)上的服務(wù)，包括服務(wù) WSDL 文檔、服務(wù)提供商、服務(wù)可用率等信息。本文首先分析了網(wǎng)絡(luò)上服務(wù)的分布情況：一部分網(wǎng)站提供了服務(wù)詳細(xì)信息，其他網(wǎng)站只提供了 Web 服務(wù)的 WSDL 文檔的 URL。 根據(jù)分析結(jié)果，本系統(tǒng)采用的抓取方法包括以下兩種： 第一種，對(duì)于提供了服務(wù)詳細(xì)信息的網(wǎng)站，首先分析得到注冊(cè)網(wǎng)站的 服務(wù)分布結(jié)構(gòu)，然后，爬蟲根據(jù)服務(wù)分布結(jié)構(gòu)依次循環(huán)遍歷網(wǎng)站，在遍歷過程中，把服務(wù)詳細(xì)信息抓取下來，并存入數(shù)據(jù)庫。 第二種，對(duì)于沒有提供服務(wù)詳細(xì)信息的網(wǎng)站，把網(wǎng)站首頁作為爬蟲源 URL，爬蟲線程對(duì)每一個(gè)待訪問隊(duì)列中的 URL 進(jìn)行 3 個(gè)處理鏈的處理，從網(wǎng)頁中提取所有 a 標(biāo)簽中的 url，并排除非本網(wǎng)站的 URL，把剩下的 URL 加入到待訪問隊(duì)列中，當(dāng)遇到服務(wù) WSDL 的 URL 時(shí)，下載該 WSDL 文檔，當(dāng)待訪問隊(duì)列為空時(shí)，爬蟲抓取過程結(jié)束。 本系統(tǒng)對(duì) Seekda 網(wǎng)站上的服務(wù)進(jìn)行抓取，大概用了 2 天時(shí)間，抓取了 21273個(gè)服務(wù)， 下載了 17255 個(gè) WSDL 文檔，并把服務(wù)相關(guān)信息存入數(shù)據(jù)庫。 存在的問題和展望 因?yàn)榛ヂ?lián)網(wǎng)上服務(wù)分布情況比較復(fù)雜，服務(wù)的發(fā)布地點(diǎn)不同，提供的詳細(xì)信息也不同，所以抓取互聯(lián)網(wǎng)上的服務(wù) WSDL 文檔及服務(wù)信息就不可能采用同一個(gè)抓取流程和提取頁面內(nèi)容方法。本論文是對(duì)每個(gè)網(wǎng)站制作一個(gè)抓取流程和提取頁面內(nèi)容方法。但是，當(dāng)對(duì)新的服務(wù)注冊(cè)網(wǎng)站進(jìn)行抓取時(shí)，就需要重新編寫抓取流程和抓取頁面內(nèi)容方法。 如果服務(wù)注冊(cè)網(wǎng)站數(shù)量不斷增加，那么本系統(tǒng)也要不斷擴(kuò)展，并不能實(shí)現(xiàn)全自動(dòng)抓取任務(wù)。 要實(shí)現(xiàn)一個(gè)抓取流程和提取頁面內(nèi)容 方法就可以抓取互聯(lián)網(wǎng)上所有的服務(wù)WSDL 文檔及服務(wù)信息，可以讓服務(wù)提供者把服務(wù)相關(guān)的信息寫入 WSDL 文檔。因?yàn)?WSDL 的 URL 絕大部分是以 ?wsdl 結(jié)尾的，那么爬蟲程序就可以遍歷所有網(wǎng)站，只抓取 WSDL 的 URL，就不需要根據(jù)網(wǎng)頁結(jié)構(gòu)來提取服務(wù)詳細(xì)信息，服務(wù)詳細(xì)信息從 WSDL 文檔中就可以得到。 天津大學(xué) 2022屆本科生畢業(yè)設(shè)計(jì)（論文） 30 參考文獻(xiàn) [1]seeda 網(wǎng)站 [EB/OL]. [2]網(wǎng)絡(luò)爬蟲 [EB/OL]. [3]孫立偉，何國(guó)輝，吳禮發(fā) . 網(wǎng)絡(luò)爬蟲技術(shù)研究 [J]. Computer Knowledge and Technology 電腦知識(shí)與技術(shù) . ,May 2022, [4]J. Cho, H. GarciaMolina. The evolution of the web and implications for an incremental crawler [C]. In Proceedings of the 26th International Conference on Very Large Database, Cairo, Egypt, 2022. [5]Roberston, L. Anecdotes [Google search engine] [J]. Annals of the History of Computing, 2022, Volume 27: 9697. [6]陳汶濱 ，夏學(xué)梅 . 基于聚焦爬蟲的手機(jī)天氣預(yù)報(bào)系 統(tǒng) [J]. 今日科苑 . 2022年第 2期 . [7]鄭力明，易平 . Design of Crawler Based on HTML Parser Information Extraction[J]. 微計(jì)算機(jī) 信息， Microputer Information . 09,June,2022. [8]楊頌 ，歐陽柳波 . 基于 Heritrix 的面向電子商務(wù)網(wǎng)站增量爬蟲研究 [J]. 軟件導(dǎo)刊 . 2022 年 7月 . [9]Heritrix 官方網(wǎng)站 [EB/OL]. [10]邱哲 ， 符滔滔 . 開發(fā)自己的搜索引擎 Lucene +Heritrix. 人民郵電出版社 , 20224. [11]羅剛 . 自己動(dòng)手寫網(wǎng)絡(luò)爬蟲 . 清華大學(xué)出版社 . 2022101； [12]李盛韜 , 余智華 , 程學(xué)旗 . Web 信息采集研究進(jìn)展 [J]. 計(jì)算機(jī)科學(xué) , 2022 [13]S. Chakrabarti, M. van den Berg and B. Dom. Focused Crawling: A New Approach to TopicSpecific Web Resource Discovery [C]. In Proceedings of the 8th International World Wide Web Conference, Toronto, Canada, 1999. [14]曾偉輝，李淼 . 深層網(wǎng)絡(luò)爬蟲研究綜述 [J]. 計(jì)算機(jī)系統(tǒng)應(yīng)用 , 2022. [15]周立柱 ,林 玲 . 聚焦爬蟲技術(shù)研究綜述 [J].計(jì)算機(jī)應(yīng)用 , 2022 年 9 月 . 外文資料 WSCE: A Crawler Engine for LargeScale Discovery of Web Services Eyhab AlMasri and Qusay H. Mahmoud Abstract This paper addresses issues relating to the efficient access and discovery of Web services across multiple UDDI Business Registries (UBRs). The ability to explore Web services across multiple UBRs is being a challenge particularly as size and magnitude of these registries increase. As Web services proliferate, finding an