【文章內(nèi)容簡(jiǎn)介】 對(duì)全文工作的總結(jié)，指出并分析了現(xiàn)階段存在的問(wèn)題并展望了未來(lái)的發(fā)展前 景。 天津大學(xué) 2022 屆本科生畢業(yè)設(shè)計(jì)（論文） 3 第二章 相關(guān)工作和需求分析 相關(guān)工作 隨著 Web 服務(wù)開(kāi)發(fā)者數(shù)量的增加，互聯(lián)網(wǎng)上的 Web 服務(wù)數(shù)量以爆炸方式增長(zhǎng)。伴隨著 Web Service 的數(shù)量的增長(zhǎng)，越來(lái)越多的網(wǎng)站關(guān)注于如何吸引開(kāi)發(fā)者把服務(wù)發(fā)布在他們的網(wǎng)站中，這些網(wǎng)站采用了服務(wù)開(kāi)發(fā)者在該網(wǎng)站上注冊(cè)服務(wù)的方式來(lái)發(fā)布服務(wù)。 其中， seekda[1]網(wǎng)站是現(xiàn)有的最大的服務(wù)注冊(cè)網(wǎng)站，一共有 7663 個(gè)服務(wù)提供商在該網(wǎng)站上注冊(cè)，據(jù)統(tǒng)計(jì)，大約有 2 萬(wàn)多個(gè)服務(wù)在該網(wǎng)站上進(jìn)行發(fā)布。而且該網(wǎng)站上的服務(wù)發(fā)布信息比較齊全，提供了服務(wù) 的可用率，用戶標(biāo)簽，提供商，發(fā)布服務(wù)器等信息。還有其它一些服務(wù)注冊(cè)網(wǎng)站，例如： 、。盡管這些網(wǎng)站的數(shù)量不及 seekda 的多，但這些網(wǎng)站上的服務(wù)對(duì)用戶來(lái)說(shuō)，也是有巨大意義的。其服務(wù)信息很豐富，需要把網(wǎng)絡(luò)上的服務(wù)抓取和集中管理。 網(wǎng)絡(luò)信息抓取的主要工具是網(wǎng)絡(luò)爬蟲(chóng)，網(wǎng)絡(luò)爬蟲(chóng)是一種按照一定的規(guī)則，自動(dòng)的抓起萬(wàn)維網(wǎng)信息的程序或者腳本。 [2]現(xiàn)有的網(wǎng)絡(luò)爬蟲(chóng)可以分為以下幾種類型[3]：通用網(wǎng)絡(luò)爬蟲(chóng) [12]、聚焦網(wǎng)絡(luò)爬蟲(chóng) [15]、增量式網(wǎng)絡(luò)爬蟲(chóng) [4]、 Deep Web 爬蟲(chóng) [14]。其應(yīng)用也十分廣泛，如 :Google 搜索引擎的爬蟲(chóng)模塊就是一個(gè)通用網(wǎng)絡(luò)爬蟲(chóng)，Google 的爬蟲(chóng)通過(guò)遍歷互聯(lián)網(wǎng)上的網(wǎng)頁(yè)，并提取網(wǎng)頁(yè)的信息，例如關(guān)鍵字、類型、網(wǎng)頁(yè)超鏈接等，然后建立網(wǎng)頁(yè)索引。最后在這些網(wǎng)頁(yè)信息上建立搜索引擎，向用戶提供統(tǒng)一的訪問(wèn)網(wǎng)頁(yè)的窗口 [5]。 聚焦網(wǎng)絡(luò)爬蟲(chóng)也稱為主題爬蟲(chóng) [13]，大量的應(yīng)用于互聯(lián)網(wǎng)中，例如基于聚焦爬蟲(chóng)的手機(jī)天氣預(yù)報(bào)系統(tǒng) [6]，就是應(yīng)用了聚焦網(wǎng)絡(luò)爬蟲(chóng)，通過(guò)計(jì)算頁(yè)面與天氣主題的相關(guān)度，抓取網(wǎng)絡(luò)上與天氣相關(guān)的頁(yè)面信息，并把對(duì)頁(yè)面進(jìn)行索引，并向用戶提供統(tǒng)一訪問(wèn)窗 口。 Web 服務(wù)有其特定結(jié)構(gòu)， Web 服務(wù)網(wǎng)絡(luò)爬蟲(chóng)不僅僅遍歷網(wǎng)頁(yè)，并建立索引，而且在遍歷網(wǎng)頁(yè)過(guò)程中，利用網(wǎng)頁(yè)分析工具解析網(wǎng)頁(yè) [7]，把 Web 服務(wù)相關(guān)信息抓取下來(lái)，如：注冊(cè)標(biāo)簽、提供商、注冊(cè)時(shí)間、可用率、服務(wù)器等。 Heritrix[9]是一個(gè)比較靈活、可擴(kuò)展性強(qiáng)的網(wǎng)絡(luò)爬蟲(chóng)開(kāi)源框架，目前，已經(jīng)有很多應(yīng)用在該框架上進(jìn)行開(kāi)發(fā)，例如基于 Heritrix 的面向電子商務(wù)網(wǎng)站的信息抓取，該應(yīng)用就是在 Heritrix 網(wǎng)絡(luò)爬蟲(chóng)開(kāi)源框架的基礎(chǔ)上進(jìn)行擴(kuò)展、修改 [10]，并建立特有的抓取策略來(lái)抓取網(wǎng)絡(luò)上的電子商務(wù)信息 [11]。 天津大學(xué) 2022 屆本科生畢業(yè)設(shè)計(jì)（論文） 4 功能說(shuō)明 本系統(tǒng)包含以下功能： 如果網(wǎng)站提供了詳細(xì)的服務(wù)信息，那么功能如下： 1. 存儲(chǔ)服務(wù)的詳細(xì)信息 遍歷網(wǎng)站結(jié)構(gòu)過(guò)程中，如果頁(yè)面是服務(wù)詳細(xì)信息頁(yè)面，需要對(duì)頁(yè)面進(jìn)行解析，把服務(wù)的詳細(xì)信息提取出來(lái)，并存入數(shù)據(jù)庫(kù)。詳細(xì)信息包括：服務(wù)描述文檔 WSDL URL、服務(wù)提供商、服務(wù)注冊(cè)時(shí)間、服務(wù)可用率、服務(wù)運(yùn)行服務(wù)器、服務(wù)標(biāo)簽等。 2. 下載 WSDL 文檔 提取了 Web 服務(wù)詳細(xì)信息后，根據(jù) Web 服務(wù) WSDL文檔的 URL，下載 WSDL文檔，并把文檔內(nèi)容存放到數(shù)據(jù)庫(kù)中。 如果網(wǎng)站只提供了 Web 服務(wù) WSDL 文 檔的 URL，那么系統(tǒng)在抓取網(wǎng)站過(guò)程中，只提取 Web 服務(wù) WSDL 的 URL，把該 URL 存入數(shù)據(jù)庫(kù)，并下載 Web 服務(wù)的 WSDL 文檔。 運(yùn)行環(huán)境 要求程序能夠運(yùn)行在如下環(huán)境中：操作系統(tǒng)： Windows XP；運(yùn)行平臺(tái)：MyEclipse 以上； java 虛擬機(jī)： JVM 以上；數(shù)據(jù)庫(kù)： 天津大學(xué) 2022 屆本科生畢業(yè)設(shè)計(jì)（論文） 5 第三章 面向 web service 的網(wǎng)絡(luò)爬蟲(chóng)的詳細(xì)設(shè)計(jì) 總體架構(gòu) 本系統(tǒng)采用的是廣度優(yōu)先策略，利用網(wǎng)絡(luò)爬蟲(chóng)開(kāi)源框架 Heritrix 的多線程管理、鏈接調(diào)度 器模塊，擴(kuò)展了 Heritrix 的處理鏈流程。 Heritrix 框架的多線程管理池可以提供 50 個(gè)線程同時(shí)進(jìn)行抓取工作， Frontier調(diào)度器負(fù)責(zé)調(diào)度鏈接， Frontier 把新鏈接加入到待訪問(wèn)隊(duì)列中，把未訪問(wèn)鏈接傳遞給線程。本系統(tǒng)針對(duì)兩類網(wǎng)站進(jìn)行了處理鏈修改及擴(kuò)展。 針對(duì)提供了詳細(xì)信息的服務(wù)網(wǎng)站，裁掉了一些 Heritrix 原有處理鏈，只保留了過(guò)濾鏈，提取鏈，寫(xiě)鏈，并對(duì)三個(gè)處理鏈功能進(jìn)行重新設(shè)定。 ? 過(guò)濾鏈主要負(fù)責(zé)根據(jù)網(wǎng)站服務(wù)分部結(jié)構(gòu)過(guò)濾掉不相關(guān)的鏈接。 ? 提取鏈主要負(fù)責(zé)解析頁(yè)面信息，提取的內(nèi)容包括： ； 細(xì)信息內(nèi)容； ? 寫(xiě)鏈主要負(fù)責(zé)把服務(wù)信息存儲(chǔ)到數(shù)據(jù)庫(kù)中，下載 WSDL 文檔。 系統(tǒng)結(jié)構(gòu)圖如下： 圖 31 抓取詳細(xì)信息情況下的系統(tǒng)結(jié)構(gòu) 圖 天津大學(xué) 2022 屆本科生畢業(yè)設(shè)計(jì)（論文） 6 針對(duì)網(wǎng)站只提供了服務(wù) WSDL 文檔的 URL，本系統(tǒng)的設(shè)計(jì)是：處理鏈保留過(guò)濾鏈、提取鏈和寫(xiě)鏈，并對(duì)過(guò)濾鏈、提取鏈和寫(xiě)鏈功能進(jìn)行了重新設(shè)定。 過(guò)濾鏈主要負(fù)責(zé)過(guò)濾非本網(wǎng)站鏈接，爬蟲(chóng)抓取的范圍局限于主網(wǎng)站，所有其他指向網(wǎng)站的鏈接都會(huì)過(guò)濾。提取鏈主要負(fù)責(zé)解析網(wǎng)頁(yè)內(nèi)容，提取服務(wù) WSDL 文檔的 URL。寫(xiě)鏈主要負(fù)責(zé)根據(jù)服務(wù) WSDL 文檔的 URL 下載服務(wù) WSDL 文檔。 系統(tǒng)結(jié)構(gòu)圖如下： 圖 32 抓取沒(méi)有詳細(xì)信息服務(wù)的系統(tǒng)結(jié)構(gòu) 圖 數(shù)據(jù)庫(kù)設(shè)計(jì) 本系統(tǒng)的數(shù)據(jù)庫(kù)較簡(jiǎn)單，只有一個(gè)表 webServiceDetail，在兩種情況下，都需要存儲(chǔ)服務(wù) WSDL 文檔的 URL，在第一種情況下，需要存儲(chǔ)服務(wù)相關(guān)信息，這些相關(guān)信息包括：服務(wù)提供商、服務(wù)注冊(cè)時(shí)間、服務(wù)可用率、服務(wù)用戶描述、服務(wù)服務(wù)器等，但是在第二種情況下，不需要存儲(chǔ)服務(wù)相關(guān)信息，只存儲(chǔ)服務(wù)WSDL 文檔的 URL。數(shù)據(jù)庫(kù)表定義如下： 天津大學(xué) 2022 屆本科生畢業(yè)設(shè)計(jì)（論文） 7 表 31 webServiceDetail 表 屬性名 數(shù)據(jù)類型 非空 自增長(zhǎng) 默認(rèn)值 wsdlAddress VARCHAR(255) √ Provider VARCHAR(30) monitoredSince VARCHAR(50) server VARCHAR(50) availability VARCHAR(50) description VARCHAR(5000) descriptionByUser VARCHAR(1000) fileAddress VARCHAR(255) date datatime state VARCHAR(50) type Boolean √ 重要字段說(shuō)明： wsdlAddress 字段為主鍵，因?yàn)槊總€(gè)服務(wù) WSDL 文檔的 URL 是唯一的。 type 字段為 true 時(shí)，表示該服務(wù)有相關(guān)服務(wù)信息，為 false 時(shí)，表示該服務(wù)沒(méi)有相關(guān)的服務(wù)信息。 程序包設(shè)計(jì) 本系統(tǒng)主要包括 5 大模塊，分別是： 1. 過(guò)濾鏈模塊 2. 提取鏈模塊 3. 寫(xiě)鏈模塊 4. 管理訪問(wèn)鏈接模塊 5. 管理爬蟲(chóng)多線程模塊 相對(duì)應(yīng)的程 序包設(shè)計(jì)圖如下： 天津大學(xué) 2022 屆本科生畢業(yè)設(shè)計(jì)（論文） 8 圖 33 程序包設(shè)計(jì)圖 ? 是過(guò)濾鏈模塊的程序文件包，主要負(fù)責(zé)過(guò)濾無(wú)關(guān)的網(wǎng)頁(yè)鏈接。 ? 是提取鏈模塊的程序文件包，主要負(fù)責(zé)對(duì)各種頁(yè)面進(jìn)行信息提取。 ? 是寫(xiě)鏈模塊的程序文件包，主要負(fù)責(zé)下載 WSDL 文檔。 ? 是負(fù)責(zé)管理待訪問(wèn)隊(duì)列的鏈接的程序文件包，向線程傳遞鏈接。 ? 是負(fù)責(zé)管理爬蟲(chóng)線程的程序文件包，線程獲取鏈接，并訪問(wèn)網(wǎng)頁(yè)的。 流程設(shè)計(jì) 針對(duì)第一種情況，爬蟲(chóng)抓取過(guò)程如圖 34 所示： 天津大學(xué) 2022 屆本科生畢業(yè)設(shè)計(jì)（論文） 9 圖 34 第一種情況爬蟲(chóng)抓取流程圖 1. 向爬蟲(chóng)程序提供一個(gè)初始 URL，該 URL 是服務(wù)提供商集合頁(yè)面的 URL， 該 URL 被加入到待訪問(wèn)隊(duì)列中。 2. 爬蟲(chóng)線程管理器 TreadPool 詢問(wèn) Frontier，檢查待訪問(wèn)隊(duì)列中是否存在鏈 接，如果存在， TreadPool 獲得該鏈接，并分配給一個(gè)線程。直到?jīng)]有空 閑線程都在工作或者待訪問(wèn)隊(duì)列中沒(méi)有多余的鏈接為止。 天津大學(xué) 2022 屆本科生畢業(yè)設(shè)計(jì)（論文） 10 3. 爬蟲(chóng)線程獲得鏈接后， 首先經(jīng)過(guò)過(guò)濾鏈的處理，判斷鏈接頁(yè)面的類型， 并決定如何解析該頁(yè)面。 4. 鏈接進(jìn)入了提取鏈，提取鏈直到了過(guò)濾鏈對(duì)鏈接頁(yè)面類型的判斷后，對(duì) 頁(yè)面進(jìn)行不同策略的分析和提取。 如果該頁(yè)面是服務(wù)提供商集合頁(yè)面，提取鏈就對(duì)該頁(yè)面進(jìn)行提供商 服務(wù)集合頁(yè)面鏈接的抓取，并把這些鏈接加入到待訪問(wèn)隊(duì)列中。 如果該頁(yè)面是提供商服務(wù)集合頁(yè)面，提取鏈就對(duì)該頁(yè)面進(jìn)行服務(wù)詳 細(xì)信息頁(yè)面鏈接的抓取，并把這些鏈接加入到待訪問(wèn)隊(duì)列中。 如果該頁(yè)面是服務(wù)詳細(xì)信息頁(yè)面，提取鏈就對(duì)該頁(yè)面進(jìn)行服務(wù)詳細(xì) 信息進(jìn)行抓 取。 ，就進(jìn)入了寫(xiě)鏈，如果是服務(wù)詳細(xì)信息頁(yè)面，在數(shù)據(jù)庫(kù)中標(biāo) 記該頁(yè)面類型為 true，表示該 數(shù)據(jù)庫(kù)記錄是一個(gè)提供商服務(wù)集合頁(yè)面相 關(guān)的內(nèi)容。還要把提取鏈中提取出來(lái)的服務(wù)信息存入服務(wù)詳細(xì)信息表中， 例如：服務(wù)提供商、服務(wù)注冊(cè)時(shí)間、 服務(wù)可用率、服務(wù)標(biāo)簽等。 針對(duì)第二種情況，爬蟲(chóng)抓取過(guò)程如圖 35 所示： 天津大學(xué) 2022 屆本科生畢業(yè)設(shè)計(jì)（論文） 11 圖 35 第二種情況爬蟲(chóng)抓取流程圖 1. 向爬蟲(chóng)程序提供一個(gè)初始 URL，該 URL 是待抓取網(wǎng)站的首頁(yè) URL，該 URL 被加入到待訪問(wèn)隊(duì)列中。 2. 爬蟲(chóng)線程管理器 TreadPool 詢問(wèn) Frontier，檢查待訪問(wèn)隊(duì)列中是否存在鏈 接，如果存在， TreadPool 獲得該鏈接，并分配給一個(gè)線程。直到?jīng)]有空 閑線程或者待訪問(wèn)隊(duì)列中沒(méi)有多余的鏈接為止。 3. 爬蟲(chóng)線程獲得鏈接后，首先經(jīng)過(guò)過(guò)濾鏈的處理，判斷鏈接頁(yè)面的類型， 并決定如何解析該頁(yè)面。 天津大學(xué) 2022 屆本科生畢業(yè)設(shè)計(jì)（論文） 12 4. 鏈接進(jìn)入了提取鏈，提取鏈知道了過(guò)濾鏈對(duì)鏈接頁(yè)面類型的判斷后，對(duì) 頁(yè)面進(jìn)行不同策略的分析和提取。 如果該頁(yè)面是本網(wǎng)站的其他頁(yè)面，提取鏈就對(duì)該頁(yè)面進(jìn)行鏈接抓取， 并把這些鏈接加入到待訪問(wèn)隊(duì)列中，并跳過(guò)寫(xiě) 鏈。 如果該頁(yè)面是其他網(wǎng)站的頁(yè)面，提取鏈就忽略該頁(yè)面。跳過(guò)寫(xiě)鏈。 如果該頁(yè)面是服務(wù) WSDL 文檔的 URL，提取鏈就把該鏈接提交給寫(xiě) 鏈。 5. 如果鏈接能夠進(jìn)入了寫(xiě)鏈，該鏈接是服務(wù) WSDL 文檔的鏈接，所以先下 載該 WSDL 文檔，并在數(shù)據(jù)庫(kù)中添加一條記錄，并在字段 type 中標(biāo)記為 false，說(shuō)明該服務(wù)是沒(méi)有詳細(xì)信息的。 天津大學(xué) 2022 屆本科生畢業(yè)設(shè)計(jì)（論文） 13 第四章 面向 web service 的聚焦網(wǎng)絡(luò)爬蟲(chóng)的技術(shù)實(shí)現(xiàn) 分析網(wǎng)站服務(wù)分布結(jié)構(gòu) 針對(duì)第一種情況，首先要分析網(wǎng)站服 務(wù)的分布結(jié)構(gòu)。 現(xiàn)有的服務(wù)網(wǎng)站中， seekda 網(wǎng)站的服務(wù)分布是有結(jié)構(gòu)、有規(guī)律的。所以我 對(duì) seekda 網(wǎng)站的具體分析如下： 用戶在 Seekda 網(wǎng)站上有三種方式可以查找服務(wù)： 1. 網(wǎng)站提供了強(qiáng)大的搜索功能，用戶可以在搜索頁(yè)面輸入服務(wù)名、服務(wù)標(biāo) 簽、服務(wù)注冊(cè)時(shí)間等信息進(jìn)行搜索。 2. 網(wǎng)站把同一類標(biāo)簽的服務(wù)，以標(biāo)簽的方式顯示在首頁(yè)，用戶可以根據(jù)標(biāo) 簽來(lái)找服務(wù)，但是只是服務(wù)數(shù)量較多的標(biāo)簽會(huì)顯示。 3. 網(wǎng)站按照提供商來(lái)進(jìn)行分類，用戶可以查找每一個(gè)提供商，然后就查找 到了 每個(gè)提供商下的每個(gè)服務(wù)。 方式 1：爬蟲(chóng)抓取網(wǎng)站所有服務(wù)是不可行的，因?yàn)榕老x(chóng)無(wú)法列舉所有可能的搜索條件。方式 2：只有服務(wù)數(shù)量比較多的標(biāo)簽會(huì)顯示，對(duì)于爬蟲(chóng)來(lái)說(shuō)，無(wú)法得到服務(wù)數(shù)量少的標(biāo)簽。方式 3：爬蟲(chóng)可以得到所有的提供商，也就可以得到所有的服務(wù)。通過(guò)以上分析，得出以下結(jié)論： 針對(duì) seekda 網(wǎng)站的抓取策略是先得到所有的提供商集合，然后進(jìn)入每個(gè)提供商頁(yè)面，在提供商頁(yè)面，得到該提供商的所有服務(wù)。當(dāng)爬蟲(chóng)遍歷完所有的提供商頁(yè)面，也就抓取完所有的服務(wù)。 網(wǎng)站服務(wù)分部結(jié)構(gòu)如圖 41 所示： 天津大學(xué) 2022 屆本科生畢業(yè)設(shè)計(jì)（論文） 14 圖 41 網(wǎng)站