【正文】 畢業(yè)設(shè)計(jì)（論文）說(shuō)明書 學(xué) 院 軟件學(xué)院 專 業(yè) 軟件工程 年 級(jí) 07 級(jí) 姓 名 梁其烜 指導(dǎo)教師 馮志勇 2021 年 6 月 15 日 畢業(yè)設(shè)計(jì)（論文）任務(wù)書 題目：面向 web service 的網(wǎng)絡(luò)爬蟲設(shè)計(jì)與實(shí)現(xiàn) 學(xué)生姓名 梁其烜 學(xué)院名稱 軟件學(xué)院 專 業(yè) 軟件工 程 學(xué) 號(hào) 3007218123 指導(dǎo)教師 馮志勇 職 稱 教授 一、 原始依據(jù)（包括設(shè)計(jì)或論文的工作基礎(chǔ)、研究條件、應(yīng)用環(huán) 境、工作目的等。） Web Services技術(shù)是一種基于 XML語(yǔ)言和標(biāo)準(zhǔn)的網(wǎng)絡(luò)協(xié)議實(shí)現(xiàn)的分布式計(jì)算技術(shù)。 Web Services 技術(shù)是可以改變軟件產(chǎn)業(yè)面貌和軟件應(yīng)用模式的技術(shù)之一。 Web Services 技術(shù)可以將 Inter 上的各種信息資源和服務(wù)功能整合在一起，在任何時(shí)間、任何地點(diǎn)向用戶提供優(yōu)質(zhì)的服務(wù) 。 Web Services 技術(shù)還有助于改變企業(yè)對(duì) IT系統(tǒng)的應(yīng)用方式和依賴程度。所以 Web Services 技術(shù)成為了網(wǎng)絡(luò)上的主流技術(shù)之一，隨之也來(lái)的是大量的開(kāi)發(fā)人員開(kāi)始開(kāi)發(fā) Web 服務(wù)，隨著時(shí)間的推移，網(wǎng)絡(luò)上出現(xiàn)了大量的 Web 服務(wù)。 但是，大量的 Web 服務(wù)分布在網(wǎng)絡(luò)中的各個(gè)地方，給用戶尋找特定功能的服務(wù)造成了不小的麻煩，也給服務(wù)開(kāi)發(fā)者在原有的服務(wù)上進(jìn)行再次開(kāi)發(fā)造成了不便。本課題的任務(wù)就是研究如何把網(wǎng)絡(luò)上分散的 Web 服務(wù)搜集在一起。 二、 參考文獻(xiàn) [1]孫立偉，何國(guó)輝，吳禮發(fā) 。網(wǎng)絡(luò)爬蟲技術(shù)研究 。Computer Knowledge and Technology 電腦知識(shí)與技術(shù) 。,May 2021, [2]李盛韜，余智華，程學(xué)旗 .Web 信息采集研究進(jìn)展【 J】 .計(jì)算機(jī)科學(xué)， 2021. [3], den Berg and Crawling: A New Approach to TopicSpecifi Web Resource Discovery[C].In Proceedings of the 8th International World Wide Web Conference, Toronto, Canada, 1999. [4]鄭力明，易平 。Design of Crawler Based on HTML Parser Information Extraction。微計(jì)算機(jī)信息， Microputer Information。09,June， 2021。 [5]J. Cho, H. GarciaMolina. The evolution of the web and implications for an incremental crawler [C]. In Proceedings of the 26th International Conference on Very Large Database, Cairo, Egypt, 2021. [6]李文澤；個(gè)性化垂直搜索引擎研究；河南大學(xué)； 20211107； [7]曾偉輝，李淼 . 深層網(wǎng)絡(luò)爬蟲研究綜述 [J]. 計(jì)算機(jī)系統(tǒng)應(yīng)用 , 2021. [8]周立柱 ,林 玲 . 聚焦爬蟲技術(shù)研究綜述 [J].計(jì)算機(jī)應(yīng)用 , 2021 年 9 月 . [9]S. Chakrabarti, M. van den Berg and B. Dom. Focused Crawling: A New Approach to TopicSpecific Web Resource Discovery [C]. In Proceedings of the 8th International World Wide Web Conference, Toronto, Canada, 1999. [10]陳汶濱，夏學(xué)梅 . 基于聚焦爬蟲的手機(jī)天氣預(yù)報(bào)系統(tǒng) [J]. 今日科苑 . 2021年第 2期 . [11]邱哲，符滔滔 . 開(kāi)發(fā)自己的搜索引擎 Lucene +Heritrix. 人民郵電出版社 , 20214. [12]羅剛 . 自己動(dòng)手寫網(wǎng)絡(luò)爬蟲 . 清華大學(xué)出版社 . 2021101； [13]Heritrix 官方網(wǎng)站 [EB/OL]. [14]seeda 網(wǎng)站 [EB/OL]. [15]網(wǎng)絡(luò)爬蟲 [EB/OL]. 三、設(shè)計(jì)（研究）內(nèi)容和要求（包括設(shè)計(jì)或研究?jī)?nèi)容、主要指標(biāo) 與技術(shù)參數(shù)，并根據(jù)課題性質(zhì)對(duì)學(xué)生提出具體要求。） 本系統(tǒng)將要達(dá)到以下目標(biāo)： ? 提供給用戶一個(gè)種子文件，用戶可以設(shè)置抓取 Web 服務(wù)的網(wǎng)站地址。 ? 根據(jù)種子地址，搜索種子網(wǎng)站上的 Web 服務(wù)。 ? 把搜索到的 Web 服務(wù)相關(guān)信息存入數(shù)據(jù)庫(kù)中。 為了達(dá)到以上目的，本系統(tǒng)將對(duì) Heritrix 開(kāi)源框架進(jìn)行擴(kuò)展 ,并針對(duì)服務(wù)網(wǎng)站上服務(wù)的特點(diǎn)選擇合適 的爬蟲抓取過(guò)程。 當(dāng)服務(wù)網(wǎng)站提供了詳細(xì)的服務(wù)信息，且網(wǎng)站服務(wù)的分布結(jié)構(gòu)是有規(guī)律的，那么通過(guò) 對(duì)網(wǎng)站結(jié)構(gòu)的分析，可以得到網(wǎng)站中服務(wù)分布的一顆樹(shù)，并用形式化語(yǔ)言描述這棵樹(shù)，而經(jīng)過(guò)擴(kuò)展之后的爬蟲對(duì)這顆樹(shù)進(jìn)行遍歷，就實(shí)現(xiàn)了抓起網(wǎng)絡(luò)上分布的 Web Service。 當(dāng)服務(wù)網(wǎng)站沒(méi)有提供服務(wù)的信息，只提供了 WSDL 文檔的 URL，那么就遍歷網(wǎng)站中所有的本網(wǎng)站的網(wǎng)頁(yè)，并判斷網(wǎng)頁(yè)中的鏈接是否是 WSDL 文檔的 URL， 如果是，就下載該 WSDL 文檔。 指導(dǎo)教師（簽字） 年 月 日 審題小組組長(zhǎng)（簽字） 年 月 日 天津大學(xué)本科生畢業(yè)設(shè)計(jì)（論文）開(kāi)題報(bào)告 課題名稱 Web Services 網(wǎng)絡(luò)爬蟲 學(xué)院名稱 軟件學(xué)院 專業(yè)名稱 軟件工程 學(xué)生姓名 梁其烜 指導(dǎo)教師 馮志勇 一、 課題來(lái)源及意義： 互聯(lián)網(wǎng)上的服務(wù)數(shù)量正快速的增長(zhǎng)，分布在不同的網(wǎng)站上，導(dǎo)致服務(wù)的用戶需要在不同的網(wǎng)站之間尋找一個(gè)或者多個(gè)符合自己需求的服務(wù)，對(duì)于服務(wù)開(kāi)發(fā)者來(lái)說(shuō)，他們無(wú)法快速、準(zhǔn)確的得知現(xiàn)有的服務(wù)開(kāi)發(fā)現(xiàn)狀，服務(wù)開(kāi)發(fā)者無(wú)法重用現(xiàn)有的服務(wù)，重復(fù)開(kāi)發(fā)已有的服務(wù)，導(dǎo)致一個(gè)糟糕的服務(wù)開(kāi)發(fā)環(huán)境。 本課題的任務(wù)是抓取 互聯(lián)網(wǎng)上分散的服務(wù)，具有重要意義：本系統(tǒng)把互聯(lián)網(wǎng)上的服務(wù)都收集起來(lái)，并存儲(chǔ)在本地?cái)?shù)據(jù)庫(kù)。用戶或者服務(wù)開(kāi)發(fā)者就可以在基于該本系統(tǒng)數(shù)據(jù)庫(kù)的搜索引擎中查找到所有的互聯(lián)網(wǎng)上大部分的服務(wù)，節(jié)省了在不同網(wǎng)站間查找服務(wù)的時(shí)間。服務(wù)用戶可以快速、準(zhǔn)確的找到符合自己需求的服務(wù)，服務(wù)開(kāi)發(fā)者可以快速得知服務(wù)開(kāi)發(fā)現(xiàn)狀，避免重復(fù)開(kāi)發(fā)，并且可以利用現(xiàn)有服務(wù)進(jìn)行組合開(kāi)發(fā)等。 二、 國(guó)內(nèi)外發(fā)展?fàn)顩r： 收集互聯(lián)網(wǎng)上的信息的系統(tǒng)被稱為網(wǎng)絡(luò)爬蟲 (又被稱為網(wǎng)頁(yè)蜘蛛，網(wǎng)絡(luò)機(jī)器人，在 FOAF 社區(qū)中間 ,更經(jīng)常的稱為網(wǎng)頁(yè)追逐者 )，它是一種按照一定的規(guī)則 ，自動(dòng)的抓取萬(wàn)維網(wǎng)信息的程序或者 腳本 。另外一些不常使用的名字還有螞蟻，自動(dòng)索引，模擬程序或者 蠕蟲 。 網(wǎng)絡(luò)爬蟲按照系統(tǒng)結(jié)構(gòu)和實(shí)現(xiàn)技術(shù)，大致可以分為以下幾種類型 [1]：通用網(wǎng)絡(luò)爬蟲 [2]、聚焦網(wǎng)絡(luò)爬蟲 [8]、增量式網(wǎng)絡(luò)爬蟲 [5]、 Deep Web 爬蟲 [7]。通用網(wǎng)絡(luò)爬蟲 [2]又稱全網(wǎng)爬蟲 (Scalable Web Crawler)，爬行對(duì)象從一些種子 URL 擴(kuò)充到整個(gè) Web ，主要為門戶站點(diǎn)搜索引擎和大型 Web 服務(wù)提供商采集數(shù)據(jù)。通用的網(wǎng)絡(luò)爬蟲大多應(yīng)用于大型門戶網(wǎng)站或類似于 google 這樣的搜索引擎 [15]。 聚焦網(wǎng)絡(luò)爬蟲 (Focused Crawler)，又稱主題網(wǎng)絡(luò)爬蟲 (Topical Crawler )，是指選擇性地爬行那些與預(yù)先定義好的主題相關(guān)頁(yè)面的網(wǎng)絡(luò)爬蟲 [3]。隨著垂直搜索的蓬勃發(fā)展，聚焦網(wǎng)絡(luò)，也就是主題網(wǎng)絡(luò)爬蟲成為研究的前言 ， [4]提出通過(guò)深入分析生活類網(wǎng)站網(wǎng)址的樹(shù)形結(jié)構(gòu)的架構(gòu)，開(kāi)發(fā)了收 集種子頁(yè)面的 URL 的模擬搜集齊，并基于 HTMLParser 的信息提取方法，從種子與頁(yè)面中提取出與生活類主題相關(guān)的目標(biāo) URL。 增量式網(wǎng)絡(luò)爬蟲 (Incremental Web Crawler) [5]是指對(duì)已下載網(wǎng)頁(yè)采取增 量式更新和只爬行新產(chǎn)生的或者已經(jīng)發(fā)生變化網(wǎng)頁(yè)的爬蟲，它能夠在一定程度上 保證所爬行的頁(yè)面是盡可能新的頁(yè)面 。 本課題研究的是針對(duì) Web 服務(wù)的聚焦網(wǎng)絡(luò)爬蟲技術(shù)。因?yàn)榫劢咕W(wǎng)絡(luò)爬蟲技術(shù)能最快的，最準(zhǔn)確的搜索 Web 服務(wù)信息。本課題并不是重新開(kāi)發(fā)一個(gè)爬蟲程序，而是在現(xiàn)有爬蟲開(kāi)源框架的基礎(chǔ)上進(jìn)行擴(kuò)展 。 現(xiàn)有的網(wǎng)絡(luò)爬蟲框架有很多，例如：Heritrix、 Nutch、 Larbin、 JSpider 等。 Heritrix[13]是一個(gè)由 Java 開(kāi)發(fā)的、開(kāi)源的Web 網(wǎng)絡(luò)信息采集程序。和其他開(kāi)源的爬蟲程序相比， Heritrix 的優(yōu)勢(shì)在于它的擴(kuò)展性，開(kāi)發(fā)者可以擴(kuò)展它的組件，來(lái)實(shí)現(xiàn)自己的抓取邏輯 [6]。 現(xiàn)已有很多應(yīng)用是在 Heritrix 上開(kāi)發(fā)的。例如： 基于聚焦爬蟲的手機(jī)天氣預(yù)報(bào)系統(tǒng) ，它是在 Heritrix的基本功能上進(jìn)行擴(kuò)展 [11]和修改 [12]。 由以上對(duì)爬蟲類型和爬蟲框架的發(fā)展現(xiàn)狀分析，本課題使用 Heritrix 開(kāi)源框架，并通過(guò)分析網(wǎng)絡(luò)上分布 Web 服務(wù)的網(wǎng)站的樹(shù)形結(jié)構(gòu)的架構(gòu)，實(shí)現(xiàn)針對(duì) Web服務(wù)主題的網(wǎng)絡(luò)爬蟲。 三、 目標(biāo)和內(nèi)容： 我的研究目標(biāo)是：把互聯(lián)網(wǎng)上廣泛分布的 Web Service 搜集起來(lái)，把相關(guān)信息存入數(shù)據(jù)庫(kù)，存在兩種情況： 第一種情況：網(wǎng)站上的服務(wù)提供了關(guān)于服務(wù)的相關(guān)信息，那么本系統(tǒng)需要在抓取服務(wù) wsdl 文檔的同時(shí)，獲取服務(wù)的相關(guān)信息。針對(duì)這種情況，主要的研究?jī)?nèi)容如下： Heritrix 的擴(kuò)展 因?yàn)楝F(xiàn)有的開(kāi)源爬蟲框架 Heritrix 提供了網(wǎng)絡(luò)搜索的基本結(jié)構(gòu)，所以，我會(huì)擴(kuò)展 Heritrix 框架，使該框架適用于本系統(tǒng)。 a. 重新改寫 Heritrix 框架處理流程中的過(guò)濾鏈，以過(guò)濾不需要訪問(wèn)的網(wǎng)頁(yè)。 b. 重新改寫 Heritrix 框架處理流程中的提取鏈，以提取網(wǎng)頁(yè)包含的信息。 c. 重新改寫 Heritrix 框架處理流程中的寫鏈，以下載搜索到的 wsdl 文檔。 a. 對(duì)網(wǎng)站所有 Web Service 的分類頁(yè)面進(jìn)行分析，分析出含有 所有 Web Service 的種類 URl 的 table 表格結(jié)構(gòu)和 URL 的結(jié)構(gòu)。 b. 對(duì)某類別 Web Service 頁(yè)面進(jìn)行分析，分析出含有所有該類別 Web Service 的詳細(xì)信息頁(yè)面 URL 的 table 表格結(jié)構(gòu)和 URL 的結(jié)構(gòu)。 c. 對(duì) Web Service 詳細(xì)信息頁(yè)面進(jìn)行分析，分析出包含所有與該 Web Service 相關(guān)的信息的 table 表格結(jié)構(gòu)。 通過(guò)對(duì)網(wǎng)站結(jié)構(gòu)的分析，可以得到網(wǎng)站中服務(wù)分布的一顆樹(shù)，并用形式化語(yǔ)言描述這棵樹(shù)。 采用數(shù)據(jù)結(jié)構(gòu)中的樹(shù)結(jié)構(gòu)來(lái)描述網(wǎng)站服務(wù)的分布樹(shù)，而經(jīng)過(guò)擴(kuò)展之后的爬蟲得到根節(jié)點(diǎn)， 并通過(guò)根節(jié)點(diǎn)對(duì)整棵樹(shù)進(jìn)行遍歷，就實(shí)現(xiàn)了抓起網(wǎng)絡(luò)上分布的 Web Service。 第二種情況：網(wǎng)站上只提供了服務(wù)的 wsdl文檔的 url，沒(méi)有其它信息，那么本系統(tǒng)就只需要抓取服務(wù)的 wsdl文檔，也就不需要分析網(wǎng)站服務(wù)分部結(jié)構(gòu)。針對(duì)第二種情況，主要的研究?jī)?nèi)容如下： 重新改寫 Heritrix 框架處理流程中的寫鏈，以下載搜索到的 wsdl 文檔。利用 Client 編寫下載 wsdl 程序。 四、 方法和手段： 在擴(kuò)展 Heritrix 框架的過(guò)程中，遇到的問(wèn)題或者使用的插件如下： 1. 在改寫 Heritrix 框架的提取鏈時(shí)，需要從 分析網(wǎng)站結(jié)構(gòu)中得到需要遍歷 的網(wǎng)頁(yè) URL。 2. 在改寫 Heritrix 框架的寫鏈時(shí)，涉及到訪問(wèn)遠(yuǎn)程服務(wù)器，下載 wsdl 文檔。解決該問(wèn)題時(shí)，我們用到了 HTTPClient 插件，該插件能夠?qū)崿F(xiàn)下載遠(yuǎn)程服務(wù)器上的文檔，還可以設(shè)定連接時(shí)間等。 3. 由于 Heritrix 框架提供了完善的 UI 界面操作，但是沒(méi)有提供完整的代碼啟動(dòng)程序，同時(shí)本課題需要把爬蟲啟動(dòng)操作嵌入到其他程序中，所以需 要編寫 Heritrix 的代碼啟動(dòng)模塊。 在分析網(wǎng)站結(jié)構(gòu)時(shí)，需要用到 HTMLParser 插件，該插件能夠?qū)崿F(xiàn)對(duì)網(wǎng)頁(yè)的詳細(xì)分析，包括獲取所有網(wǎng)頁(yè)標(biāo)簽 信息等功能。利用該插件，我們可以準(zhǔn)確無(wú)誤的獲取服務(wù)的所有詳細(xì)信息。 在分析網(wǎng)