畢業(yè)設(shè)計(jì)論文：網(wǎng)絡(luò)爬蟲調(diào)研報(bào)告-展示頁
2025-04-01 09:54本頁面
【正文】 rbinC++√高√HeritrixJava√中√其他網(wǎng)絡(luò)爬蟲介紹：Heritrix Heritrix是一個(gè)開源，可擴(kuò)展的web爬蟲項(xiàng)目。而Nutch對文本進(jìn)行了包括鏈接分析、正文提取、建立索引（Lucene索引）等處理。而Nutch是將內(nèi)容保存到其特定格式的segment中去。二、從分布式處理來說，Nutch支持分布式處理，而另外兩個(gè)好像尚且還沒有支持。都是一個(gè)純粹的網(wǎng)絡(luò)爬蟲，提供網(wǎng)站的鏡像下載。Heritrix的功能強(qiáng)大 但是配置起來卻有點(diǎn)麻煩。Heritrix提供的功能沒有nutch多，有點(diǎn)整站下載的味道。 Nutch 的定制能力不夠強(qiáng)，不過現(xiàn)在已經(jīng)有了一定改進(jìn)。 Nutch 從命令行運(yùn)行、控制。 Nutch 保存內(nèi)容為數(shù)據(jù)庫優(yōu)化格式便于以后索引；刷新替換舊的內(nèi)容。Heritrix則是照單全收。爬蟲通過Web用戶界面啟動(dòng)、監(jiān)控、調(diào)整，允許彈性的定義要獲取的URL。對內(nèi)容來者不拒，不對頁面進(jìn)行內(nèi)容上的修改。包括獲取圖像以及其他非文本內(nèi)容。Heritrix 和 Nutch。Heritrix開發(fā)語言：Java簡介與Nutch比較 latbin最初的設(shè)計(jì)也是依據(jù)設(shè)計(jì)簡單但是高度可配置性的原則，因此我們可以看到，一個(gè)簡單的larbin的爬蟲可以每天獲?。担埃叭f的網(wǎng)頁，非常高效?！ arbin只是一個(gè)爬蟲，也就是說larbin只抓取網(wǎng)頁，至于如何parse的事情則由用戶自己完成。bastien Ailleret獨(dú)立開發(fā)。 常用開源網(wǎng)絡(luò)爬蟲介紹及其比較Nutch開發(fā)語言：Java簡介：Apache的子項(xiàng)目之一，屬于Lucene項(xiàng)目下的子項(xiàng)目。如何評(píng)價(jià)和預(yù)測鏈接的 “重要程度 ”(或稱價(jià)值 )是決定網(wǎng)絡(luò)爬蟲搜索策略的關(guān)鍵。在專業(yè)搜索引擎中 ,網(wǎng)絡(luò)爬蟲的任務(wù)是獲取 Web頁面和決定鏈接的訪問順序 ,它通常從一個(gè) “種子集 ”(如用戶查詢、種子鏈接或種子頁面 )發(fā),以迭代的方式訪問頁面和提取鏈接。這個(gè)方法有個(gè)優(yōu)點(diǎn)是網(wǎng)絡(luò)爬蟲在設(shè)計(jì)的時(shí)候比較容易。這是最常用的方式,因?yàn)檫@個(gè)方法可以讓網(wǎng)絡(luò)爬蟲并行處理 ,提高其抓取速度。其中前者主要包括 :廣度優(yōu)先和深度優(yōu)先。（4）完成隊(duì)列 :如果在處理網(wǎng)頁沒有發(fā)生錯(cuò)誤 ,該 URL將被加入到完成隊(duì)列。為了避免同一個(gè) URL被多次處理 ,當(dāng)一個(gè) URL被處理過后 ,它將被轉(zhuǎn)移到完成隊(duì)列或者錯(cuò)誤隊(duì)列 (如果發(fā)生錯(cuò)誤 )。 Spider的隊(duì)列 （1）等待隊(duì)列 :新發(fā)現(xiàn)的 URL被加入到這個(gè)隊(duì)列 ,等待被 Spider程序處理 。它遍歷 Web空間 ,不斷從一個(gè)站點(diǎn)移動(dòng)到另一個(gè)站點(diǎn) ,自動(dòng)建立索引 ,并加入到網(wǎng)頁數(shù)據(jù)庫中。而廣義的定義則是所有能遵循 協(xié)議檢索 Web文檔的軟件都稱之為網(wǎng)絡(luò)爬蟲。窗體頂端網(wǎng)絡(luò)爬蟲調(diào)研報(bào)告基本原理Spider概述 Spider即網(wǎng)絡(luò)爬蟲 ,其定義有廣義和狹義之分。狹義上指遵循標(biāo)準(zhǔn)的 協(xié)議利用超鏈接和 Web文檔檢索的方法遍歷萬維網(wǎng)信息空間的軟件程序 。 Spider是一個(gè)功能很強(qiáng)的自動(dòng)提取網(wǎng)頁的程序 ,它為搜索引擎從萬維網(wǎng)上下載網(wǎng)頁 ,是搜索引擎的重要組成 .它通過請求站點(diǎn)上的 HTML文檔訪問某一站點(diǎn)。網(wǎng)絡(luò)爬蟲進(jìn)入某個(gè)超級(jí)文本時(shí) ,它利用 HTML語言的標(biāo)記結(jié)構(gòu)來搜索信息及獲取指向其他超級(jí)文本的 URL地址 ,可以完全不依賴用戶干預(yù)實(shí)現(xiàn)網(wǎng)絡(luò)上的自動(dòng)爬行和搜索。 （2）處理隊(duì)列 :要被處理的 URL被傳送到這個(gè)隊(duì)列。 （3）錯(cuò)誤隊(duì)列 :如果在下載網(wǎng)頁是發(fā)生錯(cuò)誤 ,該 URL將被加入 到錯(cuò)誤隊(duì)列。 網(wǎng)絡(luò)爬蟲搜索策略在抓取網(wǎng)頁的時(shí)候 ,目前網(wǎng)絡(luò)爬蟲一般有兩種策略 :無主題搜索與基于某特定主體的專業(yè)智能搜索。廣度優(yōu)先是指網(wǎng)絡(luò)爬蟲會(huì)先抓取起始網(wǎng)頁中鏈接的所有網(wǎng)頁 ,然后再選擇其中的一個(gè)鏈接網(wǎng)頁 ,繼續(xù)抓取在此網(wǎng)頁中鏈接的所有網(wǎng)頁。深度優(yōu)先是指網(wǎng)絡(luò)爬蟲會(huì)從起始頁開始 ,一個(gè)鏈接一個(gè)鏈接跟蹤下去 ,處理完這條線路之后再轉(zhuǎn)入下一個(gè)起始頁 ,繼續(xù)跟蹤鏈接。大多數(shù)網(wǎng)頁爬行器采用寬度優(yōu)先搜索策略或者是對這種策略的某些改進(jìn)。搜索過程中 ,未訪問的鏈接被暫存在一個(gè)稱為 “搜索前沿 ”(Spider Frontier)的隊(duì)列中 ,網(wǎng)絡(luò)爬蟲根據(jù)搜索前沿中鏈接的 “重要程度 ”決定下一個(gè)要訪問的鏈接。眾多的網(wǎng)絡(luò)爬蟲設(shè)計(jì)各不相同 ,但歸根結(jié)底是采用不同的鏈接價(jià)值評(píng)價(jià)標(biāo)準(zhǔn)。Nutch是一個(gè)基于Lucene，類似Google的完整網(wǎng)絡(luò)搜索引擎解決方案，基于Hadoop的分布式處理模型保證了系統(tǒng)的性能，類似Eclipse的插件機(jī)制保證了系統(tǒng)的可客戶化，而且很容易集成到自己的應(yīng)用之中。Larbin開發(fā)語言：C++簡介 larbin是一種開源的網(wǎng)絡(luò)爬蟲/網(wǎng)絡(luò)蜘蛛，由法國的年輕人 S233。larbin目的是能夠跟蹤頁面的url進(jìn)行擴(kuò)展的抓取，最后為搜索引擎提供廣泛的數(shù)據(jù)來源。另外，如何存儲(chǔ)到數(shù)據(jù)庫以及建立索引的事情 larbin也不提供。二者均為Java開源框架，Heritrix 是 SourceForge上的開源產(chǎn)品，Nutch為Apache的一個(gè)子項(xiàng)目，它們都稱作網(wǎng)絡(luò)爬蟲/蜘蛛（ Web Crawler），它們實(shí)現(xiàn)的原理基本一致：深度遍歷網(wǎng)站的資源，將這些資源抓取到本地，使用的方法都是分析網(wǎng)站每一個(gè)有效的URI，并提
環(huán)評(píng)公示相關(guān)推薦
鄂ICP備17016276號(hào)-1