畢業(yè)設(shè)計(jì)論文：網(wǎng)絡(luò)爬蟲(chóng)調(diào)研報(bào)告-wenkub
2023-04-07 09:54:44 本頁(yè)面
【正文】 itrix與Larbin的功能類(lèi)似。Heritrix 可控制的參數(shù)更多。而Heritrix 是添加(追加)新的內(nèi)容。二者的差異：Nutch 只獲取并保存可索引的內(nèi)容。抓取并存儲(chǔ)相關(guān)的內(nèi)容。二者均為Java開(kāi)源框架，Heritrix 是 SourceForge上的開(kāi)源產(chǎn)品，Nutch為Apache的一個(gè)子項(xiàng)目，它們都稱(chēng)作網(wǎng)絡(luò)爬蟲(chóng)/蜘蛛（ Web Crawler），它們實(shí)現(xiàn)的原理基本一致：深度遍歷網(wǎng)站的資源，將這些資源抓取到本地，使用的方法都是分析網(wǎng)站每一個(gè)有效的URI，并提交Http請(qǐng)求，從而獲得相應(yīng)結(jié)果，生成本地文件及相應(yīng)的日志信息等。larbin目的是能夠跟蹤頁(yè)面的url進(jìn)行擴(kuò)展的抓取，最后為搜索引擎提供廣泛的數(shù)據(jù)來(lái)源。Nutch是一個(gè)基于Lucene，類(lèi)似Google的完整網(wǎng)絡(luò)搜索引擎解決方案，基于Hadoop的分布式處理模型保證了系統(tǒng)的性能，類(lèi)似Eclipse的插件機(jī)制保證了系統(tǒng)的可客戶(hù)化，而且很容易集成到自己的應(yīng)用之中。搜索過(guò)程中 ,未訪問(wèn)的鏈接被暫存在一個(gè)稱(chēng)為 “搜索前沿 ”(Spider Frontier)的隊(duì)列中 ,網(wǎng)絡(luò)爬蟲(chóng)根據(jù)搜索前沿中鏈接的 “重要程度 ”決定下一個(gè)要訪問(wèn)的鏈接。深度優(yōu)先是指網(wǎng)絡(luò)爬蟲(chóng)會(huì)從起始頁(yè)開(kāi)始 ,一個(gè)鏈接一個(gè)鏈接跟蹤下去 ,處理完這條線路之后再轉(zhuǎn)入下一個(gè)起始頁(yè) ,繼續(xù)跟蹤鏈接。 網(wǎng)絡(luò)爬蟲(chóng)搜索策略在抓取網(wǎng)頁(yè)的時(shí)候 ,目前網(wǎng)絡(luò)爬蟲(chóng)一般有兩種策略 :無(wú)主題搜索與基于某特定主體的專(zhuān)業(yè)智能搜索。 （2）處理隊(duì)列 :要被處理的 URL被傳送到這個(gè)隊(duì)列。 Spider是一個(gè)功能很強(qiáng)的自動(dòng)提取網(wǎng)頁(yè)的程序 ,它為搜索引擎從萬(wàn)維網(wǎng)上下載網(wǎng)頁(yè) ,是搜索引擎的重要組成 .它通過(guò)請(qǐng)求站點(diǎn)上的 HTML文檔訪問(wèn)某一站點(diǎn)。窗體頂端網(wǎng)絡(luò)爬蟲(chóng)調(diào)研報(bào)告基本原理Spider概述 Spider即網(wǎng)絡(luò)爬蟲(chóng) ,其定義有廣義和狹義之分。它遍歷 Web空間 ,不斷從一個(gè)站點(diǎn)移動(dòng)到另一個(gè)站點(diǎn) ,自動(dòng)建立索引 ,并加入到網(wǎng)頁(yè)數(shù)據(jù)庫(kù)中。為了避免同一個(gè) URL被多次處理 ,當(dāng)一個(gè) URL被處理過(guò)后 ,它將被轉(zhuǎn)移到完成隊(duì)列或者錯(cuò)誤隊(duì)列 (如果發(fā)生錯(cuò)誤 )。其中前者主要包括 :廣度優(yōu)先和深度優(yōu)先。這個(gè)方法有個(gè)優(yōu)點(diǎn)是網(wǎng)絡(luò)爬蟲(chóng)在設(shè)計(jì)的時(shí)候比較容易。如何評(píng)價(jià)和預(yù)測(cè)鏈接的 “重要程度 ”(或稱(chēng)價(jià)值 )是決定網(wǎng)絡(luò)爬蟲(chóng)搜索策略的關(guān)鍵。 Larbin只是一個(gè)爬蟲(chóng)，也就是說(shuō)larbin只抓取網(wǎng)頁(yè)，至于如何parse的事情則由用戶(hù)自己完成。Heritrix開(kāi)發(fā)語(yǔ)言：Java簡(jiǎn)介與Nutch比較對(duì)內(nèi)容來(lái)者不拒，不對(duì)頁(yè)面進(jìn)行內(nèi)容上的修改。Heritrix則是照單全收。 Nutch 從命令行運(yùn)行、控制。Heritrix提供的功能沒(méi)有nutch多，有點(diǎn)整站下載的味道。都是一個(gè)純粹的網(wǎng)絡(luò)爬蟲(chóng)，提供網(wǎng)站的鏡像下載。而Nutch是將內(nèi)容保存到其特定格式的segment中去。表 3種爬蟲(chóng)的比較crawler開(kāi)發(fā)語(yǔ)言功能單一支持分布式爬取效率鏡像保存NutchJava√低LarbinC++√高√HeritrixJava√中√其他網(wǎng)絡(luò)爬蟲(chóng)介紹：Heritrix Heritrix是一個(gè)開(kāi)源，可擴(kuò)展的web爬蟲(chóng)項(xiàng)目。WebSPHINX由兩部分組成：爬蟲(chóng)工作平臺(tái)和WebSPHINX類(lèi)包。Arale Arale主要為個(gè)人使用而設(shè)計(jì)，而沒(méi)有像其它爬蟲(chóng)一樣是關(guān)注于頁(yè)面索引。spindle spindle 是一個(gè)構(gòu)建在Lucene工具包之上的Web索引/ spider和一個(gè)用于搜索這些索引的搜索類(lèi)。LARM LARM能夠?yàn)镴akarta Lucene搜索引擎框架的用戶(hù)提供一個(gè)純Java的搜索解決方案。與其它下載工具相比較它的主要優(yōu)勢(shì)是能夠自動(dòng)填充form(如：自動(dòng)登錄)和使用cookies來(lái)處理session。只需要把抓取下來(lái)的網(wǎng)站放到web服務(wù)器(如：Apache)中，就可以實(shí)現(xiàn)完整的網(wǎng)站鏡像。spiderpyspiderpy是一個(gè)基于Python編碼的一個(gè)開(kāi)源web爬蟲(chóng)工具，允許用戶(hù)收集文件和搜索網(wǎng)站，并有一個(gè)可配置的界面。2.網(wǎng)絡(luò)爬蟲(chóng)的相關(guān)研究工作有些類(lèi)型的網(wǎng)頁(yè)難以爬取。（3）需要注冊(cè)或其他限制訪問(wèn)的頁(yè)面。1.2.3.狹義上指遵循標(biāo)準(zhǔn)的 協(xié)議利用超鏈接和 Web文檔檢索的方法遍歷萬(wàn)維網(wǎng)信息空間的軟件程序 。網(wǎng)絡(luò)爬蟲(chóng)進(jìn)入某個(gè)超級(jí)文本時(shí) ,它利用 HTML語(yǔ)言的標(biāo)記結(jié)構(gòu)來(lái)搜索信息及獲取指向其他超級(jí)文本的 URL地址 ,可以完全不依賴(lài)用戶(hù)干預(yù)實(shí)現(xiàn)網(wǎng)絡(luò)上的自動(dòng)爬行和搜索。 （3）錯(cuò)誤隊(duì)列 :如果在下載網(wǎng)頁(yè)是發(fā)生錯(cuò)誤 ,該 URL將被加入 到錯(cuò)誤隊(duì)列。廣度優(yōu)先是指網(wǎng)絡(luò)爬蟲(chóng)會(huì)先抓取起始網(wǎng)頁(yè)中鏈接的所有網(wǎng)頁(yè) ,然后再選擇其中的一個(gè)鏈接網(wǎng)頁(yè) ,繼續(xù)抓取在此網(wǎng)頁(yè)中鏈接的所有網(wǎng)頁(yè)。大多數(shù)網(wǎng)頁(yè)爬行器采用寬度優(yōu)先搜索策略或者是對(duì)這種策略的某些改進(jìn)。眾多的網(wǎng)絡(luò)爬蟲(chóng)設(shè)計(jì)各不相同 ,但歸根結(jié)底是采用不同的鏈接價(jià)值評(píng)價(jià)標(biāo)準(zhǔn)。Larbin開(kāi)發(fā)語(yǔ)言：C++簡(jiǎn)介 larbin是一種開(kāi)源的網(wǎng)絡(luò)爬蟲(chóng)/網(wǎng)絡(luò)蜘蛛，由法國(guó)的年輕人 S233。另外，如何存儲(chǔ)到數(shù)據(jù)庫(kù)以及建立索引的事情 larbin也不提供。對(duì)內(nèi)容來(lái)者不拒，不對(duì)頁(yè)面進(jìn)行內(nèi)容上的修
環(huán)評(píng)公示相關(guān)推薦
鄂ICP備17016276號(hào)-1