【正文】 關(guān)鍵。二者的差異：Nutch 只獲取并保存可索引的內(nèi)容。三、從爬取的網(wǎng)頁存儲方式來說，Heritrix和 Larbin都是將爬取下來的內(nèi)容保存為原始類型的內(nèi)容。JSpider JSpider:是一個(gè)完全可配置和定制的Web (內(nèi)在的服務(wù)器錯(cuò)誤等),網(wǎng)站內(nèi)外部鏈接檢查，分析網(wǎng)站的結(jié)構(gòu)(可創(chuàng)建一個(gè)網(wǎng)站地圖),下載整個(gè)Web站點(diǎn)，你還可以寫一個(gè)JSpider插件來擴(kuò)展你所需要的功能。WebHarvest主要是運(yùn)用了像XSLT,XQuery,正則表達(dá)式等這些技術(shù)來實(shí)現(xiàn)對text/xml的操作。 主題網(wǎng)絡(luò)爬蟲研究未來研究方向分布式網(wǎng)絡(luò)爬蟲并行網(wǎng)絡(luò)爬蟲特定領(lǐng)域如論壇，博客等的爬取關(guān)于Ajax技術(shù)的深層網(wǎng)絡(luò)爬蟲研究多媒體網(wǎng)絡(luò)爬蟲研究對等網(wǎng)絡(luò)（P2P,Peer to Peer）網(wǎng)絡(luò)爬蟲（4）可訪問的非網(wǎng)頁文件。 ，在這個(gè)文件中網(wǎng)站管理者可以聲明該網(wǎng)站中不想被robots訪問的部分，或者指定搜索引擎只收錄指定的內(nèi)容?？梢詫⒄麄€(gè)網(wǎng)站完整地下傳至硬盤內(nèi)，并能保持原有的網(wǎng)站結(jié)構(gòu)精確不變。WebLech有一個(gè)功能控制臺并采用多線程操作。三者的比較一、從功能方面來說，Heritrix與Larbin的功能類似。抓取并存儲相關(guān)的內(nèi)容。Heritrix開發(fā)語言：Java簡介與Nutch比較這個(gè)方法有個(gè)優(yōu)點(diǎn)是網(wǎng)絡(luò)爬蟲在設(shè)計(jì)的時(shí)候比較容易。參考文獻(xiàn)：[1] 謝國強(qiáng)等，《基于Web的網(wǎng)絡(luò)爬蟲技術(shù)研究》[2] Yida Wang etc. Exploring Traversal Strategy for Web Forum Crawling, sigir’ 08[3] Junghoo Cho(UCLA), Hector GarciaMolina( Standford), Parallel Crawlers, WWW2002[4] Analia Lourenco etc, Catching Web Crawlers in the Act, ICWE’06[5] 曾偉輝等，《深層網(wǎng)絡(luò)爬蟲研究綜述》，計(jì)算機(jī)系統(tǒng)應(yīng)用 2008年第5期[6] 王映、于滿泉等，《JavaScript引擎在動態(tài)網(wǎng)頁采集技術(shù)中的應(yīng)用》，中科院計(jì)算所、微軟亞洲研究院網(wǎng)絡(luò)爬蟲調(diào)研報(bào)告基本原理Spider概述 Spider即網(wǎng)絡(luò)爬蟲 ,其定義有廣義和狹義之分。 Orlando O. Belo 在2006年提出來使用查詢?nèi)罩镜姆椒ㄏ拗凭W(wǎng)絡(luò)爬蟲的活動以減輕服務(wù)器壓力。在王映等人的文章中，提出了使用一個(gè)嵌入式的JavaScript引擎來進(jìn)行動態(tài)網(wǎng)頁采集的方法。另外，而且文件名必須全部小寫?？梢詫⒄麄€(gè)網(wǎng)站完整地下傳至硬盤內(nèi)，并能保持原有的網(wǎng)站結(jié)構(gòu)精確不變。WebLech有一個(gè)功能控制臺并采用多線程操作。三者的比較一、從功能方面來說，Heritrix與Larbin的功能類似。抓取并存儲相關(guān)的內(nèi)容。larbin目的是能夠跟蹤頁面的url進(jìn)行擴(kuò)展的抓取，最后為搜索引擎提供廣泛的數(shù)據(jù)來源。 網(wǎng)絡(luò)爬蟲搜索策略在抓取網(wǎng)頁的時(shí)候 ,目前網(wǎng)絡(luò)爬蟲一般有兩種策略 :無主題搜索與基于某特定主體的專業(yè)智能搜索。它遍歷 Web空間 ,不斷從一個(gè)站點(diǎn)移動到另一個(gè)站點(diǎn) ,自動建立索引 ,并加入到網(wǎng)頁數(shù)據(jù)庫中。如何評價(jià)和預(yù)測鏈接的 “重要程度 ”(或稱價(jià)值 )是決定網(wǎng)絡(luò)爬蟲搜索策略的關(guān)鍵。 Nutch 從命令行運(yùn)行、控制。表 3種爬蟲的比較crawler開發(fā)語言功能單一支持分布式爬取效率鏡像保存NutchJava√低LarbinC++√高√HeritrixJava√中√其他網(wǎng)絡(luò)爬蟲介紹：Heritrix Heritrix是一個(gè)開源，可擴(kuò)展的web爬蟲項(xiàng)目。LARM LARM能夠?yàn)镴akarta Lucene搜索引擎框架的用戶提供一個(gè)純Java的搜索解決方案。網(wǎng)絡(luò)爬蟲的相關(guān)研究工作有些類型的網(wǎng)頁難以爬取。2. （3）錯(cuò)誤隊(duì)列 :如果在下載網(wǎng)頁是發(fā)生錯(cuò)誤 ,該 URL將被加入 到錯(cuò)誤隊(duì)列。Larbin開發(fā)語言：C++簡介　　larbin是一種開源的網(wǎng)絡(luò)爬蟲/網(wǎng)絡(luò)蜘蛛，由法國的年輕人 S233。 Nutch 從命令行運(yùn)行、控制。表 3種爬蟲的比較crawler開發(fā)語言功能單一支持分布式爬取效率鏡像保存NutchJava√低LarbinC++√高√HeritrixJava√中√其他網(wǎng)絡(luò)爬蟲介紹：Heritrix Heritrix是一個(gè)開源，可擴(kuò)展的web爬蟲項(xiàng)目。LARM LARM能夠?yàn)镴akarta Lucene搜索引擎框架的用戶提供一個(gè)純Java的搜索解決方案。爬蟲存在的問題1. 有些類型的網(wǎng)頁難以爬取。 ，數(shù)據(jù)量巨大，難以抓取，例如論壇等網(wǎng)站。 網(wǎng)絡(luò)上的網(wǎng)頁數(shù)量太大，在爬取時(shí)需要考慮爬取的時(shí)間及效率等問題，UCLA的Junghoo Cho等提出了使用并行的crawler的方法。2.網(wǎng)絡(luò)爬蟲的相關(guān)研究工作有些類型的網(wǎng)頁難以爬取。JoBo JoBo 是一個(gè)用于下載整個(gè)W