【正文】 關(guān)鍵。二者的差異：Nutch 只獲取并保存可索引的內(nèi)容。三、從爬取的網(wǎng)頁存儲方式來說，Heritrix和 Larbin都是將爬取下來的內(nèi)容保存為原始類型的內(nèi)容。JSpider JSpider:是一個完全可配置和定制的Web (內(nèi)在的服務(wù)器錯誤等),網(wǎng)站內(nèi)外部鏈接檢查，分析網(wǎng)站的結(jié)構(gòu)(可創(chuàng)建一個網(wǎng)站地圖),下載整個Web站點，你還可以寫一個JSpider插件來擴展你所需要的功能。WebHarvest主要是運用了像XSLT,XQuery,正則表達式等這些技術(shù)來實現(xiàn)對text/xml的操作。 主題網(wǎng)絡(luò)爬蟲研究未來研究方向分布式網(wǎng)絡(luò)爬蟲并行網(wǎng)絡(luò)爬蟲特定領(lǐng)域如論壇，博客等的爬取關(guān)于Ajax技術(shù)的深層網(wǎng)絡(luò)爬蟲研究多媒體網(wǎng)絡(luò)爬蟲研究對等網(wǎng)絡(luò)（P2P,Peer to Peer）網(wǎng)絡(luò)爬蟲（4）可訪問的非網(wǎng)頁文件。 ，在這個文件中網(wǎng)站管理者可以聲明該網(wǎng)站中不想被robots訪問的部分，或者指定搜索引擎只收錄指定的內(nèi)容?？梢詫⒄麄€網(wǎng)站完整地下傳至硬盤內(nèi)，并能保持原有的網(wǎng)站結(jié)構(gòu)精確不變。WebLech有一個功能控制臺并采用多線程操作。三者的比較一、從功能方面來說，Heritrix與Larbin的功能類似。抓取并存儲相關(guān)的內(nèi)容。Heritrix開發(fā)語言：Java簡介與Nutch比較這個方法有個優(yōu)點是網(wǎng)絡(luò)爬蟲在設(shè)計的時候比較容易。參考文獻：[1] 謝國強等，《基于Web的網(wǎng)絡(luò)爬蟲技術(shù)研究》[2] Yida Wang etc. Exploring Traversal Strategy for Web Forum Crawling, sigir’ 08[3] Junghoo Cho(UCLA), Hector GarciaMolina( Standford), Parallel Crawlers, WWW2002[4] Analia Lourenco etc, Catching Web Crawlers in the Act, ICWE’06[5] 曾偉輝等，《深層網(wǎng)絡(luò)爬蟲研究綜述》，計算機系統(tǒng)應(yīng)用 2008年第5期[6] 王映、于滿泉等，《JavaScript引擎在動態(tài)網(wǎng)頁采集技術(shù)中的應(yīng)用》，中科院計算所、微軟亞洲研究院網(wǎng)絡(luò)爬蟲調(diào)研報告基本原理Spider概述 Spider即網(wǎng)絡(luò)爬蟲 ,其定義有廣義和狹義之分。 Orlando O. Belo 在2006年提出來使用查詢?nèi)罩镜姆椒ㄏ拗凭W(wǎng)絡(luò)爬蟲的活動以減輕服務(wù)器壓力。在王映等人的文章中，提出了使用一個嵌入式的JavaScript引擎來進行動態(tài)網(wǎng)頁采集的方法。另外，而且文件名必須全部小寫?？梢詫⒄麄€網(wǎng)站完整地下傳至硬盤內(nèi)，并能保持原有的網(wǎng)站結(jié)構(gòu)精確不變。WebLech有一個功能控制臺并采用多線程操作。三者的比較一、從功能方面來說，Heritrix與Larbin的功能類似。抓取并存儲相關(guān)的內(nèi)容。larbin目的是能夠跟蹤頁面的url進行擴展的抓取，最后為搜索引擎提供廣泛的數(shù)據(jù)來源。 網(wǎng)絡(luò)爬蟲搜索策略在抓取網(wǎng)頁的時候 ,目前網(wǎng)絡(luò)爬蟲一般有兩種策略 :無主題搜索與基于某特定主體的專業(yè)智能搜索。它遍歷 Web空間 ,不斷從一個站點移動到另一個站點 ,自動建立索引 ,并加入到網(wǎng)頁數(shù)據(jù)庫中。如何評價和預(yù)測鏈接的 “重要程度 ”(或稱價值 )是決定網(wǎng)絡(luò)爬蟲搜索策略的關(guān)鍵。 Nutch 從命令行運行、控制。表 3種爬蟲的比較crawler開發(fā)語言功能單一支持分布式爬取效率鏡像保存NutchJava√低LarbinC++√高√HeritrixJava√中√其他網(wǎng)絡(luò)爬蟲介紹：Heritrix Heritrix是一個開源，可擴展的web爬蟲項目。LARM LARM能夠為Jakarta Lucene搜索引擎框架的用戶提供一個純Java的搜索解決方案。網(wǎng)絡(luò)爬蟲的相關(guān)研究工作有些類型的網(wǎng)頁難以爬取。2. （3）錯誤隊列 :如果在下載網(wǎng)頁是發(fā)生錯誤 ,該 URL將被加入 到錯誤隊列。Larbin開發(fā)語言：C++簡介　　larbin是一種開源的網(wǎng)絡(luò)爬蟲/網(wǎng)絡(luò)蜘蛛，由法國的年輕人 S233。 Nutch 從命令行運行、控制。表 3種爬蟲的比較crawler開發(fā)語言功能單一支持分布式爬取效率鏡像保存NutchJava√低LarbinC++√高√HeritrixJava√中√其他網(wǎng)絡(luò)爬蟲介紹：Heritrix Heritrix是一個開源，可擴展的web爬蟲項目。LARM LARM能夠為Jakarta Lucene搜索引擎框架的用戶提供一個純Java的搜索解決方案。爬蟲存在的問題1. 有些類型的網(wǎng)頁難以爬取。 ，數(shù)據(jù)量巨大，難以抓取，例如論壇等網(wǎng)站。 網(wǎng)絡(luò)上的網(wǎng)頁數(shù)量太大，在爬取時需要考慮爬取的時間及效率等問題，UCLA的Junghoo Cho等提出了使用并行的crawler的方法。2.網(wǎng)絡(luò)爬蟲的相關(guān)研究工作有些類型的網(wǎng)頁難以爬取。JoBo JoBo 是一個用于下載整個W