畢業(yè)設(shè)計(jì)（論文）：網(wǎng)絡(luò)爬蟲調(diào)研報告-文庫吧
2025-03-08 09:54 本頁面
【正文】 。三者的比較一、從功能方面來說，Heritrix與Larbin的功能類似。都是一個純粹的網(wǎng)絡(luò)爬蟲，提供網(wǎng)站的鏡像下載。而Nutch是一個網(wǎng)絡(luò)搜索引擎框架，爬取網(wǎng)頁只是其功能的一部分。二、從分布式處理來說，Nutch支持分布式處理，而另外兩個好像尚且還沒有支持。三、從爬取的網(wǎng)頁存儲方式來說，Heritrix和 Larbin都是將爬取下來的內(nèi)容保存為原始類型的內(nèi)容。而Nutch是將內(nèi)容保存到其特定格式的segment中去。四，對于爬取下來的內(nèi)容的處理來說，Heritrix和 Larbin都是將爬取下來的內(nèi)容不經(jīng)處理直接保存為原始內(nèi)容。而Nutch對文本進(jìn)行了包括鏈接分析、正文提取、建立索引（Lucene索引）等處理。五，從爬取的效率來說，Larbin效率較高，因?yàn)槠涫鞘褂胏++實(shí)現(xiàn)的并且功能單一。表 3種爬蟲的比較crawler開發(fā)語言功能單一支持分布式爬取效率鏡像保存NutchJava√低LarbinC++√高√HeritrixJava√中√其他網(wǎng)絡(luò)爬蟲介紹：Heritrix Heritrix是一個開源，可擴(kuò)展的web爬蟲項(xiàng)目。 robots標(biāo)簽。WebSPHINX WebSPHINX是一個Java類包和Web爬蟲的交互式開發(fā)環(huán)境。Web爬蟲(也叫作機(jī)器人或蜘蛛)是可以自動瀏覽與處理Web頁面的程序。WebSPHINX由兩部分組成：爬蟲工作平臺和WebSPHINX類包。~rcm/websphinx/WebLech WebLech是一個功能強(qiáng)大的Web站點(diǎn)下載與鏡像工具。它支持按功能需求來下載web站點(diǎn)并能夠盡可能模仿標(biāo)準(zhǔn)Web瀏覽器的行為。WebLech有一個功能控制臺并采用多線程操作。Arale Arale主要為個人使用而設(shè)計(jì)，而沒有像其它爬蟲一樣是關(guān)注于頁面索引。Arale能夠下載整個web站點(diǎn)或來自web站點(diǎn)的某些資源。Arale還能夠把動態(tài)頁面映射成靜態(tài)頁面。JSpider JSpider:是一個完全可配置和定制的Web (內(nèi)在的服務(wù)器錯誤等),網(wǎng)站內(nèi)外部鏈接檢查，分析網(wǎng)站的結(jié)構(gòu)(可創(chuàng)建一個網(wǎng)站地圖),下載整個Web站點(diǎn)，你還可以寫一個JSpider插件來擴(kuò)展你所需要的功能。spindle spindle 是一個構(gòu)建在Lucene工具包之上的Web索引/ spider和一個用于搜索這些索引的搜索類。spindle項(xiàng)目提供了一組JSP標(biāo)簽庫使得那些基于JSP的站點(diǎn)不需要開發(fā)任何Java類就能夠增加搜索功能。Arachnid Arachnid: 是一個基于Java的web spiders并能夠在Web站上的每個頁面被解析之后增加幾行代碼調(diào)用。 Arachnid的下載包中包含兩個spider應(yīng)用程序例子用于演示如何使用該框架。LARM LARM能夠?yàn)镴akarta Lucene搜索引擎框架的用戶提供一個純Java的搜索解決方案。它包含能夠?yàn)槲募瑪?shù)據(jù)庫表格建立索引的方法和為Web站點(diǎn)建索引的爬蟲。JoBo JoBo 是一個用于下載整個Web站點(diǎn)的簡單工具。它本質(zhì)是一個Web Spider。與其它下載工具相比較它的主要優(yōu)勢是能夠自動填充form(如：自動登錄)和使用cookies來處理session。JoBo還有靈活的下載規(guī)則(如：通過網(wǎng)頁的URL，大小，MIME類型等)來限制下載。snoicsreptile snoics reptile是用純Java開發(fā)的，用來進(jìn)行網(wǎng)站鏡像抓取的工具，可以使用配制文件中提供的URL入口，把這個網(wǎng)站所有的能用瀏覽器通過GET的方式獲取到的資源全部抓取到本地，包括網(wǎng)頁和各種類型的文件，如：圖片、flash、mpzip、rar、exe等文件?？梢詫⒄麄€網(wǎng)站完整地下傳至硬盤內(nèi)，并能保持原有的網(wǎng)站結(jié)構(gòu)精確不變。只需要把抓取下來的網(wǎng)站放到web服務(wù)器(如：Apache)中，就可以實(shí)現(xiàn)完整的網(wǎng)站鏡像。WebHarvest WebHarvest是一個Java開源Web數(shù)據(jù)抽取工具。它能夠收集指定的Web頁面并從這些頁面中提取有用的數(shù)據(jù)。WebHarvest主要是運(yùn)用了像XSLT,XQuery,正則表達(dá)式等這些技術(shù)來實(shí)現(xiàn)對text/xml的操作。spiderpyspiderpy是一個基于Python編碼的一個開源web爬蟲工具，允許用戶收集文件和搜索網(wǎng)站，并有一個可配置的界面。The Spider Web Network Xoops Mod Team pider Web Network Xoops Mod是一個Xoops下的模塊，完全由PHP語言實(shí)現(xiàn)。larbinlarbin是個基于C++的web爬蟲工具，擁有易于操作的界面，不過只能跑在LINUX下，在一臺普通PC下larbin每天可以爬5百萬個頁面(當(dāng)然啦，需要擁有良好的網(wǎng)絡(luò))爬蟲存在的問題1. ，在這個文件中網(wǎng)站管理者可以聲明該網(wǎng)站中不想被robots訪問的部分，或者指定搜索引擎只收錄指定的內(nèi)容。當(dāng)一個搜索機(jī)器人（有的叫搜索蜘蛛）訪問一個站點(diǎn)時，如果存在，搜索機(jī)器人就會按照該文件中的內(nèi)容來確定訪問的范圍；如果該文件不存在，那么搜索機(jī)器人就沿著鏈接抓取。另外，而且文件名必須全部小寫。
環(huán)評公示相關(guān)推薦
鄂ICP備17016276號-1