畢業(yè)設計論文：網(wǎng)絡爬蟲調(diào)研報告-閱讀頁
2025-04-07 09:54本頁面
【正文】 完成隊列 :如果在處理網(wǎng)頁沒有發(fā)生錯誤 ,該 URL將被加入到完成隊列。其中前者主要包括 :廣度優(yōu)先和深度優(yōu)先。這是最常用的方式,因為這個方法可以讓網(wǎng)絡爬蟲并行處理 ,提高其抓取速度。這個方法有個優(yōu)點是網(wǎng)絡爬蟲在設計的時候比較容易。在專業(yè)搜索引擎中 ,網(wǎng)絡爬蟲的任務是獲取 Web頁面和決定鏈接的訪問順序 ,它通常從一個 “種子集 ”(如用戶查詢、種子鏈接或種子頁面 )發(fā),以迭代的方式訪問頁面和提取鏈接。如何評價和預測鏈接的 “重要程度 ”(或稱價值 )是決定網(wǎng)絡爬蟲搜索策略的關鍵。常用開源網(wǎng)絡爬蟲介紹及其比較Nutch開發(fā)語言：Java簡介：Apache的子項目之一，屬于Lucene項目下的子項目。 bastien Ailleret獨立開發(fā)?！ arbin只是一個爬蟲，也就是說larbin只抓取網(wǎng)頁，至于如何parse的事情則由用戶自己完成?！ atbin最初的設計也是依據(jù)設計簡單但是高度可配置性的原則，因此我們可以看到，一個簡單的larbin的爬蟲可以每天獲取５００萬的網(wǎng)頁，非常高效。Heritrix開發(fā)語言：Java簡介與Nutch比較Heritrix 和 Nutch。 Heritrix 是個 archival crawler 用來獲取完整的、精確的、站點內(nèi)容的深度復制。抓取并存儲相關的內(nèi)容。重新爬行對相同的URL不針對先前的進行替換。二者的差異：Nutch 只獲取并保存可索引的內(nèi)容。力求保存頁面原貌 Nutch 可以修剪內(nèi)容，或者對內(nèi)容格式進行轉換。而Heritrix 是添加(追加)新的內(nèi)容。Heritrix 有 Web 控制管理界面。Heritrix 可控制的參數(shù)更多。既沒有索引又沒有解析，甚至對于重復爬取URL都處理不是很好。三者的比較一、從功能方面來說，Heritrix與Larbin的功能類似。而Nutch是一個網(wǎng)絡搜索引擎框架，爬取網(wǎng)頁只是其功能的一部分。三、從爬取的網(wǎng)頁存儲方式來說，Heritrix和 Larbin都是將爬取下來的內(nèi)容保存為原始類型的內(nèi)容。四，對于爬取下來的內(nèi)容的處理來說，Heritrix和 Larbin都是將爬取下來的內(nèi)容不經(jīng)處理直接保存為原始內(nèi)容。五，從爬取的效率來說，Larbin效率較高，因為其是使用c++實現(xiàn)的并且功能單一。 robots標簽。Web爬蟲(也叫作機器人或蜘蛛)是可以自動瀏覽與處理Web頁面的程序。~rcm/websphinx/WebLech WebLech是一個功能強大的Web站點下載與鏡像工具。WebLech有一個功能控制臺并采用多線程操作。Arale能夠下載整個web站點或來自web站點的某些資源。JSpider JSpider:是一個完全可配置和定制的Web (內(nèi)在的服務器錯誤等),網(wǎng)站內(nèi)外部鏈接檢查，分析網(wǎng)站的結構(可創(chuàng)建一個網(wǎng)站地圖),下載整個Web站點，你還可以寫一個JSpider插件來擴展你所需要的功能。spindle項目提供了一組JSP標簽庫使得那些基于JSP的站點不需要開發(fā)任何Java類就能夠增加搜索功能。 Arachnid的下載包中包含兩個spider應用程序例子用于演示如何使用該框架。它包含能夠為文件，數(shù)據(jù)庫表格建立索引的方法和為Web站點建索引的爬蟲。它本質是一個Web Spider。JoBo還有靈活的下載規(guī)則(如：通過網(wǎng)頁的URL，大小，MIME類型等)來限制下載?？梢詫⒄麄€網(wǎng)站完整地下傳至硬盤內(nèi)，并能保持原有的網(wǎng)站結構精確不變。WebHarvest WebHarvest是一個Java開源Web數(shù)據(jù)抽取工具。WebHarvest主要是運用了像XSLT,XQuery,正則表達式等這些技術來實現(xiàn)對text/xml的操作。The Spider Web Network Xoops Mod Team pider Web Network Xoops Mod是一個Xoops下的模塊，完全由PHP語言實現(xiàn)。larbinlarbin是個基于C++的web爬蟲工具，擁有易于操作的界面，不過只能跑在LINUX下，在一臺普通PC下larbin每天可以爬5百萬個頁面(當然啦，需要擁有良好的網(wǎng)絡) ，在這個文件中網(wǎng)站管理者可以聲明該網(wǎng)站中不想被robots訪問的部分，或者指定搜索引擎只收錄指定的內(nèi)容。另外，而且文件名必須全部小寫。例如，使用javascript調(diào)用的頁面、需要注冊才能訪問的頁面等。例如，使用javascript調(diào)用的頁面、需要注冊才能訪問的頁面等，對于這些網(wǎng)絡的爬取被歸結為深層網(wǎng)絡的挖掘。（2）由于缺乏被指向的超鏈接而沒有被索引到的頁面。（4）可訪問的非網(wǎng)頁文件。在王映等人的文章中，提出了使用一個嵌入式的JavaScript引擎來進行動態(tài)網(wǎng)頁采集的方法。在2008年SIGIR中，Yida Wang等提出了一種爬取論壇的爬取方法。 Orlando O. Belo 在2006年提出來使用查詢?nèi)罩镜姆椒ㄏ拗凭W(wǎng)絡爬蟲的活動以減輕服務器壓力。4. 主題網(wǎng)絡爬蟲研究未來研究方向分布式網(wǎng)絡爬蟲并行網(wǎng)絡爬蟲特定領域如論壇，博客等的爬取關于Ajax技術的深層網(wǎng)絡爬蟲研究多媒體網(wǎng)絡爬蟲研究對等網(wǎng)絡（P2P,Peer to Peer）網(wǎng)絡爬蟲160
環(huán)評公示相關推薦
鄂ICP備17016276號-1