畢業(yè)設(shè)計論文：網(wǎng)絡(luò)爬蟲調(diào)研報告-文庫吧在線文庫
【正文】 pider Frontier)的隊列中 ,網(wǎng)絡(luò)爬蟲根據(jù)搜索前沿中鏈接的 “重要程度 ”決定下一個要訪問的鏈接。larbin目的是能夠跟蹤頁面的url進行擴展的抓取，最后為搜索引擎提供廣泛的數(shù)據(jù)來源。抓取并存儲相關(guān)的內(nèi)容。而Heritrix 是添加(追加)新的內(nèi)容。三者的比較一、從功能方面來說，Heritrix與Larbin的功能類似。五，從爬取的效率來說，Larbin效率較高，因為其是使用c++實現(xiàn)的并且功能單一。WebLech有一個功能控制臺并采用多線程操作。 Arachnid的下載包中包含兩個spider應(yīng)用程序例子用于演示如何使用該框架?？梢詫⒄麄€網(wǎng)站完整地下傳至硬盤內(nèi)，并能保持原有的網(wǎng)站結(jié)構(gòu)精確不變。爬蟲存在的問題1.另外，而且文件名必須全部小寫。例如，使用javascript調(diào)用的頁面、需要注冊才能訪問的頁面等。在王映等人的文章中，提出了使用一個嵌入式的JavaScript引擎來進行動態(tài)網(wǎng)頁采集的方法。在2008年SIGIR中，Yida Wang等提出了一種爬取論壇的爬取方法。 Orlando O. Belo 在2006年提出來使用查詢?nèi)罩镜姆椒ㄏ拗凭W(wǎng)絡(luò)爬蟲的活動以減輕服務(wù)器壓力。4.參考文獻：[1] 謝國強等，《基于Web的網(wǎng)絡(luò)爬蟲技術(shù)研究》[2] Yida Wang etc. Exploring Traversal Strategy for Web Forum Crawling, sigir’ 08[3] Junghoo Cho(UCLA), Hector GarciaMolina( Standford), Parallel Crawlers, WWW2002[4] Analia Lourenco etc, Catching Web Crawlers in the Act, ICWE’06[5] 曾偉輝等，《深層網(wǎng)絡(luò)爬蟲研究綜述》，計算機系統(tǒng)應(yīng)用 2008年第5期[6] 王映、于滿泉等，《JavaScript引擎在動態(tài)網(wǎng)頁采集技術(shù)中的應(yīng)用》，中科院計算所、微軟亞洲研究院網(wǎng)絡(luò)爬蟲調(diào)研報告基本原理Spider概述 Spider即網(wǎng)絡(luò)爬蟲 ,其定義有廣義和狹義之分。為了避免同一個 URL被多次處理 ,當一個 URL被處理過后 ,它將被轉(zhuǎn)移到完成隊列或者錯誤隊列 (如果發(fā)生錯誤 )。這個方法有個優(yōu)點是網(wǎng)絡(luò)爬蟲在設(shè)計的時候比較容易。 Heritrix開發(fā)語言：Java簡介與Nutch比較抓取并存儲相關(guān)的內(nèi)容。而Heritrix 是添加(追加)新的內(nèi)容。三者的比較一、從功能方面來說，Heritrix與Larbin的功能類似。五，從爬取的效率來說，Larbin效率較高，因為其是使用c++實現(xiàn)的并且功能單一。WebLech有一個功能控制臺并采用多線程操作。 Arachnid的下載包中包含兩個spider應(yīng)用程序例子用于演示如何使用該框架?？梢詫⒄麄€網(wǎng)站完整地下傳至硬盤內(nèi)，并能保持原有的網(wǎng)站結(jié)構(gòu)精確不變。larbinlarbin是個基于C++的web爬蟲工具，擁有易于操作的界面，不過只能跑在LINUX下，在一臺普通PC下larbin每天可以爬5百萬個頁面(當然啦，需要擁有良好的網(wǎng)絡(luò)) ，在這個文件中網(wǎng)站管理者可以聲明該網(wǎng)站中不想被robots訪問的部分，或者指定搜索引擎只收錄指定的內(nèi)容。（4）可訪問的非網(wǎng)頁文件。 主題網(wǎng)絡(luò)爬蟲研究未來研究方向分布式網(wǎng)絡(luò)爬蟲并行網(wǎng)絡(luò)爬蟲特定領(lǐng)域如論壇，博客等的爬取關(guān)于Ajax技術(shù)的深層網(wǎng)絡(luò)爬蟲研究多媒體網(wǎng)絡(luò)爬蟲研究對等網(wǎng)絡(luò)（P2P,Peer to Peer）網(wǎng)絡(luò)爬蟲例如，使用javascript調(diào)用的頁面、需要注冊才能訪問的頁面等，對于這些網(wǎng)絡(luò)的爬取被歸結(jié)為深層網(wǎng)絡(luò)的挖掘。WebHarvest主要是運用了像XSLT,XQuery,正則表達式等這些技術(shù)來實現(xiàn)對text/xml的操作。它本質(zhì)是一個Web Spider。JSpider JSpider:是一個完全可配置和定制的Web (內(nèi)在的服務(wù)器錯誤等),網(wǎng)站內(nèi)外部鏈接檢查，分析網(wǎng)站的結(jié)構(gòu)(可創(chuàng)建一個網(wǎng)站地圖),下載整個Web站點，你還可以寫一個JSpider插件來擴展你所需要的功能。Web爬蟲(也叫作機器人或蜘蛛)是可以自動瀏覽與處理Web頁面的程序。三、從爬取的網(wǎng)頁存儲方式來說，Heritrix和 Larbin都是將爬取下來的內(nèi)容保存為原始類型的內(nèi)容。Heritrix 可控制的參數(shù)更多。二者的差異：Nutch 只獲取并保存可索引的內(nèi)容?！ arbin只是一個爬蟲，也就是說larbin只抓取網(wǎng)頁，至于如何parse的事情則由用戶自己完成。如何評價和預(yù)測鏈接的 “重要程度 ”(或稱價值 )是決定網(wǎng)絡(luò)爬蟲搜索策略的關(guān)鍵。其中前者主要包括 :廣度優(yōu)先和深度優(yōu)先。它遍歷 Web空間 ,不斷從一個站點移動到另一個站點 ,自動建立索引 ,并加入到網(wǎng)頁數(shù)據(jù)庫中。（2）由于缺乏被指向的超鏈接而沒有被索引到的頁面。WebHarvest主要是運用了像XSLT,XQuery,正則表達式等這些技術(shù)來實現(xiàn)對text/xml的操作。它本質(zhì)是一個Web Spider。JSpider JSpider:是一個完全可配置和定制的Web (內(nèi)在的服務(wù)器錯誤等),網(wǎng)站內(nèi)外部
環(huán)評公示相關(guān)推薦
鄂ICP備17016276號-1