畢業(yè)設(shè)計論文：網(wǎng)絡(luò)爬蟲調(diào)研報告(存儲版)
【正文】 展的抓取，最后為搜索引擎提供廣泛的數(shù)據(jù)來源。爬蟲通過Web用戶界面啟動、監(jiān)控、調(diào)整，允許彈性的定義要獲取的URL。 Nutch 的定制能力不夠強，不過現(xiàn)在已經(jīng)有了一定改進。二、從分布式處理來說，Nutch支持分布式處理，而另外兩個好像尚且還沒有支持。WebSPHINX WebSPHINX是一個Java類包和Web爬蟲的交互式開發(fā)環(huán)境。Arale還能夠把動態(tài)頁面映射成靜態(tài)頁面。JoBo JoBo 是一個用于下載整個Web站點的簡單工具。它能夠收集指定的Web頁面并從這些頁面中提取有用的數(shù)據(jù)。2.網(wǎng)絡(luò)爬蟲的相關(guān)研究工作有些類型的網(wǎng)頁難以爬取。1.2.3.參考文獻：[1] 謝國強等，《基于Web的網(wǎng)絡(luò)爬蟲技術(shù)研究》[2] Yida Wang etc. Exploring Traversal Strategy for Web Forum Crawling, sigir’ 08[3] Junghoo Cho(UCLA), Hector GarciaMolina( Standford), Parallel Crawlers, WWW2002[4] Analia Lourenco etc, Catching Web Crawlers in the Act, ICWE’06[5] 曾偉輝等，《深層網(wǎng)絡(luò)爬蟲研究綜述》，計算機系統(tǒng)應(yīng)用 2008年第5期[6] 王映、于滿泉等，《JavaScript引擎在動態(tài)網(wǎng)頁采集技術(shù)中的應(yīng)用》，中科院計算所、微軟亞洲研究院。 網(wǎng)絡(luò)上的網(wǎng)頁數(shù)量太大，在爬取時需要考慮爬取的時間及效率等問題，UCLA的Junghoo Cho等提出了使用并行的crawler的方法。 有些網(wǎng)站會限制網(wǎng)絡(luò)爬蟲的爬取，Analia G. Lourenco, ，數(shù)據(jù)量巨大，難以抓取，例如論壇等網(wǎng)站。在曾偉輝等人的文章中，對這類問題進行了綜述。 有些類型的網(wǎng)頁難以爬取。當(dāng)一個搜索機器人（有的叫搜索蜘蛛）訪問一個站點時，如果存在，搜索機器人就會按照該文件中的內(nèi)容來確定訪問的范圍；如果該文件不存在，那么搜索機器人就沿著鏈接抓取。爬蟲存在的問題1.只需要把抓取下來的網(wǎng)站放到web服務(wù)器(如：Apache)中，就可以實現(xiàn)完整的網(wǎng)站鏡像。LARM LARM能夠為Jakarta Lucene搜索引擎框架的用戶提供一個純Java的搜索解決方案。Arale Arale主要為個人使用而設(shè)計，而沒有像其它爬蟲一樣是關(guān)注于頁面索引。表 3種爬蟲的比較crawler開發(fā)語言功能單一支持分布式爬取效率鏡像保存NutchJava√低LarbinC++√高√HeritrixJava√中√其他網(wǎng)絡(luò)爬蟲介紹：Heritrix Heritrix是一個開源，可擴展的web爬蟲項目。都是一個純粹的網(wǎng)絡(luò)爬蟲，提供網(wǎng)站的鏡像下載。 Nutch 從命令行運行、控制。對內(nèi)容來者不拒，不對頁面進行內(nèi)容上的修改。Larbin開發(fā)語言：C++簡介 larbin是一種開源的網(wǎng)絡(luò)爬蟲/網(wǎng)絡(luò)蜘蛛，由法國的年輕人 S233。大多數(shù)網(wǎng)頁爬行器采用寬度優(yōu)先搜索策略或者是對這種策略的某些改進。 （3）錯誤隊列 :如果在下載網(wǎng)頁是發(fā)生錯誤 ,該 URL將被加入 到錯誤隊列。狹義上指遵循標(biāo)準(zhǔn)的 協(xié)議利用超鏈接和 Web文檔檢索的方法遍歷萬維網(wǎng)信息空間的軟件程序 。3.2.1.網(wǎng)絡(luò)爬蟲的相關(guān)研究工作有些類型的網(wǎng)頁難以爬取。2.只需要把抓取下來的網(wǎng)站放到web服務(wù)器(如：Apache)中，就可以實現(xiàn)完整的網(wǎng)站鏡像。LARM LARM能夠為Jakarta Lucene搜索引擎框架的用戶提供一個純Java的搜索解決方案。Arale Arale主要為個人使用而設(shè)計，而沒有像其它爬蟲一樣是關(guān)注于頁面索引。表 3種爬蟲的比較crawler開發(fā)語言功能單一支持分布式爬取效率鏡像保存NutchJava√低LarbinC++√高√HeritrixJava√中√其他網(wǎng)絡(luò)爬蟲介紹：Heritrix Heritrix是一個開源，可擴展的web爬蟲項目。都是一個純粹的網(wǎng)絡(luò)爬蟲，提供網(wǎng)站的鏡像下載。 Nutch 從命令行運行、控制。對內(nèi)容來者不拒，不對頁面進行內(nèi)容上的修改?！ arbin只是一個爬蟲，也就是說larbin只抓取網(wǎng)頁，至于如何parse的事情則由用戶自己完成。如何評價和預(yù)測鏈接的 “重要程度 ”(或稱價值 )是決定網(wǎng)絡(luò)爬蟲搜索策略的關(guān)鍵。其中前者主要包括 :廣度優(yōu)先和深度優(yōu)先。它遍歷 Web空間 ,不斷從一個站點移動到另一個站點 ,自動建立索引 ,并加入到網(wǎng)頁數(shù)據(jù)庫中。 Spider是一個功能很強的自動提取網(wǎng)頁的程序 ,它為搜索引擎從萬維網(wǎng)上下載網(wǎng)頁 ,是搜索引擎的重要組成 .它通過請求站點上的 HTML文檔訪問某一站點。 網(wǎng)絡(luò)爬蟲搜索策略在抓取網(wǎng)頁的時候 ,目前網(wǎng)絡(luò)爬蟲一般有兩種策略 :無主題搜索與基于某特定主體的專業(yè)智能搜索。搜索過程中 ,未訪問的鏈接被暫存在一個稱為 “搜索前沿 ”(S
環(huán)評公示相關(guān)推薦
鄂ICP備17016276號-1