畢業(yè)設(shè)計論文：網(wǎng)絡(luò)爬蟲調(diào)研報告-在線瀏覽
2025-05-10 09:54本頁面
【正文】 交Http請求，從而獲得相應(yīng)結(jié)果，生成本地文件及相應(yīng)的日志信息等。 Heritrix 是個 archival crawler 用來獲取完整的、精確的、站點(diǎn)內(nèi)容的深度復(fù)制。抓取并存儲相關(guān)的內(nèi)容。重新爬行對相同的URL不針對先前的進(jìn)行替換。二者的差異：Nutch 只獲取并保存可索引的內(nèi)容。力求保存頁面原貌 Nutch 可以修剪內(nèi)容，或者對內(nèi)容格式進(jìn)行轉(zhuǎn)換。而Heritrix 是添加(追加)新的內(nèi)容。Heritrix 有 Web 控制管理界面。Heritrix 可控制的參數(shù)更多。既沒有索引又沒有解析，甚至對于重復(fù)爬取URL都處理不是很好。三者的比較一、從功能方面來說，Heritrix與Larbin的功能類似。而Nutch是一個網(wǎng)絡(luò)搜索引擎框架，爬取網(wǎng)頁只是其功能的一部分。三、從爬取的網(wǎng)頁存儲方式來說，Heritrix和 Larbin都是將爬取下來的內(nèi)容保存為原始類型的內(nèi)容。四，對于爬取下來的內(nèi)容的處理來說，Heritrix和 Larbin都是將爬取下來的內(nèi)容不經(jīng)處理直接保存為原始內(nèi)容。五，從爬取的效率來說，Larbin效率較高，因?yàn)槠涫鞘褂胏++實(shí)現(xiàn)的并且功能單一。 robots標(biāo)簽。Web爬蟲(也叫作機(jī)器人或蜘蛛)是可以自動瀏覽與處理Web頁面的程序。~rcm/websphinx/WebLech WebLech是一個功能強(qiáng)大的Web站點(diǎn)下載與鏡像工具。WebLech有一個功能控制臺并采用多線程操作。Arale能夠下載整個web站點(diǎn)或來自web站點(diǎn)的某些資源。JSpider JSpider:是一個完全可配置和定制的Web (內(nèi)在的服務(wù)器錯誤等),網(wǎng)站內(nèi)外部鏈接檢查，分析網(wǎng)站的結(jié)構(gòu)(可創(chuàng)建一個網(wǎng)站地圖),下載整個Web站點(diǎn)，你還可以寫一個JSpider插件來擴(kuò)展你所需要的功能。spindle項(xiàng)目提供了一組JSP標(biāo)簽庫使得那些基于JSP的站點(diǎn)不需要開發(fā)任何Java類就能夠增加搜索功能。 Arachnid的下載包中包含兩個spider應(yīng)用程序例子用于演示如何使用該框架。它包含能夠?yàn)槲募瑪?shù)據(jù)庫表格建立索引的方法和為Web站點(diǎn)建索引的爬蟲。它本質(zhì)是一個Web Spider。JoBo還有靈活的下載規(guī)則(如：通過網(wǎng)頁的URL，大小，MIME類型等)來限制下載?？梢詫⒄麄€網(wǎng)站完整地下傳至硬盤內(nèi)，并能保持原有的網(wǎng)站結(jié)構(gòu)精確不變。WebHarvest WebHarvest是一個Java開源Web數(shù)據(jù)抽取工具。WebHarvest主要是運(yùn)用了像XSLT,XQuery,正則表達(dá)式等這些技術(shù)來實(shí)現(xiàn)對text/xml的操作。The Spider Web Network Xoops Mod Team pider Web Network Xoops Mod是一個Xoops下的模塊，完全由PHP語言實(shí)現(xiàn)。爬蟲存在的問題1. ，在這個文件中網(wǎng)站管理者可以聲明該網(wǎng)站中不想被robots訪問的部分，或者指定搜索引擎只收錄指定的內(nèi)容。另外，而且文件名必須全部小寫。例如，使用javascript調(diào)用的頁面、需要注冊才能訪問的頁面等。例如，使用javascript調(diào)用的頁面、需要注冊才能訪問的頁面等，對于這些網(wǎng)絡(luò)的爬取被歸結(jié)為深層網(wǎng)絡(luò)的挖掘。（2）由于缺乏被指向的超鏈接而沒有被索引到的頁面。（4）可訪問的非網(wǎng)頁文件。在王映等人的文章中，提出了使用一個嵌入式的JavaScript引擎來進(jìn)行動態(tài)網(wǎng)頁采集的方法。在2008年SIGIR中，Yida Wang等提出了一種爬取論壇的爬取方法。 Orlando O. Belo 在2006年提出來使用查詢?nèi)罩镜姆椒ㄏ拗凭W(wǎng)絡(luò)爬蟲的活動以減輕服務(wù)器壓力。4. 主題網(wǎng)絡(luò)爬蟲研究未來研究方向分布式網(wǎng)絡(luò)爬蟲并行網(wǎng)絡(luò)爬蟲特定領(lǐng)域如論壇，博客等的爬取關(guān)于Ajax技術(shù)的深層網(wǎng)絡(luò)爬蟲研究。參考文獻(xiàn)：[1] 謝國強(qiáng)等，《基于Web的網(wǎng)絡(luò)爬蟲技術(shù)研究》[2] Yida Wang etc. Exploring Traversal Strategy for Web Forum Crawling, sigir’ 08[3] Junghoo Cho(UCLA), Hector GarciaMolina( Standford), Parallel Crawlers, WWW2002[4] Analia Lourenco etc, Catching Web Crawlers in the Act, ICWE’06[5] 曾偉輝等，《深層網(wǎng)絡(luò)爬蟲研究綜述》，計算機(jī)系統(tǒng)應(yīng)用 2008年第5期[6] 王映、于滿泉等，《JavaScript引擎在動態(tài)網(wǎng)頁采集技術(shù)中的應(yīng)用》，中科院計算所、微軟亞洲研究院網(wǎng)絡(luò)爬蟲調(diào)研報告基本原理Spider概述 Spider即網(wǎng)絡(luò)爬蟲 ,其定義有廣義和狹義之分。而廣義的定義則是所有能遵循 協(xié)議檢索 Web文檔的軟件都稱之為網(wǎng)絡(luò)爬蟲。它遍歷 Web空間 ,不斷從一個站點(diǎn)移動到另一個站點(diǎn) ,自動建立索引 ,并加入到網(wǎng)頁數(shù)據(jù)庫中。 Spider的隊(duì)列 （1）等待隊(duì)列 :新發(fā)現(xiàn)的 URL被加入到這個隊(duì)列 ,等待被 Spider程序處理 。為了避免同一個 URL被多次處理 ,當(dāng)一個 URL被處理過后 ,它將被轉(zhuǎn)移到完成隊(duì)列或者錯誤隊(duì)列 (如果發(fā)生錯誤 )。（4）
環(huán)評公示相關(guān)推薦
鄂ICP備17016276號-1