畢業(yè)設(shè)計論文：網(wǎng)絡(luò)爬蟲調(diào)研報告-文庫吧資料
2025-03-29 09:54本頁面
【正文】 效的URI，并提交Http請求，從而獲得相應(yīng)結(jié)果，生成本地文件及相應(yīng)的日志信息等。另外，如何存儲到數(shù)據(jù)庫以及建立索引的事情 larbin也不提供。larbin目的是能夠跟蹤頁面的url進行擴展的抓取，最后為搜索引擎提供廣泛的數(shù)據(jù)來源。Larbin開發(fā)語言：C++簡介 larbin是一種開源的網(wǎng)絡(luò)爬蟲/網(wǎng)絡(luò)蜘蛛，由法國的年輕人 S233。Nutch是一個基于Lucene，類似Google的完整網(wǎng)絡(luò)搜索引擎解決方案，基于Hadoop的分布式處理模型保證了系統(tǒng)的性能，類似Eclipse的插件機制保證了系統(tǒng)的可客戶化，而且很容易集成到自己的應(yīng)用之中。眾多的網(wǎng)絡(luò)爬蟲設(shè)計各不相同 ,但歸根結(jié)底是采用不同的鏈接價值評價標(biāo)準(zhǔn)。搜索過程中 ,未訪問的鏈接被暫存在一個稱為 “搜索前沿 ”(Spider Frontier)的隊列中 ,網(wǎng)絡(luò)爬蟲根據(jù)搜索前沿中鏈接的 “重要程度 ”決定下一個要訪問的鏈接。大多數(shù)網(wǎng)頁爬行器采用寬度優(yōu)先搜索策略或者是對這種策略的某些改進。深度優(yōu)先是指網(wǎng)絡(luò)爬蟲會從起始頁開始 ,一個鏈接一個鏈接跟蹤下去 ,處理完這條線路之后再轉(zhuǎn)入下一個起始頁 ,繼續(xù)跟蹤鏈接。廣度優(yōu)先是指網(wǎng)絡(luò)爬蟲會先抓取起始網(wǎng)頁中鏈接的所有網(wǎng)頁 ,然后再選擇其中的一個鏈接網(wǎng)頁 ,繼續(xù)抓取在此網(wǎng)頁中鏈接的所有網(wǎng)頁。 網(wǎng)絡(luò)爬蟲搜索策略在抓取網(wǎng)頁的時候 ,目前網(wǎng)絡(luò)爬蟲一般有兩種策略 :無主題搜索與基于某特定主體的專業(yè)智能搜索。 （3）錯誤隊列 :如果在下載網(wǎng)頁是發(fā)生錯誤 ,該 URL將被加入 到錯誤隊列。 （2）處理隊列 :要被處理的 URL被傳送到這個隊列。網(wǎng)絡(luò)爬蟲進入某個超級文本時 ,它利用 HTML語言的標(biāo)記結(jié)構(gòu)來搜索信息及獲取指向其他超級文本的 URL地址 ,可以完全不依賴用戶干預(yù)實現(xiàn)網(wǎng)絡(luò)上的自動爬行和搜索。 Spider是一個功能很強的自動提取網(wǎng)頁的程序 ,它為搜索引擎從萬維網(wǎng)上下載網(wǎng)頁 ,是搜索引擎的重要組成 .它通過請求站點上的 HTML文檔訪問某一站點。狹義上指遵循標(biāo)準(zhǔn)的 協(xié)議利用超鏈接和 Web文檔檢索的方法遍歷萬維網(wǎng)信息空間的軟件程序 。多媒體網(wǎng)絡(luò)爬蟲研究對等網(wǎng)絡(luò)（P2P,Peer to Peer）網(wǎng)絡(luò)爬蟲 網(wǎng)絡(luò)上的網(wǎng)頁數(shù)量太大，在爬取時需要考慮爬取的時間及效率等問題，UCLA的Junghoo Cho等提出了使用并行的crawler的方法。3. 有些網(wǎng)站會限制網(wǎng)絡(luò)爬蟲的爬取，Analia G. Lourenco,2. ，數(shù)據(jù)量巨大，難以抓取，例如論壇等網(wǎng)站。1.在曾偉輝等人的文章中，對這類問題進行了綜述。（3）需要注冊或其他限制訪問的頁面。這些網(wǎng)頁可歸結(jié)為如下幾類：（1）通過填寫表單形成對后臺再現(xiàn)數(shù)據(jù)庫查詢得到的動態(tài)頁面。網(wǎng)絡(luò)爬蟲的相關(guān)研究工作有些類型的網(wǎng)頁難以爬取。 有些類型的網(wǎng)頁難以爬取。2.當(dāng)一個搜索機器人（有的叫搜索蜘蛛）訪問一個站點時，如果存在，搜索機器人就會按照該文件中的內(nèi)容來確定訪問的范圍；如果該文件不存在，那么搜索機器人就沿著鏈接抓取。larbinlarbin是個基于C++的web爬蟲工具，擁有易于操作的界面，不過只能跑在LINUX下，在一臺普通PC下larbin每天可以爬5百萬個頁面(當(dāng)然啦，需要擁有良好的網(wǎng)絡(luò))spiderpyspiderpy是一個基于Python編碼的一個開源web爬蟲工具，允許用戶收集文件和搜索網(wǎng)站，并有一個可配置的界面。它能夠收集指定的Web頁面并從這些頁面中提取有用的數(shù)據(jù)。只需要把抓取下來的網(wǎng)站放到web服務(wù)器(如：Apache)中，就可以實現(xiàn)完整的網(wǎng)站鏡像。snoicsreptile snoics reptile是用純Java開發(fā)的，用來進行網(wǎng)站鏡像抓取的工具，可以使用配制文件中提供的URL入口，把這個網(wǎng)站所有的能用瀏覽器通過GET的方式獲取到的資源全部抓取到本地，包括網(wǎng)頁和各種類型的文件，如：圖片、flash、mpzip、rar、exe等文件。與其它下載工具相比較它的主要優(yōu)勢是能夠自動填充form(如：自動登錄)和使用cookies來處理session。JoBo JoBo 是一個用于下載整個Web站點的簡單工具。LARM LARM能夠為Jakarta Lucene搜索引擎框架的用戶提供一個純Java的搜索解決方案。Arachnid Arachnid: 是一個基于Java的web spiders并能夠在Web站上的每個頁面被解析之后增加幾行代碼調(diào)用。spindle spindle 是一個構(gòu)建在Lucene工具包之上的Web索引/ spider和一個用于搜索這些索引的搜索類。Arale還能夠把動態(tài)頁面映射成靜態(tài)頁面。Arale Arale主要為個人使用而設(shè)計，而沒有像其它爬蟲一樣是關(guān)注于頁面索引。它支持按功能需求來下載web站點并能夠盡可能模仿標(biāo)準(zhǔn)Web瀏覽器的行為。WebSPHINX由兩部分組成：爬蟲工作平臺和WebSPHINX類包。WebSPHINX WebSPHINX是一個Java類包和Web爬蟲的交互式開發(fā)環(huán)境。表 3種爬蟲的比較crawler開發(fā)語言功能單一支持分布式爬取效率鏡像保存NutchJava√低La
環(huán)評公示相關(guān)推薦
鄂ICP備17016276號-1