【正文】 一個(gè)有效的URI，并提交Http請(qǐng)求，從而獲得相應(yīng)結(jié)果，生成本地文件及相應(yīng)的日志信息等。Nutch是一個(gè)基于Lucene，類(lèi)似Google的完整網(wǎng)絡(luò)搜索引擎解決方案，基于Hadoop的分布式處理模型保證了系統(tǒng)的性能，類(lèi)似Eclipse的插件機(jī)制保證了系統(tǒng)的可客戶(hù)化，而且很容易集成到自己的應(yīng)用之中。深度優(yōu)先是指網(wǎng)絡(luò)爬蟲(chóng)會(huì)從起始頁(yè)開(kāi)始 ,一個(gè)鏈接一個(gè)鏈接跟蹤下去 ,處理完這條線(xiàn)路之后再轉(zhuǎn)入下一個(gè)起始頁(yè) ,繼續(xù)跟蹤鏈接。 （2）處理隊(duì)列 :要被處理的 URL被傳送到這個(gè)隊(duì)列。多媒體網(wǎng)絡(luò)爬蟲(chóng)研究對(duì)等網(wǎng)絡(luò)（P2P,Peer to Peer）網(wǎng)絡(luò)爬蟲(chóng) 網(wǎng)絡(luò)上的網(wǎng)頁(yè)數(shù)量太大，在爬取時(shí)需要考慮爬取的時(shí)間及效率等問(wèn)題，UCLA的Junghoo Cho等提出了使用并行的crawler的方法。 有些網(wǎng)站會(huì)限制網(wǎng)絡(luò)爬蟲(chóng)的爬取，Analia G. Lourenco, ，數(shù)據(jù)量巨大，難以抓取，例如論壇等網(wǎng)站。在曾偉輝等人的文章中，對(duì)這類(lèi)問(wèn)題進(jìn)行了綜述。 有些類(lèi)型的網(wǎng)頁(yè)難以爬取。當(dāng)一個(gè)搜索機(jī)器人（有的叫搜索蜘蛛）訪(fǎng)問(wèn)一個(gè)站點(diǎn)時(shí)，如果存在，搜索機(jī)器人就會(huì)按照該文件中的內(nèi)容來(lái)確定訪(fǎng)問(wèn)的范圍；如果該文件不存在，那么搜索機(jī)器人就沿著鏈接抓取。larbinlarbin是個(gè)基于C++的web爬蟲(chóng)工具，擁有易于操作的界面，不過(guò)只能跑在LINUX下，在一臺(tái)普通PC下larbin每天可以爬5百萬(wàn)個(gè)頁(yè)面(當(dāng)然啦，需要擁有良好的網(wǎng)絡(luò))snoicsreptile snoics reptile是用純Java開(kāi)發(fā)的，用來(lái)進(jìn)行網(wǎng)站鏡像抓取的工具，可以使用配制文件中提供的URL入口，把這個(gè)網(wǎng)站所有的能用瀏覽器通過(guò)GET的方式獲取到的資源全部抓取到本地，包括網(wǎng)頁(yè)和各種類(lèi)型的文件，如：圖片、flash、mpzip、rar、exe等文件。Arachnid Arachnid: 是一個(gè)基于Java的web spiders并能夠在Web站上的每個(gè)頁(yè)面被解析之后增加幾行代碼調(diào)用。它支持按功能需求來(lái)下載web站點(diǎn)并能夠盡可能模仿標(biāo)準(zhǔn)Web瀏覽器的行為。而Nutch對(duì)文本進(jìn)行了包括鏈接分析、正文提取、建立索引（Lucene索引）等處理。Heritrix的功能強(qiáng)大 但是配置起來(lái)卻有點(diǎn)麻煩。 Nutch 保存內(nèi)容為數(shù)據(jù)庫(kù)優(yōu)化格式便于以后索引；刷新替換舊的內(nèi)容。包括獲取圖像以及其他非文本內(nèi)容。bastien Ailleret獨(dú)立開(kāi)發(fā)。在專(zhuān)業(yè)搜索引擎中 ,網(wǎng)絡(luò)爬蟲(chóng)的任務(wù)是獲取 Web頁(yè)面和決定鏈接的訪(fǎng)問(wèn)順序 ,它通常從一個(gè) “種子集 ”(如用戶(hù)查詢(xún)、種子鏈接或種子頁(yè)面 )發(fā),以迭代的方式訪(fǎng)問(wèn)頁(yè)面和提取鏈接。（4）完成隊(duì)列 :如果在處理網(wǎng)頁(yè)沒(méi)有發(fā)生錯(cuò)誤 ,該 URL將被加入到完成隊(duì)列。而廣義的定義則是所有能遵循 協(xié)議檢索 Web文檔的軟件都稱(chēng)之為網(wǎng)絡(luò)爬蟲(chóng)。網(wǎng)絡(luò)爬蟲(chóng)進(jìn)入某個(gè)超級(jí)文本時(shí) ,它利用 HTML語(yǔ)言的標(biāo)記結(jié)構(gòu)來(lái)搜索信息及獲取指向其他超級(jí)文本的 URL地址 ,可以完全不依賴(lài)用戶(hù)干預(yù)實(shí)現(xiàn)網(wǎng)絡(luò)上的自動(dòng)爬行和搜索。廣度優(yōu)先是指網(wǎng)絡(luò)爬蟲(chóng)會(huì)先抓取起始網(wǎng)頁(yè)中鏈接的所有網(wǎng)頁(yè) ,然后再選擇其中的一個(gè)鏈接網(wǎng)頁(yè) ,繼續(xù)抓取在此網(wǎng)頁(yè)中鏈接的所有網(wǎng)頁(yè)。眾多的網(wǎng)絡(luò)爬蟲(chóng)設(shè)計(jì)各不相同 ,但歸根結(jié)底是采用不同的鏈接價(jià)值評(píng)價(jià)標(biāo)準(zhǔn)。另外，如何存儲(chǔ)到數(shù)據(jù)庫(kù)以及建立索引的事情 larbin也不提供。重新爬行對(duì)相同的URL不針對(duì)先前的進(jìn)行替換。Heritrix 有 Web 控制管理界面。而Nutch是一個(gè)網(wǎng)絡(luò)搜索引擎框架，爬取網(wǎng)頁(yè)只是其功能的一部分。 robots標(biāo)簽。Arale能夠下載整個(gè)web站點(diǎn)或來(lái)自web站點(diǎn)的某些資源。它包含能夠?yàn)槲募瑪?shù)據(jù)庫(kù)表格建立索引的方法和為Web站點(diǎn)建索引的爬蟲(chóng)。WebHarvest WebHarvest是一個(gè)Java開(kāi)源Web數(shù)據(jù)抽取工具。例如，使用javascript調(diào)用的頁(yè)面、需要注冊(cè)才能訪(fǎng)問(wèn)的頁(yè)面等，對(duì)于這些網(wǎng)絡(luò)的爬取被歸結(jié)為深層網(wǎng)絡(luò)的挖掘。而廣義的定義則是所有能遵循 協(xié)議檢索 Web文檔的軟件都稱(chēng)之為網(wǎng)絡(luò)爬蟲(chóng)。（4）完成隊(duì)列 :如果在處理網(wǎng)頁(yè)沒(méi)有發(fā)生錯(cuò)誤 ,該 URL將被加入到完成隊(duì)列。在專(zhuān)業(yè)搜索引擎中 ,網(wǎng)絡(luò)爬蟲(chóng)的任務(wù)是獲取 Web頁(yè)面和決定鏈接的訪(fǎng)問(wèn)順序 ,它通常從一個(gè) “種子集 ”(如用戶(hù)查詢(xún)、種子鏈接或種子頁(yè)面 )發(fā),以迭代的方式訪(fǎng)問(wèn)頁(yè)面和提取鏈接。bastien Ailleret獨(dú)立開(kāi)發(fā)。重新爬行對(duì)相同的URL不針對(duì)先前的進(jìn)行替換。Heritrix 有 Web 控制管理界面。而Nutch是一個(gè)網(wǎng)絡(luò)搜索引擎框架，爬取網(wǎng)頁(yè)只是其功能的一部分。 robots標(biāo)簽。Arale能夠下載整個(gè)web站點(diǎn)或來(lái)自web站點(diǎn)的某些資源。它包含能夠?yàn)槲募?，?shù)據(jù)庫(kù)表格建立索引的方法和為Web站點(diǎn)建索引的爬蟲(chóng)。WebHarvest WebHarvest是一個(gè)Java開(kāi)源Web數(shù)據(jù)抽取工具。另外，而且文件名必須全部小寫(xiě)。例如，使用javascript調(diào)用的頁(yè)面、需要注冊(cè)才能訪(fǎng)問(wèn)的頁(yè)面等。在王映等人的文章中，提出了使用一個(gè)嵌入式的JavaScript引擎來(lái)進(jìn)行動(dòng)態(tài)網(wǎng)頁(yè)采集的方法。在2008年SIGIR中，Yida Wang等提出了一種爬取論壇的爬取方法。 Orlando O. Belo 在2006年提出來(lái)使用查詢(xún)?nèi)罩镜姆椒ㄏ拗凭W(wǎng)絡(luò)爬蟲(chóng)的活動(dòng)以減輕服務(wù)器壓力。4.160