【正文】 。(().links().regex((://github\\./\\w+/\\w+)).all())。(().links().regex((://github\\./\\w+/\\w+)).all())。39。entrytitle public39。 XPathXPath本來是用于XML中獲取元素的一種查詢語言，但是用于Html也是比較方便的。 ()。webmagic默認(rèn)有3秒抓取間隔，請耐心等待。表1 爬蟲函數(shù)及其功能表方法說明示例create(PageProcessor)創(chuàng)建Spider(new GithubRepoProcessor())addUrl(String…)添加初始的URLspider .addUrl()addRequest(Request...)添加初始的Requestspider .addRequest()thread(n)開啟n個線程(5)run()啟動，會阻塞當(dāng)前線程執(zhí)行()start()/runAsync()異步啟動，當(dāng)前線程繼續(xù)執(zhí)行()stop()停止爬蟲()test(String)抓取一個頁面進(jìn)行測試spider .test()addPipeline(Pipeline)添加一個Pipeline，一個Spider可以有多個Pipelinespider .addPipeline(new ConsolePipeline())setScheduler(Scheduler)設(shè)置Scheduler，一個Spider只能有個一個Scheduler(new RedisScheduler())setDownloader(Downloader)設(shè)置Downloader，一個Spider只能有個一個Downloaderspider .setDownloader(new SeleniumDownloader())get(String)同步調(diào)用，并直接取得結(jié)果ResultItems result = spider .get()getAll(String…)同步調(diào)用，并直接取得一堆結(jié)果ListResultItems results = spider .getAll(, )對站點(diǎn)本身的一些配置信息，例如編碼、HTTP頭、超時(shí)時(shí)間、重試策略等、代理等，都可以通過設(shè)置Site對象來進(jìn)行配置。為了避免下載一個頁面兩次，爬蟲系統(tǒng)需要策略來處理爬蟲運(yùn)行時(shí)新發(fā)現(xiàn)的URL，因?yàn)橥粋€URL地址，可能被不同的爬蟲進(jìn)程抓到。Brin和Page注意到：運(yùn)行一個針對超過50萬服務(wù)器的爬蟲，會產(chǎn)生很多的郵件和電話。Dill等人 (Dill et al., 2002) 使用1秒。按照這個速度，如果一個站點(diǎn)有超過10萬的頁面，即使我們擁有零延遲和無窮帶寬的完美連接，它也會需要兩個月的時(shí)間來下載整個站點(diǎn)，并且，這個服務(wù)器中的資源，只有一小部分可以使用。對這些問題的一個部分解決方法是漫游器排除協(xié)議（Robots exclusion protocol），（Koster，1996），這份協(xié)議對于管理員指明網(wǎng)絡(luò)服務(wù)器的那一部分不能到達(dá)是一個標(biāo)準(zhǔn)。216。使用爬蟲的代價(jià)包括：216。平衡禮貌策略爬蟲相比于人，可以有更快的檢索速度和更深的層次，所以，他們可能使一個站點(diǎn)癱瘓。正如Coffman等人（Edward ，1998）所注意到的：“為了最小化頁面過時(shí)的時(shí)間，對任一個頁面的訪問都應(yīng)該盡可能的均勻間隔地訪問。對于這種結(jié)果的解釋是：當(dāng)一個頁面變化太快的時(shí)候，爬蟲將會將會在不斷的嘗試重新抓取而浪費(fèi)很多時(shí)間，但是卻還是不能保證頁面的新鮮度。正比策略：對變化越多的網(wǎng)頁，重新訪問的頻率也越高。在這個模型下，每一個顧客在投票系統(tǒng)的平均時(shí)間，相當(dāng)于爬蟲的平均過時(shí)性。在時(shí)間t內(nèi)，倉庫中頁面p的新鮮度是這樣定義的：新鮮度過時(shí)性:這是一個衡量本地已抓取的內(nèi)容過時(shí)程度的指標(biāo)。抓取網(wǎng)絡(luò)上的一小部分內(nèi)容可能會花費(fèi)真的很長的時(shí)間，通常用周或者月來衡量。某些情況下，例如Googlebot，WEB抓取的是所有超文本所包含的內(nèi)容，標(biāo)簽和文本。這些頁面通常只有在向數(shù)據(jù)庫提交查詢的時(shí)候才可以訪問到，如果沒有鏈接指向他們的話，一般的爬蟲是不能訪問到這些頁面的。一個可能的方法就是在鏈接之中設(shè)置錨點(diǎn)，這就是在早期時(shí)候，Pinkerton（Pinkerton，1994）曾經(jīng)在一個爬蟲中采用的策略。網(wǎng)絡(luò)爬蟲嘗試下載相似頁面，可以稱為聚焦檢索或者主題檢索。例如，給定一個種子地址：它將會嘗試檢索/hamster/menkey/,/hamster/和/ 。這種策略會導(dǎo)致很多的html資源在無意中錯過，一種相似的策略是將網(wǎng)絡(luò)資源的擴(kuò)展名同已知是html文件類型的一組擴(kuò)展名（,.htm,.asp,.php,.aspx,反斜杠）進(jìn)行比較。使用這種方式，可以從以前抓取頁面之中找到好的種子，使用這些種子是十分有效的。BaezaYates等人(BaezaYates et al., 2005) ，比較若干個抓取策略。并且，實(shí)驗(yàn)沒有和其它策略進(jìn)行比較，也沒有在真正的WEB頁面測試?！盇biteboul (Abiteboul 等人, 2003)，設(shè)計(jì)了一種基于OPIC（在線頁面重要指數(shù)）的抓取戰(zhàn)略。并且，這樣的結(jié)果僅僅是針對一個站點(diǎn)的。Cho等人（Cho et al，1998）做了第一份抓取策略的研究。由勞倫斯河蓋爾斯共同做的一項(xiàng)研究指出，沒有一個搜索引擎抓取的內(nèi)容達(dá)到網(wǎng)絡(luò)的16%(勞倫斯河蓋爾斯，2001)。正如愛德華等人所說的：“用于檢索的帶寬不是無限的，也不是免費(fèi)的；所以，如果引入衡量爬蟲抓取質(zhì)量或者新鮮度的有效指標(biāo)的話，不但伸縮性，連有效性都將變得十分必要”（愛德華等人，2001年）。最近新增的很多頁面都是通過服務(wù)器端腳本語言產(chǎn)生的，無窮的參數(shù)組合也增加了爬蟲抓取的難度，只有一小部分這種組合會返回一些獨(dú)特的內(nèi)容。 它快速的更新頻率；216?；谖谋镜木W(wǎng)頁分析算法1) 純文本分類與聚類算法很大程度上借用了文本檢索的技術(shù)。網(wǎng)頁的內(nèi)容從原來的以超文本為主，發(fā)展到后來動態(tài)頁面（或稱為Hidden Web）數(shù)據(jù)為主，后者的數(shù)據(jù)量約為直接可見頁面數(shù)據(jù)（PIW，Publicly Indexable Web）的400~500倍。在網(wǎng)頁塊級別(Block level)進(jìn)行鏈接分析的算法的基本思想是通過VIPS網(wǎng)頁分割算法將網(wǎng)頁分為不同的網(wǎng)頁塊(page block)，然后對這些網(wǎng)頁塊建立page to block和block to page的鏈接矩陣，分別記為Z和X。文獻(xiàn)[18]證明，利用分布式的SiteRank計(jì)算，不僅大大降低了單機(jī)站點(diǎn)的算法代價(jià)，而且克服了單獨(dú)站點(diǎn)對整個網(wǎng)絡(luò)覆蓋率有限的缺點(diǎn)。SiteRank的計(jì)算方法與PageRank類似，但是需要對網(wǎng)站之間的鏈接作一定程度抽象，并在一定的模型下計(jì)算鏈接的權(quán)重?；阪溄拥淖ト〉膯栴}是相關(guān)頁面主題團(tuán)之間的隧道現(xiàn)象，即很多在抓取路徑上偏離主題的網(wǎng)頁也指向目標(biāo)網(wǎng)頁，局部評價(jià)策略中斷了在當(dāng)前路徑上的抓取行為。又分為網(wǎng)頁粒度、網(wǎng)站粒度和網(wǎng)頁塊粒度這三種。其基本思想是認(rèn)為與初始URL在一定鏈接距離內(nèi)的網(wǎng)頁具有主題相關(guān)性的概率很大。 網(wǎng)頁搜索策略廣度優(yōu)先搜索策略是指在抓取過程中，在完成當(dāng)前層次的搜索后，才進(jìn)行下一層次的搜索。Selenium是一個模擬瀏覽器進(jìn)行頁面渲染的工具，WebMagic依賴Selenium進(jìn)行動態(tài)頁面的抓取。因?yàn)闀r(shí)間有限，這些例子有些使用的仍然是老版本的API，也可能有一些因?yàn)槟繕?biāo)頁面的結(jié)構(gòu)變化不再可用了。包括注解格式定義爬蟲、JSON、分布式等支持。它們都是獨(dú)立的Maven項(xiàng)目。這四大組件對應(yīng)爬蟲生命周期中的下載、處理、管理和持久化等功能。版本類型下載下來之后，解壓，找個路徑放進(jìn)去， 把bin的位置設(shè)在環(huán)境變量里，新建環(huán)境變量MAVEN_HOME圖6 環(huán)境變量配置一在PATH里加入maven的bin的路徑圖7 環(huán)境變量配置二配置完畢后，在Windows命令提示符下，輸入mvn v測試一下，配置成功顯示如圖：圖8 配置成功配置成功后開始在Eclipse中配置Maven，點(diǎn)擊eclipse菜單欄HelpEclipse Marketplace搜索關(guān)鍵字maven到插件Maven Integration for Eclipse 并點(diǎn)擊安裝即可，如下圖：圖 9 在Eclipse中配置maven重啟后，為了使得Eclipse中安裝的Maven插件，同windows中安裝的那個相同，需要讓eclipse中的maven重新定位一下，點(diǎn)擊Window Preference Maven Installation Add進(jìn)行設(shè)置圖10 配置二 框架webmagic WebMagic概覽WebMagic項(xiàng)目代碼分為核心和擴(kuò)展兩部分。搜索引擎己成為一個新的研究、開發(fā)領(lǐng)域。其次，不能聯(lián)想到關(guān)鍵字的同義詞。例如那些用戶注冊后內(nèi)容才可見的網(wǎng)頁就屬于 Deep Web。增量式網(wǎng)絡(luò)爬蟲的體系結(jié)構(gòu)[包含爬行模塊、排序模塊、更新模塊、本地頁面集、待爬行 URL 集以及本地頁面URL 集。 焦網(wǎng)絡(luò)爬蟲聚焦網(wǎng)絡(luò)爬蟲（Focused Crawler），又稱主題網(wǎng)絡(luò)爬蟲（Topical Crawler），是指選擇性地爬行那些與預(yù)先定義好的主題相關(guān)頁面的網(wǎng)絡(luò)爬蟲[8]。 分類通用網(wǎng)絡(luò)爬蟲又稱全網(wǎng)爬蟲（Scalable Web Crawler），爬行對象從一些種子 URL 擴(kuò)充到整個 Web，主要為門戶站點(diǎn)搜索引擎和大型 Web 服務(wù)提供商采集數(shù)據(jù)?？刂破骺刂破魇蔷W(wǎng)絡(luò)爬蟲的中央控制器，它主要是負(fù)責(zé)根據(jù)系統(tǒng)傳過來的URL鏈接，分配一線程，然后啟動線程調(diào)用爬蟲爬取網(wǎng)頁的過程。 組成在網(wǎng)絡(luò)爬蟲的系統(tǒng)框架中，主過程由控制器，解析器，資源庫三部分組成。(4)通用搜索引擎大多提供基于關(guān)鍵字的檢索，難以支持根據(jù)語義信息提出的查詢。搜索引擎(Search Engine)，例如傳統(tǒng)的通用搜索引擎AltaVista，Yahoo!和Google等，作為一個輔助人們檢索信息的工具成為用戶訪問萬維網(wǎng)的入口和指南。關(guān)鍵詞：網(wǎng)絡(luò)爬蟲；Java；多線程；MySQL；Webmagic；CsdnblogABSTRACTWeb Crawler, usually called Crawler for short, is an important part of search engine. With the highspeed development of information, Web Crawler the search engine can not lack of which is a hot research topic those years. The quality of a search engine is mostly depended on the quality of a Web Crawler. Nowadays, the direction of researching Web Crawler mainly divides into two parts: one is the searching strategy to web pages。目前，網(wǎng)絡(luò)爬蟲的研究包括Web搜索策略研究的研究和網(wǎng)絡(luò)分析的算法，兩個方向，其中在Web爬蟲網(wǎng)絡(luò)搜索主題是一個研究方向，根據(jù)一些網(wǎng)站的分析算法，過濾不相關(guān)的鏈接，連接到合格的網(wǎng)頁，并放置在一個隊(duì)列被抓取。隨著信息技術(shù)的飛速進(jìn)步，作為搜索引擎的一個組成部分——網(wǎng)絡(luò)爬蟲，一直是研究的熱點(diǎn)，它的好壞會直接決定搜索引擎的未來。如果把整個互聯(lián)網(wǎng)當(dāng)成一個網(wǎng)站，那么網(wǎng)絡(luò)爬蟲就可以用這個原理把互聯(lián)網(wǎng)上所有的網(wǎng)頁都抓取下來。 產(chǎn)生背景隨著網(wǎng)絡(luò)的迅速發(fā)展，萬維網(wǎng)成為大量信息的載體，如何有效地提取并利用這些信息成為一個巨大的挑戰(zhàn)。(3)萬維網(wǎng)數(shù)據(jù)形式的豐富和網(wǎng)絡(luò)技術(shù)的不斷發(fā)展，圖片、數(shù)據(jù)庫、音頻、視頻多媒體等不同數(shù)據(jù)大量出現(xiàn)，通用搜索引擎往往對這些信息含量密集且具有一定結(jié)構(gòu)的數(shù)據(jù)無能為力，不能很好地發(fā)現(xiàn)和獲取。與通用爬蟲(general purpose web crawler)不同，聚焦爬蟲并不追求大的覆蓋，而將目標(biāo)定為抓取與某一特定主題內(nèi)容相關(guān)的網(wǎng)頁，為面向主題的用戶查詢準(zhǔn)備數(shù)據(jù)資源。資源庫是用來存放下載到的網(wǎng)頁資源，一般都采用大型的數(shù)據(jù)庫存儲，如Oracle數(shù)據(jù)庫，并對其建立索引。中大型的數(shù)據(jù)庫產(chǎn)品有：Oracle、Sql Server等。 雖然存