簡單分析搜索引擎蜘蛛的爬取策略(文件)
【正文】 的一種更新策略，它建立于如下假設(shè)之上：過去頻繁更新的網(wǎng)頁，那么將來也會(huì)頻繁更新，所以為了預(yù)估某個(gè)網(wǎng)頁何時(shí)進(jìn)行更新，可以通過參考其歷史更新情況來做出決定。（3）聚類抽樣策略上面介紹的兩種網(wǎng)頁更新策略嚴(yán)重依賴網(wǎng)頁的歷史更新信息，因?yàn)檫@是能夠進(jìn)行后續(xù)計(jì)算的基礎(chǔ)。通過以上對搜索引擎蜘蛛的爬取過程以及爬取策略進(jìn)行了簡單的了解之后，你是否應(yīng)該有些考慮了？試著對自己的網(wǎng)站進(jìn)行改變了？以上的一些原因說明了搜索引擎的更新是有規(guī)律以及有章法進(jìn)行的，要想更能適應(yīng)搜索引擎的更新原則和蜘蛛爬取原則，我們就應(yīng)該從更基礎(chǔ)的入手去進(jìn)行全面的分析和總結(jié)。從另外一個(gè)角度考慮，如果是首次爬取的網(wǎng)頁，因?yàn)闆]有歷史信息，所以也就無法按照這兩種思路去預(yù)估其更新周期，聚類抽樣，策略即是為了解決上述缺點(diǎn)而提出的。（2）什么是用戶體驗(yàn)度策略？這個(gè)很明顯，大家都知道。網(wǎng)頁更新策略的任務(wù)是要決定何時(shí)重新爬取之前已經(jīng)下載過和網(wǎng)頁，以盡可能使得本地下載網(wǎng)頁和互聯(lián)網(wǎng)原始頁面內(nèi)容保持一致。對于爬蟲來說，并非將網(wǎng)頁抓取到本地就算完成任務(wù)，也要體現(xiàn)出互聯(lián)網(wǎng)這種動(dòng)態(tài)性。因?yàn)榇笮途W(wǎng)站往往包含更多的頁面。所以計(jì)算速度遠(yuǎn)遠(yuǎn)快與PageRank，適合實(shí)時(shí) 計(jì)算使用。這也是為何稱之為“非完全P
化學(xué)相關(guān)推薦
鄂ICP備17016276號-1