【文章內(nèi)容簡(jiǎn)介】 一定的模型下計(jì)算鏈接的權(quán)重。 　　網(wǎng)站劃分情況分為按域名劃分和按IP地址劃分兩。以上討論了在分布式情況下，通過(guò)對(duì)同一個(gè)域名下不同主機(jī)、服務(wù)器的IP地址進(jìn)行站點(diǎn)劃分，構(gòu)造站點(diǎn)圖，利用類似PageRank的方法評(píng)價(jià)SiteRank。同時(shí)，根據(jù)不同文件在各個(gè)站點(diǎn)上的分布情況，構(gòu)造文檔圖，結(jié)合SiteRank分布式計(jì)算得到DocRank。從而證明了，利用分布式的SiteRank計(jì)算，不僅大大降低了單機(jī)站點(diǎn)的算法代價(jià)，而且克服了單獨(dú)站點(diǎn)對(duì)整個(gè)網(wǎng)絡(luò)覆蓋率有限的缺點(diǎn)。附帶的一個(gè)優(yōu)點(diǎn)是，常見(jiàn)PageRank 造假難以對(duì)SiteRank進(jìn)行欺騙?！?網(wǎng)頁(yè)塊粒度的分析算法 　　在一個(gè)頁(yè)面中，往往含有多個(gè)指向其他頁(yè)面的鏈接，這些鏈接中只有一部分是指向主題相關(guān)網(wǎng)頁(yè)的，或根據(jù)網(wǎng)頁(yè)的鏈接錨文本表明其具有較高重要性。但是，在PageRank和HITS算法中，沒(méi)有對(duì)這些鏈接作區(qū)分，因此常常給網(wǎng)頁(yè)分析帶來(lái)廣告等噪聲鏈接的干擾。 　 基于網(wǎng)頁(yè)內(nèi)容的網(wǎng)頁(yè)分析算法 　　基于網(wǎng)頁(yè)內(nèi)容的分析算法指的是利用網(wǎng)頁(yè)內(nèi)容（文本、數(shù)據(jù)等資源）特征進(jìn)行的網(wǎng)頁(yè)評(píng)價(jià)。網(wǎng)頁(yè)的內(nèi)容從原來(lái)的以超文本為主，發(fā)展到后來(lái)動(dòng)態(tài)頁(yè)面（或稱為Hidden Web）數(shù)據(jù)為主，后者的數(shù)據(jù)量約為直接可見(jiàn)頁(yè)面數(shù)據(jù)（PIW，Publicly Indexable Web）的400~500倍。另一方面，多媒體數(shù)據(jù)、Web Service等各種網(wǎng)絡(luò)資源形式也日益豐富。因此，基于網(wǎng)頁(yè)內(nèi)容的分析算法也從原來(lái)的較為單純的文本檢索方法，發(fā)展為涵蓋網(wǎng)頁(yè)數(shù)據(jù)抽取、機(jī)器學(xué)習(xí)、數(shù)據(jù)挖掘、語(yǔ)義理解等多種方法的綜合應(yīng)用。本節(jié)根據(jù)網(wǎng)頁(yè)數(shù)據(jù)形式的不同，將基于網(wǎng)頁(yè)內(nèi)容的分析算法，歸納以下三類：第一種針對(duì)以文本和超鏈接為主的無(wú)結(jié)構(gòu)或結(jié)構(gòu)很簡(jiǎn)單的網(wǎng)頁(yè)；第二種針對(duì)從結(jié)構(gòu)化的數(shù)據(jù)源（如RDBMS）動(dòng)態(tài)生成的頁(yè)面，其數(shù)據(jù)不能直接批量訪問(wèn)；第三種針對(duì)的數(shù)據(jù)界于第一和第二類數(shù)據(jù)之間，具有較好的結(jié)構(gòu)，顯示遵循一定模式或風(fēng)格，且可以直接訪問(wèn)。 　 基于文本的網(wǎng)頁(yè)分析算法 　　1) 純文本分類與聚類算法  　　 很大程度上借用了文本檢索的技術(shù)。文本分析算法可以快速有效的對(duì)網(wǎng)頁(yè)進(jìn)行分類和聚類，但是由于忽略了網(wǎng)頁(yè)間和網(wǎng)頁(yè)內(nèi)部的結(jié)構(gòu)信息，很少單獨(dú)使用。 2) 超文本分類和聚類算法 Hidden Web的網(wǎng)頁(yè)分析方法大約80%的數(shù)據(jù)是動(dòng)態(tài)生成的。這些內(nèi)容 大多“隱藏”存儲(chǔ)在后臺(tái)的可查詢數(shù)據(jù)庫(kù)中，因此稱為“Hidden Web”。目前大多數(shù)的通用搜索引擎僅僅覆蓋了部分的PIW，卻忽略了數(shù)據(jù)量約為PIW 400~500倍的Hidden Web（或稱為Deep Web）。針對(duì)Hidden Web的爬蟲(chóng)與普通的聚焦爬蟲(chóng)相比，需要更多地對(duì)網(wǎng)頁(yè)中表單進(jìn)行發(fā)現(xiàn)、探測(cè)查詢（probing query）和分析。對(duì)于網(wǎng)頁(yè)上表單的處理很多時(shí)候需要采用用戶輔助的半自動(dòng)方法，如典型的HIWE系統(tǒng)。該方法將表單表示為一組（element, domain）二元組，并嘗試通過(guò)標(biāo)注、頁(yè)面布局等信息確定表單的輸入數(shù)據(jù)模式。另一種無(wú)需人工輔助的方法則需要更多對(duì)網(wǎng)頁(yè)后臺(tái)數(shù)據(jù)庫(kù)的反復(fù)查詢，分析結(jié)果的數(shù)量和屬性，在利用熵理論上，采用了無(wú)需人工輔助的方法來(lái)自動(dòng)發(fā)現(xiàn)領(lǐng)域相關(guān)的Hidden Web資源。 數(shù)據(jù)密集型網(wǎng)頁(yè)的分析方法數(shù)據(jù)密集型（data intensive）網(wǎng)頁(yè)的數(shù)據(jù)形式介于Hidden Web和文本密集型網(wǎng)頁(yè)之間。它們具有良好的結(jié)構(gòu)性，又可以直接從頁(yè)面讀?。欢覕?shù)據(jù)的語(yǔ)義在網(wǎng)頁(yè)上顯示標(biāo)注，因此不需要對(duì)這些網(wǎng)頁(yè)之后的數(shù)據(jù)庫(kù)進(jìn)行探測(cè)查詢。例如電子商務(wù)網(wǎng)站的產(chǎn)品信息頁(yè)面，具有統(tǒng)一的風(fēng)格，其中的數(shù)據(jù)表示具有固定格式，并按照一定目錄層次結(jié)構(gòu)來(lái)組織，因此也稱為分類導(dǎo)向型（taxonomy directed）網(wǎng)頁(yè)。的獲取工作主要集中在對(duì)網(wǎng)頁(yè)數(shù)據(jù)的抽取，如頁(yè)面塊或目錄發(fā)現(xiàn)，結(jié)構(gòu)化數(shù)據(jù)的記錄邊界確定等等。爬蟲(chóng)將這些數(shù)據(jù)抽取出來(lái)，以一定格式在本地存儲(chǔ)、分析，從而指導(dǎo)下一步的抓取工作?；舅悸肥?，將html頁(yè)面轉(zhuǎn)化為token序列或標(biāo)記樹(shù)（tag tree），如DOM樹(shù)等數(shù)據(jù)結(jié)構(gòu)，再在這種轉(zhuǎn)化的數(shù)據(jù)結(jié)構(gòu)上進(jìn)行模式發(fā)現(xiàn)，實(shí)現(xiàn)從抽取出結(jié)構(gòu)化的數(shù)據(jù)。普遍采用的方抽取法是wrapper提取頁(yè)面信息。Wrapper可人工維護(hù)，或半自動(dòng)的生成。這種方法通常具有較強(qiáng)的針對(duì)性和局限性，動(dòng)態(tài)性常常導(dǎo)致wrapper失效，因此需要大量的wrapper維護(hù)和用互。另一種方法是從具有統(tǒng)一風(fēng)格和顯示規(guī)則的若干網(wǎng)頁(yè)來(lái)學(xué)習(xí)并抽取結(jié)構(gòu)化數(shù)據(jù)。包括：進(jìn)行連續(xù)數(shù)據(jù)記錄之間的記錄邊界發(fā)現(xiàn)；在頁(yè)面所轉(zhuǎn)化成的標(biāo)記串上做模式發(fā)現(xiàn)分析；當(dāng)網(wǎng)頁(yè)上的數(shù)據(jù)記錄不連續(xù)，記錄的顯示風(fēng)格也不完全一致時(shí)，就需要更魯棒的算法查找標(biāo)記樹(shù)種的重復(fù)結(jié)點(diǎn)。在很多情況下，這些數(shù)據(jù)是以HTML的表格形式（〈table〉〈/table〉）出現(xiàn)的。 用戶協(xié)作網(wǎng)頁(yè)分析算法鏈接提供的網(wǎng)頁(yè)關(guān)聯(lián)度往往帶有噪音，網(wǎng)絡(luò)的異構(gòu)性和動(dòng)態(tài)性使得對(duì)鏈接結(jié)構(gòu)的建模很難達(dá)到令人滿意的效果。而用戶的訪問(wèn)模式往往可靠反映了資源的主題相關(guān)性，且具有時(shí)效性，可即時(shí)反應(yīng)網(wǎng)絡(luò)鏈接的變更等情況。提出了通過(guò)用戶協(xié)作、學(xué)習(xí)瀏覽模式來(lái)抓取網(wǎng)頁(yè)的方法。協(xié)作抓取需要獲取用戶瀏覽行為，一般有兩種方法：日志挖掘和用戶標(biāo)注。這個(gè)用戶瀏覽模式挖掘法，對(duì)與某一特定查詢謂詞相關(guān)的網(wǎng)頁(yè)作相似性建模。以大量公共域名代理的用戶訪問(wèn)日志為參考，經(jīng)過(guò)對(duì)大群組用戶信息過(guò)濾，統(tǒng)計(jì)并總結(jié)出了三種需要考慮的用戶訪問(wèn)信息：對(duì)不同網(wǎng)頁(yè)訪問(wèn)頻率；對(duì)不同網(wǎng)頁(yè)特征訪問(wèn)頻率；訪問(wèn)同一主題網(wǎng)頁(yè)的時(shí)間局域性。其中，試驗(yàn)表明，協(xié)作抓取比基于鏈接的智能抓?。╥ntelligent crawling）策略有更好的準(zhǔn)確性。用戶在瀏覽過(guò)程中，對(duì)“有用”網(wǎng)頁(yè)進(jìn)行顯式標(biāo)注的網(wǎng)頁(yè)集合為參考。利用隱含馬爾可夫模型(Hidden Markov Model) 適于進(jìn)行動(dòng)態(tài)模式識(shí)別模型的特性，學(xué)習(xí)用戶的瀏覽行為，預(yù)測(cè)不同網(wǎng)頁(yè)聚類之間的語(yǔ)義聯(lián)系。 基于領(lǐng)域概念定制的網(wǎng)頁(yè)評(píng)價(jià)算法聚焦抓取常以三種方法表示：（1）預(yù)給初始種子樣本（如種子URL，目標(biāo)網(wǎng)頁(yè)樣本等）；（2）預(yù)定網(wǎng)頁(yè)分類結(jié)構(gòu)（如yahoo!）和網(wǎng)頁(yè)訓(xùn)練集生成的分類器；（3）用戶顯式標(biāo)注的或從日志推理得到的“有用”樣本。三種方法都只是對(duì)抓取行為的“主題性”或所關(guān)心的“領(lǐng)域”給出了模糊的定義，并采用了預(yù)定義的本體信息，領(lǐng)域核心概念的模式定義以及領(lǐng)域相關(guān)的詞典以及預(yù)定義的元搜索查詢語(yǔ)句來(lái)表示領(lǐng)域概念。領(lǐng)域本體由不同的概念、實(shí)體及其之間的關(guān)系，以及與之對(duì)應(yīng)的詞匯入構(gòu)項(xiàng)（lexical entry）組成。網(wǎng)頁(yè)中的關(guān)鍵詞在通過(guò)與領(lǐng)域本體對(duì)應(yīng)的詞典作規(guī)范化轉(zhuǎn)換之后，進(jìn)行計(jì)數(shù)和加權(quán)，算出與所選領(lǐng)域的相關(guān)度。對(duì)規(guī)范化后的詞進(jìn)行加權(quán)時(shí)，根據(jù)本體的概念層次，離核心概念越近的權(quán)重越高。該方法比廣度優(yōu)先抓取策略和基于關(guān)鍵字的分類分析算法具有更高的準(zhǔn)確性和效率。另一個(gè)優(yōu)點(diǎn)在于，即使初始URL與領(lǐng)域不直接相關(guān)，也具有較好的抗干擾能力，并逐漸趨近于主題相關(guān)的抓取路徑。五、 聚焦爬蟲(chóng)系統(tǒng)體系結(jié)構(gòu)下面分析三種具有帶表性的體系結(jié)構(gòu)。 基于分類器的聚焦爬蟲(chóng)目前大多數(shù)的聚焦抓取都采用了類似的工作流程。根據(jù)一個(gè)主題目錄和用戶指定的初始點(diǎn)（如書(shū)簽）來(lái)描述抓取目標(biāo)，并在用戶瀏覽過(guò)程中，將用戶標(biāo)注的感興趣網(wǎng)頁(yè)放入相應(yīng)的主題目錄，修改主題樣本。系統(tǒng)的兩個(gè)主要部分是網(wǎng)頁(yè)分類器和網(wǎng)頁(yè)選擇器（distiller）。網(wǎng)頁(yè)分類器負(fù)責(zé)學(xué)習(xí)抓取目標(biāo)的特點(diǎn)，計(jì)算網(wǎng)頁(yè)的關(guān)聯(lián)度，并過(guò)濾網(wǎng)頁(yè)。選擇器負(fù)責(zé)計(jì)算網(wǎng)頁(yè)的重要程度，發(fā)現(xiàn)中心型網(wǎng)頁(yè)，并由此動(dòng)態(tài)決定網(wǎng)頁(yè)的訪問(wèn)順序。