簡單分析搜索引擎蜘蛛的爬取策略(編輯修改稿)
2024-09-14 16:49 本頁面
【文章內容簡介】 rtance Computation)OPIC的字面含義是“在線頁面重要性計算”，可以將其看做是一種改進的PageRank算法。在算法開始之前，每個互聯網頁面都給予相同的現金，每當下載了某個頁面P后，P就將自己擁有的現金平均分配給頁面中包含的鏈接頁面，氫自己的現金清空。而對于待爬取URL隊列中的網頁，則根據其手頭擁有的現金金額多少排序，優(yōu)先下載現金最充裕的網頁，OPIC從大的框架上與PageRank思路基本一致，區(qū)別在于：PageRank每次需要迭代計算，而OPIC策略不需要迭代過程。所以計算速度遠遠快與PageRank，適合實時 計算使用。同時，PageRank，在計算時，存在向無鏈接關系網頁的遠程跳轉過程，而OPIC沒有這一計算因子。實驗結果表明，OPIC是較好的重要性衡量策略，效果略優(yōu)于寬度優(yōu)化遍歷策略。第四、大站優(yōu)化策略大部優(yōu)化策略思路很直接：以網站為單位來選題網頁重要性，對于待爬取URL隊列中的網頁根據所屬網站歸類，如果哪個網站等待下載的頁面最多，則優(yōu)化先下載這些鏈接，其本質思想傾向于優(yōu)先下載大型網站。因為大型網站往往包含更多的頁面。鑒于大型網站往往是著名企業(yè)的內容，其網頁質量一般較高，所以這個思路雖然簡單，但是有一定依據。
化學相關推薦
鄂ICP備17016276號-1