【文章內(nèi)容簡介】 ，要設置一個表存儲所有的結(jié)點。因為在廣度優(yōu)先搜索算法中，要滿足先生成的結(jié)點先擴展的原則，所以存 儲結(jié)點的表一般設計成隊列的數(shù)據(jù)結(jié)構(gòu)。 搜索的步驟一般是： （ 1）從隊列頭取出一個結(jié)點，檢查它按照擴展規(guī)則是否能夠擴展，如果能則產(chǎn)生一個新結(jié)點。 （ 2）檢查新生成的結(jié)點，看它是否已在隊列中存在，如果新結(jié)點已經(jīng)在隊列中出現(xiàn)過，就放棄這個結(jié)點，然后回到第（ 1）步。否則，如果新結(jié)點未曾在隊列中出現(xiàn)過，則將它加入到隊列尾。 （ 3）檢查新結(jié)點是否目標結(jié)點。如果新結(jié)點是目標結(jié)點，則搜索成功，程序結(jié)束；若新結(jié)點不是目標結(jié)點，則回到第（ 1）步，再從隊列頭取出結(jié)點進行擴展 ......。 最終可能產(chǎn)生兩種結(jié)果：找到目標結(jié)點，或擴 展完所有結(jié)點而沒有找到目標結(jié)點。 網(wǎng)絡爬蟲的主題相關度判斷 主題爬蟲的系統(tǒng)組成最初考慮是對頁面的過濾，不像普通爬蟲對所有頁面的鏈接進行處理，先對頁面與受限領域的主題相關度進行分析，只有當其主題相關度符合要求時才處理該頁面中的鏈接，因為如果該頁面和本領域比較相關，它所包含的鏈接和領域相關的幾率也較大，這樣提高了爬行精度，雖然會遺漏少數(shù)頁面，但綜合效果是令人滿意的。因此，主題相關度的分析是主題爬蟲設計的關鍵。 10 主題蜘蛛將網(wǎng)頁下載到本地后，需要使用基于內(nèi)容的主題判別方法計算該網(wǎng)頁的主題相關度值，主題相關度 低于某一閾值的網(wǎng)頁被丟棄。 （一） 什么是網(wǎng)頁標題 通常瀏覽一個網(wǎng)頁時，通過瀏覽器頂端的藍色顯示條出現(xiàn)的信息就是“網(wǎng)頁標題”。 在網(wǎng)頁 HTML 代碼中，網(wǎng)頁標題位于標簽之間。 網(wǎng)頁標題是對于一個網(wǎng)頁的高度概括，一般來說，網(wǎng)站首頁的標題就是網(wǎng)站的正式名稱，而網(wǎng)站中文章內(nèi)容頁面的標題就是這文章的題目，欄目首頁的標題通常是欄目名稱。當然這種一般原則并不是固定不變的，在實際工作中可能會有一定的變化，但是無論如何變化，總體上仍然會遵照這種規(guī)律 [12]。 例如，現(xiàn)在會看到很多網(wǎng)站的首頁標題較長，除了網(wǎng)站名稱之 外，還有網(wǎng)站相關業(yè)務之類的關鍵詞，這主要是為了在搜索引擎搜索結(jié)果中獲得排名優(yōu)勢而考慮的，也屬于正常的搜索引擎優(yōu)化方法。因為一般的公司名稱（或者品牌名稱）中可能不包含核心業(yè)務的關鍵詞，在搜索結(jié)果排名中將處于不利地位。 （二）網(wǎng)頁標題的重要性 以 Google 為例， Google 會對其標題標簽（ meta title）中出現(xiàn)的關鍵字給予較高的權(quán)值。所以應當確保在網(wǎng)站的標題標簽中包含了最重要的關鍵詞，即應圍繞最重要的關鍵詞來決定網(wǎng)頁標題的內(nèi)容。不過網(wǎng)頁的標題不可過長，一般最好在 35 到 40 個字符之間。在實際操作中 ，網(wǎng)頁標題不宜過短或過長。太短無法完整的表達網(wǎng)頁信息，太長不僅不利于用戶識別，而且對搜索引擎來說也加大了識別核心關鍵詞的難度；網(wǎng)頁標題應概括網(wǎng)頁的核心內(nèi)容。搜索引擎在進行搜索的時候，搜索結(jié)果的內(nèi)容一般是網(wǎng)頁標題、網(wǎng)頁摘要信息和鏈接，要引起用戶的關注，高度總結(jié)了網(wǎng)頁內(nèi)容的標題至關重要。比如戴爾中國的網(wǎng)站 首頁標題為“戴爾中國（ Dell China） — 計算機，筆記本電腦，臺式機，打印機，工作站，服務器，存儲器，電子產(chǎn)品及附件等”。戴爾的首頁標題中不但涵蓋了最重要的公司信息，而且還包括 公司的主要產(chǎn)品，這就是核心關鍵詞，當用“筆記本電腦”、“臺式電腦”這些關鍵詞在谷歌中進行搜索時，戴爾公司的網(wǎng)頁都排在第一屏的前幾條位置。 （二） 但是與此同時需要注意的還有網(wǎng)頁正文的重要性，因為網(wǎng)頁的標題和關鍵字很可能與正文無關，虛假關鍵詞是通過在 META 中設置與 網(wǎng)站內(nèi)容 無關的關鍵詞，如在 Title 中設置熱門關鍵詞，以達到誤導用戶進入網(wǎng)站的目的。同樣的情況也包括鏈接關鍵詞與實際內(nèi)容不符的情 況。 11 具體判斷主題相關度的步驟 ，并通過詞頻計算來得到與主題向量維數(shù)相等的標題向量和正文向量。 B。 C。 ： A=4 B+C。 ，設定相關度閾值為 2，網(wǎng)頁與主題的相關度 A2，則認為該網(wǎng)頁與主題相關的。 網(wǎng)絡爬蟲的概要設計 本網(wǎng)絡爬蟲的開發(fā)目的，通過網(wǎng)絡爬蟲技術(shù)一個自動提取網(wǎng) 頁的程序，實現(xiàn)搜索引擎從自己想要訪問的網(wǎng)上下載網(wǎng)頁，再根據(jù)已下載的網(wǎng)頁上繼續(xù)訪問其它的網(wǎng)頁，并將其下載直到滿足用戶的需求。 根據(jù)現(xiàn)實中不同用戶的實際上的各種需求，本項目簡單實現(xiàn)主題爬蟲，本網(wǎng)絡爬蟲需要達到如下幾個目標： ，客戶端向服務器發(fā)送自己設定好請求。如圖37 所示。 12 圖 32 多線程網(wǎng)絡爬蟲概要設計圖模型 將 Web 服 務 器上 協(xié)議 站點的網(wǎng) 頁 代 碼 提取出來。 信息。 ，訪問該鏈接網(wǎng)頁上的所有鏈接，訪問完成后，再通過遞歸算法實現(xiàn)下一層的訪問。 本網(wǎng)絡爬蟲最終將設計成一個能夠自動讀寫配置文件并且在后臺自動執(zhí)行的網(wǎng)絡爬蟲程序。 網(wǎng)絡爬蟲工作流程圖如圖 33所示。 URL配置文件 URL配置文件列表 臨 界 區(qū) 互聯(lián)網(wǎng) 線程 1 搜索元URL 如 線程 2 搜索元URL 如 線程 N 13 圖 33 網(wǎng)絡爬蟲工作流程圖 開始從配置文件中讀取初始URL 作為源 URL獲取網(wǎng)頁以正則表達式過濾網(wǎng)頁標簽提取目標 URL滿足條件停止結(jié)束根據(jù)寬度有限算法搜索目標URL 網(wǎng)絡蜘蛛循環(huán)爬行 14 第四章 網(wǎng)絡爬蟲模型的設計和實現(xiàn) 網(wǎng)絡爬蟲總體設計 根據(jù)本網(wǎng)絡爬蟲的概要設計本網(wǎng)絡爬蟲是一個自動提取網(wǎng)頁的程序，根據(jù)設定的主題判斷是否與主題相關，再根據(jù)已 下載的網(wǎng)頁上繼續(xù)訪問其它的網(wǎng)頁，并將其下載直到滿足用戶的需求。 。 將待爬取 URL 列表對應的 URL 的網(wǎng)頁代碼提取出來。 。 ，從網(wǎng)頁中某個鏈接出發(fā)，訪問該鏈接網(wǎng)頁上的所有鏈接，訪問完成后，再通過遞歸算法實現(xiàn)下一層的訪問，重復以上步驟。 總的來說爬蟲程序根據(jù)輸入獲得 URL 任務列表，即初始 URL種子，把初始種子保存在臨界區(qū)中，按照廣度搜索運算法搜索抓取網(wǎng)頁并提取 URL 返回到臨屆區(qū)中 ，通過判斷主題相關度算法判斷相關度，取出不相關網(wǎng)頁，從而使整個爬蟲程序循環(huán)運行下去。 網(wǎng)絡爬蟲具體設計 爬取網(wǎng)頁 主要用到的技術(shù)如下： 繼承 HTMLEditorKit 類，改寫其中的 getParser()屬性protect 為 public，用下列函數(shù)爬取網(wǎng)頁： public class XXXXX extends HTMLEditorKit { public getParser() { return ()。 } } 步驟如下： 1首先建立 URL 連接。 URLConnection url_C = ()。 2設置連接超時時間和讀取超時時間。 (10000)。 15 (10000)。 ， BufferedReader 讀取，并且將網(wǎng)頁內(nèi)容存儲為字符串。 分析網(wǎng)頁 繼承 ParserCallback 獲得網(wǎng)頁內(nèi)容 // 得到標題文本 protected String urlTitle = new String()。 // 得到某一網(wǎng)頁上的所有鏈接 protected VectorString links = new VectorString()。 protected VectorString linkname = new VectorString()。 // 得到網(wǎng)頁上的正文文本 protected String paragraphText = new String()。 protected String linkandparagraph = new String()。 protected String encode = new String()。 public Parser(String baseurl) { base = baseurl。 } public String getEncode() { return encode。 } // 獲得該網(wǎng)頁標題 public String getURLtitle() { return urlTitle。 } // 獲得該網(wǎng)頁的所有鏈接 public Vector getLinks() { return links。 } // 獲得所有該網(wǎng)頁的鏈接名 public Vector getLinkName() // 獲得網(wǎng)頁正文 public String getParagraphText() public void handleEndTag( t, int pos) // 處理簡單標簽 16 public void handleSimpleTag( t, MutableAttributeSet a, int pos) // 處理結(jié)束標簽 public void handleStartTag( t, MutableAttributeSet a, int pos) // 處理文本 標簽 public void handleText(char[] data, int pos) 之后通過調(diào)用 類，生成對象就可以直接得到分析后的網(wǎng)頁文件。 判斷相關度 算法實現(xiàn)步驟和算法描述： 題集合匹配，并通過詞頻計算來得到與主題向量維數(shù)相等的標題向量和正文向量。 B。 C。 ： A=4 B+C。 ，設定相關度閾值為 2，網(wǎng)頁與主題的相關度 A2，則認為該網(wǎng)頁與主題相關的。 輸入：主題集合文本 ，網(wǎng)頁 url 輸出：主題相關度 （ 1） Get topic（ String path） //根據(jù)路徑獲取主題文本集合 （ 2） Compulate topicweight（ String topic） //求主題結(jié)合權(quán)重 （ 3） sortAndDelRepeat(int[]count)//刪除重復元素并排序 （ 4） delRepeat(String[] segment)//刪除分詞后的重復元素 （ 5） delRepeat(Vector url)//刪除得到的 URL 中的重復元素 （ 6） getParser(String url)//獲得 Parser 實例 （ 7） String titleStr =（） //獲取網(wǎng)頁標題 （ 8） String bodyStr=（） //獲取網(wǎng)頁文本 （ 9） String titleStrSeg=（ titleStr） //網(wǎng)頁標題分詞 （ 10） String bodyStrSeg=（ bodyStr） //網(wǎng)頁文本分詞 （ 11） Compulate ， 17 文本向量長度 （ 12） set topicweight1， titleweight1， bodyweight1； //設置權(quán)重 （ 13） Last pulate Relative//計算主題相關性 （ 14） Return relative； //返回結(jié)果 根據(jù)系統(tǒng)設置首先是下載所有網(wǎng)頁，而后判定主題相關性，與主題相關則放置在相關 URL 庫中，不相關的網(wǎng)頁則丟棄。 保存網(wǎng)頁信息 URL 連接。 URLConnection url_C = ()。 PagePro類。如下： private String Host。 private int Port。 private String ContentType。 private int ContentLength。 private String Date。 private String Url。 PagePro 類中。 。 數(shù)據(jù)庫設計和存儲 使用 JDBC 訪問數(shù)據(jù)庫，儲存下載的網(wǎng)頁 URL 和下載時間信息。 多線程的實現(xiàn) 設計為 4個線程同時進行工作。 1. 從用戶輸入的起始 URL 開始，遞歸獲得指定深度的 URL。 2. 對每個 URL 進行分析，判斷相關度。 3. 下載與主題相關的網(wǎng)頁，并存儲在數(shù)據(jù)庫中。 第 i 個線程對所有 URL 列表中序列為第 0+4i URL 的進行同步操作，其中對儲存所有 URL 的列表執(zhí)行 synchronized (all_URL)操作。 18 附加功能 為了檢測網(wǎng)絡環(huán)境，防止因為不良的網(wǎng)絡環(huán)境影響網(wǎng)絡爬蟲的爬取效率和正確略，額外添加了實時的 ping 功能，調(diào)用 windows 的命令解釋器的 ping 功能，測試用戶