【正文】 的地址。 系統(tǒng)設(shè)計的意義本文通過 JAVA 語言實(shí)現(xiàn)一個基于廣度優(yōu)先偏歷算法的多線程爬蟲程序。 無休止的跳轉(zhuǎn)。有的網(wǎng)站頁面使用 Flash 視覺效果是很正常的，比如用 Flash 做的Logo、廣告、圖表等，這些對搜索引擎抓取和收錄是沒有問題的，很多網(wǎng)站的首頁是一個大的 Flash 檔，這種就叫蜘蛛陷阱，在蜘蛛抓取時 HTML 代碼中只是一個鏈接，并沒有文字。動態(tài) URL 簡單的說就是帶有問號、等號及參數(shù)的網(wǎng)址就是動態(tài)URL，動態(tài) URL 不利于搜索引擎蜘蛛的爬行和抓取。有些企業(yè)站和個人站的設(shè)置一定要注冊登陸后才能看到相關(guān)的文章內(nèi)容，這種對蜘蛛不是很友好，蜘蛛不會注冊、也不會登陸。如果未開啟，則無法進(jìn)行訪問，訪問頁面顯示的也不會正常，這種方式會讓蜘蛛無法進(jìn)行訪問。沈陽理工大學(xué)學(xué)士學(xué)位論文3除此之外，網(wǎng)絡(luò)爬蟲還主要面對著一下的這些問題（摘自百度百科 [5]）：強(qiáng)制用 Cookies。同時，支持根據(jù)語義信息提出的查詢。聚焦爬蟲是一個自動下載網(wǎng)頁的程序，它根據(jù)既定的抓取目標(biāo)，有選擇的訪問萬維網(wǎng)上的網(wǎng)頁與相關(guān)的鏈接，獲取所需要的信息?，F(xiàn)今，網(wǎng)絡(luò)爬蟲主要分為通用爬蟲和聚焦爬蟲兩類。并催生了像 Baidu 和 Google 這樣的網(wǎng)絡(luò)巨擘，而其它公司也紛紛推出了自己的搜索引擎。 國內(nèi)外技術(shù)發(fā)展現(xiàn)狀因?yàn)樗阉饕娴纳虡I(yè)化應(yīng)用帶來了巨大的商業(yè)價值，所以作為搜索引擎的核心部分的網(wǎng)絡(luò)爬蟲技術(shù)，也理所應(yīng)當(dāng)?shù)某蔀榱藝鴥?nèi)外研究的熱點(diǎn)。目前，互聯(lián)網(wǎng)上有名有姓的搜索引擎已達(dá)數(shù)百家，其檢索的信息量也與從前不可同日而語。同年 4 月，斯坦福（Stanford ）大學(xué)最為著名的兩名博士生，美籍華人楊致遠(yuǎn)（Gerry Yang）和 David Filo 共同創(chuàng)辦了 Yahoo 公司，并成功地使搜索引擎的概念深入人心。最早現(xiàn)代意義上的搜索引擎出現(xiàn)于 1994 年 7 月。到 1993 年底，一些基于此原理的搜索引擎開始紛紛涌現(xiàn)，但是早期的搜索引擎只是以搜索工具在數(shù)據(jù)庫中找到匹配信息的先后次序排列搜索結(jié)果，因此毫無信息關(guān)聯(lián)度可言。隨著互聯(lián)網(wǎng)的迅速發(fā)展，使得檢索所有新出現(xiàn)的網(wǎng)頁變得越來越困難，因此，在Matthew Gray 的 Wanderer 基礎(chǔ)上，一些編程者將傳統(tǒng)的“蜘蛛”程序工作原理作了些沈陽理工大學(xué)學(xué)士學(xué)位論文2改進(jìn)。與 Wanderer 相對應(yīng)，Martin Kosher 于 1993 年 10 月創(chuàng)建了ALIWEB，它是 Archie 的 HTTP 版本。世界上第一個用于監(jiān)測互聯(lián)網(wǎng)發(fā)展規(guī)模的“機(jī)器人”程序是 Matthew Gray 開發(fā)的World wide Web Wanderer。計算機(jī)“機(jī)器人” （Computer Robot）是指某個能以人類無法達(dá)到的速度不間斷地執(zhí)行某項(xiàng)任務(wù)的軟件程序。雖然當(dāng)時萬維網(wǎng)還未出現(xiàn)，但網(wǎng)絡(luò)中檔傳輸還是相當(dāng)頻繁的，而且由于大量的檔散布在各個分散的FTP 主機(jī)中，查詢起來非常不便，因此 Alan Archie 工作原理與現(xiàn)在的搜索引擎已經(jīng)很接近，它依靠腳本程序自動搜索網(wǎng)上的文件，然后對有關(guān)信息進(jìn)行索引，供使用者以一定的表達(dá)式查詢。由于 Archie 深受歡迎，受其啟發(fā)，Nevada System Computing Services 大學(xué)于 1993 年開發(fā)了一個 Gopher（Gopher FAQ）搜索工具Veronica（Veronica FAQ） 。Archie 是第一個自動索引互聯(lián)網(wǎng)上匿名 FTP 網(wǎng)站文件的程序，但它還不是真正的搜索引擎。所有搜索引擎的鼻祖，是 1990 年由 Montreal 的 McGill University 三名學(xué)生（Alan Emtage、Peter Deutsch、Bill Wheelan）發(fā)明的 Archie（Archie FAQ） 。沈陽理工大學(xué)學(xué)士學(xué)位論文III基于廣度優(yōu)先算法的多線程爬蟲程序畢業(yè)設(shè)計 目錄1 緒論 ..........................................................................................................................1 網(wǎng)絡(luò)爬蟲的發(fā)展 ................................................................................................1 國內(nèi)外技術(shù)發(fā)展現(xiàn)狀 ........................................................................................2 系統(tǒng)設(shè)計的意義 ................................................................................................32 總體設(shè)計方案 ..........................................................................................................4 系統(tǒng)設(shè)計方案 .....................................................................................................4 系統(tǒng)設(shè)計框圖 ....................................................................................................4 網(wǎng)絡(luò)爬蟲的相關(guān)技術(shù) ........................................................................................5 URL.............................................................................................................5 HTTP 協(xié)議 ..................................................................................................6 JAVA 多線程 ..............................................................................................9 JAVA 網(wǎng)絡(luò)編程 ........................................................................................163 系統(tǒng)軟件設(shè)計 ........................................................................................................21 系統(tǒng)軟件概述 ..................................................................................................21 ECLIPSE 軟件介紹 ............................................................................................21 服務(wù)器端設(shè)計 ..................................................................................................22 網(wǎng)本頁解析部分 .......................................................................................22 獲取新的網(wǎng)絡(luò)代理部分 ...........................................................................36 登錄部分 ...................................................................................................37 Table 模塊 ................................................................................................37 上傳檔及查詢部分 ...................................................................................39 SOCKET 通信部分 .............................................................................................39 什么是 Socket...........................................................................................39 服務(wù)端部分 ...............................................................................................44 客戶端部分 ...............................................................................................464 系統(tǒng)運(yùn)行 ..................................................................................................................48 服務(wù)器端界面 ..................................................................................................48 客戶端界面 ......................................................................................................50結(jié)論 ..............................................................................................................................51致 謝 ............................................................................................................................52參考文獻(xiàn) ......................................................................................................................53外文資料原文 ..............................................................................................................55附錄 B 漢語翻譯 ........................................................................................................62沈陽理工大學(xué)學(xué)士學(xué)位論文IV附錄 C 程序代碼 ........................................................................................................66沈陽理工大學(xué)學(xué)士學(xué)位論文11 緒論 網(wǎng)絡(luò)爬蟲的發(fā)展在互聯(lián)網(wǎng)發(fā)展的早期，網(wǎng)站數(shù)量相對較少，信息數(shù)據(jù)量不大，查找也比較容易。然而伴隨互聯(lián)網(wǎng)井噴性的發(fā)展，普通網(wǎng)絡(luò)用戶想找到自己所需的數(shù)據(jù)簡直如同在數(shù)據(jù)的海洋里撈針，為滿足大眾信息檢索需求的專業(yè)搜索網(wǎng)站便應(yīng)運(yùn)而生了。Alan Emtage 等想到了開發(fā)一個可以用文件名查找文件的系統(tǒng)，于是便有了 Archie。 Archie 是一個可搜索的 FTP 文件名列表，用戶必須輸入精確的文件名搜索，然后 Archie 會告訴用戶哪一個 FTP 地址可以下載該文件。Jug head 是后來另一個 Gopher 搜索工具。當(dāng)時， “機(jī)器人”一詞在編程者中十分流行。由于專門用于檢索信息的“機(jī)器人”程序象蜘蛛一樣在網(wǎng)絡(luò)間爬來爬去，因此， 搜索引擎的“機(jī)器人”程序就被稱為“