【正文】 程序就是順序程序。線程被看作是輕量級進程是因為它運行在一個程序的上下文內(nèi)，并利用分配給程序的資源和環(huán)境。進程是一個程序關(guān)于某個數(shù)據(jù)集的一次運行。 500 Internal Server Error 服務(wù)器發(fā)生不可預(yù)期的錯誤，導(dǎo)致無法完成客戶端 的請求。 狀態(tài)代碼狀態(tài)描述說明 200 OK 客戶端請求成功 400 Bad Request 由于客戶端請求有語法錯誤，不能被服務(wù)器所理解。 2xx: 成功 — 表示請求已經(jīng)被成功接收、理解、接受。id=123456； POST 方法是把提交的 數(shù) 據(jù)放在 HTTP 包的 Body 中； 2. GET 提交的 數(shù) 據(jù)大小有限制（因 為 瀏覽 器 對 URL 的 長 度有限制？？也有人 說 依服 務(wù) 器的 處 理能力而定）；而 POST 方法提交的 數(shù) 據(jù) 沒 有限制； 3. GET 方式需要使用 來 取得 變 量的值；而 POST 方式通 過 取 變數(shù) 的值； 4. GET 方式提交 數(shù) 據(jù)， 會帶來 安全 問題 ，比如一 個 登 錄頁 面，通 過 GET 方式提交數(shù) 據(jù) 時 ，用 戶 名和密 碼將 出 現(xiàn) 在 URL 上，如果 頁 面可以被 緩 存或者其它人可以 訪問這 臺機器，就可以 從歷 史 記錄獲 得 該 用 戶 的 賬號 和密 碼 ； HTTP 狀態(tài)代碼 狀態(tài)代碼由 3 位數(shù)字組成，表示請求是否被理解或被滿足。 其中最常 見 的就是 GET 和 POST 了。 DELETE 請求服務(wù)器刪除由 RequestURI 所標識的資源。 POST 在 RequestURI 所標識的資源后附加新的數(shù)據(jù) 。 另一方面，在服務(wù)器不需要先前信息時它的應(yīng)答就較快。采用這種方式可以節(jié)省傳輸時間。 靈活： HTTP 允許傳輸任意類型的數(shù)據(jù)對象。 HTTP 協(xié)議的主要特點可概括如下： 沈陽理工大學(xué)學(xué)士學(xué)位論文 7 簡單快速：客戶向服務(wù)器請求服務(wù)時，只需傳送請求方法和路徑。在 HTTP 標準制定和實現(xiàn)的過程中， W3C 積極參與了其中的工作，并發(fā)揮了重要作用。 HTTP 協(xié)議 超文本傳輸協(xié)議 (HTTPHypertext transfer protocol) 是一種詳細規(guī)定了瀏覽器和萬維網(wǎng)服務(wù)器之間互相通信的規(guī)則，通過因特網(wǎng)傳送萬維網(wǎng)文文件的數(shù)據(jù)傳送協(xié)議。只要能夠?qū)Y源定位，系統(tǒng)就可以對資源進行各種操作，如存取、更新、替換和查找其屬性。邏輯結(jié)構(gòu)就是由網(wǎng)頁內(nèi)部鏈接所形成的邏輯的或鏈接的網(wǎng)絡(luò)圖。在物理結(jié)構(gòu)包括扁平結(jié)構(gòu)和樹型結(jié)構(gòu)。一般 統(tǒng) 一資 源定位符的 開始標 志 著 一 個計 算機網(wǎng) 絡(luò) 所使用的網(wǎng) 絡(luò)協(xié)議。伯 納 斯－李 發(fā) 明用 來 作 為 萬 維 網(wǎng)的地址的。 系統(tǒng)設(shè)計的意義 本文通 過 JAVA 語 言 實現(xiàn) 一 個 基于 廣 度優(yōu)先偏 歷 算法的 多線 程爬蟲程序。有的網(wǎng) 站頁 面使用 Flash 視覺 效果是很正常的，比如用 Flash 做的 Logo、廣 告、 圖 表等， 這 些 對 搜索引擎抓取和收 錄 是 沒 有 問題的， 很多網(wǎng)站的首 頁 是一 個 大的Flash 檔 ， 這 種就叫蜘蛛陷阱，在蜘蛛抓取 時 HTML 代 碼 中只是一 個鏈接 ，并 沒 有文字。有些企 業(yè) 站和 個 人站的 設(shè) 置一定要注 冊 登 陸 后才能看到相 關(guān)的 文章 內(nèi)容， 這 種 對 蜘蛛不是很友好，蜘蛛不 會注冊 、也不 會登陸 。 除此之外，網(wǎng) 絡(luò) 爬蟲 還 主要面 對著 一下的 這 些 問題 （摘自百度百科 [5]）： 強 制用 Cookies。 聚焦爬蟲是一 個 自 動 下 載網(wǎng) 頁 的程序，它根據(jù)既定的抓取目 標 ，有 選擇 的 訪問 萬 維 網(wǎng)上的網(wǎng) 頁 與相 關(guān)的鏈接 ， 獲取所需要的信息。并催生了像 Baidu 和 Google 這樣 的網(wǎng) 絡(luò) 巨擘，而其它公司也 紛紛 推出了自己的搜索引擎。目前，互 聯(lián) 網(wǎng)上有名有姓的搜索引擎已 達數(shù) 百家，其 檢索 的信息量也與 從 前不可同日而 語 。最早 現(xiàn) 代意 義 上的搜索引擎出 現(xiàn) 于1994 年 7 月。 隨著 互 聯(lián) 網(wǎng)的迅速 發(fā) 展，使得 檢索 所有新出 現(xiàn) 的網(wǎng) 頁變 得越 來 越困 難 ，因此，在Matthew Gray 的 Wanderer 基 礎(chǔ) 上，一些 編 程者 將傳統(tǒng) 的 “蜘蛛”程序工作原理作了些改 進。 世界上第一 個 用于 監(jiān)測 互 聯(lián) 網(wǎng) 發(fā) 展 規(guī) 模的“機器人”程序是 Matthew Gray 開發(fā)的World wide Web Wanderer。 雖然當(dāng)時 萬 維 網(wǎng) 還 未出 現(xiàn) ，但網(wǎng) 絡(luò) 中 檔傳輸還 是相 當(dāng)頻 繁的，而且由于大量的 檔 散布在各 個 分散的 FTP 主機中，查詢 起 來非 常不便，因此 Alan Archie 工作原理與 現(xiàn) 在的搜索引擎已 經(jīng) 很接近，它依靠 腳本程序自 動 搜索網(wǎng)上的文件，然后 對 有 關(guān) 信 息進 行索引，供使用者以一定的表 達式 查 詢。 Archie 是第一 個 自 動索引互 聯(lián) 網(wǎng)上匿名 FTP 網(wǎng)站文件的程序， 但它 還 不是真正的搜索引擎。 Network programming沈陽理工大學(xué)學(xué)士學(xué)位論文 III 目錄 1 緒論 ......................................................................................................................... 1 網(wǎng)絡(luò)爬蟲的發(fā)展 ................................................................................................ 1 國內(nèi)外技術(shù)發(fā)展現(xiàn)狀 ........................................................................................ 2 系統(tǒng)設(shè)計的意義 ................................................................................................ 3 2 總體設(shè)計方案 ......................................................................................................... 4 系統(tǒng)設(shè)計方案 .................................................................................................... 4 系統(tǒng)設(shè)計框圖 .................................................................................................... 4 網(wǎng)絡(luò)爬蟲的相關(guān)技術(shù) ........................................................................................ 5 URL ............................................................................................................ 5 HTTP 協(xié)議 ................................................................................................. 6 JAVA 多線程 .............................................................................................. 9 JAVA 網(wǎng)絡(luò)編程 ........................................................................................ 16 3 系統(tǒng)軟件設(shè)計 ....................................................................................................... 21 系統(tǒng)軟件概述 .................................................................................................. 21 ECLIPSE軟件介紹 ............................................................................................ 21 服務(wù)器端設(shè)計 .................................................................................................. 22 網(wǎng)本頁解析部分 ...................................................................................... 22 獲取新的網(wǎng)絡(luò)代理部分 .......................................................................... 36 登錄部分 .................................................................................................. 37 Table 模塊 ................................................................................................ 37 上傳檔及查詢部分 .................................................................................. 39 SOCKET 通信部分 ............................................................................................ 39 什么是 Socket .......................................................................................... 39 服務(wù)端部分 .............................................................................................. 44 客戶端部分 .............................................................................................. 46 4 系統(tǒng)運行 ................................................................................................................. 49 服務(wù)器端界面 .................................................................................................. 49 客戶端界面 ...................................................................................................... 50 結(jié)論 ............................................................................................................................. 52 致 謝 ........................................................................................................................... 53 參考文獻 ..................................................................................................................... 54 外文資料原文 ........................................................................