【正文】 真正建立連接 發(fā)送連接請(qǐng)求： InputStream urlStream = ()。當(dāng)讀取內(nèi)容為空時(shí)，判斷文 檔 讀取結(jié)束。例如， BufferedReader in = new BufferedReader(new FileReader())。此類的構(gòu)造方法假定默認(rèn)字符編碼和默認(rèn)字節(jié)緩沖區(qū)大小都是適當(dāng)?shù)?。[3] Eclipse 最初由 OTI 和 IBM 兩家公司的 IDE 產(chǎn)品開(kāi)發(fā)組創(chuàng)建，起始于 1999 年 4 月。 [1] 這種平等和一致性并不僅限于 Java 開(kāi)發(fā)工具。就其本身而言，它只是一個(gè)框架和一組服務(wù)，用于通過(guò)插件組件構(gòu)建開(kāi)發(fā)環(huán)境。如果建立連接時(shí)，本機(jī)網(wǎng)絡(luò)不通，或服務(wù)器端程序未開(kāi)啟，則會(huì)拋出異常。 在 Java 語(yǔ)言中，對(duì)于 TCP 方式的網(wǎng)絡(luò)編程提供了良好的支持，在實(shí)際實(shí)現(xiàn)時(shí)，以 類代表客戶端連接，以 類代表服務(wù)器端連接。 Java 語(yǔ)言是在網(wǎng)絡(luò)環(huán)境下誕生的，所以 Java 語(yǔ)言雖然不能說(shuō)是對(duì)于網(wǎng)絡(luò)編程的支持最好的語(yǔ)言，但是必須說(shuō)是一種對(duì)于網(wǎng)絡(luò)編程提供良好支持的語(yǔ)言，使用 Java 語(yǔ)言進(jìn)行網(wǎng)絡(luò)編程將是一件比較輕松的工作。這個(gè)埠就是服務(wù)器端開(kāi)放給客戶端的端口，服務(wù)器端程序運(yùn)行的本地計(jì)算機(jī)的 IP 地址就是服務(wù)器端程序的 IP 地址。說(shuō)明：這里的步驟實(shí)現(xiàn)和語(yǔ)言無(wú)關(guān)，也就是說(shuō)，這個(gè)步驟適用于各種語(yǔ)言實(shí)現(xiàn)，不局限于 Java 語(yǔ)言。 TCP關(guān)心確認(rèn)、超時(shí)和重傳之類的細(xì)節(jié)。 IPv4 網(wǎng)際協(xié)議版本 4（ Inter Protocol version 4）。而 TCP 層則 提供面向 應(yīng) 用的可 靠的或非可靠的 數(shù) 據(jù) 傳輸 機(jī)制， 這 是網(wǎng) 絡(luò)編 程的主要 對(duì) 象，一般不需要 關(guān) 心 IP 層 是如何 處 理 數(shù) 據(jù)的。在 JAVA 中實(shí)現(xiàn)線程同步的另一個(gè)方法是通過(guò)使用 synchronized 關(guān)鍵詞。你不能調(diào)用 restart 方法來(lái)重新開(kāi)始一個(gè)處于死亡狀態(tài)的線程，但是，你可以調(diào)用處于死亡狀態(tài)的線程對(duì)象的各個(gè)方法。通常在 run()方法中是一個(gè)循環(huán)，要么是循環(huán)結(jié)束，要么是循環(huán)的條件不滿足，這兩種情況都可以使線程正常結(jié)束，進(jìn)入死亡狀態(tài)。有關(guān)阻塞狀態(tài)在后面詳細(xì)討論。因?yàn)樵趩?CPU 的計(jì)算機(jī)系統(tǒng)中，不可能同時(shí)運(yùn)行多個(gè)線程，一個(gè)時(shí)刻僅有一個(gè)線程處于運(yùn)行狀態(tài)。當(dāng)線程處于該狀態(tài)，你僅能啟動(dòng)線程，調(diào)用任何其它方法是無(wú)意義的且會(huì)引發(fā) IllegalThreadStateException 異常 (實(shí)際上，當(dāng)調(diào)用線程的狀態(tài)所不允許的任何方法時(shí)，運(yùn)行時(shí)系統(tǒng)都會(huì)引發(fā) IllegalThreadStateException 異常 )。 從上面兩種創(chuàng)建線程的方法可以看出，如果繼承 Thread 類，則這個(gè)類本身可以調(diào)用start 方法，也就是說(shuō)將這個(gè)繼承了 Thread 的類當(dāng)作目標(biāo)對(duì)象；而如果實(shí)現(xiàn) Runnable 接口，則這個(gè)類必須被當(dāng)作其它線程的目標(biāo)對(duì)象。 public void interrupt() 中斷當(dāng)前線程。指定時(shí)間過(guò)后，線程繼續(xù)執(zhí)行。 Runnable 界面中只定義了一個(gè)方法，它的格式為： public abstract void run() 這個(gè)方法要由實(shí)現(xiàn)了 Runnable 接口的類實(shí)現(xiàn)。 JAVA 多線 程 編 程 計(jì)算機(jī)程序得以執(zhí)行的三個(gè)要素是： CPU，程序代碼，可存取的數(shù)據(jù)。在一些等待的任務(wù)實(shí)現(xiàn)上如用戶輸入、文件讀寫和網(wǎng)絡(luò)收發(fā)數(shù)據(jù)等，線程就比較有用了。 j++ ) (Runner B = +j)。單線程的概念很簡(jiǎn)單，如圖所示。有些教材將線程稱為輕量級(jí)進(jìn)程 (light weight process)。服務(wù)器通常會(huì)在回應(yīng)正文中給出不提供服務(wù)的原因 404 Not Found 請(qǐng)求的資源不存在，例如，輸入了錯(cuò)誤的 URL。 第一個(gè)數(shù)字有五種可能的取值： 沈陽(yáng)理工大學(xué)學(xué)士學(xué)位論文 9 1xx: 指示信息 — 表示請(qǐng)求已接收，繼續(xù)處理。 一 個(gè) URL地址用于描述一 個(gè) 網(wǎng) 絡(luò) 上的 資 源，而 HTTP中的 GET, POST, PUT, DELETE就 對(duì)應(yīng)著對(duì)這個(gè)資 源的查，改，增， 刪 4 個(gè) 操作。 GET 請(qǐng)求獲取由 RequestURI 所標(biāo)識(shí)的資源。服務(wù)器處理完客戶的請(qǐng)求，并收到客戶的應(yīng)答后，即斷開(kāi)連接。您可以單擊一個(gè)鏈接來(lái)訪問(wèn)其它文文件、圖像或多媒體對(duì)象，并獲得關(guān)于鏈接項(xiàng)的附加信息。 URL 的一般形式是： URL 的訪問(wèn)方式 ://主機(jī) :端口 /路徑 網(wǎng)絡(luò)爬蟲(chóng)就是通過(guò)提取和分析出網(wǎng)頁(yè)中的 URL 地址，對(duì)相應(yīng)網(wǎng)絡(luò)進(jìn)行爬取。而樹(shù)型結(jié)構(gòu)的意義是在一級(jí)目錄下分為多個(gè)頻道或者稱之為目錄，然后目錄下面再放上屬于這個(gè)頻道的頁(yè)面，首頁(yè)、頻道首頁(yè)、頻道下的內(nèi)容就好比樹(shù)干、樹(shù)枝、樹(shù)葉的關(guān)系。 統(tǒng) 一 資 源定位符的語(yǔ) 法是一般的，可 擴(kuò) 展的，它使用 ASCII 代 碼的 一部 分來(lái) 表示因特網(wǎng)的地址。對(duì)搜索引擎來(lái)說(shuō)只對(duì) 301 跳轉(zhuǎn)相對(duì)來(lái)說(shuō)比較友好，對(duì)其他形式的跳轉(zhuǎn)都是比較敏感，例如： JavaScript 跳轉(zhuǎn)、 Meta Refresh 跳轉(zhuǎn)、 Flash 跳轉(zhuǎn) 、 302 跳轉(zhuǎn)。 登 陸 要求。通用搜索引擎的目 標(biāo) 是 盡 可能大的網(wǎng) 絡(luò) 覆 蓋 率，通用搜索引擎大多提供基 于關(guān)鍵詞 的 檢索。 從 此搜索引擎 進(jìn) 入了高速 發(fā) 展 時(shí) 期。 ALIWEB 不使用“機(jī)器人”程序，而是靠網(wǎng)站主 動(dòng) 提交信息 來(lái) 建立 自己的 鏈接 索引， 類 似于 現(xiàn) 在 我們 熟知的 Yahoo。 Jug head 是后 來(lái)另 一 個(gè) Gopher 搜索工具。 TCP/IP 。為何要使用多線程，以及如何實(shí)現(xiàn)多線程；系統(tǒng)實(shí)現(xiàn)過(guò)程中的數(shù)據(jù)存儲(chǔ)；網(wǎng)頁(yè)信息解析等。沈陽(yáng)理工大學(xué)學(xué)士學(xué)位論文 I 摘要 目前即使通訊軟件在平時(shí)的生活中有著十分廣 泛的應(yīng)用，但是對(duì)絕大部分的軟件來(lái)說(shuō)，都必須應(yīng)用在互聯(lián)網(wǎng)上，必須在一個(gè) INTERNET 環(huán)境下才能使用。 通過(guò)實(shí)現(xiàn)這一爬蟲(chóng)程序，可以搜集某一站點(diǎn)的 URLs，并將搜集到的 URLs 存入數(shù)據(jù)庫(kù)。 Network programming沈陽(yáng)理工大學(xué)學(xué)士學(xué)位論文 III 目錄 1 緒論 ......................................................................................................................... 1 網(wǎng)絡(luò)爬蟲(chóng)的發(fā)展 ................................................................................................ 1 國(guó)內(nèi)外技術(shù)發(fā)展現(xiàn)狀 ........................................................................................ 2 系統(tǒng)設(shè)計(jì)的意義 ................................................................................................ 3 2 總體設(shè)計(jì)方案 ......................................................................................................... 4 系統(tǒng)設(shè)計(jì)方案 .................................................................................................... 4 系統(tǒng)設(shè)計(jì)框圖 .................................................................................................... 4 網(wǎng)絡(luò)爬蟲(chóng)的相關(guān)技術(shù) ........................................................................................ 5 URL ............................................................................................................ 5 HTTP 協(xié)議 ................................................................................................. 6 JAVA 多線程 .............................................................................................. 9 JAVA 網(wǎng)絡(luò)編程 ........................................................................................ 16 3 系統(tǒng)軟件設(shè)計(jì) ....................................................................................................... 21 系統(tǒng)軟件概述 .................................................................................................. 21 ECLIPSE軟件介紹 ............................................................................................ 21 服務(wù)器端設(shè)計(jì) .................................................................................................. 22 網(wǎng)本頁(yè)解析部分 ...................................................................................... 22 獲取新的網(wǎng)絡(luò)代理部分 .......................................................................... 36 登錄部分 .................................................................................................. 37 Table 模塊 ................................................................................................ 37 上傳檔及查詢部分 .................................................................................. 39 SOCKET 通信部分 ............................................................................................ 39 什么是 Socket .......................................................................................... 39 服務(wù)端部分 .............................................................................................. 44 客戶端部分 .............................................................................................. 46 4 系統(tǒng)運(yùn)行 ................................................................................................................. 49 服務(wù)器端界面 .................................................................................................. 49 客戶端界面 ...................................................................................................... 50 結(jié)論 ........................................................