【文章內(nèi)容簡介】 網(wǎng)絡(luò)爬蟲就是通過提取和分析出網(wǎng)頁中的 URL 地址，對相應(yīng)網(wǎng)絡(luò)進行爬取。 HTTP 協(xié)議 超文本傳輸協(xié)議 (HTTPHypertext transfer protocol) 是一種詳細規(guī)定了瀏覽器和萬維網(wǎng)服務(wù)器之間互相通信的規(guī)則，通過因特網(wǎng)傳送萬維網(wǎng)文文件的數(shù)據(jù)傳送協(xié)議。 HTTP 協(xié)議簡介 超文本傳輸協(xié)議 (HTTPHypertext transfer protocol) 是分布式，協(xié)作式，超媒體系統(tǒng)應(yīng)用之間的通信協(xié)議。是萬維網(wǎng)（ world wide web）交換信息的基礎(chǔ)。 HTTP 是 IETF（ Inter Engineering Task Force）制定的國際化標準。在 HTTP 標準制定和實現(xiàn)的過程中， W3C 積極參與了其中的工作，并發(fā)揮了重要作用。 它允許將超文本標記語言 (HTML) 文 檔 從 Web 服務(wù)器傳送到 Web 瀏覽器。 HTML 是一種用于創(chuàng)建文文件的標記語言，這些文文件包含到相關(guān)信息的鏈接。您可以單擊一個鏈接來訪問其它文文件、圖像或多媒體對象，并獲得關(guān)于鏈接項的附加信息。 HTTP 協(xié)議的主要特點可概括如下： 沈陽理工大學學士學位論文 7 簡單快速：客戶向服務(wù)器請求服務(wù)時，只需傳送請求方法和路徑。請求方法常用的有 GET、 HEAD、 POST。每種方 法規(guī)定了客戶與服務(wù)器聯(lián)系的類型不同。由于 HTTP協(xié)議簡單，使得 HTTP 服務(wù)器的程序規(guī)模小，因而通信速度很快。 靈活： HTTP 允許傳輸任意類型的數(shù)據(jù)對象。正在傳輸?shù)念愋陀?ContentType 加以標記。 無連接：無連接的含義是限制每次連接只處理一個請求。服務(wù)器處理完客戶的請求，并收到客戶的應(yīng)答后，即斷開連接。采用這種方式可以節(jié)省傳輸時間。 無狀態(tài)： HTTP 協(xié)議是無狀態(tài)協(xié)議。無狀態(tài)是指協(xié)議對于事務(wù)處理沒有記憶能力。缺少狀態(tài)意味著如果后續(xù)處理需要前面的信息，則它必須重傳，這樣可能導致每次連接傳送的數(shù) 據(jù)量增大。 另一方面，在服務(wù)器不需要先前信息時它的應(yīng)答就較快。 HTTP 消息 結(jié) 構(gòu) Request 消息 結(jié) 構(gòu)： Response 消息 結(jié) 構(gòu)： 請 求方法 根據(jù) HTTP 標準， HTTP 請求可以使用多種請求方法。 例如： 目前支持 7 種請求方法： GET、 POST、 HEAD、 OPTIONS、 PUT、 DELETE和 TARCE。 GET 請求獲取由 RequestURI 所標識的資源。 POST 在 RequestURI 所標識的資源后附加新的數(shù)據(jù) 。 HEAD 請求獲取由 RequestURI 所標識的資源的響應(yīng)消息報頭。 沈陽理工大學學士學位論文 8 OPTIONS 請求查詢服務(wù)器的性能，或查詢與資源相關(guān)的選項和需求。 PUT 請求服務(wù)器存儲一個資源，并用 RequestURI 作為其標識。 DELETE 請求服務(wù)器刪除由 RequestURI 所標識的資源。 TRACE 請求服務(wù)器回送收到的請求信息，主要用語測試或診斷。 URI 完整地指定了要訪問的網(wǎng)絡(luò)資源，通常只要給出相對于服務(wù)器的根目錄的相對目錄即可，因此總是以“ /”開頭，最后，協(xié)議版本聲明了通信過程中使用 HTTP 的版本。 一 個 URL地址用于描述一 個 網(wǎng) 絡(luò) 上的 資 源，而 HTTP中的 GET, POST, PUT, DELETE就 對應(yīng)著對這個資 源的查，改，增， 刪 4 個 操作。 其中最常 見 的就是 GET 和 POST 了。 GET 一般用于 獲 取 /查 詢資 源信息；而 POST 一般用于更新 資 源信息。以下是二者的 區(qū)別 ： 1. GET 提交的 數(shù) 據(jù) 會 放在 URL 之后，以 ?分割 URL 和 傳輸數(shù) 據(jù)， 參數(shù) 之 間 以 amp。相連 ，如 ?name=test1amp。id=123456； POST 方法是把提交的 數(shù) 據(jù)放在 HTTP 包的 Body 中； 2. GET 提交的 數(shù) 據(jù)大小有限制（因 為 瀏覽 器 對 URL 的 長 度有限制？？也有人 說 依服 務(wù) 器的 處 理能力而定）；而 POST 方法提交的 數(shù) 據(jù) 沒 有限制； 3. GET 方式需要使用 來 取得 變 量的值；而 POST 方式通 過 取 變數(shù) 的值； 4. GET 方式提交 數(shù) 據(jù)， 會帶來 安全 問題 ，比如一 個 登 錄頁 面，通 過 GET 方式提交數(shù) 據(jù) 時 ，用 戶 名和密 碼將 出 現(xiàn) 在 URL 上，如果 頁 面可以被 緩 存或者其它人可以 訪問這 臺機器，就可以 從歷 史 記錄獲 得 該 用 戶 的 賬號 和密 碼 ； HTTP 狀態(tài)代碼 狀態(tài)代碼由 3 位數(shù)字組成，表示請求是否被理解或被滿足。 狀態(tài)描述 ： 狀態(tài)描述給出了關(guān)于狀態(tài)代碼的簡短的文字描述。 狀態(tài)代碼的第一個數(shù)字定義了響應(yīng)的類別，后面兩位沒有具體的分類。 第一個數(shù)字有五種可能的取值： 沈陽理工大學學士學位論文 9 1xx: 指示信息 — 表示請求已接收，繼續(xù)處理。 2xx: 成功 — 表示請求已經(jīng)被成功接收、理解、接受。 3xx: 復位向 — 要完成請求必須進行更進一步的操作。 4xx: 客戶端錯誤 — 請求有語法錯誤或請求無法實現(xiàn)。 5xx: 服務(wù)器端錯誤 — 服務(wù)器未能實現(xiàn)合法的請求。 狀態(tài)代碼狀態(tài)描述說明 200 OK 客戶端請求成功 400 Bad Request 由于客戶端請求有語法錯誤，不能被服務(wù)器所理解。 401 Unauthonzed 請求未經(jīng)授權(quán)。這個狀態(tài)代碼必須和 WWWAuthenticate 報頭域一起使用 403 Forbidden 服務(wù)器收到請求，但是拒絕提供服務(wù)。服務(wù)器通常會在回應(yīng)正文中給出不提供服務(wù)的原因 404 Not Found 請求的資源不存在，例如，輸入了錯誤的 URL。 500 Internal Server Error 服務(wù)器發(fā)生不可預期的錯誤，導致無法完成客戶端 的請求。 503 Service Unavailable 服務(wù)器當前不能夠處理客戶端的請求，在一段時間之后，服務(wù)器可能會恢復正常。 JAVA 多線 程 在一個程序中，一些獨立運行的程序片斷叫做“線程”（ Thread），利用它編程的概念就叫作“多線程處理”。（摘自百度百科 [5]） 定 義 線程的概念來源于計算機的操作系統(tǒng)的進程的概念。進程是一個程序關(guān)于某個數(shù)據(jù)集的一次運行。也就是說，進程是運行中的程序，是程序的一次運行活動。 線程和進程的相似之處在于，線程和運行的程 序都是單個順序控制流。有些教材將線程稱為輕量級進程 (light weight process)。線程被看作是輕量級進程是因為它運行在一個程序的上下文內(nèi)，并利用分配給程序的資源和環(huán)境。 沈陽理工大學學士學位論文 10 作為單個順序控制流，線程必須在運行的程序中得到自己運行的資源，如必須有自己的執(zhí)行棧和程序計數(shù)器。線程內(nèi)運行的代碼只能在該上下文內(nèi)。因此還有些教程將執(zhí)行上下文 (execution context)作為線程的同義詞。 所有的程序員都熟悉順序程序的編寫，如我們編寫的名稱排序和求素數(shù)的程序就是順序程序。順序程序都有開始、執(zhí)行序列和結(jié)束 ，在程序執(zhí)行的任何時刻，只有一個執(zhí)行點。線程（ thread） 則是進程中的一個單個的順序控制流。單線程的概念很簡單，如圖所示。 多線程（ multithread）是指在單個的程序內(nèi)可以同時運行多個不同的線程完成不同的任務(wù)，圖 說明了一個程序中同時有兩個線程運行。 圖 單線程程序示意圖 圖 多線程程序示意圖 有些程序中需要多個控制流并行執(zhí)行。例如， for(int i = 0。 i 100。 i++) (Runner A = + i)。 for(int j = 0。 j 100。 j++ ) (Runner B = +j)。 上面的代碼段中，在只支持單線程的語言中，前一個循環(huán)不執(zhí)行完不可能執(zhí)行第二個循環(huán)。要使兩個循環(huán)同時執(zhí)行，需要編寫多線程的程序。 很多應(yīng)用程序是用多線程實現(xiàn)的，如 Hot Java Web 瀏覽器就是多線程應(yīng)用的例子。在 Hot Java 瀏覽器中，你可以 一邊滾動屏幕，一邊下載 Applet 或圖像，可以同時播放動畫和聲音等。 優(yōu) 點 一個線程 兩個線程 沈陽理工大學學士學位論文 11 使用線程可以把占據(jù)時間長的程序中的任務(wù)放到后臺去處理。用戶接口可以更加吸引人，這樣比如用戶點擊了一個按鈕去觸發(fā)某些事件的處理，可以彈出一個進度條來顯示處理的進度。程序的運行速度可能加快。在一些等待的任務(wù)實現(xiàn)上如用戶輸入、文件讀寫和網(wǎng)絡(luò)收發(fā)數(shù)據(jù)等，線程就比較有用了。在這種情況下可以釋放一些珍貴的資源如內(nèi)存占用等等。還有其它很多使用多線程的好處，這里就不在累述。 不足 ,會 影響性能 ,因為操作系統(tǒng)需要在它們之間切換。 。 “ Bug”，因此要小心使用。 。 ，需要防止線程死鎖情況的發(fā)生。 JAVA 多線 程 編 程 計算機程序得以執(zhí)行的三個要素是： CPU，程序代碼，可存取的數(shù)據(jù)。在 JAVA 語言中，多線程的機制是通過虛擬 CPU 來實現(xiàn)的?？梢孕蜗蟮睦斫鉃?,在一個 JAVA 程序內(nèi)部虛擬了多臺計算機，每臺計算機對應(yīng)一個線程，有自己的 CPU， 可以獲取所需的代碼和數(shù)據(jù)，因此能獨立執(zhí)行任務(wù)，相互間還可以共享代碼和數(shù)據(jù)。 JAVA 的線程是通過 類來實現(xiàn)的，它內(nèi)部實現(xiàn)了虛擬 CPU 的功能，能夠接收和處理傳遞給它的代碼和資料，并提供了獨立的運行控制功能。每個 JAVA 應(yīng)用程序都至少有一個線程，這就是所謂的主線程。它由 JVM 創(chuàng)建并調(diào)用 JAVA 應(yīng)用程序的 main 方法。 Java 語言實現(xiàn)多線程編程的類和接口。在 包中定義了 Runnable 接口和Thread 類。 Runnable 界面中只定義了一個方法，它的格式為： public abstract void run() 這個方法要由實現(xiàn)了 Runnable 接口的類實現(xiàn)。 Runnable 對象稱為可運行對象，一個線程的運行就是執(zhí)行該對象的 run()方法。 沈陽理工大學學士學位論文 12 Thread 類實現(xiàn)了 Runnable 接口，因此 Thread 對象也是可運行對象。同時 Thread 類也是線程類，該類的構(gòu)造方法如下： public Thread() public Thread(Runnable target) public Thread(String name) public Thread(Runnable target, String name) public Thread(ThreadGroup group, Runnable target) public Thread(ThreadGroup group, String name) public Thread(ThreadGroup group, Runnable target, String name) target 為線程運行的目標對象，即線程調(diào)用 start()方法啟動后運行那個對象的 run()方法，該對象的類型為 Runnable，若沒有指定目標對象，則以當 前類對象為目標對象；name 為線程名， group 指定線程屬于哪個線程組 。 Thread 類的常用方法有： public static Thread currentThread() 返回當前正在執(zhí)行的線程對象的引用。 public void setName(String name) 設(shè)置線程名。 public String getName() 返回線程名。 public static void sleep(long millis) throws InterruptedException public static void sleep(long millis, int nanos) throws InterruptedException 使當前正在執(zhí)行的線程暫時停止執(zhí)行指定的毫秒時間。指定時間過后，線程繼續(xù)執(zhí)行。該方法拋出 InterruptedException 異常，必須捕獲。 public void run() 線程的線程體。 public void start() 由 JVM 調(diào)用線程的 run()方法，啟動線程開始執(zhí)行。 public void setDaemon(boolean on) 設(shè)置線程為 Daemon 線 程。 public boolean isDaemon() 返回線程是否為 Daemon 線程。 public static void yield() 使當前執(zhí)行的線程暫停執(zhí)行，允許其它線程執(zhí)行。 public ThreadGroup getThreadGroup() 返回該線程所屬的線程組對象。 public void interrupt() 中斷當前線程。 public boolean isAlive() 返回指定線程是否處于活動狀