【正文】 本 科 畢 業(yè) 論 文 題 目 基于多線程的網(wǎng)絡(luò)爬蟲的設(shè)計與實現(xiàn) 成都學院學士學位論文（設(shè)計） 畢業(yè)設(shè)計（論文）原創(chuàng)性聲明和使用授權(quán)說明 原創(chuàng)性聲明 本人鄭重承諾：所呈交的畢業(yè)設(shè)計（論文），是我個人在指導(dǎo)教師的指導(dǎo)下進行的研究工作及取得的成果。盡我所知，除文中特別加以標注和致謝的地方外，不包含其他人或組織已經(jīng)發(fā)表或公布過的研究成果，也不包含我為獲得 及其它教育機構(gòu)的學位或?qū)W歷而使用過的材料。對本研究提供過幫助和做出過貢獻的個人或集體，均已在文中作了明確的說明并表示了謝意。 作 者 簽 名： 日 期： 指導(dǎo)教師簽名： 日 期： 使用授權(quán)說明 本人完全了解 大學關(guān)于收集、保存、使用畢業(yè)設(shè)計（論文）的規(guī)定，即：按照學校要求提交畢業(yè)設(shè)計（論文）的印刷本和電子版本；學校有權(quán)保存畢業(yè)設(shè)計（論文）的印刷本和電子版，并提供目錄檢索與閱覽服務(wù)；學?？梢圆捎糜坝?、縮印、數(shù)字化或其它復(fù)制手段保存論文；在不以贏利為目的前提下，學?？梢怨颊撐牡牟糠只蛉績?nèi)容。 作者簽名： 日 期： 成都學院學士學位論文（設(shè)計） 基于多線程的網(wǎng)絡(luò)爬蟲的設(shè)計與實現(xiàn) 摘要 ： 網(wǎng)絡(luò)爬蟲（ Web Crawler），又叫網(wǎng)絡(luò)蜘蛛（ Web Spider），是搜索引擎的重要組成部分。 隨著網(wǎng)絡(luò)的迅速發(fā)展，萬維網(wǎng)成為大量信息的載體，如何有效地提取并利用這些信息成為一個巨大的挑戰(zhàn) ， 作為搜索引擎不可或缺的一部分網(wǎng)絡(luò)爬蟲，一直是個熱門的研究課題，它的效能，直接決定了搜索引擎的未來。 本課題所研究的網(wǎng)絡(luò)爬蟲采用廣度優(yōu)先搜索算法，并基于 Java 語言 進行網(wǎng)絡(luò)編程。實現(xiàn)網(wǎng)絡(luò)爬蟲關(guān)鍵技術(shù)是對 URL 進行分析和 去重。為使網(wǎng)絡(luò)爬蟲具備更高效的抓取能力，因而使用了多線程技術(shù)。同時為了避免無限制的等待，應(yīng)該 對網(wǎng)絡(luò)爬蟲連接網(wǎng)絡(luò) 及讀取時間 最大值進行設(shè)定 。 本課題的目標是研究并實現(xiàn)一個 實現(xiàn)簡單的可在后臺自動運行的爬蟲程序。 系統(tǒng) 可以進行面向主題的抓取。從 行為 上來看，它更近似于主題網(wǎng)絡(luò)爬蟲。 關(guān)鍵詞： 網(wǎng)絡(luò)爬蟲；廣度優(yōu)先 ； Java； 多線程； 成都學院學士學位論文（設(shè)計） Design and implementation of a web crawler based on multithreading Specialty: Software Engineering Student Number: Student: Supervisor: ABSTRACT： Web Crawler, also called Web Spider, is an important part of search engine. With the rapid development of Inter, the World Wide Web bees the carrier of a large amount of information. And How to effectively extract and use this information to bee a great challenge. The quality of a search engine is mostly depended on the quality of a Web Crawler that as an indispensable part of web crawler search engine. So Web Crawler is a hot research topic those years. The project which was studied in this paper using the breadthfirst search algorithm, and based on the Java language for work programming. Implementation of the key technology of web crawler is to analyze and to URL. In order to make the web crawler has more efficient grasping ability, so the use of multithreading technology. At the same time in order to avoid waiting without limit, should be on the web crawler connecting work and read the time of maximum value. The goal of this project is to research and realize an implementation can be run automatically in the background simple crawler program. System can be a subject oriented grab. From the point of view, it is more similar to the topic web craw ler. Key words: Web Crawler。 BreadthFirst Search。 Java。 MultiThreading 成都學院學士學位論文（設(shè)計） I 目 錄 緒 論 ............................................................................................................................................1 1 概述 ..........................................................................................................................................2 研究目的和意義 .................................................................................................................2 網(wǎng)絡(luò)爬蟲的歷史 .................................................................................................................2 研究現(xiàn)狀和發(fā)展趨勢 ..........................................................................................................3 2 網(wǎng)絡(luò)爬蟲相關(guān)技術(shù) ....................................................................................................................5 URL ....................................................................................................................................5 HTTP 協(xié)議 ..........................................................................................................................5 HTTP 協(xié)議簡介 .............................................................................................................5 HTTP 消息的結(jié)構(gòu) .........................................................................................................6 請求方法 ......................................................................................................................7 HTTP 狀態(tài)代碼 .............................................................................................................8 Java 多線程 .........................................................................................................................8 定義 .............................................................................................................................8 優(yōu)點 .............................................................................................................................8 不足 .............................................................................................................................8 Java 多線程編程 ............................................................................................................9 Java 網(wǎng)絡(luò)編程 ................................................................................................................... 11 TCP/IP ........................................................................................................................ 11 網(wǎng)絡(luò)編程步驟 ............................................................................................................ 11 Java 網(wǎng)絡(luò)編程技術(shù) ...................................................................................................... 13 正則表達式 ...................................................................................................................... 14 正則表達式特點 ......................................................................................................... 14 符號功能 ..................................................................................................................... 15 網(wǎng)頁搜索策略 ................................................................................................................... 15 廣度優(yōu)先搜索 ...........................................................