【正文】 本科畢業(yè)設(shè)計 題目： 基于網(wǎng)絡(luò)爬蟲的 搜索引擎 設(shè)計與實現(xiàn) 系 別： 專 業(yè)： 計算機科學(xué)與技術(shù) 班 級： 學(xué) 號： 姓 名： 同組人： 指 導(dǎo) 教 師： 教師職稱： 協(xié) 助 指 導(dǎo) 教 師： 教師職稱： 摘要 本文 從搜索引擎的應(yīng)用出發(fā)，探討了網(wǎng)絡(luò)蜘蛛在搜索引擎中的作用和地住，提出了網(wǎng)絡(luò)蜘蛛的功能和設(shè)計要求。在對網(wǎng)絡(luò)蜘蛛系統(tǒng)結(jié)構(gòu)和工作原理所作分析的基礎(chǔ)上，研究了頁面爬取、解析等策略和算法，并使用 Java實現(xiàn)了一個網(wǎng)絡(luò)蜘蛛的程序，對其運行結(jié)果做了分析。 關(guān)鍵字： 爬蟲、搜索引擎 Abstract The paper， discussing from the application of the search engine， searches the importance and function of Web spider in the search engine． and puts forward its demand of function and design． On the base of analyzing Web Spider’s system strtucture and working elements． this paper also researches the method and strategy of multithreading scheduler， Web page crawling and HTML parsing． And then． a program of web page crawling based on Java is applied and analyzed． Keyword: spider, search engine 目錄 摘要 ................................................................................................................................ 1 Abstract .......................................................................................................................... 2 一、項目背景 ................................................................................................................ 4 搜索引擎現(xiàn)狀分析 .......................................................................................... 4 課題開發(fā)背景 .................................................................................................. 4 網(wǎng)絡(luò)爬蟲的工作原理 ...................................................................................... 5 二、系統(tǒng)開發(fā)工具和平臺 ............................................................................................ 5 關(guān)于 java 語言 ................................................................................................ 5 Jbuilder 介紹 ................................................................................................ 6 servlet 的原理 .............................................................................................. 6 三、系統(tǒng)總體設(shè)計 ........................................................................................................ 8 系統(tǒng)總體結(jié)構(gòu) .................................................................................................. 8 系統(tǒng)類圖 .......................................................................................................... 8 四 、系統(tǒng)詳細設(shè)計 ...................................................................................................... 10 搜索引擎界面設(shè)計 ........................................................................................ 10 servlet 的實現(xiàn) ............................................................................................ 12 網(wǎng)頁的解析實現(xiàn) ............................................................................................ 13 網(wǎng)頁的分析 ......................................................................................... 13 網(wǎng)頁的處理隊列 ................................................................................. 14 搜索字符串的匹配 ............................................................................ 14 網(wǎng)頁分析類的實現(xiàn) ............................................................................. 15 網(wǎng)絡(luò)爬蟲的實現(xiàn) ............................................................................................ 17 五、系統(tǒng)測試 .............................................................................................................. 25 六、結(jié)論 ...................................................................................................................... 26 致謝 .............................................................................................................................. 26 參考文獻 ...................................................................................................................... 27 一、項目背景 搜索引擎現(xiàn)狀分析 互聯(lián)網(wǎng)被普及前，人們查閱資料首先想到的便是擁有大量書籍 的圖書館，而在當(dāng)今很多人都會選擇一種更方便、快捷、全面、準確的方式 —— 互聯(lián)網(wǎng)．如果說互聯(lián)網(wǎng)是一個知識寶庫，那么搜索引擎就是打開知識寶庫的一把鑰匙．搜索引擎是隨著 WEB信息的迅速增加，從1995年開始逐漸發(fā)展起來的技術(shù)，用于幫助互聯(lián)網(wǎng)用戶查詢信息的搜索工具．搜索引擎以一定的策略在互聯(lián)網(wǎng)中搜集、發(fā)現(xiàn)信息，對信息進行理解、提取、組織和處理，并為用戶提供檢索服務(wù)，從而起到信息導(dǎo)航的目的．目前搜索引擎已經(jīng)成為倍受網(wǎng)絡(luò)用戶關(guān)注的焦點，也成為計算機工業(yè)界和學(xué)術(shù)界爭相研究、開發(fā)的對象． 目前較流行的搜索引擎已有 Google, Yahoo, Info seek, baidu等 . 出于商業(yè)機密的考慮 , 目前各個搜索引擎使用的 Crawler 系統(tǒng)的技術(shù)內(nèi)幕一般都不公開 , 現(xiàn)有的文獻也僅限于概要性介紹 . 隨著 W eb 信息資源呈指數(shù)級增長及 Web 信息資源動態(tài)變化 , 傳統(tǒng)的搜索引擎提供的信息檢索服務(wù)已不能滿足人們?nèi)找嬖鲩L的對個性化服務(wù)的需要 , 它們正面臨著巨大的挑戰(zhàn) . 以何種策略訪問 Web, 提高搜索效率 , 成為近年來專業(yè)搜索引擎網(wǎng)絡(luò)爬蟲研究的主要問題之一。 課題開發(fā)背景 目前雖然有很多種搜索引擎，但各種搜索引擎基本上由三個組 成部分： (1)在互聯(lián)網(wǎng)上采集信息的網(wǎng)頁采集系統(tǒng) ： 網(wǎng)頁采集系統(tǒng)主要使用一種工作在互聯(lián)網(wǎng)上的采集信息的“網(wǎng)絡(luò)蜘蛛” 。 “網(wǎng)絡(luò)蜘蛛”實際上是一些基于 web 的程序，利用主頁中的超文本鏈接遍歷 Web．利用能夠從互聯(lián)網(wǎng)上自動收集網(wǎng)頁的“網(wǎng)絡(luò)蜘蛛”程序，自動訪問互聯(lián)網(wǎng)，并沿著任何網(wǎng)頁中的所有 URL 爬到其它網(wǎng)頁，重復(fù)這過程，并把爬過的所有網(wǎng)頁收集到網(wǎng)頁數(shù)據(jù)庫中 。 (2)對采集到的信息進行索引并建立索引庫的索引處理系統(tǒng) ： 索引處理系統(tǒng)對收集回來的網(wǎng)頁進行分析，提取相關(guān)網(wǎng)頁信息 (包括網(wǎng)頁所在 URL、編碼類型、頁面內(nèi)容包含的關(guān)鍵詞 、關(guān)鍵詞位置、生成時間、大小、與其它網(wǎng)頁的鏈接關(guān)系等 )，根據(jù)一定的相關(guān)度算法進行大量復(fù)雜計算，得到每一個網(wǎng)頁針對頁面內(nèi)容中及超鏈中每一個關(guān)鍵詞的相關(guān)度 (或重要性 )，然后建立索引并存人到網(wǎng)頁索引數(shù)據(jù)庫中．索引數(shù)據(jù)庫可以采用通用的大型數(shù)據(jù)庫，如Oracle， Sybase 等，也可以自己定義文件格式進行存放．為了保證索引數(shù)據(jù)庫中的信息與Web 內(nèi)容的同步，索引數(shù)據(jù)庫必須定時更新，更新頻率決定了搜索結(jié)果的及時性．索引數(shù)據(jù)庫的更新是通過啟動“網(wǎng)絡(luò)蜘蛛”對 Web 空間重新搜索來實現(xiàn)的． (3)完成用戶提交查詢請求的網(wǎng)頁檢索器 ： 網(wǎng)頁檢索器一般是一個在 Web 服務(wù)器上運行的服務(wù)器程序，它首先接收用戶提交的查詢條件，根據(jù)查詢條件對索引庫進行查找并將查詢到的結(jié)果返回給用戶．當(dāng)用戶使用搜索引擎查找信息時，網(wǎng)頁檢索器接收用戶提交的關(guān)鍵詞，由搜索系統(tǒng)程序從網(wǎng)頁索引數(shù)據(jù)庫中找到符合該關(guān)鍵詞的所有相關(guān)網(wǎng)頁．有的搜索引擎系統(tǒng)綜合相關(guān)信息和網(wǎng)頁級別形成相關(guān)度數(shù)值，然后進行排序，相關(guān)度越高，排名越靠前．最后由頁面生成系統(tǒng)將搜索結(jié)果的鏈接地址和頁面內(nèi)容摘要等內(nèi)容組織起來返回給用戶．典型的搜索引擎系統(tǒng)如 Google 就是采用這種策略． 信息的飛速增長，使搜索 引擎成為人們查找信息的首選工具， Google、百度、中國搜索等大型搜索引擎一直是人們討論的話題．搜索引擎技術(shù)的研究，國外比中國要早近十年，從最早的 Archie，到后來的 Excite，以及 ahvista、 overture、 google 等搜索引擎面世，搜索引擎發(fā)展至今，已經(jīng)有十幾年的歷史，而國內(nèi)開始研究搜索引擎是在上世紀末本世紀初．在許多領(lǐng)域，都是國外的產(chǎn)品和技術(shù)一統(tǒng)天下，特別是當(dāng)某種技術(shù)在國外研究多年而國內(nèi)才開始的情況下．例如操作系統(tǒng)、字處理軟件、瀏覽器等等，但搜索引擎卻是個例外．雖然在國外搜索引擎技術(shù)早就開 始研究，但在國內(nèi)還是陸續(xù)涌現(xiàn)出優(yōu)秀的搜索引擎，像百度、中搜等． 隨著搜索引擎技術(shù)的成熟，它將成為獲取信息、