【正文】 ................................................................. XVI WEB 開發(fā)輕平臺 Tomcat 簡介 ........................................................................... XVI 3 系統(tǒng)分析 ............................................................................................XVIII 搜索引擎說明 .....................................................................................................XVIII 搜索引擎描述 ..........................................................................................XVIII 搜索引擎開發(fā)背景 ..................................................................................XVIII 開發(fā)任務(wù) .............................................................................................................XVIII 搜索引擎的設(shè)計要求和目標(biāo) ..................................................................XVIII 搜索引擎的設(shè)計原則 ................................................................................ XIX 用戶需求分析 ....................................................................................................... XIX 用戶使用搜索功能習(xí)慣 ............................................................................ XIX 用戶使用搜索功能用例分析 ..................................................................... XX 搜索引擎 功能需求分析 ....................................................................................... XXI 沈陽理工大學(xué)學(xué)士學(xué)位論文 IV 搜索引擎支持客戶端類型 ........................................................................ XXI 搜索引擎基本功能 .................................................................................... XXI 數(shù)據(jù)庫數(shù)據(jù)存 儲分析 ............................................................................... XXII 界面需求分析 ...................................................................................................... XXII 4 搜索引擎設(shè)計 .....................................................................................XXIII 搜索引擎結(jié)構(gòu)設(shè)計 .............................................................................................XXIII 數(shù)據(jù)庫設(shè)計 ........................................................................................................ XXIV 數(shù)據(jù)庫設(shè)計的步驟 ................................................................................. XXIV 數(shù)據(jù)庫概念結(jié)構(gòu)設(shè)計 ...............................................................................XXV 數(shù)據(jù)庫邏輯結(jié)構(gòu)設(shè)計 ............................................................................ XXVII 數(shù)據(jù)庫物理結(jié)構(gòu)設(shè)計 ............................................................................ XXVII 數(shù)據(jù)存儲流程設(shè)計 .......................................................................................... XXVIII 網(wǎng)絡(luò)機器人的基本結(jié)構(gòu)及工作原理 ................................................... XXVIII 從網(wǎng)絡(luò)機器人的角度對互聯(lián)網(wǎng)進行劃分 ............................................. XXIX 抓取策略 ...................................................................................................XXX 搜索引擎流程設(shè)計 ........................................................................................... XXXII 搜索引擎總體流程設(shè)計 ........................................................................ XXXII 檢驗載入搜索頁面合法性 ................................................................... XXXIII 搜索功能設(shè)計 .......................................................................................XXXIV 5 搜索引擎實現(xiàn) .................................................................................. XXXVI JavaBean 實現(xiàn)說明 ..........................................................................................XXXVI 數(shù)據(jù)庫連接類 MysqlBean ...................................................................XXXVI 分詞處理類 SpliteWord ..................................................................... XXXVII 生成 SQL 類 CreateSql ...................................................................... XXXVII 創(chuàng)建 ResultBean 類 CreateResult ............................................................ XLII 結(jié)果集類 ResultBean ............................................................................... XLII 調(diào)用 JSpider 實現(xiàn)數(shù)據(jù)收錄 ............................................................................... XLIII 實現(xiàn)搜索頁面 ...................................................................................................... XLV 結(jié) 論 ..................................................................................................... XLIX 致 謝 ........................................................................................................... L 參考文獻(xiàn) ....................................................................................................... LI 附錄 A 英語原文 .........................................................................................LII 附錄 B 英語譯文 ........................................................................................LVI 沈陽理工大學(xué)學(xué)士學(xué)位論文 V 1 緒論 研究的背景及意義 自上個世紀(jì) 90 年代以來隨著網(wǎng)絡(luò)化和信 息數(shù)字化技術(shù)的發(fā)展，網(wǎng)絡(luò)上的信息量以幾何數(shù)量級遞增，人們已經(jīng)無法很輕易地在網(wǎng)絡(luò)上搜索到自己想要的信息，卻陷入了信息過剩的苦惱當(dāng)中。 Chinese participle。 關(guān)鍵詞 :搜索引擎； WEB 搜索；中文分詞；索引數(shù)據(jù)庫；排序。數(shù)據(jù)庫設(shè)計的特點是：大容量存儲、高效檢索和簡單查詢。 本系統(tǒng)的整體設(shè)計突出操作簡便、功能強大、人性化設(shè)置、并行處理可移植等特點，其中中文分詞，各模塊的存儲流程是系統(tǒng)的設(shè)計亮點。搜索引擎系統(tǒng)包括 3 個功能模塊：網(wǎng)頁獲取模塊，數(shù)據(jù)存儲模塊和檢索模塊。沈陽理工大學(xué)學(xué)士學(xué)位論文 I 摘 要 隨著互聯(lián)網(wǎng)的迅速發(fā)展，網(wǎng)絡(luò)規(guī)模不斷擴大，信息儲量急劇增長，搜索引擎技術(shù)越來越得到廣泛地使用。 本文通過對各種通用搜索引擎的關(guān)鍵技術(shù)進行研究，完成了對通用 WEB 搜索引擎的設(shè)計與實現(xiàn)。本人在課題組中主要承擔(dān)工作有：系統(tǒng)整體設(shè)計、數(shù)據(jù)庫的設(shè)計實現(xiàn)以及中文分詞系統(tǒng)的設(shè)計實現(xiàn)。本文中對搜索引擎的各種技術(shù)算法進行了介紹， 而且根據(jù)系統(tǒng)的需要進行了各功能模塊的設(shè)計。索引數(shù)據(jù)庫以頁面信息表和詞庫表為核心，通過對詞創(chuàng)建索引以提高檢索效率；中文分詞系統(tǒng)采用 JDK 平臺開發(fā)，實現(xiàn)對中英文句子的分割，使其分為單獨的詞或詞組。 沈陽理工大學(xué)學(xué)士學(xué)位論文 II Abstract With the rapid development of the inter, the constant expansion of the work size, the run up growing of the information storage, the technology of the search engine is being more and more popular. The article acplish the design and realization of the general WEB search engine through the studying of all kinds of the general search eng ine. The search engine system includes three functions modules. They are Homepage gain module, data storage module and retrieval module. My main duty in this t