【文章內(nèi)容簡(jiǎn)介】 27 JDBC 的應(yīng)用 ................................................................................................................. 27 索引和搜索的 實(shí)現(xiàn) ........................................................................................................ 30 利用 Lucene 實(shí)現(xiàn)索引 ........................................................................................... 30 利用 Lucene 實(shí)現(xiàn)搜索 ........................................................................................... 33 個(gè)人創(chuàng)新 ........................................................................................................................ 39 本章小結(jié) ........................................................................................................................ 40 第六章 系統(tǒng)測(cè)試 ..................................................................................................................... 41 系統(tǒng)測(cè)試常用的測(cè)試方法 ............................................................................................ 41 測(cè)試平臺(tái) ........................................................................................................................ 41 搜索引擎測(cè)試 ................................................................................................................ 41 測(cè)試總結(jié) ........................................................................................................................ 42 第七章 總結(jié)和展望 ................................................................................................................. 43 工作總結(jié) ........................................................................................................................ 43 工作展望 ........................................................................................................................ 43 參 考 文 獻(xiàn) .............................................................................................................................. 44 致 謝 ........................................................................................................................................ 45 附錄 A：搜索主界面代碼 ........................................................................................................ 46 附錄 B：搜索后跳轉(zhuǎn)頁面代碼 ................................................................................................ 49 湖南科技大學(xué)本科生畢業(yè)設(shè)計(jì)（論文） 1 第 一 章 緒 論 搜索引擎是指因特網(wǎng)上專 門提供查詢服務(wù)的一類網(wǎng)站，這些網(wǎng)站通過網(wǎng)絡(luò)搜索軟件（又稱 為 網(wǎng)絡(luò) 蜘蛛 ）等方式，將因特網(wǎng)上大量網(wǎng)站的頁面收集到本地，經(jīng)過加工處理而建庫，從而能夠?qū)τ脩籼?出的各種查詢 做 出響應(yīng)。目前網(wǎng)上的搜索引擎模式為 ： 獲得信息 （抓取網(wǎng)頁） ?數(shù)據(jù)解析 ?建立 索引 數(shù)據(jù)庫 ?提供 搜索 查詢。 搜索引擎的現(xiàn)狀 搜索引擎的發(fā)展史 隨著信息 技術(shù)的不斷發(fā)展特別是互聯(lián)網(wǎng)應(yīng)用的迅速普及 和 信息爆炸式地豐富起來 ，并且每天全球互聯(lián)網(wǎng)網(wǎng)頁數(shù)目以千萬級(jí)的數(shù)量增加 。要在浩瀚網(wǎng)絡(luò)信息海洋中自如沖浪，搜索引擎已成為必不可少的利器。 1994 年起至今，伴隨著因特網(wǎng)的日益發(fā)展壯大以及 Web 信息量迅速膨脹， Web 搜索引擎技術(shù)為了不斷滿足人們對(duì) Web 信息檢的需求，已經(jīng)經(jīng)歷了三代發(fā)展階段 。 第一代搜索引擎出現(xiàn)于 1994 年，以集中式檢索為主要特征。 這 類搜索引擎一般都索引少于 一 百萬個(gè)網(wǎng)頁，極少重新搜集網(wǎng)頁并去刷新索引。而且其檢索速度非常慢，一般都要等待 10 秒甚至更長(zhǎng)的時(shí)間。在實(shí)現(xiàn)技術(shù)上也基本沿用較為成熟的網(wǎng)絡(luò)、數(shù)據(jù)庫等技術(shù)，相當(dāng)于利用一些已有技術(shù)實(shí)現(xiàn)的一個(gè) WWW 上的應(yīng)用。 第二代搜索 引擎系統(tǒng)大約出現(xiàn)在 1996 年，大多采用分布式檢索方案，即多個(gè)微型計(jì)算機(jī)協(xié)同工作來提高數(shù)據(jù)規(guī)模、響應(yīng)速度和用戶數(shù)量。它們一般都保持一個(gè)大約 五 千萬網(wǎng)頁的索引數(shù)據(jù)庫，每 次 能夠響應(yīng) 一 千萬次用戶檢索請(qǐng)求。 第三代搜索引擎系統(tǒng)出現(xiàn)在 1998 年到 2020 年期間，這一時(shí)期是搜索引擎空前繁榮的時(shí)期。第三代搜索引擎的發(fā)展有如下凡個(gè)特點(diǎn) ： （ 1） 索引數(shù)據(jù)庫的規(guī)模繼續(xù)增大，一般的商業(yè)搜索引擎都保持在幾千萬甚至上億個(gè)網(wǎng)頁。 （ 2） 除了一般意義上的搜索以外，開始出現(xiàn)主題搜索和地域搜索。很多小型的垂直門戶站點(diǎn)開始使用該技術(shù)。 （ 3） 由 于搜索返回?cái)?shù)據(jù)量過大，檢索結(jié)果相關(guān)度評(píng)價(jià)成為研究的焦點(diǎn) 。 （ 4） 開始使用自動(dòng)分類技術(shù)。進(jìn)入 21 新世紀(jì)以后，隨著信息多元化的增長(zhǎng)，千篇一律的給所有用戶同一個(gè)入口顯然已經(jīng)不能滿足特定用戶更深入的查詢需求。同時(shí)，這樣的通用搜索引擎在目前的硬件條件下，要及時(shí)更新以得到互聯(lián)網(wǎng)上較全面的信息是不太可能的。針對(duì)這種情況，分類細(xì)致精確、數(shù)據(jù)全面深入、更新及時(shí)的面向主題的搜索引擎出現(xiàn)了。由于主題搜索運(yùn)用了人工分類以及特征提取等智能化策略，因此它比上面提到的前三代的搜索引擎將更加有效和準(zhǔn)確，我們將這類完善的主題搜索引擎稱為第四 代搜索引擎。 [1] 湖南科技大學(xué)本科生畢業(yè)設(shè)計(jì)（論文） 2 搜索引擎的分類 搜索引擎按其工作方式主要可分為三種，分別是全文搜索引擎（ Full Text Search Engine）、目錄索引類搜索引擎（ Search Index/Directory Search Engine）和元搜索引擎（ Meta Search Engine）。 全文搜索引擎 ： 全文搜索引擎是名副其實(shí)的 獨(dú)立的 搜索引擎， 它 是通過從互聯(lián)網(wǎng)上提取的各個(gè)網(wǎng)站的信息（以網(wǎng)頁文字為主 ，本文也是就提取文字的 ）而建立的數(shù)據(jù)庫中，檢索與用戶查詢條件匹配的相關(guān)記錄，然 后按一定的排列 順序?qū)⒔Y(jié)果返回給用戶，因此他們是真正的搜索引擎。 目錄索引 搜索引擎 ： 目錄索引雖然有搜索功能，但在嚴(yán)格意義上算不上是真正的搜索引擎，僅僅是按目錄分類的網(wǎng)站鏈接列表而已。用戶完全可以不用進(jìn)行關(guān)鍵詞（ Keywords）查詢，僅靠分類目錄也可找到需要的信息。 元搜索引擎 ： 元搜索引擎在接受用戶查詢請(qǐng)求時(shí)，同時(shí)在其他多個(gè)引擎上進(jìn)行搜索，并將結(jié)果返回給用戶。 圖 是元搜索引擎的原理圖 。 圖 元搜索引擎的原理圖 主要搜索引擎的介紹 現(xiàn)在網(wǎng)上的搜索引擎已經(jīng)有很多，比較著名的有 Google、 AltaVista、 Lycos、 MSN 、YAHOO 等等。國(guó)內(nèi)也建立了很多的搜索引擎，比如 ： 百度、中搜、搜狗等 。其中在信息搜索的取全率和取準(zhǔn)率上做得做好的還數(shù) Google 和百度 。 Google（ ： //） ： Google 是一家非常強(qiáng)調(diào)鏈接廣泛度的搜索引擎，鏈接廣泛度在其搜索結(jié)果的排名算法中份量很重。這對(duì)于在查詢一些很一般的詞時(shí)非常湖南科技大學(xué)本科生畢業(yè)設(shè)計(jì)（論文） 3 好，可以得到比較有價(jià)值的結(jié)果，因?yàn)橐话愫玫恼军c(diǎn)，人們鏈接的就多。所以網(wǎng)站要提高位置，必須要有從其他網(wǎng)站到本網(wǎng)站的鏈接。 AltaVista （ ： //） ：根據(jù)檢索的頁面數(shù)， AltaVista 一直都是互聯(lián)網(wǎng)上最大的搜索引擎之一。它全面的覆蓋度和提供的各種高級(jí)搜索命令使它成為網(wǎng)上搜索者的最愛之一。 Lycos（ ： //） ： Lycos 是世界上著名的搜索引擎，在許多國(guó)家都建立了自己的搜索網(wǎng)站。 MSN（ ： //） ：微軟的搜索引擎，也逐漸成為世界著名的搜索引擎。 YAHOO （ ： //） ： YAHOO 是世界上最著名的搜索引擎站點(diǎn)之一，擁有世界上最多的用戶，也是網(wǎng)上最流行的搜索引擎站點(diǎn)，站點(diǎn)目錄分為 14 個(gè)大類，每一個(gè)大類下面又分若干子類，同時(shí)在其主頁上還提供了若干專題檢索功能， 還可以進(jìn)行關(guān)鍵詞檢索， 可以進(jìn)入高級(jí)檢索界面，在這里你可以構(gòu)造更精確的檢索要求，得到更詳細(xì)的檢索結(jié)果。該站點(diǎn)連接速度快，包含范圍廣，數(shù)據(jù)容量大，簡(jiǎn)便易用 。 Baidu（ ： //） ： 百度一直以開發(fā)最符合中國(guó)人使用習(xí)慣的搜索引擎為己任，經(jīng)過三年努力，百度搜索引擎已成為世界上最強(qiáng)大的中文搜索引擎。門戶網(wǎng)站只需將用戶查詢內(nèi)容和一些相關(guān)參數(shù)傳遞到百度搜索引擎服務(wù)器上，后臺(tái)程序就會(huì)自動(dòng)工作并將最終結(jié)果返回給網(wǎng)站。百度搜索引擎使用了高性能的 “ 網(wǎng)絡(luò)蜘蛛 ” 程序自動(dòng)的在互聯(lián)網(wǎng)中搜索信息，可定制、高擴(kuò)展性的調(diào)度算法使得搜索器能在極短的時(shí)間內(nèi)收集到最大數(shù)量的互聯(lián)網(wǎng)信息。百度搜索引擎擁有目前世界上最大的中文信息庫，總量達(dá)到一 億 兩 千萬頁以上，并且還在 以每天幾十萬頁的速度快速增長(zhǎng)。 搜索引擎的作用 搜索引擎是 網(wǎng)站建設(shè) 中針對(duì) “ 用戶使用網(wǎng)站的便利性 ” 所提供的必要功能，同時(shí)也是研究網(wǎng)站用戶行為的一個(gè)有效工具 ， 高效的站內(nèi)檢索可以讓用戶快速準(zhǔn)確地找到目標(biāo)信息，從而更有效地促進(jìn)產(chǎn)品 /服務(wù)的銷售 ， 而且通過對(duì)網(wǎng)站訪問者搜索行為的深度分析，對(duì)于進(jìn)一步制定更為有效的 網(wǎng)絡(luò)營(yíng)銷策略 具有重要價(jià)值。 從網(wǎng)絡(luò)營(yíng)銷的環(huán)境看， 搜索引擎營(yíng)銷 的環(huán)境發(fā)展為網(wǎng)絡(luò)營(yíng)銷的起到推動(dòng)作用 ； 從效果營(yíng)銷看，很多公司之所以可以應(yīng)用網(wǎng)絡(luò)營(yíng)銷是利用了搜索引擎營(yíng)銷 ； 就完整型 電子商務(wù) 概念組成部分來看，網(wǎng)絡(luò)營(yíng)銷是其中最重要的組成部分，是向終端客戶傳遞信息的重要環(huán)節(jié) 。 搜索引擎的信息檢索模型 布爾模型 布爾模型信息檢索模型是最簡(jiǎn)單的信息檢索模型，是基于集合理論和布爾代數(shù)的一種湖南科技大學(xué)本科生畢業(yè)設(shè)計(jì)（論文） 4 簡(jiǎn)單的檢索模型。用戶 利用布爾邏輯關(guān)系構(gòu)造查詢方式并提交，搜索引擎根據(jù)事先建立的倒排 文件確定查詢的結(jié)果。標(biāo)準(zhǔn)的布爾邏輯模型為二元邏輯，并可用邏輯符號(hào) AND、OR、 NOT 來組織關(guān)鍵詞表達(dá)式。布爾信息檢索模型的查全率高，查準(zhǔn)率低，為目前大多數(shù)的搜索引擎所使用。 布爾模型的主要優(yōu)點(diǎn)在于 形式簡(jiǎn)潔、結(jié)構(gòu)簡(jiǎn)單。其主要不足之處在于準(zhǔn)確地匹配可能導(dǎo)致檢出的文檔過多或過少。 向量模型 向量模型是用檢索項(xiàng)的向量空間來表示用戶的查詢要求和數(shù)據(jù)庫的文檔信息的。查詢的結(jié)果是根據(jù)向量空間的相似性而排列的。向量空間模型 可方便地產(chǎn)生有效的查詢結(jié)果，能提供相關(guān)文檔的文摘，并對(duì)查詢結(jié)果進(jìn)行分類，為用戶提供準(zhǔn)確的信息。 向量模型通過對(duì)檢出文檔按相似性降序排列的方式來實(shí)現(xiàn)文檔和查詢的部分匹配。這樣做的結(jié)果比布爾模型得到的結(jié)果要合理得多，或者說，能更好地匹配用戶對(duì)信息的需求。 向量模型的主要優(yōu)點(diǎn)在于：檢索詞加 權(quán)改進(jìn)了檢索的效果；其余部分匹配策略允許檢出與查詢條件相近的文檔；根據(jù)文檔與查詢之間的相似度對(duì)