【導(dǎo)讀】網(wǎng)絡(luò)中的資源非常豐富，但是如何有效的搜索信息卻是一件困難的事情。索引擎就是解決這個問題的最好方法。本文首先詳細介紹了基于英特網(wǎng)的搜索引擎的。系統(tǒng)結(jié)構(gòu)，然后從網(wǎng)絡(luò)機器人、索引引擎、Web服務(wù)器三個方面進行詳細的說明。后通過Web服務(wù)器接受客戶端請求后從索引數(shù)據(jù)庫中搜索出所匹配的新聞。什么是基于TOMCAT的WEB服務(wù)器..................錯誤!

　　

【正文】 ervlet 技術(shù)實現(xiàn)，用戶通過 GET 方法從客戶端向服務(wù)端提交查詢條件，服務(wù)端通過 Tomcat 的 Servlet 容器接受并分析提交參數(shù)，再調(diào)用 lucene的開發(fā)包進行搜索操作。最后把搜索的結(jié)果以 HTTP 消息包的形式發(fā)送至客 戶端，從而完成一次搜索操作。 服務(wù)端 Servlet 程序的結(jié)構(gòu)如下： 28 圖 3 服務(wù)端 Servlet程序的結(jié)構(gòu) 實現(xiàn)的關(guān)鍵代碼如下： public void Search(String qc, PrintWriter out) throws Exception { // 從索引目錄創(chuàng)建索引 IndexSearcher _searcher = new IndexSearcher(c:\\news\\index)。 // 創(chuàng)建標(biāo)準(zhǔn)分析器 Analyzer analyzer = new ChineseAnalyzer()。 // 查詢條件 String line = qc。 // Query 是一個抽象類 Query query = (line, title, analyzer)。 (html)。 (headtitle搜索結(jié)果 /title/head)。 (body bgcolor=ffffff)。 (center + form action=39。/NewsServer/results39。 method=39。get39。 + font face=39。華文中宋 39。 color=39。3399FF39。新聞搜索引擎 29 /font: + input type=39。text39。 name=39。QueryContent39。 size=39。2039。 + input type=39。submit39。 name=39。submit39。 value=39。開始搜索 39。 + /form/center )。 (p 搜 索 關(guān) 鍵 字 ： font color=red + (title) + /font/p)。 Hits hits = (query)。 ( 總共找到 font color=red + () + /font條新聞 br)。 final int HITS_PER_PAGE = 10。 for (int start = 0。 start ()。 start += HITS_PER_PAGE) { int end = ((), start + HITS_PER_PAGE)。 for (int i = start。 i end。 i++) { Document doc = (i)。 String url = (url)。 if (url != null) { ( (i + 1) + a href=39。 + url + 39。 + replace((title), qc) + /abr)。} else { (沒有找到！ )。} }} (/body/html)。 ()。 }。 30 在 Tomcat 上部署項目 Tomcat 中的應(yīng)用程序是一個 WAR（ Web Archive）文件。 WAR 是 Sun 提出的一種Web 應(yīng)用程序格式，與 JAR類似，也是許多文件的一個壓縮包。這個包中的文件按 一定目錄結(jié)構(gòu)來組織：通常其根目錄下包含有 Html 和 Jsp 文件或者包含這兩種文件的目錄，另外還會有一個 WEBINF目錄，這個目錄很重要。通常在 WEBINF 目錄下有一個 文件和一個 classes 目錄， 是這個應(yīng)用的配置文件，而 classes目錄下則包含編譯好的 Servlet 類和 Jsp或 Servlet 所依賴的其它類（如 JavaBean）。通常這些所依賴的類也可以打包成 JAR 放到 WEBINF 下的 lib 目錄下，當(dāng)然也可以放到系統(tǒng)的 CLASSPATH 中。 在 Tomcat 中，應(yīng)用程序的部署很 簡單，你只需將你的 WAR 放到 Tomcat 的 webapp目錄下， Tomcat 會自動檢測到這個文件，并將其解壓。你在瀏覽器中訪問這個應(yīng)用的Jsp 時，通常第一次會很慢，因為 Tomcat 要將 Jsp轉(zhuǎn)化為 Servlet 文件，然后編譯。編譯以后，訪問將會很快。 小結(jié) 本章中詳細介紹了如何構(gòu)架基于 Tomcat 的 Web 服務(wù)器，使得用戶通過瀏覽器進行新聞的搜索，最后還對 Tomcat 如何部署進行了說明。 31 第 六 章 項目總結(jié)以及未來工作展望 搜索引擎技術(shù)從誕生之日開始就一直是網(wǎng)絡(luò)人關(guān)注的焦點， 發(fā)展也很迅速，所以如今已出現(xiàn)了很多優(yōu)秀的開源的項目，例如本項目中的 Lucene。在兩個月的學(xué)習(xí)和實踐開發(fā)中，對搜索引擎各方面的理解逐步加深，包括它的發(fā)展歷史 和它的工作原理，同時對一些主流的搜索引擎例如百度，谷歌，雅虎也有所了解。 本文在對高性能的爬蟲工具包 Heritrix和可擴展的 Java全文索引工具包 Lucene進行系統(tǒng)分析的基礎(chǔ)上，設(shè)計了整個搜索引擎的構(gòu)架，并使用 Java語言初步實現(xiàn)了一個可擴展的中文搜索引擎。 由于時間緊迫，且整個系統(tǒng)涵蓋的范圍很大，涉及到的技術(shù)細節(jié)多，有部分的實現(xiàn) 采用了比較簡單的方法，以便于整個系統(tǒng)的順利實現(xiàn)。因此，在以下幾個方面，我們還要進行繼續(xù)深入的研究，以提高整個系統(tǒng)的性能。 1．對于當(dāng)搜索深度加深后，單機的網(wǎng)頁下載速度和處理能力都要受到限制。如何應(yīng)用分布式檢索系統(tǒng)來建立一個大型的搜索引擎將是未來搜索引擎研究的一個重大問題，在這方面需要對分布式檢索系統(tǒng)進行仔細研究。這方面的改進將會使搜索引擎的搜索范圍更加廣闊。 2，系統(tǒng)的大部分功能己經(jīng)實現(xiàn)，但是在代碼編寫方面還有很多需要優(yōu)化的地方。今后的工作需要進一步的優(yōu)化程序代碼，以實現(xiàn)系統(tǒng)真正的高效率運行 。 3．對于英文搜索引擎來說，建立索引和查詢時，語句中單詞之間是天然通過空格分開的，但亞洲語言的中日韓文語句中的字是一個字挨著一個，所以分詞對于中文搜索引擎的來說至關(guān)重要，本系統(tǒng)采用的是比較簡單的分詞規(guī)則，今后將對中文分詞進行深入的研究，以提高系統(tǒng)的查準(zhǔn)率和查全率。 32 參考文獻 [1] 盧亮，張博文 .搜索引擎原理、實踐與應(yīng)用 [M].北京：出版社， [2] 李曉明 閆宏飛 王繼民。搜 索引 擎 — 原理、技術(shù)與系統(tǒng) [M] [3] 馮是聰 .中文 web文檔自動分類技術(shù)研究及其在搜索引擎中的 應(yīng)用 [C].北京大學(xué) 2020, pp. 88 [4] 于天恩 .做自己的搜索引擎 —— 搜索引擎精解案例教程 [M]. [5] 鄒天思，潘凱華，劉中華 .PHP網(wǎng)絡(luò)編程自學(xué)手冊 [M]. 人民郵電出版社， [6] Z Yuntao G Ling W Yongcheng . An improved TFIDF approach for text classifiction[N] 2020 [7] 黃菁萱 吳立德 .”基于向量空間模型的文檔分類系統(tǒng) ,” 模式識別與人工智能 , vol. 1, 1998. [8] 劉開瑛 .中文文本自動分詞和標(biāo)注 . 北京 : 商務(wù)印書館 , 200 [9] 北京大學(xué)天網(wǎng)中英文搜索引擎 . [10] 馮是聰 張志剛 李曉明 .”一種中文 web文檔自動分類方法的實現(xiàn)及其應(yīng)用 ,”工程 , 2020 [11] M. Najork and A. Heydon, HighPerformance Web Crawling, Compaq Systems Research Center Sep 2020 [12] 趙淑梅 . 全文搜索引擎 技術(shù) [J]. 鄭州鐵路職業(yè)技術(shù)學(xué)院學(xué)報 ， 2020， (03) [13] 陳康，許婷，戴文俊，武港山 . 基于 Web的全文搜索引擎的設(shè)計與實現(xiàn) [J]. 計算機工程 ， 2020， (20) [14] 張海英 . 搜索引擎技術(shù)與原理剖析 [J]. 勝利油田職工大學(xué)學(xué)報 ， 2020， (04) [15] 胡雙雙，秦杰 . 搜索引擎技術(shù)及其發(fā)展趨勢 [J]. 福建電腦 ， 2020， (06) [16] 崔飛虎，潘正運 . 基于互聯(lián)網(wǎng)的全文搜索引擎模型 [J]. 信息安全與通信保密 ， 2020 [17] 網(wǎng)絡(luò)爬蟲設(shè)計 URL去重存儲庫設(shè)計 [18] Lucene 簡介 [19] Lucene 結(jié)構(gòu) Lucene 中國 [20] 李剛、宋偉、邱哲 《征服 AJAX， Lucene構(gòu)建搜索引擎》 254頁 [21] 夏旭 李健康《中外搜索引擎研究的現(xiàn)狀與發(fā)展》 33 致 謝 本論文是在我的導(dǎo)師雷迎科老師的親切關(guān)懷和悉心指導(dǎo)下完成的。雷老師嚴肅的科學(xué)態(tài)度，嚴謹?shù)闹螌W(xué)精神，精益求精的工作作風(fēng)，深深地感染和激勵著我。雷老師不僅在學(xué)業(yè)上給我以精心指導(dǎo)，同時還在思想、生活上給我以無微不至的關(guān)懷，在此謹向雷老師致以誠摯的謝意和崇高的敬意。 我還要感謝在一起愉 快的度過畢業(yè)論文小組的同學(xué)們，正是由于你們的幫助和支持，我才能克服一個一個的困難和疑惑，直至本文的順利完成。 論文的完成標(biāo)志著四年的本科時代即將結(jié)束，也意味著新的生活又將開始了。記不清從開始進入課題到論文的順利完成，有多少可敬的同學(xué)、朋友給了我無言的幫助，在這里請接受我誠摯的謝意 !最后我還要感謝含辛茹苦培養(yǎng)我長大的父母，謝謝你們 ! 最后，再次對關(guān)心、幫助我的老師和同學(xué)表示衷心地感謝！