【正文】 論文的完成標(biāo)志著四年的本科時(shí)代即將結(jié)束，也意味著新的生活又將開始了。雷老師不僅在學(xué)業(yè)上給我以精心指導(dǎo)，同時(shí)還在思想、生活上給我以無微不至的關(guān)懷，在此謹(jǐn)向雷老師致以誠(chéng)摯的謝意和崇高的敬意。搜 索引 擎 — 原理、技術(shù)與系統(tǒng)[M][3] web 文檔自動(dòng)分類技術(shù)研究及其在搜索引擎中的應(yīng)用[C].北京大學(xué)2022, pp. 88[4] ——搜索引擎精解案例教程[M].[5] 鄒天思，潘凱華， 網(wǎng)絡(luò)編程自學(xué)手冊(cè)[M]. 人民郵電出版社，[6] Z Yuntao G Ling W Yongcheng . An improved TFIDF approach for text classifiction[N] 2022[7] 黃菁萱 吳立德.”基于向量空間模型的文檔分類系統(tǒng),” 模式識(shí)別與人工智能, vol. 1, 1998.[8] . 北京: 商務(wù)印書館, 200[9] 北京大學(xué)天網(wǎng)中英文搜索引擎. [10] 馮是聰 張志剛 李曉明.”一種中文 web 文檔自動(dòng)分類方法的實(shí)現(xiàn)及其應(yīng)用,”工程, 2022[11] M. Najork and A. Heydon, HighPerformance Web Crawling, Compaq Systems Research Center Sep 2022[12] 趙淑梅. 全文搜索引擎技術(shù)[J]. 鄭州鐵路職業(yè)技術(shù)學(xué)院學(xué)報(bào) ， 2022，(03) [13] 陳康，許婷，戴文俊，武港山. 基于 Web 的全文搜索引擎的設(shè)計(jì)與實(shí)現(xiàn)[J]. 計(jì)算機(jī)工程 ， 2022，(20) [14] 張海英. 搜索引擎技術(shù)與原理剖析[J]. 勝利油田職工大學(xué)學(xué)報(bào) ， 2022，(04) [15] 胡雙雙，秦杰. 搜索引擎技術(shù)及其發(fā)展趨勢(shì)[J]. 福建電腦 ， 2022， (06) [16] 崔飛虎，潘正運(yùn). 基于互聯(lián)網(wǎng)的全文搜索引擎模型[J]. 信息安全與通信保密 ， 2022[17] 網(wǎng)絡(luò)爬蟲設(shè)計(jì)URL 去重存儲(chǔ)庫設(shè)計(jì) [18] Lucene 簡(jiǎn)介 [19] Lucene 結(jié)構(gòu) Lucene 中國(guó)[20] 李剛、宋偉、邱哲《征服 AJAX，Lucene 構(gòu)建搜索引擎》254 頁[21] 夏旭 李健康《中外搜索引擎研究的現(xiàn)狀與發(fā)展》34致 謝 本論文是在我的導(dǎo)師雷迎科老師的親切關(guān)懷和悉心指導(dǎo)下完成的。 3．對(duì)于英文搜索引擎來說，建立索引和查詢時(shí)，語句中單詞之間是天然通過空格分開的，但亞洲語言的中日韓文語句中的字是一個(gè)字挨著一個(gè)，所以分詞對(duì)于中文搜索引擎的來說至關(guān)重要，本系統(tǒng)采用的是比較簡(jiǎn)單的分詞規(guī)則，今后將對(duì)中文分詞進(jìn)行深入的研究，以提高系統(tǒng)的查準(zhǔn)率和查全率。 2，系統(tǒng)的大部分功能己經(jīng)實(shí)現(xiàn)，但是在代碼編寫方面還有很多需要優(yōu)化的地方。如何應(yīng)用分布式檢索系統(tǒng)來建立一個(gè)大型的搜索引擎將是未來搜索引擎研究的一個(gè)重大問題，在這方面需要對(duì)分布式檢索系統(tǒng)進(jìn)行仔細(xì)研究。因此，在以下幾個(gè)方面，我們還要進(jìn)行繼續(xù)深入的研究，以提高整個(gè)系統(tǒng)的性能。本文在對(duì)高性能的爬蟲工具包Heritrix和可擴(kuò)展的Java全文索引工具包Lucene進(jìn)行系統(tǒng)分析的基礎(chǔ)上，設(shè)計(jì)了整個(gè)搜索引擎的構(gòu)架，并使用Java語言初步實(shí)現(xiàn)了一個(gè)可擴(kuò)展的中文搜索引擎。32 第六章 項(xiàng)目總結(jié)以及未來工作展望 項(xiàng)目總結(jié)搜索引擎技術(shù)從誕生之日開始就一直是網(wǎng)絡(luò)人關(guān)注的焦點(diǎn)，發(fā)展也很迅速，所以如今已出現(xiàn)了很多優(yōu)秀的開源的項(xiàng)目，例如本項(xiàng)目中的Lucene。編譯以后，訪問將會(huì)很快。在 Tomcat中，應(yīng)用程序的部署很簡(jiǎn)單，你只需將你的 WAR放到 Tomcat的webapp目錄下，Tomcat 會(huì)自動(dòng)檢測(cè)到這個(gè)文件，并將其解壓。通常在 WEBINF目錄下有一個(gè) classes目錄， 是這個(gè)應(yīng)用的配置文件，而classes目錄下則包含編譯好的 Servlet類和 Jsp或 Servlet所依賴的其它類（如JavaBean） 。WAR 是 Sun提出的一種Web應(yīng)用程序格式，與 JAR類似，也是許多文件的一個(gè)壓縮包。 }。} }} (/body/html)。 + replace((title), qc) + /abr)。 if (url != null) { ( (i + 1) + a href=39。 i++) { Document doc = (i)。 for (int i = start。 start ()。 final int HITS_PER_PAGE = 10。 Hits hits = (query)。 + /form/center )。 value=39。 name=39。 + input type=39。 size=39。 name=39。新聞搜索引擎30/font: + input type=39。 color=39。 + font face=39。 method=39。 (center + form action=39。 (headtitle搜索結(jié)果/title/head)。 // Query是一個(gè)抽象類 Query query = (line, title, analyzer)。 // 創(chuàng)建標(biāo)準(zhǔn)分析器 Analyzer analyzer = new ChineseAnalyzer()。最后把搜索的結(jié)果以 HTTP消息包的形式發(fā)送至客戶端，從而完成一次搜索操作。我在設(shè)計(jì)的時(shí)候也充分考慮了實(shí)用性和簡(jiǎn)潔性。Tomcat Server是根據(jù) servlet和 JSP規(guī)范進(jìn)行執(zhí)行的，因此我們就可以說 Tomcat Server也實(shí)行了 ApacheJakarta規(guī)范且比絕大多數(shù)商業(yè)應(yīng)用軟件服務(wù)器要好。Tomcat是一個(gè)開放源代碼、運(yùn)行 servlet和 JSP Web應(yīng)用軟件的基于 Java的Web應(yīng)用軟件容器。第 5 章 基于 Tomcat 的 Web 服務(wù)器 什么是基于 Tomcat 的 Web 服務(wù)器Web服務(wù)器是在網(wǎng)絡(luò)中為實(shí)現(xiàn)信息發(fā)布、資料查詢、數(shù)據(jù)處理等諸多應(yīng)用搭建基本平臺(tái)的服務(wù)器。 }} 小結(jié)27本章提出了使用全文搜索引擎 Lucene進(jìn)行索引、搜索。 if (str != null) { try { temp = new String((ISO8859_1))。 } catch (Exception ex) { (ex)。 } (共掃描到 + n + 條新聞)。 (_herf, _title)。 String _herf = input(().trim())。 int n = 0。 Index _index = new Index()。 ((), null)。 public HTMLParse(HTTP ) { _ = 。import 。import 。/** * 新聞搜索引擎* 計(jì)算機(jī) 99630 沈晨 * 版本 */import 。 }}然后構(gòu)造一個(gè) HTML解析類，把通過 bot程序收集的新聞內(nèi)容進(jìn)行索引。 } /**25 * 優(yōu)化并且清理資源 * throws */ void close() throws Exception { ()。 ((url, url))。 } /** * 把每條新聞加入索引中 * param url 新聞的 url * param title 新聞的標(biāo)題 * throws */ void AddNews(String url, String title) throws Exception { Document _doc = new Document()。public class Index { IndexWriter _writer = null。import 。import 。圖 1 Index 類程序結(jié)構(gòu)圖代碼分析如下：package news。23表 2 自動(dòng)切分與詞表切分比較自動(dòng)切分 詞表切分實(shí)現(xiàn) 實(shí)現(xiàn)非常簡(jiǎn)單 實(shí)現(xiàn)復(fù)雜查詢 增加了查詢分析的復(fù)雜程度， 適于實(shí)現(xiàn)比較復(fù)雜的查詢語法規(guī)則存儲(chǔ)效率索引冗余大，索引幾乎和原文一樣大索引效率高，為原文大小的 30％左右維護(hù)成本無詞表維護(hù)成本 詞表維護(hù)成本非常高：中日韓等語言需要分別維護(hù)。這樣，在查詢的時(shí)候，無論是查詢北京 還是查詢天安門，將查詢?cè)~組按同樣的規(guī)則進(jìn)行切分：北京，天安安門，多個(gè)關(guān)鍵詞之間按與and的關(guān)系組合，同樣能夠正確地映射到相應(yīng)的索引中。但一句話：“北京天安門”，計(jì)算機(jī)如何按照中文的語言習(xí)慣進(jìn)行切分呢？“北京 天安門” 還是“北 京 天安門”？讓計(jì)算機(jī)能夠按照語言習(xí)慣進(jìn)行切分，往往需要機(jī)器有一個(gè)比較豐富的詞庫才能夠比較準(zhǔn)確的識(shí)別出語句中的