【正文】 了一系席之地，比如象股票、天氣、新聞等類的搜索引擎，具有很高的針對性，用戶對查詢結(jié)果的滿意度較高。有調(diào)查指出，過多的附加信息加重了用戶的信息負(fù)擔(dān)，為了去掉這些過多的附加信息，可以采用用戶定制、內(nèi)容過濾等檢索技術(shù)。其二，使用大眾訪問性，就是將訪問數(shù)量（也可以叫做點擊數(shù)量）算作網(wǎng)頁評分的因素之一，而這樣的網(wǎng)站很多時候都是用戶想找的，這樣能夠提高搜索引擎的準(zhǔn)確率。就以上面的例子來講，如果用關(guān)鍵詞查詢，多半人會用“virus”這個詞來檢索，結(jié)果中必然會包括各類病毒的介紹、病毒是怎樣產(chǎn)生的等等許多無效信息，而用“how can kill virus of puter?”，搜索引擎會將怎樣殺病毒的信息提供給用戶，提高了檢索效率。搜索引擎在對提問進行結(jié)構(gòu)和內(nèi)容的分析之后，或直接給出提問的答案，或引導(dǎo)用戶從幾個可選擇的問題中進行再選擇。搜索引擎在將來的的發(fā)展趨勢大概有以下幾個方面：為了提高搜索引擎對用戶檢索提問的理解，就必須有一個好的檢索提問語言，為了克服關(guān)鍵詞檢索和目錄查詢的缺點，現(xiàn)在已經(jīng)出現(xiàn)了自然語言智能答詢。現(xiàn)在，網(wǎng)絡(luò)上有很多著名的搜索引擎，百度，google等等，百度從2005年誕生到現(xiàn)在成為全球最大的中文搜索引擎，可想而知，發(fā)展的速度是多么的快，人們對搜索引擎的的需求是多么的大，百度的日點擊率我無法在找到確切的數(shù)字，但是我們可以計算一下，截至2008年底，每個網(wǎng)民上網(wǎng)點擊百度的次數(shù)應(yīng)該不少于十次吧，像我們要在百度上找資料的網(wǎng)名點擊率百次不止，所以百度的日點擊率是多么驚人。至于互動性的評價標(biāo)準(zhǔn)是什么，以及第三代搜索引擎到底比第二代搜索引擎增加了多少價值——尤其是為企業(yè)利用搜索引擎開展網(wǎng)絡(luò)營銷增加了哪些價值，目前并沒有非常令人信服的研究結(jié)論。這類搜索引擎系統(tǒng)大多采用分布式方案（多個微型計算機協(xié)同工作）來提高數(shù)據(jù)規(guī)模、響應(yīng)速度和用戶數(shù)量，它們一般都保持一個大約50,000,000網(wǎng)頁的索引數(shù)據(jù)庫，每天能夠響應(yīng)10,000,000次用戶檢索請求。而且其檢索速度非常慢，一般都要等待10秒甚至更長的時間。 搜索經(jīng)歷了三代的更新和發(fā)展: 第一代搜索引擎出現(xiàn)于1994年。搜索引擎的出現(xiàn)改變了上述的現(xiàn)象，它通過程序的自動搜尋并建立索引，將這些信息孤島聯(lián)系起來，形成了一張巨大的信息網(wǎng)，并且運用分布式計算的巨大力量，能夠讓用戶從海量數(shù)據(jù)中摒除垃圾信息，獲取想要的知識。 Web server目 錄摘要 2目錄 4第一章 緒論 6 6 6第二章 搜索引擎的結(jié)構(gòu) 9 9 9 9 9 Web服務(wù)器 10 10 10第三章 網(wǎng)絡(luò)機器人 11 11 11 11 Spider程序結(jié)構(gòu) 12 13 15 16 18第四章 基于LUCENE的索引與搜索 19 19 Lucene的原理分析 19 19 Lucene的索引效率 19 中文切分詞機制 21 Lucene與Spider的結(jié)合 22 25第五章 基于TOMCAT的WEB服務(wù)器 26 26 26 26 27 30 30第六章 項目總結(jié)以及未來工作展望 31 31 31參考文獻 32致謝 33第一章 緒論 網(wǎng)絡(luò)的出現(xiàn)以及發(fā)展對于世界發(fā)展的意義是極其重要的，它讓地球村的理念變成現(xiàn)實，信息的傳輸不再受到時間和空間的限制。 Network robot。索引引擎 。關(guān)鍵詞：搜索引擎。本文首先詳細(xì)介紹了基于英特網(wǎng)的搜索引擎的系統(tǒng)結(jié)構(gòu)，然后從網(wǎng)絡(luò)機器人、索引引擎、Web服務(wù)器三個方面進行詳細(xì)的說明。 本科畢業(yè)論文（設(shè)計、創(chuàng)作）題目： 基于Web搜索引擎的設(shè)計與實現(xiàn) Design and Implementation of Webbased search engine 學(xué)生姓名： 楊衛(wèi)中 學(xué)號： 0802115 所在院系： 信息與通信技術(shù)系 專業(yè)：電子信息工程 入學(xué)時間： 2008 年 9 月導(dǎo)師姓名： 雷迎科 職稱/學(xué)位： 博士 導(dǎo)師所在單位： 信息與通信技術(shù)系 完成時間： 2012 年 5 月安徽三聯(lián)學(xué)院教務(wù)處 制摘 要 網(wǎng)絡(luò)中的資源非常豐富，但是如何有效的搜索信息卻是一件困難的事情。建立搜索引擎就是解決這個問題的最好方法。在次基礎(chǔ)上設(shè)計并實現(xiàn)了一種快捷高效的新聞搜索引擎，該搜索引擎是從指定的Web頁面中按照超連接進行解析、搜索，并把搜索到的每條新聞進行索引后加入數(shù)據(jù)庫,然后通過Web服務(wù)器接受客戶端請求后從索引數(shù)據(jù)庫中搜索出所匹配的新聞。網(wǎng)絡(luò)機器人。Web服務(wù)器33Abstact The network resources are very rich, but how effective search information is a difficult thing. Build a search engine is the best way to solve the problem. This paper first introduced the Internet search engine based on the structure of the system, and then from the network robots, indexing engine, the Web server of the three aspects of the detailed instructions. Based on the time designed and realized a quick and efficient news search engine, the search engine from the Web page in accordance with specified in the connection for analytical, search, and the search to every news indexing of add to the database. Then through the Web server accept client requests from database search index after the news of the match.Keywords: search engine。 Indexing engine。在沒有搜索引擎的時代，用戶希望尋找某方面的信息，就必須通過各種途徑或者是網(wǎng)站之間的連接尋找，可以這樣說，脫離了搜索引擎的網(wǎng)站，就像是信息海洋中的一個一個孤島，用戶必將面臨巨大的搜索成本，同時必須付出大量的時間和精力。搜索引擎不僅僅是節(jié)省了用戶的時間，通過挖掉搜尋成本這座墻，它讓許許多多的不可能成為可能。這類搜索引擎一般都索引少于1，000，000個網(wǎng)頁，極少重新搜集網(wǎng)頁并去刷新索引。 第二代搜索出現(xiàn)在1996年。 第三代搜索引擎年代的劃分和主要特性至今沒有統(tǒng)一的認(rèn)識，不過至少可以肯定的是：第三代搜索引擎是對第二代搜索引擎在搜索技術(shù)上的改進，主要增加了互動性和個性化等高級的技術(shù)，為用戶使用搜索引擎獲取信息獲得更好的體驗。這也就是目前所謂的第三代搜索引擎并沒有表現(xiàn)出太多優(yōu)勢的原因之一。搜索引擎經(jīng)過幾年的發(fā)展和摸索，越來越貼近人們的需求，搜索引擎的技術(shù)也得到了很大的發(fā)展。用戶可以輸入簡單的疑問句，比如“how can kill virus of puter?”。自然語言的優(yōu)勢在于，一是使網(wǎng)絡(luò)交流更加人性化，二是使查詢變得更加方便、直接、有效。對檢索的結(jié)果處理，有以下幾個方向：其一，使用鏈接評價，就是將網(wǎng)頁的鏈接數(shù)量算作網(wǎng)頁評分因素之一，這樣搜索的結(jié)果就更加的能夠滿足用戶的要求，在這個方面google（）的“鏈接評價體系”已經(jīng)做出了相當(dāng)出色的成績。其三，去掉結(jié)果中的附加信息。，提高針對性在這個方面現(xiàn)在的發(fā)展的方向是：其一，垂直主題搜索。其二，非信息的搜索。其三，多媒體搜索。在這個方面有兩個主要的發(fā)展方向：其一，純凈搜索引擎。其二，元搜索引擎。它的主要精力放在提高搜索速度、智能化處理搜索結(jié)果、個性搜