【正文】 另外，還特別感謝老師對本論文的修改提出寶貴的意見。通過結(jié)構(gòu)測試和功能測試后，證明使用 OOP 編程和 JDBC 數(shù)據(jù)庫訪問技術(shù)可以使 搜索 系統(tǒng)順利運(yùn)行。因此，它對于主題搜索引擎的實(shí)現(xiàn)也起了很大的意義。 權(quán)威網(wǎng)頁和中心網(wǎng)頁 權(quán)威網(wǎng)頁 顧名思義，是給定主題底下的一系列重要的權(quán)威的網(wǎng)頁。 最早提出網(wǎng)頁評分的計(jì)算方法是 Google。同時(shí)，這樣的通用搜索引擎在目前的硬件條件下，要及時(shí)更新以得到互聯(lián)網(wǎng)上較全面的信息是不太可能的。這個(gè)包中的文件按一定目錄結(jié)構(gòu)來組織：通常其根目錄下包含有 Html 和 Jsp 文件或者包含這兩種文件的目錄，另外還會有一個(gè) WEBINF 目錄，這個(gè)目錄很重要。 } /** * 基于的搜索引擎 第 28 頁 共 34 頁 */ public SearchResult getSearchResultById(int id) { return (id)。 } else { span = (int)temp 1。 int hasnext。 String id = (productid)。 int length = ()。 private static final String SUMMARY = summary。 import 。 import 。 import 。 Tomcat 是一個(gè)開放源代碼、運(yùn)行 servlet 和 JSP Web 應(yīng)用軟件的基于 Java 的 Web 應(yīng)用軟件容器。 ()。 import 。 基于自動切分的最大優(yōu)點(diǎn)是沒有詞表維護(hù)成本，實(shí)現(xiàn)簡單，缺點(diǎn)是索引效率低，但對于中 小型應(yīng)用來說，基于 2元語法的切分還是夠用的。 結(jié)果輸出 通過特別的算法，將最匹配度最高的頭 100 返回所有的結(jié)果集，在匹配條目非常多的時(shí)候基于的搜索引擎 第 19 頁 共 34 頁 條結(jié)果輸出，結(jié)果集是緩沖式的小批量讀取的。從而大大提高了多關(guān)鍵詞查詢的效率，所以，全文檢索問題歸結(jié)到最后是一個(gè)排序問題。 Lucene 的原理分析 全文檢索的實(shí)現(xiàn)機(jī)制 Lucene 的 API 接口設(shè)計(jì)的比較通用，輸入輸出結(jié)構(gòu)都很像數(shù)據(jù)庫的表 ==記錄 ==字段，所以很多傳統(tǒng)的應(yīng)用的文件、數(shù)據(jù)庫等都可以比較方便的映射到 Lucene 的存儲結(jié)構(gòu) 和接口中。 public boolean getRemoveQuery() { return true。 } // 當(dāng)發(fā)現(xiàn)其他連接時(shí)調(diào)用這個(gè)方法。 Searcher _searcher = new Searcher()。 網(wǎng)絡(luò)機(jī)器人的代碼分析 程序結(jié)構(gòu)圖如下： 程序代碼實(shí)現(xiàn)如下： package news。 優(yōu)化程序的通常方法是確定瓶頸并改進(jìn)他。 public void processPage(HTTP page)。以及如何對這個(gè)程序進(jìn)行擴(kuò)展。 等待隊(duì)列 在這個(gè)隊(duì)列中， URL 等待被 Spider 程序處理。下面給出該類幾種重要的方法。他們的主要目的是使用戶能夠任意遷移到新的頁面，這正是網(wǎng)絡(luò)機(jī)器人最關(guān)心的標(biāo)簽。還可以掃描出中斷的超鏈接和拼寫錯(cuò)誤等。 召回率 ： 一次搜索結(jié)果中符合用戶要求的數(shù)目與用戶查詢相關(guān)信息的總數(shù)之比 準(zhǔn)確率 ： 一次搜索結(jié)果中符合用戶要求的數(shù)目與該次搜索結(jié)果總數(shù)之 比 相關(guān)度 ： 用戶查詢與搜索結(jié)果之間相似度的一種度量 精確度 ： 對搜索結(jié)果的排序分級能力和對垃圾網(wǎng)頁的抗干擾能力 以上對基于因特網(wǎng)的搜索引擎結(jié)構(gòu)和性能指標(biāo)進(jìn)行了分析，本人在這些研究的基礎(chǔ)上利用 JavaTM 技術(shù)和一些 Open Source 工具實(shí)現(xiàn)了一個(gè)簡單的搜索引擎—— 新聞搜索引擎。如果索引不及時(shí)跟新的話，用戶用搜索引擎也不能檢索到。為了保證用戶查找信息的精度和新鮮度，搜索引擎需要建立并維護(hù)一個(gè)龐大的索引數(shù)據(jù)庫。 1997 年 11月，當(dāng)時(shí)最先進(jìn)的幾個(gè)搜索引擎號稱能建立從 2， 000， 000 到100， 000， 000 的網(wǎng)頁索引。因此它也成為除了電子郵件以外最多人使用的網(wǎng)上服務(wù)。建立搜索引擎就是解決這個(gè)問題的最好方法。 本人在介紹搜索引擎的章節(jié)中除了詳細(xì)的闡述技術(shù)核心外還結(jié)合了 搜索引擎的實(shí)現(xiàn)代碼來說明，圖文并茂、易于理解。在實(shí)現(xiàn)技術(shù)上也基本沿用較為成熟的 IR（ Information Retrieval）、網(wǎng)絡(luò)、數(shù)據(jù)庫等技術(shù)，相當(dāng)于利用一些已有技術(shù)實(shí)現(xiàn)的一個(gè) WWW上的應(yīng)用。著名的因特網(wǎng)搜索引擎包括 First Search、 Google、 HotBot 等。 為了保證網(wǎng)絡(luò)機(jī)器人 遍歷信息的廣度和深度需要設(shè)定一些重要的鏈接并制定相關(guān)的掃描策略。這些指標(biāo)決定了搜索引擎的技術(shù)指標(biāo)。 基于因特網(wǎng)的搜索引擎是 Spider 的最早應(yīng)用。在解決如何解析之前，先來介紹下 HTML中 的幾種數(shù)據(jù)。 表格標(biāo)簽 表格 是 HTML 的構(gòu)成 部分，通常用來格式化存放、顯示數(shù)據(jù)。 非遞歸結(jié)構(gòu) 這種方法使用隊(duì)列的數(shù)據(jù)結(jié)構(gòu)，當(dāng) Spider 程序 發(fā)現(xiàn)超連接后并不調(diào)用自己本身而是把超連接加入到等待隊(duì)列中。只要等待隊(duì)列中有一個(gè)網(wǎng)頁或 Spider 程序正在處理一個(gè)網(wǎng)頁，程序就會繼續(xù)他的工作。下面是他的接口聲明： public interface IspiderReportable{ public boolean foundInternalLink(String url)。下面就來介紹下幾種提高性能的技術(shù)： Java 的多線程技術(shù) 線程是通過程序的一條執(zhí)行路線。 數(shù)據(jù)庫技術(shù) 當(dāng) Spider 程序訪問一個(gè)大型 Web 站點(diǎn)時(shí)，必須使用一種有效的方法來存儲站點(diǎn)隊(duì)列。 import 。 public boolean foundInternalLink(String url) { return false。 } // 用 來請求一個(gè)被處理的網(wǎng)頁。此外還用了第三方開發(fā)包 Bot（由 Jeff Heaton 提供的開發(fā)包）。 基于的搜索引擎 第 18 頁 共 34 頁 由于數(shù)據(jù)庫索引不是為全文索引設(shè)計(jì)的，因此， 使用 like %keyword%時(shí)，數(shù)據(jù)庫索引是不起作用的 ，在使用 like查詢時(shí)，搜索過程又變成類似于一頁頁翻書的遍歷過程了，所以對于含有模糊 查詢的數(shù)據(jù)庫服務(wù)來說， LIKE對性能的危害是極大的。 匹配效果 通過詞元 (term)進(jìn)行匹配，通過語言分析接口的實(shí)現(xiàn)，可以實(shí)現(xiàn)對中文等非英語的支持。另外一個(gè)解決的辦法是采用自動切分算法：將單詞按照 2元語法 (bigram)方式切分出來，比如： 北京天安門 == 北京 京天 天安 安門 。 import 。 ((url, url))。 最后，還結(jié)合了具體代碼說明了如何把 Lucene 全文搜索引擎和 Spider 程序互相集合來實(shí)現(xiàn)新聞搜索的功能。 服務(wù)端設(shè)計(jì) 主要利用 JavaTM Servlet 技術(shù)實(shí)現(xiàn)，用戶通過 GET 方法從客戶端向服務(wù)端提交查詢條件，服務(wù)端通過 Tomcat 的 Servlet 容器接受并分析提交參數(shù)，再調(diào)用 lucene 的開發(fā)包進(jìn)行搜索操作。 import 。 import 。 private static final String CATEGORY = category。 ArrayList list = new ArrayList()。 } 基于的搜索引擎 第 26 頁 共 34 頁 for (int i = startindex。 if (startindex % 100 == 0) { startpage = (startindex / 100 1) * 10 + 1。 hasnext = 0。 (startindex)。 } public static void main(String[] args) throws Exception { IndexSearcher searcher = new IndexSearcher(INDEX_STORE_PATH)。編譯以后，訪問將會很快。搜索器在向主控程序獲得 URL 的時(shí)候也是按照權(quán)值由高到低的順序。選擇合適的數(shù)值，遞歸的使用以上公式，即可得到理想的網(wǎng)頁鏈接權(quán)值。 中心網(wǎng)頁 是包含很多指向權(quán)威網(wǎng)頁的超鏈接的網(wǎng)頁。 基于的搜索引擎 第 32 頁 共 34 頁 結(jié) 論 數(shù)據(jù)庫應(yīng)用系統(tǒng)開發(fā)是當(dāng)前主流的應(yīng)用，大多數(shù)應(yīng)用系統(tǒng)都需要后臺數(shù)據(jù)庫的支持。 本次畢業(yè)設(shè)計(jì)是我工作前一次很好的演練和實(shí)踐的機(jī)會 ,是培養(yǎng)獨(dú)立思考問題和自學(xué)能力的鍛煉 ,使我意識到必須努力學(xué)習(xí)才能才工作中體現(xiàn)自己的價(jià)值 ,適應(yīng)社會的需要。 基于的搜索引擎 第 34 頁 共 34 頁 參考文獻(xiàn) 文獻(xiàn)資料 ① 《 Programming Spiders,Bots,and Aggregator in Java》 [美 ]Jeff Heaton 著 ② 《搜索引擎與信息獲取技術(shù)》徐寶文、張衛(wèi)豐著 ③ 《基于 Java的全文搜索引擎 Lucene》車東著 ④ 《主題搜索引擎的設(shè)計(jì)與實(shí)現(xiàn)》羅旭著 ⑤ 《 Thinking in Java 》 [美 ]Bruce Eckel著 開發(fā)工具、平臺及資源： ① Borland Jbuilder 9 ② Sun JDK ③ Jakarta Tomcat ④ Jakarta Lucene ⑤ Package Bot 。 但通過本次畢業(yè)設(shè)計(jì) ,我也感受到了開源的方便 ,遇到什么問題 ,上網(wǎng)一查 ,就知道該怎么弄了 ,以前做個(gè)課程設(shè)計(jì)都是怕別人和我的一樣 ,不愿意給別人看 ,現(xiàn)在知道了程序弄不出來是多么的著急 ,學(xué)習(xí)都是相互的 ,互相研究才能共同進(jìn)步的。雖然在新聞搜索中并沒有應(yīng)用到搜索策略，但是對于 WWW 搜索引擎來說，搜索策略是極其重要的。主題搜索引擎一個(gè)很關(guān)鍵的任務(wù)就是從互聯(lián)網(wǎng)上無數(shù)的網(wǎng)頁之中最快最準(zhǔn)的找出這些可數(shù)的權(quán)威網(wǎng)頁，并為他們建立索引。 按照以上的用戶行為模型，每個(gè)網(wǎng)頁可能被訪問到的次數(shù)就是該網(wǎng)頁的鏈接權(quán)值。 題的搜索策略 導(dǎo)向詞 導(dǎo)向詞就是一組關(guān)鍵詞，它們會引導(dǎo)搜索器按照一定順序搜索整個(gè)網(wǎng)絡(luò)，使得搜索引擎可以在最短的時(shí)間里面得到最全面的跟某一個(gè)主題相關(guān)的信息。 在 Tomcat 中，應(yīng)用程序的部署很簡單，你只需將你的 WAR 放到 Tomcat 的 webapp 目錄下， Tomcat 會自動檢測到這個(gè)文件，并將其解壓。 } private Query makeQuery(String query) { TermQuery qu = new TermQuery(new Term(all, ()))。 (endpage)。 hasnext = 1。 int startpage。 if (startindex length) { // TODO should be impossible } else { endindex = startindex + 9。 /** 基于的搜索引擎 第 25 頁 共 34 頁 * */