【正文】 頁的一個例子是 Yahoo！，它的目錄結(jié)構(gòu)指向了很多主題的權(quán)威網(wǎng)頁，使得它兼任了很多主題的中心網(wǎng)頁。 該方法能夠大幅度的提高簡單檢索返回結(jié)果的質(zhì)量，同時能夠有效的防止網(wǎng)頁編寫者對搜索引擎的欺騙。反之，搜索器在向主控程序提交新的 URL 和它的權(quán)值的時候，主控程序會按照權(quán)值預(yù)先排序，以便下一次有序的發(fā)給搜索器。 本章中詳細(xì)介紹了如何構(gòu)架基于 Tomcat 的 Web服務(wù)器，使得用戶通過瀏覽器進(jìn)行新聞的搜索，最后還對 Tomcat 如何部署進(jìn)行 了說明。 } } 基于的搜索引擎 第 29 頁 共 34 頁 Tomcat 上部署項目 Tomcat 中的應(yīng)用程序是一個 WAR（ Web Archive）文件。 } catch (Exception e) { ()。 } else { hasnext = 0。 } else { startpage = (startindex/100) * 10 + 1。 i = endindex。 try { IndexSearcher searcher = new IndexSearcher(INDEX_STORE_PATH)。 private static final String PRODUCT_NAME = name。 import 。 import 。最后把搜索的結(jié)果以 HTTP 消息包的形式發(fā)送至客戶端，從而完成一次搜索操作。 基于的搜索引擎 第 22 頁 共 34 頁 第五章 基于 Tomcat 的 Web 服務(wù)器 Tomcat 的 Web 服務(wù)器 Web 服務(wù)器 是 在網(wǎng)絡(luò)中為實現(xiàn)信息發(fā)布、資料查詢、數(shù)據(jù)處理等諸多應(yīng)用搭建基本平臺的服務(wù)器。 (_doc)。 import 。這樣，在查詢的時候，無論是查詢 北京 還是查詢 天安門 ，將查詢詞組按同樣的規(guī)則進(jìn)行切分： 北京 ， 天安安門 ，多個關(guān)鍵詞之間按與 and的關(guān)系組合，同樣能夠正確地映射到相應(yīng)的索引中。 使用： like %% 會把 herlands也匹配出來， 多個關(guān)鍵詞的模糊匹配：使用 like %%%：就不能匹配詞序顛倒的.. 匹配度 有匹配度算法，將匹配程度（相似度）比較高的結(jié)果排在前面。如果是需要對多個關(guān)鍵詞進(jìn)行模糊匹配： like%keyword1% and like %keyword2% ...其效率也就可想而知了。 基于的搜索引擎 第 17 頁 共 34 頁 第四章 基于 lucene 的索引與搜索 Lucene 全文檢索 Lucene 是 Jakarta Apache 的開源項目。 public void pletePage(HTTP , boolean error) { } // 由 Spider程序調(diào)用以確定查詢字符串是否應(yīng)刪除。 } // 發(fā)現(xiàn)外部連接時調(diào)用， url表示程序所發(fā)現(xiàn)的 URL，若返回 true則把加入作業(yè)中，否則不加入。 import 。這些隊列管理 Spider 程序必須維護大型網(wǎng)頁的列表。多線程是一個程序同時運行多個任務(wù)的能力。 public boolean foundExternalLink(String url)。當(dāng)?shù)却犃袨榭詹⑶耶?dāng)前沒有任何網(wǎng)頁時， Spider 程序就會停止它的工作。當(dāng) Spider 程序掃描完當(dāng)前頁面后會根據(jù)制定的策略訪問隊列中的下一個超連接地址。 我 們在 具體解析這些 HTMl 標(biāo)簽有兩種方法：通過 JavaTM 中的 Swing 類來解析或者通過 Bot 包中的 HTMLPage 類來解析 ，本人在實際編程中采用后者。 文本： 除了腳本和標(biāo)簽之外的所有數(shù)據(jù) 注 釋： 程序員留下的說明文字，對用戶是不可見的 簡單標(biāo)簽： 由單個表示的 HTML標(biāo)簽 開始標(biāo)簽和結(jié)束標(biāo)簽： 用來控制所包含的 HTML代碼 我們在進(jìn)行解析的時候不用關(guān)心所有的標(biāo)簽，只需要對其中幾種重要的進(jìn)行解析即可。例如搜索巨頭 Google 公司，就利用網(wǎng)絡(luò)機器人程序來遍歷 Web 站點，以創(chuàng)建并維護這些大型數(shù)據(jù)庫。搜索引擎的技術(shù)指標(biāo)決定了搜索引擎的評價指標(biāo)。 索引與搜索 網(wǎng)絡(luò)機器人將遍歷得到的頁面存放在臨時數(shù)據(jù)庫中，如果通過 SQL 直接查詢WWW 文檔 網(wǎng)絡(luò)機器人程序 建立 Lucene 索引 從數(shù)據(jù)庫中搜索信息 Tomcat 服務(wù)器 Lucene 索引數(shù)據(jù)庫 WWW 瀏覽器 WWW 瀏覽器 JSP 網(wǎng)絡(luò)機器人程序 基于的搜索引擎 第 8 頁 共 34 頁 信息速度將會難以忍受。在中國，搜索引擎通常指基于網(wǎng)站目錄的搜索服務(wù)或是特定網(wǎng)站的搜索服務(wù)，本人這里研基于的搜索引擎 第 6 頁 共 34 頁 究的是基于因特網(wǎng)的搜索技術(shù)。在 1994 年 3 月到 4 月，網(wǎng)絡(luò)爬蟲 World Web Worm (WWWW)平均每天承受大約 1500 次查詢。 基于的搜索引擎 第 4 頁 共 34 頁 Abstract The resources in the inter are abundant, but it is a difficult job to search some useful information. So a search engine is the best method to solve this problem. This article fist introduces the system structure of search engine based on the inter in detail, then gives a minute explanation form Spider search, engine and web server. In order to understand the technology more deeply, I have programmed a news search engine by myself. The news search engine is explained and searched according to hyperlink from a appointed web page, then indexs every searched information and adds it to the index database. Then after receiving the customers39?；诘乃阉饕? 第 1 頁 共 34 頁 目錄 目錄 ................................................................................................................................. 1 摘要 ................................................................................................................................. 3 第一章 引言 .................................................................................................................... 5 第二章 搜索引擎的結(jié)構(gòu) ................................................................................................... 7 ................................................................................................................ 7 ..................................................................................................... 7 ..................................................................................................... 7 ..................................................................................................... 7 Web 服務(wù)器 ..................................................................................................... 8 .................................................................................... 8 ....................................................................................................................... 8 第三章 網(wǎng)絡(luò)機器人 .......................................................................................................... 9 .................................................................................................. 9 結(jié)構(gòu)分析 ........................................................................................... 9 HTML .............................................................................................. 9 Spider 程序結(jié)構(gòu) ........................................................................................... 10 Spider程序 .................................................................................... 11 ......................................................................................... 13 ................................................