【正文】 參考文獻(xiàn) [1] 陳華 ,羅昶 ,王建勇 ,段暉 ,薛明 .基于 Web 的百萬(wàn)級(jí) FTP 搜索引擎的設(shè)計(jì)與實(shí)現(xiàn) [J].計(jì)算機(jī)應(yīng)用 ,2020,(9) [2] 雷鳴 ,劉建國(guó) ,王建勇 ,陳葆玨 .一種基于詞典的搜索引擎系統(tǒng)動(dòng)態(tài)更新模型 [J].計(jì)算機(jī)研究與發(fā)展 ,2020,(10). [3] 陳華 ,羅昶 ,王建勇 ,段暉 ,薛明 .基于 Web 的百 萬(wàn)級(jí) FTP 搜索引擎的設(shè)計(jì)與實(shí)現(xiàn) [J].計(jì)算機(jī)應(yīng)用 ,2020,(9). [4] 雷鳴 ,劉建國(guó) ,王建勇 ,陳葆玨 .一種基于詞典的搜索引擎系統(tǒng)動(dòng)態(tài)更新模型 [J].計(jì)算機(jī)研究與發(fā)展 ,2020,(10). [5] 黃素珍 .并行多元搜索引擎的研究與設(shè)計(jì) [D].廣西大學(xué) ,2020. [6] 徐建華 .網(wǎng)絡(luò)搜索引擎原理、特性分析及未來(lái)發(fā)展趨勢(shì) [J]. 圖書(shū)情報(bào)工作 ， 2020，（ 8）。在此我衷心的感謝他 們 。 另外，我還要特別感謝 我的朋友沈智文 對(duì)我實(shí)驗(yàn)以及論文寫(xiě)作的指導(dǎo)，她為我完成這篇論文提供了巨大的幫助。她淵博的知識(shí)、開(kāi)闊的視野和敏銳的思維給了我深深的啟迪。 25 致謝 本文是在老師精心指導(dǎo)和大力支持下完成的。 而本畢業(yè)設(shè)計(jì)的搜索引擎能完成比較簡(jiǎn)單的信息查詢，基本能 達(dá)到根據(jù)輸入的關(guān)鍵字查詢需要的網(wǎng)頁(yè)連接的功能。 如何解決這些難題已成為第三代搜索引擎探索的方向。 搜索引擎應(yīng)更好地支持動(dòng)態(tài)網(wǎng)頁(yè)，許多蜘蛛軟件不敢去碰動(dòng)態(tài)網(wǎng)頁(yè)，怕被變 化無(wú)窮的動(dòng)態(tài)系統(tǒng)黑洞吸進(jìn)去出不來(lái)。 搜索引擎的 “智能 ” 有待提高。多媒體技術(shù)的發(fā)展，對(duì)搜索引擎提出了更多的要求。迄今為止，搜索對(duì)象主要是文本。目前網(wǎng)絡(luò)帶寬不足，網(wǎng)絡(luò)速度不夠理想，遍歷如此龐雜的網(wǎng)絡(luò)花費(fèi) 的 時(shí)間 是非常龐大的，這就是不能實(shí)時(shí)搜索的原因。網(wǎng)絡(luò)信息收集與整理是搜索引擎工作的重要一部分。網(wǎng)絡(luò)信息時(shí)刻變動(dòng)，實(shí)時(shí)搜索幾乎不可能。搜索引擎越來(lái)越不能滿足挑剔的網(wǎng)民們的各種信息需求，這表現(xiàn)在以下幾個(gè)方面： 收集的網(wǎng)頁(yè)數(shù)量和其數(shù)據(jù)庫(kù)的更新速度存在著不可調(diào)和的矛盾。隨著 Inter 的強(qiáng)勢(shì)發(fā)展，網(wǎng)上龐大的數(shù)字化信息和人們獲取所需信息能力之間的矛盾日益突出。 此時(shí)可以看到一個(gè)界面，如圖 所示： 23 圖 搜索引擎主界面 只要在輸入框中輸 入“ d”，點(diǎn)擊 搜索 按鈕，就可看到如下圖 所示： 圖 使用舉例圖 至此，本課題所設(shè)計(jì)的網(wǎng)絡(luò)搜索引擎就可以使用了，并能實(shí)現(xiàn)預(yù)想的功能。 （ 1） Splider 文件中 包含一個(gè) ，如圖 所示： 圖 的路徑 （ 2） Splider 文件中另外還包含一個(gè) ：，如圖 所示： 圖 路徑說(shuō)明 為了存儲(chǔ)方便 ,所以把編譯形成的 .CLASS 文件壓縮 ,使用時(shí)將 luceneweb 文件夾放 22 入 Tomcat 安裝到目錄的子目錄 webapps 下 下圖 為 luceneweb 目錄結(jié)構(gòu)說(shuō)明： 圖 luceneweb 目錄結(jié)構(gòu) 使用說(shuō)明 ： 運(yùn)行 Splider 目錄下的 (double Click),當(dāng)看到日志文件 中有“ Spider has no work”時(shí)，將路徑 Splider\News\index\下的所有文件拷貝到 “ luceneweb \opt\index\”下 . 此時(shí)啟動(dòng) Tomcat 服務(wù)器，服務(wù)器啟動(dòng)后，打開(kāi)一個(gè)瀏覽器。 | | | | 此文件是運(yùn)行這個(gè)機(jī)器人的關(guān)鍵文件，直接雙擊即可。 Step3：編譯 源代碼，形成 .class 文件。 使用 JDK 是必須注意環(huán)境變量設(shè)置 的 問(wèn)題。 } } 編譯過(guò)程 安裝 JDK 首先需要使用 JDK， 語(yǔ)言的基本工具包，是個(gè)免費(fèi)開(kāi)發(fā)運(yùn)行 JAVA 程序的基本軟件，由一個(gè)標(biāo)準(zhǔn)類(lèi)庫(kù)和一組 編譯工具所 建立，測(cè)試及建立文檔的 Java 實(shí)用程序組成。 ((contents,_read))。 (url, null)。 ((url, url))。 （ 2）信息的引入： public class Index { Index() throws Exception { } （ 3）釋放資源并生成 index： 19 void AddNews(String url, String title) throws Exception { //創(chuàng)建一個(gè)文檔對(duì)象 Document _doc = new Document()。 import 。 import 。 import 。 import 。 import 。 import 。 } } index 文件的生成 最后的核心部分完成的功能是當(dāng)全部鏈接索引工作任務(wù)完成后，調(diào)用 Searcher 的close（）方法完成釋放資源并生成 index 文件。 } catch (Exception e) { (HTMLParser:Catch Exception,e)。 } } public static String input(String str) { String temp = null。 } 18 // ()。 //得到連接對(duì)象的顯示內(nèi)容 (a href=abc/a) String _title = input(().trim())。 while (()) { //得到迭代器中的超鏈接對(duì)象 Link _link = (Link) ()。 //構(gòu)建一個(gè)索引對(duì)象 Index _index = new Index()。 //測(cè)試打開(kāi) HTTP 鏈接 ,得到頁(yè)面信息 ((), null)。 public HTMLParser(HTTP ) { _ = 。 import 。 import 。 import 。該部分的代碼如下： (1) 引入相應(yīng)的類(lèi)包： package 。其基本過(guò)程是利用 Spider 類(lèi)的方法搜索網(wǎng)絡(luò)的鏈接，并回調(diào)已實(shí)現(xiàn)的方法 processPage(HTTP )，來(lái)處理搜索到的頁(yè)面內(nèi)容，并利用 HTMLParser 對(duì)象分析鏈接所對(duì)應(yīng)得頁(yè)面。 } } 至此為止， MAIN 函數(shù)的引入就完成了。 } } /** 優(yōu)化并且清理資源 * throws */ public static void close() throws Exception { ()。 try { close()。 } /** * 當(dāng) Spider 程序沒(méi)有剩余的工作時(shí)調(diào)用這個(gè)方法。 */ public boolean getRemoveQuery() { // (由 Spider 程序調(diào)用以確定查詢字符串是否應(yīng)刪除 )。 } /** * 由 Spider 程序調(diào)用以確定查詢字符串是否應(yīng)刪除。 16 } /** * 用來(lái)請(qǐng)求一個(gè)被處理的網(wǎng)頁(yè)。 } /**用于處理網(wǎng)頁(yè)，這是 Spider 程序要完成的實(shí)際工作。 } /** 當(dāng)發(fā)現(xiàn)其他連接時(shí)調(diào)用這個(gè)方法。 // processPage(_)。 */ public boolean foundExternalLink(String url) { // HTTP _=new HTTPSocket()。 // } catch (HTTPException e) { // } catch (UnknownHostException e) { // } catch (IOException e) { // }catch(Exception e){ // } return true。 // try { // (url,null)。 */ public boolean foundInternalLink(String url) { // (內(nèi)部連接： +url)。 } else { (, Command Console is not Paramters!)。 //設(shè)置分析器保存最大的 body/body大小 (200)。 if ( != 0) { //構(gòu)建一個(gè)搜索工作任務(wù)存儲(chǔ)隊(duì)列 IWorkloadStorable wl = new SpiderInternalWorkload()。 (true)。 //設(shè)置日志文件的輸出路徑 (./)。 /** * Spider 程序入口 Main 函數(shù) * param args * throws Exception */ public static void main(String[] args) throws Exception { // 創(chuàng)建一個(gè)索引輸出對(duì)象的 _writer=new IndexWriter( + \\News\\index, new StandardAnalyzer(), true)。 import 。 import 。 import 。 import 。 import 。 import 。 import 。 import 。 import 。 import 。 代碼實(shí)現(xiàn)