【導(dǎo)讀】網(wǎng)的搜索引擎也就應(yīng)運(yùn)而生了。本文圍繞這一技術(shù)。首先從搜索引擎的種類和原理整體分析了搜索引擎，然后研究網(wǎng)絡(luò)蜘蛛這一技。析、為設(shè)計(jì)校園搜索引擎作最基本的工作。選擇.NET為設(shè)計(jì)平臺，以C#語言編寫程序。隨著Inter的快速發(fā)展，網(wǎng)絡(luò)正在深刻地影響著我們的生活。能力，已逐漸成為Inter上最重要的信息發(fā)布和交互方式。網(wǎng)頁數(shù)量，這給人們帶來了前所未有的豐富的信息資源。Web是一個動態(tài)增長的信息源，隨時會發(fā)生各種變化。一地區(qū)的信息而建立，縮小了搜索范圍，非常實(shí)用，如企業(yè)查詢、行業(yè)信息查詢等等。這種專業(yè)化的搜索引擎需要對專業(yè)知識專而精，并要求內(nèi)容全面。更符合每個用戶的需求。目錄搜索引擎中最具代表性。差異，因此這類元搜索受到了一定程度的關(guān)注，特別適合于對查全率要求高的查詢。相同，因此，大大影響了元搜索的檢索效果。據(jù)此關(guān)鍵詞進(jìn)行對其服務(wù)器的數(shù)據(jù)庫進(jìn)行搜索。

　　

【正文】 單擊“確定”按鈕即完成搜索范圍的設(shè)置，并自動關(guān)閉“設(shè)置搜索范圍”的窗口。 回到主界面后，可以選擇“其他設(shè)置選項(xiàng)”按鈕，進(jìn)行其他方面的設(shè)置，其界面如圖 15所示。在“基本”選項(xiàng)里可以設(shè)置程序運(yùn)行時需要的線程數(shù)，設(shè)置索引存放目錄，索引文件里存放的是爬行過的 URL及其相關(guān)提取信 息（關(guān)鍵詞，標(biāo)簽等）。 圖 15 其他設(shè)置選項(xiàng)圖 在“文件存放”選項(xiàng)里，可以設(shè)置下載下來經(jīng)過過濾之后的網(wǎng)頁文件存放目錄，如圖 16所示。 19 圖 16 文件存放圖 在“ URL輸出”這個選項(xiàng)里可以選擇是否要顯示處理的 URL。當(dāng)把這個選項(xiàng)選上時，在程序狀態(tài)框里會顯示正在處理的及處理過的 URL，如圖 17所示。 圖 17 URL輸出圖 經(jīng)過這些設(shè)置后，單擊確定即可完成所有選項(xiàng)的設(shè)置并自動關(guān) 閉“其他設(shè)置選項(xiàng)”窗口然后回到程序主界面。在單擊“開始爬取”按鈕后，程序就開始運(yùn)行并根據(jù)給定的初始 URL集爬取其對應(yīng)的網(wǎng)頁。而在單擊“開始爬取”按鈕后，此按鈕會顯示成“完成”。如圖 18所示，若再單擊此按鈕，則程序會停止爬取。在程序界面的下方，顯示出當(dāng)前爬取過的 URL數(shù)，已用的爬取時間，未處理的文件個數(shù)。當(dāng)單擊“清空狀態(tài)欄”按鈕時，則在狀態(tài)框里顯示為空白。在完成爬取后，單擊“退出程序”按鈕后，則退出本程序。 圖 18 爬行時的狀態(tài)圖 20 蜘蛛程序是根據(jù)給定的 URL集自動 爬取網(wǎng)頁，所以設(shè)計(jì)了定時爬取功能?！跋到y(tǒng)當(dāng)前時間”顯示的是程序所在服務(wù)器系統(tǒng)的當(dāng)前時間，“定時爬取時間”是用戶希望在某個時間爬取網(wǎng)頁的時間。在用戶完成搜索范圍及其他設(shè)置選項(xiàng)后，用戶可以在“定時爬取時間”的文本框里按照系統(tǒng)當(dāng)前時間的格式輸入時間，當(dāng)系統(tǒng)當(dāng)前時間到達(dá)用戶輸入的定時爬取時間后，程序就觸發(fā)“開始爬取”按鈕事件，自動開始爬取網(wǎng)頁，直到 URL隊(duì)列為空為止。 經(jīng)測試，本程序?qū)ε廊?shù)據(jù)量較小的校園網(wǎng)來說，可以正常運(yùn)行，并能爬取得到相應(yīng)的頁面。 隨著 Inter的迅速發(fā)展和校園網(wǎng)的普及壯大，網(wǎng) 絡(luò)上的信息資源成指數(shù)級增長，通用搜索引擎給我們查找網(wǎng)絡(luò)信息提供了便利，但由于 Web信息量的龐大以及各類信息的復(fù)雜性和人們需求的多樣性，利用通用搜索引擎檢索出的信息量龐大，不太適用于特定的服務(wù)領(lǐng)域。因此，本文就針對校園網(wǎng)用戶來設(shè)計(jì)校園網(wǎng)搜索引擎中的網(wǎng)絡(luò)蜘蛛模塊，開發(fā)高性能的網(wǎng)絡(luò)蜘蛛對于提高搜索引擎的整體性能起著至關(guān)重要的作用，也是研究和開發(fā)新一代的搜索引擎必然要求。本文在閱讀了大量國內(nèi)外的關(guān)于搜索引擎及網(wǎng)絡(luò)蜘蛛技術(shù)的文獻(xiàn)基礎(chǔ)上，分析了搜索引擎及網(wǎng)絡(luò)蜘蛛的工作原理，利用相關(guān)技術(shù)實(shí)現(xiàn)了網(wǎng)絡(luò)蜘蛛的分析與設(shè)計(jì)。 搜索 引擎的未來發(fā)展方向是專業(yè)化、智能化、個性化等方向，那么與其相應(yīng)的網(wǎng)絡(luò)蜘蛛設(shè)計(jì)也就向這些方向發(fā)展。如何提高蜘蛛程序優(yōu)先爬取重要網(wǎng)頁，提取重要的URL；研究新的，更好搜索策略，以進(jìn)一步提高其工作效率；如何將信息抽取更加深層次的與信息檢索相結(jié)合；隨著網(wǎng)絡(luò)上動態(tài)網(wǎng)頁的不斷增加，對動態(tài)網(wǎng)頁的爬取是網(wǎng)頁獲取的難點(diǎn)和重點(diǎn)，有待于進(jìn)一步研究。 21 參考文獻(xiàn) [1] 白巖，董琦，康紅，周芮 .網(wǎng)絡(luò)搜索引擎 [J].吉林長春：信息化與網(wǎng)絡(luò)建設(shè)， 2021，（ 7） ： 5051 [2] 徐險峰 .網(wǎng)絡(luò)信息檢索搜索 引擎技術(shù)及發(fā)展趨勢 [J].湖南張家界 ：江西圖書館學(xué)刊， 2021， 35（ 4）： 6466 [3] 彭建榮，羅永會 .搜索引擎的基本原理及發(fā)展趨勢 [J].云南大理：電腦知識技術(shù)， 2021，（ 2）：8485 [4] 李鈴 .搜索引擎發(fā)展方向 [J].云南昆明 ：科技情報(bào)開發(fā)與經(jīng)濟(jì)， 2021， 15（ 21）： 247248 [5] 李盛韜，趙章界，余智華 .基于主題的 Web 信息采集系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn) [C].北京： 中國科學(xué)院計(jì)算技術(shù)研究所軟件研究室， 2021 [6] 周軍，遲呈英 .基于校園網(wǎng)的中文搜索引擎系統(tǒng) [J].鞍山：沈陽師范大學(xué)學(xué)報(bào)（自然科學(xué)版） ，2021， 24（ 1）： 5557 [7] 陳偉斌，張 鑫 .一種基于校園網(wǎng)的元搜索引擎的研究與設(shè)計(jì) [J].杭州：現(xiàn)代計(jì)算機(jī)， 2021，（ 3）：4447 [8] 華偉臣，張秀瓊 .網(wǎng)絡(luò)蜘蛛搜索研究 [J].四川樂山：樂山師范學(xué)院學(xué)報(bào)， 2021， 21（ 5）： 8587 [9] 杜亞軍，嚴(yán)兵，宋亮 .爬行蟲算法設(shè)計(jì)與程序?qū)崿F(xiàn) [J].四川成都：計(jì)算機(jī)應(yīng)用， 2021， 24（ 1）：3335 [10] 宋聚平，王永成，滕偉，許歡慶 .搜索引擎中 Robot 搜索算法的優(yōu)化 [J].上海：情報(bào)學(xué)報(bào)， 2021，21（ 2）： 130133 [11] 林彤，趙政 .網(wǎng)上機(jī)器人及其實(shí)現(xiàn) [J].天津：天津大學(xué)學(xué)報(bào)， 1999，（ 1）： 5356 [12] 李學(xué)勇，歐陽柳波，李國徽，鐘敏娟 .網(wǎng)絡(luò)蜘蛛搜索策略比較研究 [J].湖南長沙：計(jì)算機(jī)工程與應(yīng)用， 2021，（ 4）： 128131 [13] 董瑞洪，張秋余，唐靜兵，張濤 .搶先式多線程 Spider 在智能搜索引擎中的實(shí)現(xiàn) [J].蘭州：計(jì)算機(jī)工程， 2021， 31（ 18） ： 9092 [14] （美） Heaton J，童兆豐，李純，劉潤杰 .網(wǎng)絡(luò)機(jī)器人 Java 編程指南 [M].北京：電子工業(yè)出版社， 20217 [15] 付克志 .基于 Web 的文本信息檢索算法的研究 [D].大連：大連理工大學(xué)， 2021，（ 12） [16] 吳小竹 .基于 JAVA的多線程 SPIDER的設(shè)計(jì)與實(shí)現(xiàn) [J].福建福州：福建電腦， 2021，（ 6）： 6263 [17] 葉允明，于水，馬范援，宋暉，張嶺 .分布式 WebCrawler 的研究：結(jié)構(gòu)、算法和策略 [J].上海：電子學(xué)報(bào)， 2021， （ 12A） ： 20212021 [18] 張曉濱，石美紅，蔡桂洲 .校園網(wǎng)搜索引擎設(shè)計(jì) [J].陜西西安：西安工程科技學(xué)院學(xué)報(bào)， 2021，16（ 3）： 243246 [19] 劉世濤 .簡析搜索引擎中網(wǎng)絡(luò)爬蟲的搜索策略 [J].江蘇連云港：阜陽師范學(xué)院學(xué)報(bào)（自然科學(xué)版）， 2021， 23（ 3）： 5962 [20] 赫楓齡，左萬利 .利用超鏈接信息改進(jìn)網(wǎng)頁爬行器的搜索策略 [J].吉林長春：吉林大學(xué)學(xué)報(bào)（信息科學(xué)版）， 2021， 23（ 1）： 5963 [21] 劉洋 .基于 Web 的內(nèi)容挖掘技術(shù)研究 [D].哈爾濱：哈爾濱工程大學(xué)， 2021，（ 1） [22] 陳杰 .主題搜索引擎中網(wǎng)絡(luò)蜘蛛搜索策略研究 [D].杭州：浙江大學(xué)， 2021，（ 6） [23] 李曉明，閆宏飛，王繼民 .搜索引擎 — — 原理、技術(shù)與系統(tǒng) [M].北京：科學(xué)出版社， 20214 [24] 唐雅媛 .基于搜索引擎的網(wǎng)絡(luò)蜘蛛實(shí)現(xiàn)原理的研究 [J].湖南永州：湖南科技學(xué)院學(xué)報(bào)， 2021，27（ 11） ： 229231 [25] Sriram Raghavan, Hector GarciaMolina. Crawling the Hidden Web[A]. Proceedings of the 27th international Conference on Very Large Data Bases (VLDB). Rome, Italy, 202109 [26] Junghoo Cho, Hector GarciaMolina. Parallel Crawlers[A]. Proceeding of the 11th World Wide Web Conference. New York: ACM Press, 2021. 124135. [27] 嚴(yán)亞蘭 .面向動態(tài)網(wǎng)頁爬行的 Crawler 架構(gòu) [J].武漢：圖書情報(bào)知識， 2021，（ 4）： 5153 [28] 齊冬梅，杜亞軍，李戰(zhàn)勝 .個性化智能搜索引擎爬蟲算法 [J].四川成都： 計(jì)算機(jī)應(yīng)用， 2021，24（ 12）： 179182 [29] 魏小梅 .個性化搜索引擎技術(shù)探討 [J].湖北武漢：農(nóng)業(yè)信息網(wǎng)絡(luò)， 2021，（ 4）： 5557