【正文】 他無(wú)論在理論上還是在實(shí)踐中，都給與我很大的幫助，使我得到不少的提高，這對(duì)于我以后的工作和學(xué)習(xí)都有一種巨大。致 謝在這次畢業(yè)設(shè)計(jì)的整個(gè)過(guò)程中，雖然遇到了一些技術(shù)上的難題但在與老師、同學(xué)和網(wǎng)友的交流下都及時(shí)的解決了問(wèn)題。在軟件的開(kāi)發(fā)過(guò)程中，知道了許多編程的技巧，積累了許多設(shè)計(jì)方面的經(jīng)驗(yàn)。在這段時(shí)間里，本人對(duì)C語(yǔ)言的掌握和Visual Stuido的使用有了較大的提高，在編程思想方面也有了進(jìn)一步的提高。每次多線程采集數(shù)據(jù)時(shí)，系統(tǒng)內(nèi)存的使用量都很大，對(duì)硬件的要求很高。為檢索模塊提供數(shù)據(jù)來(lái)源。本系統(tǒng)基本上達(dá)到了預(yù)期想要完成的效果，實(shí)現(xiàn)了網(wǎng)頁(yè)數(shù)據(jù)的抓取、數(shù)據(jù)的索引、數(shù)據(jù)的檢索等功能，并且在HTML文件解析方面研究了多種解決方案，實(shí)現(xiàn)了對(duì)網(wǎng)頁(yè)關(guān)鍵內(nèi)容的提取。結(jié)束語(yǔ)本人在開(kāi)發(fā)過(guò)程中學(xué)習(xí)到了很多軟件知識(shí)，同時(shí)也認(rèn)識(shí)到自己知識(shí)的匱乏，比如對(duì)很多關(guān)鍵技術(shù)只停留在理論層次，沒(méi)有經(jīng)過(guò)實(shí)踐，沒(méi)能真正懂得其中的精華，走了很多彎路，查閱了很多資料。本系統(tǒng)采用黑盒測(cè)試方法及自頂向下測(cè)試方法，從主模塊開(kāi)始，沿程序的控制路徑逐步向下，挨個(gè)進(jìn)行各個(gè)功能的測(cè)試，比如在數(shù)據(jù)檢索中輸入一個(gè)關(guān)鍵字，則在顯示檢索數(shù)據(jù)結(jié)果界面中就能看到所檢索的詳細(xì)信息，表明此系統(tǒng)沒(méi)有毛病，滿足用戶的要求。測(cè)試用例預(yù)期測(cè)試結(jié)果實(shí)際測(cè)試結(jié)果測(cè)試結(jié)論我是中國(guó)人我是/中國(guó)/中國(guó)人我是/中國(guó)人基本正確中國(guó)是社會(huì)主義國(guó)家中國(guó)/是/社會(huì)/主義/國(guó)家/社會(huì)主義中國(guó)/是/社會(huì)主義國(guó)家基本正確每個(gè)人都應(yīng)孝敬父母每個(gè)/人/都應(yīng)/孝敬/父母/孝敬父母每個(gè)人/都/應(yīng)/孝敬父母基本正確(2) 網(wǎng)頁(yè)超鏈接獲取模塊測(cè)試網(wǎng)頁(yè)超鏈接的獲取是網(wǎng)頁(yè)抓取模塊的關(guān)鍵功能，通過(guò)測(cè)試，基本上實(shí)現(xiàn)了預(yù)期的效果。 模塊測(cè)試模塊測(cè)試就是把各個(gè)模塊看成一個(gè)小整體，采用靜態(tài)測(cè)試和白盒測(cè)試法來(lái)測(cè)試各模塊是否滿足要求。 測(cè)試內(nèi)容軟件并不僅僅是程序測(cè)試，軟件測(cè)試應(yīng)貫穿于整個(gè)軟件生命周期中。(2) 測(cè)試方法系統(tǒng)的測(cè)試方法分為靜態(tài)測(cè)試和動(dòng)態(tài)測(cè)試兩種。 測(cè)試基礎(chǔ)(1) 測(cè)試的目的測(cè)試的目的，是想以最少的人力、物力和時(shí)間找出軟件中潛在的各種錯(cuò)誤和缺陷，通過(guò)修正各種錯(cuò)誤和缺陷提高軟件質(zhì)量，回避軟件發(fā)布后由于潛在的產(chǎn)品缺陷和錯(cuò)誤造成的隱患所帶來(lái)的風(fēng)險(xiǎn)。系統(tǒng)要想正確穩(wěn)定的運(yùn)行，必須經(jīng)過(guò)嚴(yán)格測(cè)試。數(shù)據(jù)檢索效果如圖55所示。}else{ (Hits為空)。 } = mytab。 (myrow)。 myrow[1] = (content).ToString()。 myrow = ()。 i ()。 ()。 (content)。 DataTable mytab = new DataTable()。h = (query)。QueryParser q = new QueryParser(indexcontent, new StandardAnalyzer())。Hits h = null。代碼實(shí)現(xiàn)如下：string Index_Path = (Index)。圖54 數(shù)據(jù)檢索主界面 檢索索引數(shù)據(jù)客戶端將要檢索的關(guān)鍵詞傳遞到服務(wù)器，服務(wù)器端處理程序首先對(duì)關(guān)鍵詞進(jìn)行分析，然后從索引文件中進(jìn)行查找，將符合匹配的結(jié)果返回給客戶端。 }} 數(shù)據(jù)的檢索 數(shù)據(jù)檢索主界面設(shè)計(jì)根據(jù)數(shù)據(jù)檢索的功能需求可知，其界面需有客戶端輸入關(guān)鍵詞的文本框，并且提供查詢按鈕。 ()。 (doc)。 (new Field(url, dr[Url].ToString(), , ))。數(shù)據(jù)庫(kù)待索引數(shù)據(jù)生成field對(duì)象，暫存在SqlDataReader中內(nèi)存文件系統(tǒng)索引文件圖53 生成索引文件基本流程代碼實(shí)現(xiàn)如下：public void AddDocument(SqlDataReader dr){ try { while (()) { Document doc = new Document()。暫存到SqlDataReader中，最后將SqlDataReader作為參數(shù)傳入添加索引項(xiàng)到索引文件的函數(shù)中，生成索引文件。索引參數(shù)配置界面如圖52所示。 } else { return title。 string title = (html, title, title, )。private string GetTitle(string html){ Match m = (html,(?m)title[^]*(?title(?:\w|\W)*?)/title[^]*。HTML數(shù)據(jù)格式是一種特殊的XML數(shù)據(jù)進(jìn)行展現(xiàn)的， ，可以方便的實(shí)現(xiàn)獲取節(jié)點(diǎn)的屬性，值等，再加上C強(qiáng)大的正則表達(dá)式的支持，可以準(zhǔn)確的完成對(duì)HTML進(jìn)行解析的工作。網(wǎng)絡(luò)蜘蛛在爬行到每一個(gè)網(wǎng)頁(yè)時(shí)，都需要對(duì)HTML文檔進(jìn)行分析，主要需要完成兩個(gè)操作：(1) 分析出頁(yè)面中所有HREF的值，并將這些URL添加到待爬行的URL隊(duì)列中，以供網(wǎng)絡(luò)蜘蛛接下來(lái)爬行使用。文件頭(TITLE)包含文檔的標(biāo)題，以及其它相關(guān)屬性，這些內(nèi)容不顯示在瀏覽器的頁(yè)面中。 if (response != null) ()。 } finally { if (reader != null) ()。 return。 ProcessPage(buffer)。 while ((line = ()) != null) { buffer += line + \r\n。 } string buffer = , line。 if (!().StartsWith(text/)) { SaveBinaryFile(response)。 response = ()。 StreamReader reader = null。具體代碼如下：private void Download(Uri url){ WebResponse response = null。} 網(wǎng)頁(yè)文件下載通過(guò)WebResponse，HttpWebRequest對(duì)象對(duì)文件進(jìn)行下載，數(shù)據(jù)可以是二進(jìn)制格式，也可以是文本類型數(shù)據(jù)。 ()。 if (!(url)) (url, )。 Download(url)。 } } else { break。 ++。 lock (manager) { while (true) { if ( != 0) { url = (Uri)()。 waitTimes++。 waitTimes = 0。具體代碼如下：private void Run(){ while (!) { if ( == 0) { (Name + waiting 1000)。 }首先設(shè)定一個(gè)網(wǎng)頁(yè)爬行入口點(diǎn)，通過(guò)解析HTML，將文檔中所有的URL添加到待訪問(wèn)URL的哈希表中。 (worker)。 threads[i] = new Thread(new ThreadStart())。 i++) { Spider worker = new Spider()。 for (int i = 0。public void Start(){ timer = new HighResolutionTimer()。本文我們采用線程數(shù)組的形式來(lái)實(shí)現(xiàn)多線程操作。}一般來(lái)說(shuō)，網(wǎng)絡(luò)蜘蛛都是使用多線程來(lái)下載網(wǎng)絡(luò)資源的。thread = new Thread(fun)。其中的核心線程類是Thread。網(wǎng)頁(yè)抓取界面如圖51所示。最廉價(jià)和快捷的方法就是使用多線程。由于本系統(tǒng)的功能和模塊較多實(shí)現(xiàn)較復(fù)雜，本章選擇了有代表性的幾個(gè)功能的實(shí)現(xiàn)方法進(jìn)行介紹，主要包括如下幾個(gè)方面：(1) 多線程網(wǎng)頁(yè)數(shù)據(jù)抓??；(2) HTML文檔的掃描與分析；(3) 數(shù)據(jù)的索引；(4) 數(shù)據(jù)的檢索。數(shù)據(jù)索引執(zhí)行過(guò)程如圖44所示。以document對(duì)象形式傳入數(shù)據(jù)庫(kù)待索引數(shù)據(jù)生成field對(duì)象生成document對(duì)象，調(diào)用add方法加入field對(duì)象加入document對(duì)象生成小段分析文檔寫(xiě)入索引信息排序位置信息內(nèi)存文件系統(tǒng)索引文件準(zhǔn)備階段索引構(gòu)建階段字節(jié)流輸入合并輸出開(kāi)始結(jié)束圖43 網(wǎng)頁(yè)數(shù)據(jù)索引流程圖 數(shù)據(jù)檢索處理流程以網(wǎng)站的形式提供數(shù)據(jù)檢索功能。數(shù)據(jù)抓取執(zhí)行過(guò)程如圖42所示。網(wǎng)頁(yè)抓取配置管理互聯(lián)網(wǎng)信息檢索系統(tǒng)配置管理模塊數(shù)據(jù)抓取模塊數(shù)據(jù)索引模塊數(shù)據(jù)檢索模塊數(shù)據(jù)索引配置管理網(wǎng)頁(yè)數(shù)據(jù)存儲(chǔ)網(wǎng)頁(yè)文件存儲(chǔ)索引數(shù)據(jù)管理中文分詞數(shù)據(jù)檢索與顯示系統(tǒng)日志信息管理日志管理模塊Html文件的解析圖41 EarthSearch系統(tǒng)結(jié)構(gòu)圖 系統(tǒng)處理流程設(shè)計(jì) 數(shù)據(jù)抓取處理流程使用多線程進(jìn)行網(wǎng)頁(yè)數(shù)據(jù)的采集，首先對(duì)入口URL的HTML進(jìn)行解析，從中獲取HTML所有URL地址，添加到待解析的URL隊(duì)列中，將HTML中核心數(shù)據(jù)保存到數(shù)據(jù)庫(kù)，并將文件下載到服務(wù)器?？梢圆皇褂迷撃K以提高系統(tǒng)性能?？梢詫⑷罩痉植煌募?jí)別，不同的樣式，保存到不同的媒介中。日志管理模塊提供了一種安全操作數(shù)據(jù)記錄的機(jī)制。首先進(jìn)行中文分詞，將接收到的用戶請(qǐng)求信息分割成若干個(gè)關(guān)鍵詞，最終進(jìn)行高亮、分頁(yè)處理反饋給用戶。實(shí)現(xiàn)搜索引擎中的Searcher模塊。 數(shù)據(jù)檢索模塊數(shù)據(jù)檢索模塊主要為用戶提供數(shù)據(jù)檢索的功能。，索引時(shí)使用單獨(dú)的線程，可以同數(shù)據(jù)抓取線程互相不干擾。 數(shù)據(jù)索引模塊數(shù)據(jù)索引模塊主要提供對(duì)數(shù)據(jù)抓取模塊的數(shù)據(jù)進(jìn)行索引，生成索引文件，為數(shù)據(jù)檢索模塊提供檢索數(shù)據(jù)。從而實(shí)現(xiàn)數(shù)據(jù)抓取的高效性。實(shí)現(xiàn)搜索引擎中的Crawler模塊。使用SOAP格式的XML進(jìn)行相關(guān)配置的保存，C對(duì)XML的操作具有很好的支持，可以高效的實(shí)現(xiàn)對(duì)XML節(jié)點(diǎn)、屬性等方面的操作。 配置管理模塊配置管理模塊主要提供了對(duì)系統(tǒng)配置文件的操作，對(duì)配置文件進(jìn)行添加，修改，刪除等功能。包括：配置管理模塊，數(shù)據(jù)抓取模塊，數(shù)據(jù)索引模塊，數(shù)據(jù)檢索模塊，日志管理模塊。 系統(tǒng)總體結(jié)構(gòu)設(shè)計(jì)系統(tǒng)在功能上采用分層方式，盡量減少層與層之間的耦合度，同時(shí)通過(guò)對(duì)模塊功能進(jìn)行精心劃分，取得了很好的可配置性。系統(tǒng)在實(shí)現(xiàn)上具有以下特點(diǎn)：系統(tǒng)命名為EarthSearch。}當(dāng)然。 } catch (Exception ex) { ()。 ()。 ()。 (doc)。 (new Field(title, dr[Title].ToString(), , ))。 while (()) { Document doc = new Document()。 SqlDataReader dr = ()。 if ( == ) { ()。 IndexWriter writer = null。database=News。uid=sa。如果系統(tǒng)也使用C語(yǔ)言開(kāi)發(fā)，作為一個(gè)API集來(lái)調(diào)用。比如改進(jìn)其索引的效率，設(shè)置權(quán)重，操作索引庫(kù)，改進(jìn)其返回結(jié)果時(shí)候的緩沖機(jī)制等等。這些都要符合查詢解析器的要求。(3) 具體搜索邏輯的設(shè)計(jì)，,也通過(guò)QueryParser提供強(qiáng)大的查詢語(yǔ)言。因此我們需要按照目標(biāo)語(yǔ)言的詞法結(jié)構(gòu)來(lái)構(gòu)建相應(yīng)的詞法分析邏輯。如圖35所示。在此基礎(chǔ)上，緊接著還可以在全文檢索引擎的基礎(chǔ)上構(gòu)建各種應(yīng)用系統(tǒng)。查詢語(yǔ)句對(duì)象流則是僅僅在查詢語(yǔ)句解析時(shí)用到的概念，它對(duì)查詢語(yǔ)句抽象，通過(guò)類的繼承結(jié)構(gòu)反映查詢語(yǔ)句的結(jié)構(gòu)，將之傳送到查找邏輯來(lái)進(jìn)行查找的操作。是對(duì)傳統(tǒng)文字中的詞的概念進(jìn)行抽象，；簡(jiǎn)單的講Token就是一個(gè)詞和所在域值的組合。圖中共存在4種數(shù)據(jù)流，分別是文件流，token流，字節(jié)流與查詢語(yǔ)句對(duì)象流。被索引文件語(yǔ)義分析邏輯索引構(gòu)建邏輯索引文件查詢語(yǔ)句索引查找邏輯評(píng)分排序邏輯查詢結(jié)果文件流文件流文件流Token流Token流字節(jié)流字節(jié)流圖33 。這部分的分析，也是進(jìn)行重