畢業(yè)設計-基于ajaxlucene構建搜索引擎的設計和實現(xiàn)-論文(編輯修改稿)
2025-09-20 11:23 本頁面
【文章內容簡介】 內完成，不需要切換整個頁面。由此可見，Ajax使得Web應用更加動態(tài)，帶來了更高的智能，并且提供了表現(xiàn)能力豐富的Ajax UI組件。3 需求分析 同步環(huán)境本系統(tǒng)的同步環(huán)境如圖3：圖3 同步環(huán)境檢索服務器通過Internet檢索Web頁面。本設計要實現(xiàn)的功能：1. 能夠對Internet上的網頁內容、標題、鏈接等信息按鏈式收集。2. 能夠實現(xiàn)一定鏈接深度的網頁收集,也就是在Internet上實現(xiàn)一定的URL級的數(shù)據(jù)收錄。3. 對收集到的數(shù)據(jù)存入MSSQL Server 2000等關系型數(shù)據(jù)庫中、或者存入文本文件中。4. 網站信息庫中的信息會不斷的變動，對收集到的數(shù)據(jù)需要定期的自動維護，做到定期的刪除、從新收集。5. 對收集到的數(shù)據(jù)進行關鍵詞的檢索。6. 對檢索出的數(shù)據(jù)要可定位性，即可以顯示對數(shù)據(jù)的出處的鏈接。7. 實現(xiàn)中英文分詞功能，能夠按中文或者英文單詞檢索數(shù)據(jù)。8. 實現(xiàn)無刷新的顯示搜索結果，對搜索用時的計算、顯示，關鍵字高亮顯示等。9. 邏輯搜索功能比如“中國”AND“北京”AND NOT（“海淀區(qū)”AND“中關村”）。 性能需求1. 精度：，即對鏈接層次里的每個鏈接頁面都能夠收集得到，并寫入收集的存儲區(qū)里。2. 時間特性要求： ，因為是對Internet網上Web信息的收集，并且采用URL級鏈式的網頁收集。收集數(shù)據(jù)時不能夠出現(xiàn)無響應的等待。 ，無論搜索的記錄多少。3. 靈活性。 輸入輸出要求輸入：搜索的關鍵字。處理：去前后空格，關鍵字，查詢索引庫。輸出：Web頁面上顯示搜索信息。 運行需求1．硬件環(huán)境需求：需要使用專用服務器，P4以上，512M以上內存，80G以上硬盤；Internet網絡連接。2．軟件環(huán)境：源端：Windows 2003/XP操作系統(tǒng)、MSSQL Server 2000數(shù)據(jù)庫、.NET 。4 方案設計結合前面的同步原理，以及需求的介紹，下面給出同步的方案設計。 搜索引擎模型模型包括爬蟲、索引生成、查詢以及系統(tǒng)配置部分。爬蟲包括：網頁抓取模塊、網頁減肥模塊、爬蟲維持模塊。索引生成包括：基于文本文件的索引、基于數(shù)據(jù)庫的索引。查詢部分有Ajax、后臺處理、前臺界面模塊。如圖4所示。圖4 系統(tǒng)模塊 數(shù)據(jù)庫的設計本課題包含一張用于存放抓取回來的網頁信息如表1。表1 網頁數(shù)據(jù)存儲表邏輯字段名物理字段名字段類型是否為空主鍵外鍵說 明編號IDintNOT NULLYes自增加地址UrlVarchar(50)NOT NULL內容ContentVARCHAR(1000)NOT NULLmeta標簽內容MataVarchar(100)NOT NULL網頁標題TitleVarchar(100)NOT NULL創(chuàng)建時間CreatedateDatetime(8)NOT NULL 模塊設計該模型按照功能劃分為三個部分，一是爬蟲抓取網頁部分，二是從數(shù)據(jù)庫建立索引部分，三是從前臺頁面查詢部分。系統(tǒng)的功能流程()。 功能流程圖 模塊圖該系統(tǒng)用3個模塊來實現(xiàn)搜索引擎的主要功能。流程如上圖所示。從一個或若干初始網頁的URL開始，獲得初始網頁上的URL，在抓取網頁的過程中，不斷從當前頁面上抽取新的URL放入隊列,直到滿足系統(tǒng)的一定停止條件。這條件可以是限定的謀個域名空間、或者是限定的網頁抓取級數(shù)。當在獲取URL時存在這樣的問題就是在實際應用中主要以絕對地址和相對地址來表現(xiàn)。絕對地址是指一個準確的、無歧義的Internet資源的位置，包含域名（主機名）、路徑名和文件名；相對地址是絕對地址的一部分。然后把抓取到的網頁信息包括網頁內容、標題、鏈接抓取時間等信息經過‘減肥’后保存到網頁存儲數(shù)據(jù)庫表里。然后通過正則表達式，去掉多余的HTML標簽。因為抓取的網頁含有HTML標簽、Javascript等，對搜索多余的信息，如果抓取到的網頁不經過處理就會使搜索變得不夠精確。讓爬蟲程序能繼續(xù)運行下去，就得抓取這個網頁上的其它URL，所以要用正則將這個網頁上的所有URL都取出來放到一個隊列里。用同樣的方法繼續(xù)抓取網頁，這里將運用到多線程技術。為了對文檔進行索引，Lucene提供了五個基礎的類，他們分別是Document，F(xiàn)ield，IndexWriter，Analyzer，Directory Document是用來描述文檔的，這里的文檔可以指一個HTML頁面，一封電子郵件，或者是一個文本文件。一個Document對象由多個Field對象組成的。可以把一個Document對象想象成數(shù)據(jù)庫中的一個記錄，而每個Field對象就是記錄的一個字段。在一個文檔被索引之前，首先需要對文檔內容進行分詞處理，這部分工作就是由Analyzer來做的。Analyzer類是一個抽象類，它有多個實現(xiàn)。針對不同的語言和應用需要選擇適合的Analyzer。Analyzer把分詞后的內容交給IndexWriter來建立索引。所有的搜索引擎的目標都是為了用戶查詢。通過查詢頁面，輸入關鍵字，提交給系統(tǒng)，程序就開始處理，最后把結果以列表的形式顯示出來。在用Lucene的搜索引擎中，用到了Lucene提供的方法，可從所建立的索引文檔中獲得結果。5 系統(tǒng)實現(xiàn) 開發(fā)環(huán)境開發(fā)平臺的選擇：。.NET是Microsoft面向Web服務的平臺，由框架、Web服務、.NET企業(yè)服務器等幾部分組成，提供涉及面較廣、功能較全面的解決方案。數(shù)據(jù)庫選擇：根據(jù)需求分析選擇了MSSQL Server 2000。 關鍵代碼詳解 代碼結構如圖6：數(shù)據(jù)庫網頁爬蟲Console端應用程序索引生成Console端應用 寫入 讀取 生成引用查詢Web程序 檢索圖6 代碼結構在網頁爬蟲Console端應用程序里輸入一個有效的URL后這部份就開始從第一個URL開始遍歷相關的鏈接并把相關的信息寫入到網頁數(shù)據(jù)存儲數(shù)據(jù)庫里，然后就由索引生成程序讀取網頁數(shù)據(jù)存儲數(shù)據(jù)庫，對每條記錄生成索引記錄，存放于生成的索引庫文件里。索引生成后在查詢部分就能夠在網頁上輸入關鍵字，對剛才抓取的信息的查詢。并可以定位到信息的出處。下面對各部分關鍵代碼進行詳解。 爬蟲部分這部份的功能就是從輸入的URL開始遍歷各個相關的網頁，它包括三個功能模塊：網頁抓取模塊、網頁減肥模塊、爬蟲維持模塊。首先定義一些變量用于保存抓取到的網頁信息，urlList用于保存當前頁面上的URL集合。然后根據(jù)全局變量url抓取此URL的網頁信息到字節(jié)流變量里，經過轉碼后讀取到變量PageString
醫(yī)療健康相關推薦
鄂ICP備17016276號-1