基于lucene的全文搜索引擎設計-資料下載頁
2025-06-22 19:21本頁面
【正文】 現(xiàn)分詞是一件很困難的事情，如果數(shù)據(jù)量小只有幾百幾千倒是可以考慮用數(shù)據(jù)庫檢索，黨數(shù)據(jù)量足夠大時，每次數(shù)據(jù)庫中數(shù)據(jù)取出顯然是不可能的。把數(shù)據(jù)從數(shù)據(jù)庫里讀取出來，寫入索引文件的時候是一條一條記錄的寫入的。Lucene能夠為文本類型的數(shù)據(jù)建立索引，所以你只要能把你要索引的數(shù)據(jù)格式轉化的文本的，Lucene就能對你的文檔進行索引和搜索。實現(xiàn)代碼： 圖61 建立索引 文件搜索實現(xiàn)文件搜索首先需在系統(tǒng)設置一個搜索文件夾,然后把待搜索的文件放到該文件夾下面,接著輸入關鍵字即可搜索,、.doc、.。在文件搜索之前需要建立索引,在建立索引的時候對性能影響最大的地方就是在將索引寫入文件的時候, ,我們是通過FileInputStream對象來讀取文件的,該對象需要一個參數(shù),即文件的路徑,通過使用FileInputStream讀取文件后,我們還需要通過BufferedReader對象把文件轉換成Buffered形式存放，最后我們通過IndexSearcher對象來實現(xiàn)文件的搜索：實現(xiàn)代碼：圖62 文件搜索 圖63 文件搜索效果圖 數(shù)據(jù)庫搜索實現(xiàn)本模塊實現(xiàn)了數(shù)據(jù)庫快速搜索,跟文件搜索一樣,數(shù)據(jù)庫數(shù)據(jù)搜索首先也需要建立索引, 在文檔建立索引之后，就可以開始對其進行搜索。這時，由用戶提交一個關鍵字檢索請求，請求將被分析，然后利用文本操作進行處理。最后將請求送到后臺，并返回搜索到的信息并顯示在前臺頁面：圖64 數(shù)據(jù)庫搜索效果圖 后臺數(shù)據(jù)編輯實現(xiàn)管理員可以點擊頁面的“后臺登錄”鏈接到管理員登錄頁面,用戶在登錄頁面輸入賬號和密碼即可登錄系統(tǒng),登錄后用戶可以看到目前系統(tǒng)所有數(shù)據(jù),同時也可以修改或者刪除任何一條數(shù)據(jù)可以通過標題來搜索自己想看的數(shù)據(jù),也可以通過添加按鈕來添加新的數(shù)據(jù)：圖65 后臺數(shù)據(jù)編輯效果圖 第7章 系統(tǒng)測試 測試重要性系統(tǒng)開發(fā)過程中，測試時一項必不可少的工作，測試幾乎伴隨著整個開發(fā)的生命周期。一個完整的測試用例不是指未能發(fā)現(xiàn)系統(tǒng)中的任何問題，而是在測試時找到漏洞并在之后良好解決。如圖61所示是本次設計系統(tǒng)的測試流程圖：測試數(shù)據(jù)程序期望結果測試結果錯誤信息改正信息糾錯評價測試圖71 測試流程圖按照軟件工程的觀點，軟件測試包括代碼編寫階段的單元測試，在軟件初步完工后的集成測試和確認測試，以及最后的系統(tǒng)測試。單元測試單元測試集成測試確認測試系統(tǒng)測試單元測試模塊模塊模塊測試報告軟件設計信息模塊測試報告測試報告軟件需求信息系統(tǒng)的其他成分可運行的系統(tǒng)測試報告驗收階段測試階段圖72 層次測試的信息流程圖。單元測試是在軟件開發(fā)過程中要進行的最低級別的測試活動，單元測試由開發(fā)者自己完成，意在測試該單元是否按期望值完成單元功能。軟件有多個單元模塊組成，各模塊之間也存在著數(shù)據(jù)的傳輸和處理，因此僅有單元測試時不夠的。集成測試和確認測試就是為了防止單個模塊的功能是否會對另一個模塊的功能產(chǎn)生不利的影響，各個子功能組合起來，能否達到預期要求的父功能，全局數(shù)據(jù)結構是否有問題，單個模塊的誤差累積起來，是否會放大，從而達到不能接受的程度等問題。系統(tǒng)測試是針對整個產(chǎn)品系統(tǒng)進行的測試，往往是功能上的測試，檢測系統(tǒng)是否能按照需求分析的功能要求一一實現(xiàn)。 測試用例為檢測本系統(tǒng)是否能夠正常工作，產(chǎn)生了如下的測試用例。的輸入關鍵字“在”,進行搜索,搜索的結果如圖73所示，可見搜索結果是正確的,并且關鍵字都已高亮度顯示。 圖73 測試用例結果圖 結 論通過測試，此次設計實現(xiàn)了搜索引擎的基本功能，能夠從海量的數(shù)據(jù)中找到與查詢相關的內容。通過分詞工具的支持，能夠很好的實現(xiàn)中文分詞效果。當然，與市場上的商用引擎相比，本系統(tǒng)也有很多的不足處有待改進。目前，大型的網(wǎng)站越來越多，站內數(shù)據(jù)的管理自然也就變得更加復雜，本系統(tǒng)作為一個獨立的搜索引擎是不夠，但通過改進和擴展，能夠很好的支持一個網(wǎng)站的站內搜索。到此，本次設計的任務基本完成。然，不足支出仍需要在以后不斷改進，例如，數(shù)據(jù)抓取和中文切分詞上都有待改進，如何更加智能的存儲信息，如何更好的切分中文詞都是以后需要改進的內容。致 謝在這一次的畢業(yè)設計中，首先,必須對我的指導老師涂德志老師表示謝意,感謝老師在四年學習上的指導和畢業(yè)設計期間給予我無微不至的關懷。從課題的選擇到確定到開發(fā)過程中都給了我悉心的指導。老師嚴謹?shù)闹螌W態(tài)度和對學生的用之不盡的耐心,對于我都是很好的榜樣。而老師淵博的知識和解決實際問題的經(jīng)驗,使我在此次開發(fā)設計中也獲益很多。還要感謝我的父母，感謝父母的養(yǎng)育以及一直以無條件的支持和鼓勵?？傊?，我要感謝在畢業(yè)設計的整個過程中幫助和鼓勵我的所有領導、老師和同學，沒有他們的幫助我也不可能完成此次畢業(yè)設計。感謝他們給我的各方面的關心和幫助。參考文獻 [1] 劉奕群,馬少平。搜索引擎技術基礎[M].[2] ：Lucene amp。 Java精華版（第2版）[M].[3] 耿祥義,[M].[4] 郭克華,[5]李剛,宋偉,+Lucene構建搜索引擎[M].北京:.[6] 蒲宇達,關毅,[J],:246250.[7] [M].合肥:.[8] 張校乾,金玉玲,[J]..[9] :(碩士學位論文) [D]..[10] [EB/OL].2009. [11] Otis Gospodnetic, Erik Hatcher. Lucene In Action[M]. Manning Publication, 2005 [12] Apache lucene home page[EB/OL]. [13] Allan Heydon, Marc Najork, Mercator: A scalable, Extensible Web Crawler[J]. Compaq Research Center, 1999[14] Computers and Signal Processing, IEEE Pacific Rim Conference[J], 402405.[15] R. Monika, Henzinger. Hyperlink Analysis for the web[J]. IEEE Internet Computing archive, 2001, 31
高考資料相關推薦
鄂ICP備17016276號-1