基于lucene的全文搜索引擎設(shè)計(jì)-資料下載頁
2025-06-22 19:21本頁面
【正文】 現(xiàn)分詞是一件很困難的事情，如果數(shù)據(jù)量小只有幾百幾千倒是可以考慮用數(shù)據(jù)庫檢索，黨數(shù)據(jù)量足夠大時，每次數(shù)據(jù)庫中數(shù)據(jù)取出顯然是不可能的。把數(shù)據(jù)從數(shù)據(jù)庫里讀取出來，寫入索引文件的時候是一條一條記錄的寫入的。Lucene能夠?yàn)槲谋绢愋偷臄?shù)據(jù)建立索引，所以你只要能把你要索引的數(shù)據(jù)格式轉(zhuǎn)化的文本的，Lucene就能對你的文檔進(jìn)行索引和搜索。實(shí)現(xiàn)代碼： 圖61 建立索引 文件搜索實(shí)現(xiàn)文件搜索首先需在系統(tǒng)設(shè)置一個搜索文件夾,然后把待搜索的文件放到該文件夾下面,接著輸入關(guān)鍵字即可搜索,、.doc、.。在文件搜索之前需要建立索引,在建立索引的時候?qū)π阅苡绊懽畲蟮牡胤骄褪窃趯⑺饕龑懭胛募臅r候, ,我們是通過FileInputStream對象來讀取文件的,該對象需要一個參數(shù),即文件的路徑,通過使用FileInputStream讀取文件后,我們還需要通過BufferedReader對象把文件轉(zhuǎn)換成Buffered形式存放，最后我們通過IndexSearcher對象來實(shí)現(xiàn)文件的搜索：實(shí)現(xiàn)代碼：圖62 文件搜索 圖63 文件搜索效果圖 數(shù)據(jù)庫搜索實(shí)現(xiàn)本模塊實(shí)現(xiàn)了數(shù)據(jù)庫快速搜索,跟文件搜索一樣,數(shù)據(jù)庫數(shù)據(jù)搜索首先也需要建立索引, 在文檔建立索引之后，就可以開始對其進(jìn)行搜索。這時，由用戶提交一個關(guān)鍵字檢索請求，請求將被分析，然后利用文本操作進(jìn)行處理。最后將請求送到后臺，并返回搜索到的信息并顯示在前臺頁面：圖64 數(shù)據(jù)庫搜索效果圖 后臺數(shù)據(jù)編輯實(shí)現(xiàn)管理員可以點(diǎn)擊頁面的“后臺登錄”鏈接到管理員登錄頁面,用戶在登錄頁面輸入賬號和密碼即可登錄系統(tǒng),登錄后用戶可以看到目前系統(tǒng)所有數(shù)據(jù),同時也可以修改或者刪除任何一條數(shù)據(jù)可以通過標(biāo)題來搜索自己想看的數(shù)據(jù),也可以通過添加按鈕來添加新的數(shù)據(jù)：圖65 后臺數(shù)據(jù)編輯效果圖 第7章 系統(tǒng)測試 測試重要性系統(tǒng)開發(fā)過程中，測試時一項(xiàng)必不可少的工作，測試幾乎伴隨著整個開發(fā)的生命周期。一個完整的測試用例不是指未能發(fā)現(xiàn)系統(tǒng)中的任何問題，而是在測試時找到漏洞并在之后良好解決。如圖61所示是本次設(shè)計(jì)系統(tǒng)的測試流程圖：測試數(shù)據(jù)程序期望結(jié)果測試結(jié)果錯誤信息改正信息糾錯評價測試圖71 測試流程圖按照軟件工程的觀點(diǎn)，軟件測試包括代碼編寫階段的單元測試，在軟件初步完工后的集成測試和確認(rèn)測試，以及最后的系統(tǒng)測試。單元測試單元測試集成測試確認(rèn)測試系統(tǒng)測試單元測試模塊模塊模塊測試報(bào)告軟件設(shè)計(jì)信息模塊測試報(bào)告測試報(bào)告軟件需求信息系統(tǒng)的其他成分可運(yùn)行的系統(tǒng)測試報(bào)告驗(yàn)收階段測試階段圖72 層次測試的信息流程圖。單元測試是在軟件開發(fā)過程中要進(jìn)行的最低級別的測試活動，單元測試由開發(fā)者自己完成，意在測試該單元是否按期望值完成單元功能。軟件有多個單元模塊組成，各模塊之間也存在著數(shù)據(jù)的傳輸和處理，因此僅有單元測試時不夠的。集成測試和確認(rèn)測試就是為了防止單個模塊的功能是否會對另一個模塊的功能產(chǎn)生不利的影響，各個子功能組合起來，能否達(dá)到預(yù)期要求的父功能，全局?jǐn)?shù)據(jù)結(jié)構(gòu)是否有問題，單個模塊的誤差累積起來，是否會放大，從而達(dá)到不能接受的程度等問題。系統(tǒng)測試是針對整個產(chǎn)品系統(tǒng)進(jìn)行的測試，往往是功能上的測試，檢測系統(tǒng)是否能按照需求分析的功能要求一一實(shí)現(xiàn)。 測試用例為檢測本系統(tǒng)是否能夠正常工作，產(chǎn)生了如下的測試用例。的輸入關(guān)鍵字“在”,進(jìn)行搜索,搜索的結(jié)果如圖73所示，可見搜索結(jié)果是正確的,并且關(guān)鍵字都已高亮度顯示。 圖73 測試用例結(jié)果圖 結(jié) 論通過測試，此次設(shè)計(jì)實(shí)現(xiàn)了搜索引擎的基本功能，能夠從海量的數(shù)據(jù)中找到與查詢相關(guān)的內(nèi)容。通過分詞工具的支持，能夠很好的實(shí)現(xiàn)中文分詞效果。當(dāng)然，與市場上的商用引擎相比，本系統(tǒng)也有很多的不足處有待改進(jìn)。目前，大型的網(wǎng)站越來越多，站內(nèi)數(shù)據(jù)的管理自然也就變得更加復(fù)雜，本系統(tǒng)作為一個獨(dú)立的搜索引擎是不夠，但通過改進(jìn)和擴(kuò)展，能夠很好的支持一個網(wǎng)站的站內(nèi)搜索。到此，本次設(shè)計(jì)的任務(wù)基本完成。然，不足支出仍需要在以后不斷改進(jìn)，例如，數(shù)據(jù)抓取和中文切分詞上都有待改進(jìn)，如何更加智能的存儲信息，如何更好的切分中文詞都是以后需要改進(jìn)的內(nèi)容。致 謝在這一次的畢業(yè)設(shè)計(jì)中，首先,必須對我的指導(dǎo)老師涂德志老師表示謝意,感謝老師在四年學(xué)習(xí)上的指導(dǎo)和畢業(yè)設(shè)計(jì)期間給予我無微不至的關(guān)懷。從課題的選擇到確定到開發(fā)過程中都給了我悉心的指導(dǎo)。老師嚴(yán)謹(jǐn)?shù)闹螌W(xué)態(tài)度和對學(xué)生的用之不盡的耐心,對于我都是很好的榜樣。而老師淵博的知識和解決實(shí)際問題的經(jīng)驗(yàn),使我在此次開發(fā)設(shè)計(jì)中也獲益很多。還要感謝我的父母，感謝父母的養(yǎng)育以及一直以無條件的支持和鼓勵?？傊乙兄x在畢業(yè)設(shè)計(jì)的整個過程中幫助和鼓勵我的所有領(lǐng)導(dǎo)、老師和同學(xué)，沒有他們的幫助我也不可能完成此次畢業(yè)設(shè)計(jì)。感謝他們給我的各方面的關(guān)心和幫助。參考文獻(xiàn) [1] 劉奕群,馬少平。搜索引擎技術(shù)基礎(chǔ)[M].[2] ：Lucene amp。 Java精華版（第2版）[M].[3] 耿祥義,[M].[4] 郭克華,[5]李剛,宋偉,+Lucene構(gòu)建搜索引擎[M].北京:.[6] 蒲宇達(dá),關(guān)毅,[J],:246250.[7] [M].合肥:.[8] 張校乾,金玉玲,[J]..[9] :(碩士學(xué)位論文) [D]..[10] [EB/OL].2009. [11] Otis Gospodnetic, Erik Hatcher. Lucene In Action[M]. Manning Publication, 2005 [12] Apache lucene home page[EB/OL]. [13] Allan Heydon, Marc Najork, Mercator: A scalable, Extensible Web Crawler[J]. Compaq Research Center, 1999[14] Computers and Signal Processing, IEEE Pacific Rim Conference[J], 402405.[15] R. Monika, Henzinger. Hyperlink Analysis for the web[J]. IEEE Internet Computing archive, 2001, 31
高考資料相關(guān)推薦
鄂ICP備17016276號-1