【文章內(nèi)容簡介】 E和數(shù)據(jù)庫功能的比較 LUCENE全文索引引擎 數(shù)據(jù)庫 匹配效果 通過詞元 (term)進(jìn)行匹配，通過語言分析接口的實現(xiàn)，可以實現(xiàn)對中文等非英語的支持 使用： like %% 會把 herlands也匹配出來， 多 個 關(guān) 鍵 詞 的 模 糊 匹 配 ： 使 用 like %%% ： 就 不 能 匹 配 詞 序 顛 倒 的.. 匹配度 有匹配度算法，將匹配程度（相似度）比較高的結(jié)果排在前面。 沒有匹配程度的控制：比如有記錄中 出現(xiàn) 5次 和出現(xiàn) 1次的，結(jié)果是一樣的 結(jié)果輸出 通過特別的算法，將最匹配度最高的頭 100 條結(jié)果輸出，結(jié)果集是緩沖式的小批量讀取的。 返回所有的結(jié)果集，在匹配條目非常多的時候（比如上萬條）需要大量的內(nèi)存存放這些臨時結(jié)果集 可定制性 通 過不同的語言分析接口實現(xiàn)，可以方便的定制出符合應(yīng)用需要的索引規(guī)則（包括對中文的支持） 沒有接口或接口復(fù)雜，無法定制 結(jié)論 高負(fù)載的模糊查詢應(yīng)用，需要負(fù)責(zé)的模糊查詢的規(guī)則，索引的資料量比較大 使用率低，模糊匹配規(guī)則簡單或者需要模糊查詢的資料量少 畢業(yè)論文 第 7 頁 表 LUCENE和其它全文檢索系統(tǒng)區(qū)別 LUCENE 其他開源全文檢索系統(tǒng) 增量索引和批量索引 可以進(jìn)行增量的索引 (Append)，可以對于大量數(shù) 據(jù)進(jìn)行批量索引，并且接口設(shè)計用于優(yōu)化批量索引和小批量的增量索引 很多系統(tǒng)只支持批量的索引，有時數(shù)據(jù)源有 一點增加也需要重建索引。 數(shù)據(jù)源 LUCENE沒有定義具體的數(shù)據(jù)源，而是一個文檔的結(jié)構(gòu)，因此可以非常靈活的適應(yīng)各種應(yīng)用（只要前端有合適的轉(zhuǎn)換器把數(shù)據(jù)源轉(zhuǎn)換成相應(yīng)結(jié)構(gòu)）， 很多系統(tǒng)只針對網(wǎng)頁，缺乏其他格式文檔的靈活性。 索引內(nèi)容抓取 LUCENE的文檔是由多個字段組成的，甚至可以控制那些字段需要進(jìn)行索引，那些字段不需要索引，近一步索引的字段也分為需要分詞和不需要分詞的類型需要進(jìn)行分詞的索引，比如：標(biāo)題，文章內(nèi)容字段 ， 不需要進(jìn)行分詞的索引，比如：作者 /日期字段 缺乏通用性，往往將文檔整個索引了 語言分析 通過語言分析器的不同擴(kuò)展實現(xiàn)： 可以過濾掉不需要的詞： an the of 等， 西文語法分析：將 jumps jumped jumper都?xì)w結(jié)成 jump進(jìn)行索引/檢索 非英文支持：對亞洲語言，阿拉伯語言的索引支持 缺乏通用接口實現(xiàn) 查詢分析 通過查詢分析接口的實現(xiàn)，可以定制自己的查詢語法規(guī)則：比如： 多個關(guān)鍵詞之間的 + and or關(guān)系等 并發(fā)訪問 能夠支持多用戶的使用 畢業(yè)論文 第 8 頁 全文檢索和數(shù)據(jù)庫應(yīng)用最大的不同在于：讓最相關(guān)的頭 100 條結(jié)果滿足 98%以上用戶的需求 LUCENE 的創(chuàng)新之處： 大部分的搜索 （數(shù)據(jù)庫）引擎都是用 B 樹結(jié)構(gòu)來維護(hù)索引，索引的更新會導(dǎo)致大量的 IO 操作， LUCENE 在實現(xiàn)中，對此稍微有所改進(jìn)：不是維護(hù)一個索引文件，而是在擴(kuò)展索引的時候不斷創(chuàng)建新的索引文件，然后定期的把這些新的小索引文件合并到原先的大索引中（針對不同的更新策略，批次的大小可以調(diào)整），這樣在不影響檢索的效率的前提下，提高了索引的效率。 LUCENE 簡介 LUCENE 不是一個完整的全文索引應(yīng)用，而是是一個用 Java 寫的全文索引引擎工具包，它可以方便的嵌入到各種應(yīng)用中實現(xiàn)針對應(yīng)用的全文索引 /檢索功能。 LUCENE 的作 者： LUCENE 的貢獻(xiàn)者 Doug Cutting 是一位資深全文索引 /檢索專家，曾經(jīng)是 VTwin 搜索引擎 (Apple 的 Copland 操作系統(tǒng)的成就之一 )的主要開發(fā)者，后在Excite 擔(dān)任高級系統(tǒng)架構(gòu)設(shè)計師，目前從事于一些 INTERNET 底層架構(gòu)的研究。他貢獻(xiàn)出的 LUCENE 的目標(biāo)是為各種中小型應(yīng)用程序加入全文檢索功能。 LUCENE 的發(fā)展歷程：早先發(fā)布在作者自己的 ，后來發(fā)布在SourceFe ， 2020 年年底成為 APACHE 基金會 jakarta 的一個子項目： 已經(jīng)有很多 Java 項目都使用了 LUCENE 作為其后臺的全文索引引擎，比較著名的有： Jive： WEB 論壇系統(tǒng)； Eyebrows：郵件列表 HTML 歸檔 /瀏覽 /查詢系統(tǒng)，本文的主要參考文檔 “TheLUCENE search engine: Powerful, flexible, and free”作者就是 EyeBrows系統(tǒng)的主要開發(fā)者之一，而 EyeBrows 已經(jīng)成為目前 APACHE 項目的主要郵件列表歸檔系統(tǒng)。 Cocoon:基于 XML 的 web 發(fā)布框架，全文檢 索部分使用了 LUCENE 。 Eclipse:基于 Java 的開放開發(fā)平臺，幫助部分的全文索引使用了 LUCENE 對于中文用戶來說，最關(guān)心的問題是其是否支持中文的全文檢索。但通過后面對于LUCENE 的結(jié)構(gòu)的介紹，你會了解到由于 LUCENE 良好架構(gòu)設(shè)計，對中文的支持只需對其語言詞法分析接口進(jìn)行擴(kuò)展就能實現(xiàn)對中文檢索的支持。 畢業(yè)論文 第 9 頁 LUCENE 的應(yīng)用、特點及優(yōu)勢 作為一個開放源代碼項目， LUCENE 從問世之后，引發(fā)了開放源代碼社群的巨大反響，程序員們不僅使用它構(gòu)建具體的全文檢索應(yīng)用，而且將之集成到各種系統(tǒng)軟件中 去，以及構(gòu)建 Web 應(yīng)用，甚至某些商業(yè)軟件也采用了 LUCENE 作為其內(nèi)部全文檢索子系統(tǒng)的核心。 apache 軟件基金會的網(wǎng)站使用了 LUCENE 作為全文檢索的引擎， IBM 的開源軟件 eclipse 的 版本中也采用了 LUCENE 作為幫助子系統(tǒng)的全文索引引擎，相應(yīng)的IBM 的商業(yè)軟件 Web Sphere 中也采用了 LUCENE。 LUCENE 以其開放源代碼的特性、優(yōu)異的索引結(jié)構(gòu)、良好的系統(tǒng)架構(gòu)獲得了越來越多的應(yīng)用。 LUCENE 作為一個全文檢索引擎，其具有如下突出的優(yōu)點： 索引文件格式獨立于應(yīng)用平臺。 LUCENE 定義了一套以 8 位字節(jié)為基礎(chǔ)的索引文件格式，使得兼容系統(tǒng)或者不同平臺的應(yīng)用能夠共享建立的索引文件。 在傳統(tǒng)全文檢索引擎的倒排索引的基礎(chǔ)上，實現(xiàn)了分塊索引，能夠針對新的文件建立小文件索引，提升索引速度。然后通過與原有索引的合并，達(dá)到優(yōu)化的目的。 優(yōu)秀的面向?qū)ο蟮南到y(tǒng)架構(gòu)，使得對于 LUCENE 擴(kuò)展的學(xué)習(xí)難度降低，方便擴(kuò)充新功能。 設(shè)計了獨立于語言和文件格式的文本分析接口，索引器通過接受 Token 流完成索引文件的創(chuàng)立，用戶擴(kuò)展新的語言和文件格式，只需要實現(xiàn)文本分析的接口。 已經(jīng)默認(rèn)實現(xiàn)了一套強(qiáng)大的查 詢引擎，用戶無需自己編寫代碼即使系統(tǒng)可獲得強(qiáng)大的查詢能力， LUCENE 的查詢實現(xiàn)中默認(rèn)實現(xiàn)了布爾操作、模糊查詢（ Fuzzy Search）、分組查詢等等。 6 、 LUCENE 數(shù)據(jù)格式兼容 性 。即用 Java LUCENE 生成的索引，能被 C 讀出來，反之亦然 面對已經(jīng)存在的商業(yè)全文檢索引擎， LUCENE 也具有相當(dāng)?shù)膬?yōu)勢。首先，它的開發(fā)源代碼發(fā)行方式（遵守 Apache Software License），在此基礎(chǔ)上程序員不僅僅可以充分的利用 LUCENE 所提供的強(qiáng)大功能，而且可以深入細(xì)致的學(xué)習(xí)到全文檢索引擎制作 技術(shù)和面相對象編程的實踐，進(jìn)而在此基礎(chǔ)上根據(jù)應(yīng)用的實際情況編寫出更好的更適合當(dāng)前應(yīng)用的全文檢索引擎。在這一點上，商業(yè)軟件的靈活性遠(yuǎn)遠(yuǎn)不及 LUCENE。其次， 畢業(yè)論文 第 10 頁 LUCENE 秉承了開放源代碼一貫的架構(gòu)優(yōu)良的優(yōu)勢，設(shè)計了一個合理而極具擴(kuò)充能力的面向?qū)ο蠹軜?gòu)，程序員可以在 LUCENE 的基礎(chǔ)上擴(kuò)充各種功能，比如擴(kuò)充中文處理能力，從文本擴(kuò)充到 HTML、 PDF 等等文本格式的處理，編寫這些擴(kuò)展的功能不僅僅不復(fù)雜，而且由于 LUCENE 恰當(dāng)合理的對系統(tǒng)設(shè)備做了程序上的抽象，擴(kuò)展的功能也能輕易的達(dá)到跨平臺的能力。最后，轉(zhuǎn)移到 apache 軟件基金會后，借助于 apache 軟件基金會的網(wǎng)絡(luò)平臺，程序員可以方便的和開發(fā)者、其它程序員交流，促成資源的共享，甚至直接獲得已經(jīng)編寫完備的擴(kuò)充功能。最后，雖然 LUCENE 使用 Java 語言寫成，但是開放源代碼社區(qū)的程序員正在不懈的將之使用各種傳統(tǒng)語言實現(xiàn)（例如 . framework），在遵守 LUCENE 索引文件格式的基礎(chǔ)上，使得 LUCENE 能夠運行在各種各樣的平臺上，系統(tǒng)管理員可以根據(jù)當(dāng)前的平臺適合的語言來合理的選擇。 互聯(lián)網(wǎng) 搜索引擎 的研究 當(dāng)今的搜索引擎大多采用集中式的搜索方式。所謂集中式 就是通過很多服務(wù)器把網(wǎng)絡(luò)資源全部下載到本地，然后做一些處理，為搜索做準(zhǔn)備。搜索引擎結(jié)構(gòu)大致分為 ： 搜索器、索引器和檢索器等幾部分組成 。 搜索器就是人們所說的網(wǎng)絡(luò)蜘蛛 (Web Spider)或者叫網(wǎng)絡(luò)機(jī)器人。通過這種 Spider 程序，可以從一個網(wǎng)頁出發(fā)，通過提取其中的 URL，在遵從 Robot Exclusion 協(xié)議的前提下，不斷地提取得到的 URL，并且下載本 URL 的資源；而索引器的主要工作則是利用下載的網(wǎng)絡(luò)資源，提取索引項，用于生成文檔庫的索引表；檢索器主要是通過理解用戶的查詢需求，在文檔庫中檢索出文檔并且進(jìn)行快 速匹配，然后進(jìn)行相關(guān)性排序，通過鏈接網(wǎng)頁提供給用戶檢索結(jié)果。至此，完成搜索。 這樣就可以知道 :只要 LUCENE+”蜘蛛爬蟲 ”+”網(wǎng)頁相關(guān)度排名 ”，就可以成為一個真正意義上的搜索引擎，事實上 LUCENE 的創(chuàng)始人 Doug Cutting 已經(jīng)開發(fā)了一個叫做 ”Nutch”的搜索引擎系統(tǒng)了，這個系統(tǒng)加上了“蜘蛛程序”可以對整個 Inter 的網(wǎng)頁進(jìn)行搜索， Nutch 具體的 邏輯 關(guān)系圖如下： 畢業(yè)論文 第 11 頁 圖 Nutch 邏輯關(guān)系圖 真正的搜索引擎在搜索的時候就是和 LUCENE 采用一樣的原理 ：在 Index 中遍歷所有的Segments 目錄。 而且一般中文分詞也都是采用 LUCENE 的中文分詞方法。 中文分詞的簡單介紹 切詞 [5]對于搜索結(jié)果來說是十分重要的環(huán)節(jié)，對于英文 ，只用關(guān)注空格即可實現(xiàn)切詞，而對于中文，由于中文詞匯非常豐富，詞語的組成十分不固定，所以中文切詞就變得比較困難?，F(xiàn)在比較普遍的是中文單字切詞、雙字切詞、字典切詞，對于單字切詞由于其一開始的不準(zhǔn)確性就被很多人放棄，最準(zhǔn)確的切詞方法應(yīng)該是字典切詞，匹配方法大致有前向匹配、后向匹配和基于 統(tǒng)計的匹配。 舉例來說，對于“中華人民”這句話，單字切詞就是把這四個字一個作為一個 詞索引，搜索的時候逐字匹配，而雙字索引是把這句話依次按兩個字加以區(qū)分，分為“中華”，“華人”，“人民”這樣切詞。字典切詞則是相對于詞庫來尋找哪個應(yīng)該作為詞，而哪個不是，由此也可以知道，字典切詞是比較準(zhǔn)確的，但是由于漢語詞語的不斷變化和擴(kuò)充性，所以現(xiàn)在還要結(jié)合雙字切詞才 可以更好地提高準(zhǔn)確度。由于字典切詞和雙字切詞的配合使用，搜索 的匹配精度在很大程度上是可以得到保證的， LUCENE 的切詞方 法，通過程序集 來實現(xiàn)。 畢業(yè)論文 第 12 頁 系統(tǒng)結(jié)構(gòu) LUCENE 系統(tǒng)結(jié)構(gòu)組織 LUCENE 作為一個優(yōu)秀的全文檢索引擎 [3]，其系統(tǒng)結(jié)構(gòu)具有強(qiáng)烈的面向?qū)ο筇卣鳌Ｊ紫仁嵌x了一個與平臺無關(guān)的索引文件格式，其次通過抽象將系統(tǒng)的核心組成部分設(shè)計為抽象類，具體的平臺實現(xiàn)部分設(shè)計為抽象類的實現(xiàn)，此外與具體平臺相關(guān)的部分比如文件存儲也封裝為類，經(jīng)過層層的面向?qū)ο笫降奶幚恚罱K達(dá)成了一個低耦合高效率，容易二次開發(fā)的檢索引擎系統(tǒng)。 以下將討論 LUCENE 系統(tǒng)的結(jié)構(gòu)組織，并給出系統(tǒng)結(jié)構(gòu)與源碼組織圖： 圖 系統(tǒng)結(jié)構(gòu)與源碼組織結(jié)構(gòu)圖 數(shù)據(jù)流分析 理解 LUCENE 系統(tǒng)結(jié)構(gòu)的另一個方式是 去探討其中數(shù)據(jù)流的走向，并以此摸清楚LUCENE 系統(tǒng)內(nèi)部的調(diào)用時序。在此基礎(chǔ)上，我們能夠更加深入的理解 LUCENE 的系統(tǒng)結(jié)構(gòu)組織，以方便以后在 LUCENE系統(tǒng)上的開發(fā)工作。這部分的分析，是深入 LUCENE系統(tǒng)的鑰匙，也是進(jìn)行重寫的基礎(chǔ)。 畢業(yè)論文 第 13 頁 LUCENE 系統(tǒng)中的主要的數(shù)據(jù)流以及它們之間的關(guān)系圖： 圖 數(shù)據(jù)流圖 圖 很好的表明了 LUCENE 在內(nèi)部的數(shù)據(jù)流組織情況，并且沿著數(shù)據(jù)流的方向我們也可以對與 LUCENE 內(nèi)部的執(zhí)行時序有一個清楚的了解?，F(xiàn)在將圖中的涉及到的流的類型與各個邏輯對應(yīng)系統(tǒng)的相 關(guān)部分的關(guān)系說明一下。 圖中共存在 4 種數(shù)據(jù)流，分別是文本流、 token 流、字節(jié)流與查詢語句對象流。文本流表示了對于索引目標(biāo)和交互控制的抽象，即用文本流表示了將要索引的文件，用文本流向用戶輸出信息；在實際的實現(xiàn)中， LUCENE 中的文本流采用了 UCS2 作為編碼，以達(dá)到適應(yīng)多種語言文字的處理的目的。 Token 流