【正文】 搜索引擎的核心，建立索引 是把數(shù)據(jù)源處理成非常方便查詢(xún)的索引文件的過(guò)程。和Java Lucene 兼容 的 可以用在 . 平臺(tái)。 接下來(lái) 在索引數(shù)據(jù)庫(kù)中搜索排序 ， 當(dāng)用戶(hù)輸入關(guān)鍵詞搜索后，由搜索系統(tǒng)程序從網(wǎng)頁(yè)索引數(shù)據(jù)庫(kù)中找到符合該關(guān)鍵詞的所有相關(guān)網(wǎng)頁(yè)。我們平時(shí)看到的全 文搜索引擎，第 3 頁(yè) 共 19 頁(yè) 實(shí)際上只是一個(gè)搜索引擎系統(tǒng)的檢索界面，當(dāng)你輸入關(guān)鍵詞進(jìn)行查詢(xún)時(shí)，搜索引擎會(huì)從龐大的數(shù)據(jù)庫(kù)中找到符合該關(guān)鍵詞的所有相關(guān)網(wǎng)頁(yè)的索引，并按一定規(guī)則呈現(xiàn)給我們。 搜索引擎的工作原理 搜索引擎的原理，可以 看作 三步：從互聯(lián)網(wǎng)上抓取網(wǎng)頁(yè) ， 建立索引數(shù)據(jù)庫(kù) ，在索引數(shù)據(jù)庫(kù)中搜索。 全文搜索 引擎 通過(guò)從互聯(lián)網(wǎng)上提取的各個(gè)網(wǎng)站的信息（以網(wǎng)頁(yè)文字為主）而建立的數(shù)據(jù)庫(kù)中，檢索與用 戶(hù)查詢(xún)條件匹配的相關(guān)記錄，然后按一定的排列順序?qū)⒔Y(jié)果返回給用戶(hù) 。真正意義上的搜索引擎，通常指的是收集了因特網(wǎng)上幾千萬(wàn)到幾十億個(gè)網(wǎng)頁(yè)并對(duì)網(wǎng)頁(yè)中的每一個(gè)詞（即關(guān)鍵詞）進(jìn)行索引，建立索引數(shù)據(jù)庫(kù)的全文搜索引擎。 本課題的研究方法 在本系統(tǒng)的開(kāi)發(fā)過(guò)程中，首先分 析 了搜索引擎 的相關(guān)功能 ， 寫(xiě)出需求分析；第 2 頁(yè) 共 19 頁(yè) 其次，綜合運(yùn)用以前所學(xué)的相關(guān)知識(shí)（數(shù)據(jù) 庫(kù)， C＃ 等），選擇所熟悉的開(kāi)發(fā)工具進(jìn)行開(kāi)發(fā)（本系 統(tǒng)選擇了 Microsoft Visual Studio .NET 2021 作為開(kāi)發(fā)平臺(tái)，開(kāi)發(fā)語(yǔ)言選擇了 C；數(shù)據(jù)庫(kù)采用 Microsoft SQL Server 2021） 。 中國(guó)網(wǎng)民對(duì)智能化搜索需求 也是顯而易見(jiàn)的。 中文的 意思多種多樣 ， 是很難用程序處理的 。但是翻譯僅僅是學(xué)術(shù)方面的應(yīng)用，更重要的是 Google 建立起來(lái)的海量搜索歷史記錄。 無(wú)論搜索技術(shù)本身還是搜索范圍與深度 ， Google 搜索 總是所有搜索引擎的 目標(biāo) 。也是目前最為 流行的基于 Java開(kāi)源全文檢索工具包。 Asynchronous update。 論文詳細(xì)說(shuō)明了系統(tǒng)開(kāi)發(fā)的背景，開(kāi)發(fā)環(huán)境，系統(tǒng)的需求分析，以及功能的設(shè)計(jì)與實(shí)現(xiàn)。 畢業(yè)設(shè)計(jì) ( 論文 ) 基于 Ajax+Lucene 構(gòu)建搜索引擎的設(shè)計(jì)與實(shí)現(xiàn) 論文作者姓名： 申請(qǐng)學(xué)位專(zhuān)業(yè)： 申請(qǐng)學(xué)位類(lèi)別： 指導(dǎo)教師姓名（職稱(chēng)）： 論文提交日期： 基于 Ajax+Lucene 構(gòu)建搜索引擎的設(shè)計(jì)與實(shí)現(xiàn) 摘 要 通過(guò)搜索引擎從 互聯(lián)網(wǎng)上 獲取有用信息 已經(jīng)成為 人們生活的重要組成部分， Lucene 是構(gòu)建搜索引擎的其中一種方式 。同時(shí)講述了 搜索引擎的原理， 系統(tǒng) 功能 ，并 探討使用 Ajax 與服務(wù)器進(jìn)行數(shù)據(jù)異步 交互，從而 改善現(xiàn)有的 Web 應(yīng)用模式。 Ajax。 Lucene 是 Java世界中常用的索引 API，使用它提供的方法可以為文本資料創(chuàng)建索引，并提供檢索。 Google 專(zhuān)業(yè)領(lǐng)域搜索方面 做的成效是有目共睹 的 。如果把這些海量搜索歷史記錄當(dāng)作是詞典的話(huà)，那么如果與搜索技術(shù)的結(jié)合發(fā)展成為低層次的只能搜索，那么應(yīng)用就將大大加強(qiáng)與廣泛。 目前國(guó)內(nèi)外都在做中文引擎，門(mén)戶(hù)網(wǎng)站、非門(mén)戶(hù)網(wǎng)站也都在進(jìn)軍搜索業(yè)，成立搜索門(mén)戶(hù) 。 這也意味著搜索不再是簡(jiǎn)單的技術(shù)或者是網(wǎng)絡(luò)導(dǎo)航而已，而是會(huì)成為普通人生活中必備的工具之一。由于 Lucene不是完整的搜索引擎程序 ， 只為搜索引擎應(yīng)用提供了工具包 ， 在 平臺(tái)中，可使用 這個(gè)對(duì) Lucene 兼容的庫(kù) 。當(dāng)用戶(hù)查找某個(gè)關(guān)鍵詞的時(shí)候，所有在頁(yè)面內(nèi)容中包含了該關(guān)鍵詞的網(wǎng)頁(yè)都將作為搜索結(jié)果被搜出來(lái)。 從搜索來(lái)源的角度，全文搜索引擎又可細(xì)分為兩種，一種是擁有自己的檢索程序（ Indexer），俗稱(chēng) “ 蜘蛛 ”（ Spider） 程序或 “ 機(jī)器人 ” （ Robot）程序，并自建網(wǎng)頁(yè)數(shù)據(jù)庫(kù)，搜索結(jié)果直接從自身的數(shù)據(jù)庫(kù)中調(diào)用；另一種則是租用其他引擎的數(shù)據(jù)庫(kù)，并按自定的格式排列搜索結(jié)果 。 全文搜索引擎的 “ 網(wǎng)絡(luò)蜘蛛 ” 能夠掃描一定地址范圍內(nèi)的網(wǎng)站，并沿著網(wǎng)絡(luò)上的鏈接從一個(gè)網(wǎng)頁(yè)到另一個(gè)網(wǎng)頁(yè)，從一個(gè)網(wǎng)站到另一個(gè)網(wǎng)站采集網(wǎng)頁(yè)資料。不同的搜索引擎，網(wǎng)頁(yè)索引數(shù)據(jù)庫(kù)不同 ， 搜索結(jié)果也就不盡相同。最后，由頁(yè)面生成系統(tǒng)將搜索結(jié)果的鏈接地址和頁(yè)面內(nèi)容摘要等內(nèi)容組織起來(lái)返回給用戶(hù)。 Lucene 能夠 為文本類(lèi)型的數(shù)據(jù)建立索引，所以你只要能把你要索引的數(shù)據(jù)格式轉(zhuǎn)化的文本的， Lucene 就能對(duì)你的文檔進(jìn)行索引和搜索。為什么索引這么重要呢，試想你現(xiàn)在要在大量的文檔中搜索含有某個(gè)關(guān)鍵詞的文檔，那么如果不建立索引的話(huà)你就需要把這些文檔順序的讀入內(nèi)存，然后檢查這個(gè)文章中是不是含有要查找的關(guān)鍵詞，這樣的話(huà)就會(huì)耗費(fèi)非常多的時(shí)間，想想搜索引擎可是在毫秒級(jí)的時(shí)間內(nèi)查找出要搜索的結(jié)果的。這樣在用戶(hù)輸入查詢(xún)條件的時(shí)候，就能非常快的得到搜索結(jié)果。 Ajax 技術(shù) Ajax 全稱(chēng)為 “Asynchronous JavaScript and XML”（異步 JavaScript 和 XML），是指一種創(chuàng)建交互式網(wǎng)頁(yè)應(yīng)用的網(wǎng)頁(yè)開(kāi)發(fā)技術(shù)。后來(lái)這個(gè)技術(shù)被上述的規(guī)范命名為 XMLHttpRequest。XMLHttpRequest 的出現(xiàn)為 Web 開(kāi)發(fā)提供了一種全新的可能性，甚至整個(gè)改變了人們對(duì)于 Web 應(yīng)用由什么來(lái)組成的看法。每個(gè)頁(yè)面上面都包括有一 些使用 JavaScript開(kāi)發(fā) 的 Ajax 組件。 3. 系統(tǒng) 僅由少量頁(yè)面組成。 本設(shè)計(jì)要實(shí)現(xiàn)的功能： 1. 能夠?qū)?Inter 上的網(wǎng)頁(yè) 內(nèi)容、標(biāo)題、鏈接等信息按鏈?zhǔn)绞占?。 5. 對(duì)收集到的數(shù)據(jù)進(jìn)行關(guān)鍵詞的檢索。 9. 邏輯搜索功能比如“中國(guó)” AND“北京” AND NOT（“海淀區(qū)” AND“中關(guān)村”）。 搜索時(shí)響應(yīng)時(shí)間應(yīng)不超過(guò) 3 秒，無(wú)論搜索的記錄多少。 輸出： Web 頁(yè)面上顯示搜索信息。 搜索引擎模型 模型包括 爬蟲(chóng)、索引生成、查詢(xún)以及系統(tǒng)配置部分 。 如圖 4 所示。 輸 入 一 個(gè) U R L結(jié) 果 列 表 啟 動(dòng) 爬 蟲(chóng) 程 序 使 用 L u c e n e . n e t 文 檔 類(lèi)建 立 文 檔 索 引不 斷 的 抓 取 網(wǎng) 頁(yè)寫(xiě) 入 數(shù) 據(jù) 庫(kù)去 掉 多 余 標(biāo) 簽獲 取 有 效 記 錄 頁(yè) 面 上 輸 入 關(guān) 鍵 字使 用 L u c e n e . n e t 搜 索 類(lèi)是 否 成 功YA J A X 圖 功能流程圖 第 9 頁(yè) 共 19 頁(yè) 圖 模塊圖 該系統(tǒng)用 3 個(gè)模塊來(lái)實(shí)現(xiàn)搜索引擎的主要功能。當(dāng)在獲取 URL 時(shí)存在這樣的問(wèn)題就是在實(shí)際應(yīng)用中主要以絕對(duì)地址和相對(duì)地址來(lái)表現(xiàn)。因?yàn)樽ト〉木W(wǎng)頁(yè)含有 HTML 標(biāo)簽、 Javascript 等， 對(duì)搜索多余的信息，如果抓取到的網(wǎng)頁(yè)不經(jīng)過(guò)處理就會(huì)使搜索變得不夠 精確。一個(gè)Document 對(duì)象由多個(gè) Field 對(duì)象組成的。針對(duì)不同的語(yǔ)言和應(yīng)用需要選擇適合的 Analyzer。在用 Lucene的搜索引擎中，用到了 Lucene 提供的方法，可從所建立的索引文檔中獲得結(jié)果。 關(guān)鍵代碼詳解 代碼結(jié)構(gòu) 如圖 6： 寫(xiě)入 讀取 生成 引用 檢索 圖 6 代碼結(jié)構(gòu) 在網(wǎng)頁(yè)爬蟲(chóng) Console 端應(yīng)用程序里輸入一個(gè)有效的 URL后這部份就開(kāi)始從第一個(gè) URL 開(kāi)始遍歷相關(guān)的鏈接并把相關(guān)的信息寫(xiě)入到網(wǎng)頁(yè)數(shù)據(jù)存儲(chǔ)數(shù)據(jù)庫(kù)里，然后就由索引生成程序讀取網(wǎng)頁(yè)數(shù)據(jù)存儲(chǔ)數(shù)據(jù)庫(kù)，對(duì)每條記錄生成索引記錄，存放于生成的索引庫(kù)文件里。下面對(duì)各部分關(guān)鍵代碼 進(jìn)行詳解。再下步就是對(duì)獲取到的標(biāo)題、網(wǎng)頁(yè)內(nèi)容、鏈接等信息調(diào)用數(shù)據(jù)庫(kù)操作通用類(lèi) DAI 保存到數(shù)據(jù)庫(kù)里，這就實(shí)現(xiàn)了一個(gè)網(wǎng)頁(yè)的抓取。 String mata=。 Client=new ()。 return。 urlList = GetHttpUrl(PageString)。 //得到去了 HTML標(biāo)簽的網(wǎng)頁(yè)文本 URL=url。amp。+Content+39。+mata+39。 } urlArr=().Split(39。i。 ()。 在創(chuàng)建索引庫(kù)時(shí)，會(huì)合并多個(gè) Segments 文件。 (iDexDir,true)。 int docNum = ()。 } 使用 Lucene 提供的方法對(duì)數(shù) 據(jù)庫(kù)中的每條記錄建立索引實(shí)現(xiàn)如下： 第 13 頁(yè) 共 19 頁(yè) Document doc = new Document()。 ((mata,row[mata].ToString()))。 (doc)。在程序中注冊(cè)后，在 html 里就可以使用 Javascript 來(lái)調(diào)用后臺(tái)的程序。 (trtd結(jié)果數(shù) :+result+ 所用時(shí)間 :+t+毫秒 /td/tr)。 Document doc = (i)。 (tda href=+(Url)++(title)+/a/td)。 (/tr)。 圖 10 search1 當(dāng)在表單中輸入信息時(shí)，結(jié)果以列表形式顯示， 其中 關(guān)鍵字顯示為紅色 ，網(wǎng)頁(yè)的 title 顯示為藍(lán)色，其他信息包括搜集信息時(shí)的日期，內(nèi)容。比較搜索引擎的實(shí)現(xiàn)方法，選擇適用于 .Net 平臺(tái)的語(yǔ)言和相關(guān)技術(shù)。 3. 用模塊的形式分步展示搜索引擎的原理。比如爬蟲(chóng)抓取十幾億網(wǎng)頁(yè)前后的程序處理。相比之下，本系統(tǒng)的檢索能力就很有限制。 [3] 吳財(cái)軍 .C＃經(jīng)典范例 50講 [M].北京 :北京希望電子出版社 ,2021。 [7] Paul Nielsen[美 ].Microsoft SQL Server 2021寶典 [M].劉瑞 ,陳微 ,閆繼忠 ,劉文 [譯 ].北京 :中國(guó)鐵道出版社 ,2021。除非另有說(shuō)明，本文的工作是原始性工作。 （ 4）學(xué)?？稍试S學(xué)位論文被查閱或借閱。家長(zhǎng)在孩子收到大學(xué)錄取通知書(shū)的時(shí)候因?yàn)闊o(wú)法承受巨額學(xué)費(fèi)的壓力而選擇自殺，這種悲劇在教育產(chǎn)業(yè)化的背景下說(shuō)不準(zhǔn)還會(huì)一次接一次地重演。 勤工儉學(xué)，這個(gè)曾經(jīng)在 20 世紀(jì)初非常流行的詞語(yǔ)再一次擺在了大學(xué)生的面前。舍不得吃當(dāng)然 就營(yíng)養(yǎng)不足，體質(zhì)差了也就容易生病，治病花了錢(qián)以后只好更加舍不得吃。參加社團(tuán)當(dāng)然不算揮霍，但大學(xué)里很多社團(tuán)都純粹是騙錢(qián)的，這位校友還不如將繳納的費(fèi)用用來(lái)飽食幾餐呢！ 很多在大學(xué)生看來(lái)必不可少的東西其實(shí)根本沒(méi)有那么重要，甚至可能花很多錢(qián)買(mǎi)回來(lái)的必需品毫無(wú)用處?？墒牵@絲毫不影響我們幾個(gè)人成為博士、董事長(zhǎng)或總監(jiān)。真正的尤物總是屬于大城市的，屬于全人類(lèi)的，屬于??反正不屬于你我的。左小龍通過(guò)這一眼也想起了她是誰(shuí)，早在兩年前的大禮堂，左小龍就很喜歡她， 她就是黃瑩。在普通人眼里，他一看就是個(gè)風(fēng)騷的人，而事實(shí)上，她的確就是個(gè)風(fēng)騷的人。 所以說(shuō)，這個(gè)鎮(zhèn)子的歷代政府都很喜歡“文藝”這個(gè)招牌，經(jīng)常舉辦各種文藝相關(guān)的比賽，并想出“文藝搭臺(tái)，經(jīng)濟(jì)唱戲”這樣的全國(guó)所有破地方都喜 歡的的惡俗口號(hào)，文藝搭臺(tái)，經(jīng)濟(jì)唱戲怎么可能呢，這世界上只有文藝坍臺(tái)，經(jīng)濟(jì)唱戲。很 少有人可以兼得民間和官方的寵愛(ài)。這真是件悲傷的事情，而且這個(gè)鎮(zhèn)的環(huán)境污染越來(lái)越重，老人的壽命越來(lái)越短，折壽一歲在人生特定的長(zhǎng)河里雖然不算什么，但在人生特定的場(chǎng) 合里，很可能上完回來(lái)老娘已經(jīng)死了。沒(méi) 錯(cuò)的。 左小龍道：我是團(tuán)長(zhǎng)，你是副團(tuán)長(zhǎng)，這就像導(dǎo)演和副導(dǎo)演的關(guān)系一樣，演員的海選都是由副導(dǎo)演負(fù)責(zé)的。 第 21 頁(yè) 共 19 頁(yè) 左小龍搖搖頭，說(shuō)，你看你，關(guān)鍵的時(shí)候，你總是不行。 黃瑩開(kāi)這踏板唱著歌離他們遠(yuǎn)去。一開(kāi)始這里“經(jīng)濟(jì)唱戲”的時(shí)候，大家都很高興，覺(jué)得自己可以有一份體面的工作，但是因?yàn)槌獞驔](méi)唱好，所以招 商來(lái)的全都是一些被其他地方所摒棄的重污染化工企業(yè)，但當(dāng)?shù)厝宿D(zhuǎn)念一想，算了，污染嚴(yán)重點(diǎn)就嚴(yán)重點(diǎn)，體面的工作是沒(méi)有了，但是人家吸毒還得花錢(qián)，咱們這里免費(fèi)就能吸毒。 但山寨的道路是任重道遠(yuǎn)的，很快，人們發(fā)現(xiàn)澳洲小青龍是青色的，但亭林變異龍是紅色的，無(wú)奈，抓到這種龍蝦的人們一致對(duì)外宣稱(chēng)，真是幾內(nèi)亞大蝦。 他們的憤怒還沒(méi)有來(lái)得及宣泄的時(shí)候，當(dāng)?shù)仄渌漠a(chǎn)業(yè)崛起了，那就是服務(wù)外來(lái)務(wù)工人員的行業(yè)，面對(duì)突然涌來(lái)的幾萬(wàn)人口，當(dāng)?shù)氐膸浊俗吡艘淮蟀胍院?，剩下的突然想到，我們可以賺外?lái)務(wù)工人員的錢(qián)，老人可以把房子租出去，年輕人開(kāi)始開(kāi)各種店來(lái)滿(mǎn)足這些人的日常生活生理需要。左小龍突然駛離了國(guó)道，開(kāi)上了小路，大帥問(wèn)道：你怎么了。 說(shuō)罷，左小龍撿起一塊石頭，往小樓的窗戶(hù)砸去，但因?yàn)樯涑瘫容^遠(yuǎn)，左小龍的拋物線(xiàn)也不夠合理，殺傷力一般，所以石頭碰到床的時(shí)候已經(jīng)綿軟無(wú)力，崩了一下以后掉落到了圍墻里。左小龍對(duì)大帥說(shuō)：扔石頭很有講究，我其實(shí)很喜歡這個(gè)，剛才這個(gè)是失誤，你看，太大的時(shí)候扔不動(dòng)，太小的扔不遠(yuǎn)，片狀的石頭容易收到亂流的影響，三角的石頭挌手，容易歪，最合適的就是這樣的石頭，橢圓形，光滑，大小 ?? 大帥接話(huà)到：這不就是鵝卵石麼。 大帥連忙跳上摩托車(chē)，兩人在砂石路上卷起濃煙，轉(zhuǎn)過(guò)一個(gè)村莊，兩人到了一個(gè)塑膠廠(chǎng)后面。 第 22 頁(yè) 共 19 頁(yè) 28 歲、 30 歲，正當(dāng)主流城市人口的結(jié)婚高峰，女性很焦慮，是否馬上要孩子？要，走勢(shì)正漂亮的職業(yè)進(jìn)程就會(huì)落后；不要，得拖到啥時(shí)候？超過(guò) 35 歲就不好了。 現(xiàn)實(shí)是，并非所有的當(dāng)事人都在一年后當(dāng)真離開(kāi)，因?yàn)橛械臅r(shí)候主張他離開(kāi)的那人，自己倒先于他離開(kāi)了，新老板千頭萬(wàn)緒忙得大半年顧不上他，他