【文章內(nèi)容簡介】 ，對于非重復的文檔提取出包含在其中的鏈接，對于提取出來的鏈接，如果是相對鏈接，就將其轉(zhuǎn)化為絕對鏈接。然后對鏈接按一定策略進行過濾，通常包括檢驗該鏈接是否進行過下載以及對鏈接是否需要進行下載，如果需要下載且沒有被下載過，就將其加入到 URL 集中，而下載下來的頁面以某種方式存放到文件庫中。 Web 頁面下載工作流程圖如圖 所示： 湖北科技學院本科畢業(yè)設計（論文）：基于 Web 搜索引擎的設計與實現(xiàn) 10 圖 頁面下載工作流程圖 文檔索引模塊 該模塊負責將下載下來的頁面進行 處理，并將這些文檔以便于有效查找的數(shù)據(jù)結(jié)構進行組織。因為查詢模塊的效率直接決定了整個搜索引擎能否實現(xiàn)快速響應，而查詢的速度又將取決于索引的組織情況，因此必須對索引進行高效組織以實現(xiàn)整個搜索引擎的高效率。全文檢索中索引的組織方法有兩種，即正排表和倒排表 [1]。正排表是以文檔的 ID 為關鍵字，表中記錄項記錄文檔中每個字的位置信息，查找時掃描表中每個文檔中字的信息直到找出所有包含查詢關鍵字的文檔。 這種組織方法在建立索引的時候結(jié)構比較簡單，建立比較方便且易于維護，但是在查詢的時候需對所有的文檔進行掃描以確保沒有遺漏 ，這樣就使得檢索時間大大延長，檢索效率低下。 文檔元數(shù)據(jù)管理模塊 文檔元數(shù)據(jù)就是關于文檔的一些說明信息，例如文檔的標題、作者以及文檔發(fā)布的時間等都是元數(shù)據(jù)， 這些信息可以在當文檔被檢索出來時，給出文檔的一些輔助信息，幫助檢索用戶從檢索結(jié)果中更快地得到自己所需的信息。除了提供一些輔助信息之外，通常我們可以在進行檢索時設置一些檢索結(jié)果的元信息必須滿足的條件。該模塊的主要功能就是將文檔的元數(shù)據(jù)以某種方式進行組織，以便快速地檢索，同時對于更新和刪除操作也有很好的適應性。 因為文檔元數(shù)據(jù)相對于文檔正文來說是 比較規(guī)整的，而且每個文檔都有這些元數(shù)據(jù)，因此我們給每個文檔的元數(shù)據(jù)分配了一塊同樣大小的數(shù)據(jù)塊，便于以后對元數(shù)據(jù)進行更新和刪除操作。當搜索引擎進行索引的頁面達到一定的數(shù)量之后，文檔的元數(shù)據(jù)信息量也會非常大，為了便于更好地進行查找，除了文檔的元數(shù)據(jù)之外，我們另外建一個索引表，記錄每個文檔的標識及指向其所在元數(shù)據(jù)文件中出現(xiàn)的起始位置的指針。 我們可以把這個索引表的信息存放在內(nèi)存中，對于以后查找時可以首先在內(nèi)存中很快得到文檔的元數(shù)據(jù)在元數(shù)據(jù)文件中存放的位置，然后通過文件指針操作，迅速得到文檔的元數(shù)湖北科技學院本科畢業(yè)設計（論文）：基于 Web 搜索引擎的設計與實現(xiàn) 11 據(jù)，這樣就可以提高 查詢的效率，對于整個搜索引擎的相應時間都有很大的提高。為了更好地進行元數(shù)據(jù)的刪除和更新操作，我們還維護了一個鏈表，用來存放已刪除文檔的元數(shù)據(jù)在元數(shù)據(jù)文件中的存放位置，這個鏈表我們也把它放在內(nèi)存中。當文檔被刪除的時候，我們就把它的元數(shù)據(jù)存放的位置加入到該鏈表中。 以后添加新文檔的時候，我們首先查看該鏈表，如果鏈表不為空，那么我們就把新的文檔的元數(shù)據(jù)存放在由該鏈表中節(jié)點所指定的位置上，然后從鏈表中刪除該節(jié)點。因為所有已刪除了的元數(shù)據(jù)的存放位置都已經(jīng)記錄在刪除鏈表中，這樣元數(shù)據(jù)文件就不會因為刪除鏈表中，因為刪除而 產(chǎn)生空隙，所以元數(shù)據(jù)文件也不要定期整理。 查詢處理模塊 該模塊負責從用戶的輸入中得到用戶的查詢請求，并將請求轉(zhuǎn)換成系統(tǒng)所要求的請求格式，然后在索引庫中進行查找，得到滿足要求的文檔并提交給后面的結(jié)果展現(xiàn)模塊。在本系統(tǒng)中，我們實現(xiàn)了最基本的基于單個關鍵字的全文檢索以及多關鍵字邏輯運算組合查詢，包括與、或、差操作。在基于關鍵字的全文檢索的基礎上，我們擴充了系統(tǒng)的全文檢索功能，實現(xiàn)了基于同義詞的檢索。 在系統(tǒng)的后臺我們維護了一個同義詞庫，當用戶提交一個或多個查詢關鍵字之后，首先就到同義表中將其所有的同義詞 取出來，然后再進行基于這些詞的全文檢索，這樣就可以大大提高查詢的查全率。但是隨著時間的變化，同義詞也是不斷變化的，因此系統(tǒng)管理中還有一個同義詞管理的功能。 在本系統(tǒng)中我們還添加了一個高級檢索的功能。在進行高級檢索時，用戶的查詢請求中增加了一些額外的信息，例如文檔的時間以及作者等。通過高級檢索，可以大大減少結(jié)果文檔的數(shù)量，提高檢索的精度，同時也節(jié)省了用戶的查找時間。 結(jié)果展現(xiàn)模塊 結(jié)果展現(xiàn)模塊負責將檢索結(jié)果以某種方式進行展現(xiàn)，讓用戶可以從中得到一些提示信息，從而更加迅速地查找到自己所需的信息。該模塊 首先得到檢索結(jié)果的文檔標識，然后通過文檔標識到元數(shù)據(jù)庫中去查找該文檔的元信息，同時從正文庫中得到文檔的正文信息，然后從正文庫中得到該文檔的摘要，將這些信息經(jīng)過整合處理之后返回給用戶。一般搜索引擎例如 Google 的檢索結(jié)果向用戶展現(xiàn)的信息包括文檔的標題、摘要、 URL 以及文檔的大小等信息。在本系統(tǒng)中，我們向用戶展現(xiàn)的除了 Google 所包含的信息之外，我們還提供了該文檔的類別，這個類別可以由用戶手工來指定，也可以通過自動分類得到，在本系統(tǒng)中采用的是自動分類的方法。 搜索引擎的設計與實現(xiàn) 界面設計與 實現(xiàn) 基于用戶使用的角度以網(wǎng)頁的形式來顯示搜索引擎的界面，主要采用了 html 和 css 來實現(xiàn)界面顯示，使用的開發(fā)工具為 Dreamweaver8，主要的界面如下圖 所示： 湖北科技學院本科畢業(yè)設計（論文）：基于 Web 搜索引擎的設計與實現(xiàn) 12 圖 搜索引擎的主界面圖 具體的實現(xiàn)代碼如下： form name=form1 onSubmit=return(search4()) P align=center INPUT type=checkbox name=abc0 value=sina 新浪 INPUT type=checkbox name=abc1 value=sohu 搜狐 INPUT type=checkbox name=abc3 value=yeah 網(wǎng)易 INPUT type=checkbox name=abc4 value=3721 3721 INPUT type=checkbox name=abc5 value=yahooe Yahoo INPUT type=checkbox name=abc6 value=google Google INPUT type=checkbox name=abc7 value=excite 百度 INPUT type=checkbox name=abc8 value=臺灣綠世界 臺灣綠世界中文搜索網(wǎng) /P P align=center INPUT name=abc2 type=checkbox value=yahoo 雅虎 INPUT name=abc10 type=checkbox value=Webcrawler Webcrawler INPUT name=abc11 type=checkbox value=Lycos Lycos INPUT name=abc12 type=checkbox value=NlightN NlightN INPUT name=abc13 type=checkbox value=Magellan Magellan INPUT name=abc14 type=checkbox value=全球資源 全球資源游戲搜索系統(tǒng) INPUT name=abc9 type=checkbox value=IfoSeek IfoSeekBR /P HR size=1 BR div align=center 湖北科技學院本科畢業(yè)設計（論文）：基于 Web 搜索引擎的設計與實現(xiàn) 13 input type=text name=key size=90 INPUT type=submit value=搜索 name=B1/div table border=0 cellpadding=0 cellspacing=0 width=100% align=center tr td align=center p/p /td /tr /table /form /td /tr /table /td /tr /table table border=0 cellPadding=0 cellSpacing=0 width=756 tbody tr td width=750 colspan=2 hr size=1 /td /tr tr td width=1/td td p align=center指導老師： a href= /afont color=0080c0 font color=000000 作者： /font 李家仁 font color=000000 ：/font578914067 font color=blackEmail ： /fonta href=mailto:/a/font/td /tr /tbody 搜索引擎的實現(xiàn) 當用戶選取百度復選框后，將采用百度的搜索引擎來搜索用戶在文本框所輸入的內(nèi)容，界面如圖 所示： 湖北科技學院本科畢業(yè)設計（論文）：基于 Web 搜索引擎的設計與實現(xiàn) 14 圖 百度搜索的界面圖 當用戶選取谷歌復選框后，將采用谷歌的搜索引擎來搜索用戶在文本框所輸入的內(nèi)容，界面如圖 所示： 圖 谷歌搜索的界面圖 湖北科技學院本科畢業(yè)設計（論文）：基于 Web 搜索引擎的設計與實現(xiàn) 15 當用戶選取百度和谷歌復選框后，將采用百度和谷歌的搜索引擎同時來搜索用戶在文本框所輸入的內(nèi)容，界面如圖 所示： 圖 百度和谷歌同時搜索的 界面圖 具體的實現(xiàn)代碼如下： functi