【導讀】來越得到廣泛地使用。搜索引擎系統(tǒng)包括3個功能模塊：網頁獲取模塊，數據存儲模塊和檢索。本人在課題組中主要承擔工作有：系統(tǒng)整體設計、數據庫的設計實現以及中文分。本系統(tǒng)的整體設計突出操作簡便、功能強大、人性化設置、并行處理可移植等特點，其中中文分詞，各模塊的存儲流程是系統(tǒng)的設計亮點。本文中對搜索引擎的各種技術算。法進行了介紹，而且根據系統(tǒng)的需要進行了各功能模塊的設計。大容量存儲、高效檢索和簡單查詢。索引數據庫以頁面信息表和詞庫表為核心，通過對。分割，使其分為單獨的詞或詞組。

　　

【正文】 學位論文 XXV 物理結構設計，數據庫物理結構設計包括存儲類型的選擇、屬性數據類型的確定、表的索引結構的確定和數據庫存取路徑的確定，目前的主流數據庫管理系統(tǒng)提供易用的工具，幫助用戶完成數據庫的物理結構設計。 在需求分析中已經完成數據庫的規(guī)劃和需求分析，之后三個小節(jié)將給出系統(tǒng)數據庫的概念結構設計、邏輯結構設計和物理結構設計。 數據庫概念結構設計 由數據庫需求分析可知，搜索引擎數據庫 的實體包括鏈接詳細信息表、鏈接列表、鏈接表，實體之間關系如圖 所示。 鏈 接 詳 細 信息聯(lián) 系 鏈 接關 聯(lián)鏈 接 列 表 圖 實體及實體之間關系 ER 圖 本搜索引擎對數據庫的使用，主要集中在關鍵的鏈接詳細信息表和鏈接表，因為本搜索引擎只對互聯(lián)網上各個站點的信息標題進行搜索，鏈接列表是記錄當前鏈接中它自身重定向的若干鏈接 信息。 鏈接詳細信息實體 ER 圖，如圖 所示。 沈陽理工大學學士學位論文 XXVI 鏈 接 詳 細 信 息I D 號字 符 集 格 式簡 單 描 述標 題 信 息關 鍵 字 信 息 圖 鏈接詳細信息 ER 圖 鏈接實體 ER 圖， 如圖 所示 鏈 接I D 號訪 問 地 址 收 錄 時 間 圖 鏈接實體 ER 圖 鏈接列表實體 ER 圖，如圖 所示 鏈 接 列 表I D 號 連 接 地 址 沈陽理工大學學士學位論文 XXVII 圖 鏈接列表實體 ER 圖 數據庫邏輯結構設計 數據庫邏輯 結構設計 要將獨立于數據庫管理系統(tǒng)的概念模型轉換為適于數據庫系統(tǒng)邏輯結構，轉換后的邏輯結構需合計算機處理信息的邏輯并能與數據庫系統(tǒng)的特性兼容。轉化過程中，每個實體都需要轉換為一個關系，每個關系的主碼必須不為空，對于二元聯(lián)系需要按 照一對多、弱實體、一對一、多對多等聯(lián)系來定義外碼。 根據數據庫實體 ER 圖可以得到各實體的屬性： 鏈接詳細信息： ID 號，字符集格式，標題信息，關鍵字信息，簡單描述。 鏈接： ID 號，訪問地址，收錄信息。 鏈接列表： ID 號，鏈接地址。 將概念模型轉換為如下的關系模式： 鏈接詳細信息（ ID 號，字符集格式，標題信息，關鍵字信息，簡單描述），主碼為 ID 號，外碼為鏈接的 ID 號。 鏈接（ ID 號，訪問地址，收錄信息），主碼為 ID 號，外碼為鏈接詳細信息的 ID 號。 鏈接列表（ ID 號，鏈接地址），主碼為 ID 號，外碼為鏈接詳細信息 的 ID 號。 聯(lián)系：聯(lián)系轉換為鏈接詳細信息與鏈接之間一對一關系，外碼為鏈接詳細信息的 ID 號和鏈接的 ID 號。 關聯(lián)：關聯(lián)轉換為鏈接詳細信息與鏈接列表之間一對一關系，外碼為鏈接詳細信息的 ID 號與鏈接列表的 ID 號。 數據庫物理結構設計 物理結構設計，數據庫物理結構設計包括存儲類型的選擇、屬性數據類型的確定、表的索引結構的確定和數據庫存取路徑的確定。 本系統(tǒng)的數據庫存放在與服務器程序相同的路徑中，在程序中通過應用接口以應用程序賬戶的方式訪問數據庫。在數據庫表設計器中，為每一個關系設計對應的表，并確定各屬 性的數據類型和空間占用。 鏈接詳細信息（ contents）數據表設計 見表 。 沈陽理工大學學士學位論文 XXVIII 表 鏈接詳細信息數據表 字段含義 字段名 數據類型 是否為主鍵 可否為空 ID 號 id int(11) YES NO 字符集格式 charset Varchar(128) NO YES 標題信息 Title text NO YES 關鍵字信息 Keyword text NO YES 簡單描述 description longtext NO YES 鏈接（ urls）數據表設計 見表 。 表 連接數據表 字段含義 字段名 數據類型 是否為主鍵 可否為空 ID 號 id int(11) YES NO 訪問地址 url text NO YES 收錄時間 capture_time timestamp NO CURRENT_TIMESTAMP 鏈接列表（ links）數據表設計 見表 。 表 鏈接列表數據表 字段含義 字段名 數據類型 是否為主鍵 可否為空 ID 號 id int(11) YES NO 鏈接地址 link text NO YES 數據存儲流程設計 本 搜索引擎的數據錄入全部依賴 JSpider 軟件實現。 網絡機器人是搜索引擎 抓取系統(tǒng)的重要組成部分。機器人軟件的主要目的是將互聯(lián)網上的網頁信息下載到本地形成一個或聯(lián)網內容的鏡像備份。 網絡機器人的基本結構及工作原理 一個 通用的網絡機器人的框架如圖 所示。 沈陽理工大學學士學位論文 XXIX 圖 網絡機器人原理圖 網絡機器人的基本工作流程如下： 1. 首先選取一部分精心挑選的種子 URL； 2. 將這些 URL 放入待抓取 URL 隊列； 3. 從待抓取 URL 隊列中取出待抓取的 URL，解析 DNS，并且得到主機的ip，并將 URL 對應的網頁下載下來， 存儲進已下砸網頁庫中。此外，將這些 URL 放進已抓取 URL 隊列； 4. 分析已抓取 URL 隊列中的 URL，分析其中的其他 URL，并且將 URL放入待抓取 URL 隊列，從而進入下一個循環(huán)。 從網絡機器人的角度對互聯(lián)網進行劃分 對應的，可以將互聯(lián)網的所有頁面分為五個部分，如圖 所示。 沈陽理工大學學士學位論文 XXX 圖 互聯(lián)網頁面劃分 已下載未過期的網頁； 已下載已過期網頁：抓取到的網頁實際上市互聯(lián)網內同過的一個鏡像與備份 ，互聯(lián)網是動態(tài)變化的，一部分互聯(lián)網上的內容已經發(fā)生了變化，這時，這部分抓取到的網頁就已經過期了； 待下載網頁：也就是待抓取 URL 隊列中的那些頁面； 可知網頁：還沒有抓取下來，也沒有在待抓取 URL 隊列中，但是可以通過對已抓取頁面或者待抓取 URL 對應頁面進行分析獲取到的 URL，認為是可知網頁； 還有一部分網頁，機器人是無法直接抓取下載的。稱為不可知網頁。 抓取策略 在網絡機器人中，待 抓取 URL 隊列是很重要的一部分。待抓取 URL 隊列中的 URL 以什么樣的順序排列也是一個很重要的問題，因為這涉及到先抓取那個頁面，后抓取哪個頁面。而決定這些 URL 排列順序的方法，叫做抓取策略。下面重點介紹幾 種常見的抓取策略： 深度優(yōu)先遍歷策略 深度優(yōu)先遍歷策略是指網絡爬蟲會從起始頁開始，一個鏈接一個鏈接跟蹤下去，處理完這條線路之后再轉入下一個起始頁，繼續(xù)跟蹤鏈接。具體原理如圖沈陽理工大學學士學位論文 XXXI 所示。 圖 深度優(yōu)先遍歷原理圖 遍歷的路徑： AFG EHI B C D 寬度有線遍歷策略 寬度優(yōu)先遍歷策略的基本思路是，將新下載網頁中發(fā)現的鏈接直接插入待抓取 URL 隊列的末尾。也就是指網絡爬蟲會先抓取起始網頁中鏈接的所有網頁，然后再選擇其中的一個鏈接網頁，繼續(xù)抓取在此網頁中鏈接的所有網頁。以圖 為例： 遍歷路徑： ABCDEF G H I 反響鏈接數策略 反向鏈接數是指一個網頁被其他網頁鏈接指向的數量。反向鏈接數表示的是一個網頁的內容受到其他人的推薦的程度。因此，很多時候搜索引擎的抓取系統(tǒng)會使用這個指標來評價網頁的重要程度，從而決定不同網頁的抓取先后順序。 在真實的網絡環(huán)境中，由于廣告鏈接、作弊鏈接的存在，反向鏈接數不能完全等他我那個的重要程度。因此，搜索引擎往往考慮一些可靠的反向鏈接數。 沈陽理工大學學士學位論文 XXXII Partial PageRank 策略 Partial PageRank 算法借鑒了 PageRank 算法的思想：對于已經下載的網頁，連同待抓取 URL 隊列中的 URL，形成網頁集合，計算每個頁面的 PageRank 值，計算完之后， 將待抓取 URL 隊列中的 URL 按照 PageRank 值的大小排列，并按照該順序抓取頁面。 如果每次抓取一個頁面，就重新計算 PageRank 值，一種折中方案是：每抓取 K 個頁面后，重新計算一次 PageRank 值。但是這種情況還會有一個問題：對于已經下載下來的頁面中分析出的鏈接，也就是我們之前提到的未知網頁那一部分，暫時是沒有 PageRank 值的。為了解決這個問題，會給這些頁面一個臨時的PageRank 值：將這個網頁所有入鏈傳遞進來的 PageRank 值進行匯總，這樣就形成了該未知頁面的 PageRank 值，從而參與排序。 OPIC 策略 該算法實際上也是對頁面進行一個重要性打分。在算法開始前，給所有頁面一個相同的初始現金（ cash）。當下載了某個頁面 P 之后，將 P 的現金分攤給所有從 P 中分析出的鏈接，并且將 P 的現金清空。對于待抓取 URL 隊列中的所有頁面按照現金數進行排序。 大站優(yōu)先策略 對于待抓取 URL 隊列中的所有網頁，根據所屬的網站進行分類。對于待下載頁面數多的網站，優(yōu)先下載。這個策略也 因此叫做大站優(yōu)先策略。 搜索引擎流程設計 搜索引擎總體流程設計 用戶在載入起始搜索頁面后，通過輸入框輸入關鍵字進行站點查找。具體流程如圖 所示。 沈陽理工大學學士學位論文 XXXIII 載 入 起 始 搜 索 頁 面輸 入 關 鍵 字跳 轉 搜 索 執(zhí) 行 頁 面判 斷 關 鍵 字 合 法 性 ?分 詞 操 作站 點 查 詢返 回 結 果 集結 束連 接 數 據 庫是否開 始 圖 搜索引擎總體流程 檢驗載入搜索頁面合法性 檢驗載入搜索 頁面 合法性流程，如圖 所示。 沈陽理工大學學士學位論文 XXXIV 載 入 搜 索 頁 面非 法 訪 問 頁 面 ?結 束開 始標 示 符 是 否 為 真 ?否關 鍵 字 為 空 ?是分 詞 操 作否跳 轉 起 始 搜 索 頁是否是 圖 檢驗載入搜索頁面合法性流程 搜索功能設計 搜索功能 流程 設計，如圖 所示。 沈陽理工大學學士學位論文 XXXV 開 始獲 取 搜 索 關 鍵 字關 鍵 字 合 法 ?連 接 數 據 庫 操 作是分 詞 操 作構 造 S Q L 語 句數 據 庫 搜 索獲 取 搜 索 結 果 集結 束否 圖 搜索功能流程圖 沈陽理工大學學士學位論文 XXXVI 5 搜索引擎實現 完成系統(tǒng)結構設計和所有模塊程序流程設計后，本系統(tǒng)的設計脈絡已經基本清晰，接下來可以編寫代碼，實現系統(tǒng)。 搜索引擎與用戶直接交互的是瀏覽器的搜索界面，在設計、開發(fā)和實現搜索界面時，考慮到代碼編寫的規(guī)范和實現的效率因素，作者將重要的實現代碼用JavaBean 封裝實現。這樣在開發(fā)搜索界面時，實現代碼與布局代碼分離，作者只需要認真考慮界面布局即可，而無需擔心代碼之間相互交錯，增加開發(fā)難度。 JavaBean 實現說明 數據庫連接類 MysqlBean MysqlBean 的主要作用是與數據庫進行交互處理，包括連接數據庫、執(zhí)行查詢語句、返回查詢結果。 連接數據庫代碼 try{ ().newInstance()。 Connection connection=(url)。 = connection 。 Statement statement = ()。 = statement 。 }catch( ClassNotFoundException e ){ //throw () 。 }catch( SQLException e ){ }catch( Exception e ){} 執(zhí)行查詢語句 由于 MysqlBean 只是重新封裝了 Java 中 ResultSet 類，所以只需要將 SQL語句送進 ResultSet 的 executeQuery()即可。 實現代碼如下： ResultSet rs = ( sql )。 沈陽理工大學學士學位論文 XXXVII 分詞處理類 SpliteWord SpliteWord 作用是對用戶輸入的關鍵字進行簡單的分割，然后保存在一個String 數組中返回。代碼實現如下： String[] chineseWord_1 = ( [az|AZ|09 \\pP]+ ) 。 String chineseWord_X = ( [az|AZ0|09 \\pP]+, ) 。 String[] chineseWord_2 = { chineseWord_X } 。 String[] englishWord = ( [^az|AZ]+ ) 。 String[][] result = { chineseWord_1 , chineseWord_2 , englishW