【正文】 String[] englishWord = ( [^az|AZ]+ ) 。 沈陽理工大學學士學位論文 XXXVII 分詞處理類 SpliteWord SpliteWord 作用是對用戶輸入的關鍵字進行簡單的分割，然后保存在一個String 數(shù)組中返回。 = statement 。 連接數(shù)據(jù)庫代碼 try{ ().newInstance()。 沈陽理工大學學士學位論文 XXXV 開 始獲 取 搜 索 關 鍵 字關 鍵 字 合 法 ?連 接 數(shù) 據(jù) 庫 操 作是分 詞 操 作構 造 S Q L 語 句數(shù) 據(jù) 庫 搜 索獲 取 搜 索 結 果 集結 束否 圖 搜索功能流程圖 沈陽理工大學學士學位論文 XXXVI 5 搜索引擎實現(xiàn) 完成系統(tǒng)結構設計和所有模塊程序流程設計后，本系統(tǒng)的設計脈絡已經(jīng)基本清晰，接下來可以編寫代碼，實現(xiàn)系統(tǒng)。 搜索引擎流程設計 搜索引擎總體流程設計 用戶在載入起始搜索頁面后，通過輸入框輸入關鍵字進行站點查找。對于待抓取 URL 隊列中的所有頁面按照現(xiàn)金數(shù)進行排序。為了解決這個問題，會給這些頁面一個臨時的PageRank 值：將這個網(wǎng)頁所有入鏈傳遞進來的 PageRank 值進行匯總，這樣就形成了該未知頁面的 PageRank 值，從而參與排序。因此，搜索引擎往往考慮一些可靠的反向鏈接數(shù)。以圖 為例： 遍歷路徑： ABCDEF G H I 反響鏈接數(shù)策略 反向鏈接數(shù)是指一個網(wǎng)頁被其他網(wǎng)頁鏈接指向的數(shù)量。下面重點介紹幾 種常見的抓取策略： 深度優(yōu)先遍歷策略 深度優(yōu)先遍歷策略是指網(wǎng)絡爬蟲會從起始頁開始，一個鏈接一個鏈接跟蹤下去，處理完這條線路之后再轉入下一個起始頁，繼續(xù)跟蹤鏈接。稱為不可知網(wǎng)頁。 沈陽理工大學學士學位論文 XXIX 圖 網(wǎng)絡機器人原理圖 網(wǎng)絡機器人的基本工作流程如下： 1. 首先選取一部分精心挑選的種子 URL； 2. 將這些 URL 放入待抓取 URL 隊列； 3. 從待抓取 URL 隊列中取出待抓取的 URL，解析 DNS，并且得到主機的ip，并將 URL 對應的網(wǎng)頁下載下來， 存儲進已下砸網(wǎng)頁庫中。 表 鏈接列表數(shù)據(jù)表 字段含義 字段名 數(shù)據(jù)類型 是否為主鍵 可否為空 ID 號 id int(11) YES NO 鏈接地址 link text NO YES 數(shù)據(jù)存儲流程設計 本 搜索引擎的數(shù)據(jù)錄入全部依賴 JSpider 軟件實現(xiàn)。在數(shù)據(jù)庫表設計器中，為每一個關系設計對應的表，并確定各屬 性的數(shù)據(jù)類型和空間占用。 聯(lián)系：聯(lián)系轉換為鏈接詳細信息與鏈接之間一對一關系，外碼為鏈接詳細信息的 ID 號和鏈接的 ID 號。 鏈接列表： ID 號，鏈接地址。 沈陽理工大學學士學位論文 XXVI 鏈 接 詳 細 信 息I D 號字 符 集 格 式簡 單 描 述標 題 信 息關 鍵 字 信 息 圖 鏈接詳細信息 ER 圖 鏈接實體 ER 圖， 如圖 所示 鏈 接I D 號訪 問 地 址 收 錄 時 間 圖 鏈接實體 ER 圖 鏈接列表實體 ER 圖，如圖 所示 鏈 接 列 表I D 號 連 接 地 址 沈陽理工大學學士學位論文 XXVII 圖 鏈接列表實體 ER 圖 數(shù)據(jù)庫邏輯結構設計 數(shù)據(jù)庫邏輯 結構設計 要將獨立于數(shù)據(jù)庫管理系統(tǒng)的概念模型轉換為適于數(shù)據(jù)庫系統(tǒng)邏輯結構，轉換后的邏輯結構需合計算機處理信息的邏輯并能與數(shù)據(jù)庫系統(tǒng)的特性兼容。 在需求分析中已經(jīng)完成數(shù)據(jù)庫的規(guī)劃和需求分析，之后三個小節(jié)將給出系統(tǒng)數(shù)據(jù)庫的概念結構設計、邏輯結構設計和物理結構設計。圖 為 ER 模型中各元素的表示方法。 需求分析，確定數(shù)據(jù)庫的使用范圍，信息收集和處理需求，產(chǎn)生系統(tǒng)業(yè)務流程圖、系統(tǒng)關聯(lián)圖、以及數(shù)據(jù)流圖。搜索引擎的主要工作原理，當用戶通過客戶端輸入搜索關鍵字后，送入引擎中進行分詞工作，然后將要搜索命令傳送到數(shù)據(jù)庫進行查詢操作，最后將查詢結果返還到客戶端中顯示打印，所以數(shù)據(jù)庫的設計直接影響到搜索結果的返回。 頁面功能布置有條理，清晰引導用戶使用。本搜索引擎，用戶通過瀏覽器實現(xiàn)搜索功能，用戶操作界面就是網(wǎng)頁。 數(shù)據(jù)庫數(shù)據(jù)存儲分析 搜索引擎搜索的 基礎 數(shù)據(jù)全部存儲在數(shù)據(jù)庫當中，所以設計良好的數(shù)據(jù)表結構也是優(yōu)秀搜索引擎的關鍵。引擎具體功能清單如下： 實現(xiàn)跨平臺，引擎在設計之初已經(jīng)考慮到跨平臺的兼容性，所以對于桌面的瀏覽器和 Android 瀏覽器可以完美訪問搜索頁。 搜索引擎基本功能 本搜索引擎通過 WEB 瀏覽器端輸入要搜索的關鍵字，引擎進行 中文分詞、關鍵字處理并送進數(shù)據(jù)庫進行操作，然后用戶獲取到需要搜索的結果集。 沈陽理工大學學士學位論文 XX 圖 用戶使用搜索引擎分析 用戶使用搜索引擎的習慣分析： 1) 用戶在生活中遇到問題； 2) 用戶使用搜索引擎，在搜索框中輸入想要查找的關鍵字； 3) 使用搜索功能，搜索引擎在后臺進行數(shù)據(jù)處理，中文分詞分析，與數(shù)據(jù)庫進行交互； 4) 客戶端取得服務器返回的結果集，進行排版顯示； 5) 用戶查看搜索結果，點擊鏈接，查 看網(wǎng)站的具體內(nèi)容。 面向對象原則，系統(tǒng)設計符合面向對象設計原理，模塊化，易于實現(xiàn)和擴展，維護成本低。 操作簡單、使用界面具有人性化，清晰明了。 安全、穩(wěn)定性高，對于不同的搜索內(nèi)容必須保證系統(tǒng)的穩(wěn)定。 Inter作為一個信息的海洋，人們用瀏覽器挨個網(wǎng)頁尋找的方法將很難找到準確的信息，而只能是浪費大量的時間和網(wǎng)絡資源。而與此同時，相應的信息在 Inter 上卻大量存在著。搜索引擎的開發(fā)環(huán)境為 和 Tomcat，利用 Android 瀏覽器插件實現(xiàn) WEB 瀏覽，也可以通過傳統(tǒng)的桌面瀏覽器訪問搜索的始頁面。另外 Tomcat 也提供了一個應用： manager，訪問這個應用需要用戶名和密碼，用戶名和密碼存 儲在一個 xml 文件中。通常這些所依賴的類也可以打包成 JAR 放到 WEBINF 下的 lib 目錄下，當然也可以放到系統(tǒng)的 CLASSPATH 中，但那樣移植和管理起來不方便。與傳統(tǒng)的桌面應用程序不同， Tomcat 中的應用程序是 一個 WAR（ Web Archive）文件。 web 應用需要強大的服務器端組 件來支持，開發(fā)人員需要利用其他工具設計實現(xiàn)復雜功能的組件供 web 頁面調(diào)用，以增強系統(tǒng)性能。從只有一個小的 Jar 文件就可以運行 Servlet/JSP，到由多臺服務器進行集群和負載均衡，到多臺 Application 進行事務處理，消息處理，一臺服務器到無數(shù)臺服務器， Java 顯示了一個巨大的生命力。 系統(tǒng)的多平臺支持。 Java Servlet 是 JSP 的技術基礎，而且大型的 Web 應用程序的開發(fā)需要 Java Servlet 和 JSP 配合才能完成。 JSP 將網(wǎng)頁邏輯與網(wǎng)頁設計的顯示分離，支持可重用的基于組件的設計，使基于 Web 的應用程序的開發(fā)變得迅速和容易。 Web 服務器在遇到訪問 JSP 網(wǎng)頁的請求時，首先執(zhí)行其中的程序段，然后將執(zhí)行結果連同 JSP 文件中的 HTML 代碼一起返回給客戶端。 JSP 技術有點類似 ASP 技術，它是在傳統(tǒng)的網(wǎng)頁HTML 文件 (*.htm,*.html)中插入 Java 程序段 (Scriptlet)和 JSP 標記 (tag)，從而形成 JSP 文件 (*.jsp)。這點在 大數(shù)據(jù)量的 時代尤其明顯。而 NoSQL 的 Cache 是記錄級的，是一種細粒度的Cache，所以 NoSQL 在這個層面上來說就要性能高很多了。也無形之間，在架構的層面上帶來了可擴展的能力。 3) 它們擊碎了性能瓶頸， NoSQL 的支持者稱，通過 NoSQL 架構可以省去將 Web 或 Java 應用和數(shù)據(jù)轉換成 SQL友好格式的時間，執(zhí)行速度變得更快。 NoSQL 的擁護者們提倡運用非關系型的數(shù)據(jù)存儲，相對于鋪天蓋地的關系型數(shù)據(jù)庫運用，這一概念無疑是一種全新的思維的注入。 關系上完備的系統(tǒng)這類系統(tǒng)支持關系數(shù)據(jù)結構和所有的關系代數(shù)操作（功能上與關系代數(shù)等價） 。 專門的關系運算包括選擇、投影、連接、除等。完整性約束提供了豐富的完整性：實體完整性、參照完整性和用戶定義的完整性。在關系數(shù)據(jù)庫中：各數(shù)據(jù)項之間用關系來組織 ,關系是表之間的一種連接，通過關系，我們可以更靈活地表示和操縱數(shù)據(jù)；另外，用戶可以非常方便的用查詢來檢索數(shù)據(jù)庫中的數(shù)據(jù)，一個 Query是一個用于指定數(shù)據(jù)庫中行和列的 SELECT 語句。 MySQL 是一種關聯(lián)數(shù)據(jù)庫管理系統(tǒng)，關聯(lián)數(shù)據(jù)庫將數(shù)據(jù)保存在不同的表中，而不是將所有數(shù)據(jù)放在一個大倉庫內(nèi)，這樣就增加了速度并提高了靈活性。從 Jspider 遍歷并下載網(wǎng)站開始，就要求數(shù)據(jù)庫必須能承受大數(shù)據(jù)數(shù)量、長時間數(shù)據(jù)插入，保證快速查找指定關鍵字段和保持數(shù)據(jù)庫長期穩(wěn)定性。同樣，該應用程序重用機制也使用戶可以方便的替換程序組件。從圖 看，Android 分為四個蹭，從高層到底層分別是應用程序曾、應用程序框架層、系統(tǒng)運行庫層和 Linux 內(nèi)核層。第一部 Android 智能手機發(fā)布于 20xx 年 10 月。 Android 操作系統(tǒng)最初由 Andy Rubin 開發(fā)，主要支持手機。這樣的平臺非常流行。 “Java 語言靠群體的力量而非公司的力量 ”是 Sun 公司的口號之一，并獲得了廣大軟件開發(fā)商的認同。 Java 平臺已經(jīng)嵌入了幾乎所有的操作系統(tǒng)。 沈陽理工大學學士學位論文 XI Java 由四方面 組成 ： Java 編程語言、 Java 類文件格式、 Java 虛擬機和 Java應用程序接口 (Java API)。另外，所有被爬蟲抓取的網(wǎng)頁將會被存儲到數(shù)據(jù)庫當中，進行一定的分析、過濾，并建立索引，以便之后的查詢和檢索。 網(wǎng)絡爬蟲是一個自動提取網(wǎng)頁的程序，它為搜索引擎從萬維網(wǎng)上下載網(wǎng)頁，是搜索引擎的重要組成。你可以通過 JSpider 檢查提供的網(wǎng)站是否出錯，可以對提供的網(wǎng)站內(nèi)部的鏈接進行檢查，分析提供站點的結構，也可以通過 JSpider 下載一個完整的網(wǎng)站。 課題研究方案： 對于課題理論研究部分，通過查找相關 資料，進行邏輯推演，得出結論。 索引器：其功能是理解搜索器所搜索到的信息，從中抽取出索引項，用于表示文檔以及生成文檔庫的索引表。這樣以來，垂直主題的搜索引擎以其高度的目標化和專業(yè)化在各類搜索引擎中占據(jù)了一系席之地，比如象股票、天氣、新聞等類的搜索引擎，具有很高的針對性，用戶對查詢結果的滿意度較高。因此具有典型的趨眾性特點。 對檢索結果 進行處理： 基于鏈接評價的搜索引擎 沈陽理工大學學士學位論文 VII 基于鏈接評價的搜索引擎的優(yōu)秀代表是 Google，它獨創(chuàng)的 “鏈接評價體系 ”是基于這 樣一種認識，一個網(wǎng)頁的重要性取決于它被其它網(wǎng)頁鏈接的數(shù)量，特別是一些已經(jīng)被認 定是 “重要 ”的網(wǎng)頁的鏈接數(shù)量。用戶可以輸入簡單的疑問句，比如 “how can kill virus of puter?”。 Google 搜索引擎以它簡單，干凈的頁面設計和最有關的搜尋結果贏得了使用者的擁戴。 1994 年 4 月，斯坦福大學的兩名博士生，美籍華人楊致遠和 David Filo 共同創(chuàng)辦了 Yahoo！隨著訪問量和收錄鏈接數(shù)的增長， Yahoo 目錄開始支持簡單的數(shù)據(jù)庫搜索。用戶必須輸入精確的文件名進行搜索， Archie 告訴用戶哪個 FTP 服務器能下載該文件。也有人把這種基于目錄的檢索服 務網(wǎng)站稱為搜索引擎，但從嚴格意義上講，它并不是搜索引擎。 移動終端近幾年發(fā)展迅速， Android 系統(tǒng)的手機占有率已經(jīng)不可同日而語，所以人們對 Android 移動應用的需求也越來越大，將搜索應用和 Android 手機結合將會是一個互聯(lián)網(wǎng)發(fā)展的趨勢。這時，搜索引擎軟件應運而生。 沈陽理工大學學士學位論文 II Abstract With the rapid development of the inter, the constant expansion of the work size, the run up growing of the information storage, the technology of the search engine is being more and more popular. The article acplish the design and realization of the general WEB search engine through the studying of all kinds of the general search eng ine. The search engine system includes three functions modules. They are Homepage gain module, data storage module and retrieval module. My main duty in this topic research is overall