【文章內(nèi)容簡介】 數(shù)據(jù)存儲采用 MySQL 和 Sequoiadb 數(shù)據(jù)庫。 沈陽理工大學(xué)學(xué)士學(xué)位論文 IX 2 搜索引擎相關(guān)技術(shù) JSpider 軟件 JSpider 軟件介紹 JSpider 是一個純 Java 編寫的高度可配置和可定制的網(wǎng)絡(luò)蜘蛛引擎。你可以通過 JSpider 檢查提供的網(wǎng)站是否出錯，可以對提供的網(wǎng)站內(nèi)部的鏈接進行檢查，分析提供站點的結(jié)構(gòu)，也可以通過 JSpider 下載一個完整的網(wǎng)站。 Jspider 的擴展性非常強大，你也可以自己定制一個 JSpider 插件來完成指定的功能。 JSpider 軟件工作原理 如果把互聯(lián)網(wǎng)比喻成為一個蜘蛛網(wǎng)，那么，類似 Jspider 的軟件就像一只蜘蛛一樣，在互聯(lián)網(wǎng)上孜孜不倦地遍歷互聯(lián)網(wǎng)的上各個站點，然后將其指定內(nèi)容存儲到數(shù)據(jù)庫當(dāng)中。 JSpider 軟件又被叫作網(wǎng)絡(luò)爬蟲。 網(wǎng)絡(luò)爬蟲是一個自動提取網(wǎng)頁的程序，它為搜索引擎從萬維網(wǎng)上下載網(wǎng)頁，是搜索引擎的重要組成。傳統(tǒng)爬蟲從一個或若干初始網(wǎng)頁的 URL 開始，獲得初始網(wǎng)頁上的 URL， 在抓取網(wǎng)頁的過程中，不斷從當(dāng)前頁面上抽取新的 URL 放入隊列 ,直到滿足系統(tǒng)的一定停止條件，流程如圖 所示。聚焦爬蟲的工作流程較為復(fù)雜，需要根據(jù)一定的網(wǎng)頁分析算法過濾與主題無關(guān)的鏈接，保留有用的鏈接并將其放入等待抓取的 URL 隊列。然后，它將根據(jù)一定的搜索策略從隊列中選擇下一步要抓取的網(wǎng)頁 URL，并重復(fù)上述過程，直到遍歷完所有鏈接時停止。另外，所有被爬蟲抓取的網(wǎng)頁將會被存儲到數(shù)據(jù)庫當(dāng)中，進行一定的分析、過濾，并建立索引，以便之后的查詢和檢索。 沈陽理工大學(xué)學(xué)士學(xué)位論文 X J s p i d e r獲 得 U R LU R L 是 否 處 理 過根 據(jù) 遍 歷 算法 ， 提 交 下個 要 處 理 的U R L是解 析 H T M L否下 載 頁 面根 據(jù) 解 析 到的 H R E F 屬 性獲 得 頁 面 鏈接把 該 U R L 載入 已 經(jīng) 處 理的 U R L 數(shù) 據(jù)庫 圖 JSpider 工作原理 Java、 JSP 和 Android 介紹 Java 介紹 Java 是一種 可以 撰寫跨平臺應(yīng)用軟件的面向?qū)ο蟮某绦蛟O(shè)計語言，是由 Sun Microsystems公司于 1995年 5月推出的 Java程序設(shè)計語言和 Java平臺 （即 JavaSE, JavaEE, JavaME）的總稱。 Java 技術(shù)具有卓越的通用性、高效性、平臺移植性和安全性，廣泛應(yīng)用于個人 PC、數(shù)據(jù)中心、游戲控制臺、科學(xué)超級計算機、移動電話和互聯(lián)網(wǎng)，同時擁有全球最大的開發(fā)者專業(yè)社群。在全球云計算和移動 互聯(lián)網(wǎng)的產(chǎn)業(yè)環(huán)境下， Java 更具備了顯著優(yōu)勢和廣闊前景。 沈陽理工大學(xué)學(xué)士學(xué)位論文 XI Java 由四方面 組成 ： Java 編程語言、 Java 類文件格式、 Java 虛擬機和 Java應(yīng)用程序接口 (Java API)。平臺 Java 平臺由 Java 虛擬機 （ Java Virtual Machine，簡稱 JVM）和 Java 應(yīng)用編程接口（ Application Programming Interface，簡稱 API）構(gòu)成。 Java 應(yīng)用編程接口為 Java 應(yīng)用提供了一個獨立于操作系統(tǒng)的標(biāo)準(zhǔn)接口，可分為基本部分和擴展部分。在硬件或操作系統(tǒng)平臺上安裝一個 Java 平臺之后， Java 應(yīng)用程序就可運行。 Java 平臺已經(jīng)嵌入了幾乎所有的操作系統(tǒng)。這樣 Java 程序可以只編譯一次，就可以在各種系統(tǒng)中運行。 與傳統(tǒng)程序不同， Sun 公司在推出 Java 之際就將其作為一種開放的技術(shù)。全球數(shù)以萬計的 Java 開發(fā)公司被要求所設(shè)計的 Java 軟件必須相互兼容。 “Java 語言靠群體的力量而非公司的力量 ”是 Sun 公司的口號之一，并獲得了廣大軟件開發(fā)商的認(rèn)同。這與微軟公司所倡導(dǎo)的注重精英和封閉式的模式完全不同。 Sun 公司對 Java 編程語言的解釋是： Java 編程語言是個簡單 、面向?qū)ο蟆⒎植际?、解釋性、健壯、安全與系統(tǒng)無關(guān)、可移植、高性能、多線程和動態(tài)的語言。 Java 平臺是基于 Java 語言的平臺。這樣的平臺非常流行。因此微軟公司推出了與之競爭的 .NET 平臺以及模仿 Java 的 C語言。 Android 介紹 Android 是一種基于 Linux 的自由及開放源代碼的 操作系統(tǒng) ，主要使用于移動設(shè)備，如 智能手機 和 平板電腦 ，由 Google 公司和 開放手機聯(lián)盟 領(lǐng)導(dǎo)及開發(fā)。尚未有統(tǒng)一中文名稱，中國大陸地區(qū)較多人使用 “安卓 ”或 “安致 ”。 Android 操作系統(tǒng)最初由 Andy Rubin 開發(fā)，主要支持手機。 20xx 年 8 月由 Google 收購注資。20xx 年 11 月， Google 與 84 家硬件制造商、軟件開發(fā)商及電信營運商組建開放手機聯(lián)盟共同研發(fā)改良 Android 系統(tǒng)。隨后 Google 以 Apache 開源許可證的授權(quán)方式，發(fā)布了 Android 的源代碼。第一部 Android 智能手機發(fā)布于 20xx 年 10 月。Android 逐漸擴展到平板電腦及其他領(lǐng)域上，如 電視 、 數(shù)碼相機 、 游戲機 等。 20xx年第一季度， Android 在全球的市場份額首次超過 塞班系統(tǒng) ，躍居全球第一。 Android 系統(tǒng)架構(gòu)和氣操作系統(tǒng)一 樣，采用了分層的架構(gòu)。從圖 看，Android 分為四個蹭，從高層到底層分別是應(yīng)用程序曾、應(yīng)用程序框架層、系統(tǒng)運行庫層和 Linux 內(nèi)核層。 沈陽理工大學(xué)學(xué)士學(xué)位論文 XII 圖 Android 分層 Android 應(yīng)用程序框架，開發(fā)人員 可以完全訪問核心應(yīng)用程序所使用的 API框架。該應(yīng)用程序的架構(gòu)設(shè)計簡化了組件的重用 。任何一個應(yīng)用程序都可以發(fā)布它的功能塊并且任何其它的應(yīng)用程序都可以使用其所發(fā)布的功能塊（不過得遵循框架的安全性）。同樣，該應(yīng)用程序重用機制也使用戶可以方便的替換程序組件。 Android 包含一些 C/C++庫，這些庫 能被 Android 系統(tǒng) 中不同的 組件 使用。它們通過 Android 應(yīng)用程序框架為 開發(fā)者 提供服務(wù)。 SQL 數(shù)據(jù)庫訪問技術(shù) 開發(fā)一個成功的搜索引擎，數(shù)據(jù)庫扮演著一個重要的角色。從 Jspider 遍歷并下載網(wǎng)站開始，就要求數(shù)據(jù)庫必須能承受大數(shù)據(jù)數(shù)量、長時間數(shù)據(jù)插入，保證快速查找指定關(guān)鍵字段和保持?jǐn)?shù)據(jù)庫長期穩(wěn)定性。數(shù)據(jù)庫是搜索引擎的核心部分之一，涉及到搜索數(shù)據(jù)的完整性和實時性。搜索引擎需要一種高效、安全的存取方式訪問數(shù)據(jù)庫里的內(nèi)容，本搜索引擎采用傳統(tǒng)數(shù)據(jù)庫 Mysql 和新型 Nosql 數(shù)據(jù)庫 Sequoiadb 做 為解決方案，使用標(biāo)準(zhǔn)的 SQL(結(jié)構(gòu)化查詢語言 )和 Java 提供的接沈陽理工大學(xué)學(xué)士學(xué)位論文 XIII 口驅(qū)動的方式存取數(shù)據(jù)庫。 傳統(tǒng)關(guān)系型數(shù)據(jù)庫 MySQL MySQL 簡介： MySQL 是一個關(guān)系型數(shù)據(jù)庫管理系統(tǒng)，由瑞典 MySQL AB 公司開發(fā)，目前屬于 Oracle 公司。 MySQL 是一種關(guān)聯(lián)數(shù)據(jù)庫管理系統(tǒng)，關(guān)聯(lián)數(shù)據(jù)庫將數(shù)據(jù)保存在不同的表中，而不是將所有數(shù)據(jù)放在一個大倉庫內(nèi)，這樣就增加了速度并提高了靈活性。 MySQL 的 SQL 語言是用于訪問數(shù)據(jù)庫的最常用標(biāo)準(zhǔn)化語言。目前MySQL 被廣泛地應(yīng)用在 Inter 上的中小型網(wǎng)站中。由于其 體積小、速度快、總體擁有成本低，尤其是開放源碼這一特點，許多中小型網(wǎng)站為了降低網(wǎng)站總體擁有成本而選擇了 MySQL 作為網(wǎng)站數(shù)據(jù)庫 關(guān)系型數(shù)據(jù)庫介紹 在關(guān)系型數(shù)據(jù)庫中數(shù)據(jù)以行和列的形式存儲，以便于用戶理解，這一系列的行和列被稱為表，一組表便組成了數(shù)據(jù)庫。在關(guān)系數(shù)據(jù)庫中：各數(shù)據(jù)項之間用關(guān)系來組織 ,關(guān)系是表之間的一種連接，通過關(guān)系，我們可以更靈活地表示和操縱數(shù)據(jù)；另外，用戶可以非常方便的用查詢來檢索數(shù)據(jù)庫中的數(shù)據(jù)，一個 Query是一個用于指定數(shù)據(jù)庫中行和列的 SELECT 語句。 關(guān)系數(shù)據(jù)庫是支持關(guān)系模型的數(shù)據(jù)庫系 統(tǒng)。關(guān)系模型由關(guān)系數(shù)據(jù)結(jié)構(gòu)、關(guān)系操作集合和完整性約束三部分組成。關(guān)系操作分為關(guān)系代數(shù)、關(guān)系演算、具有關(guān)系代數(shù)和關(guān)系演算雙重特點的語言（ SQL 語言）。完整性約束提供了豐富的完整性：實體完整性、參照完整性和用戶定義的完整性。實體完整性規(guī)則：若屬性 A是基本關(guān)系 R 的屬性，則屬性 A 不能取空值。 參照完整性：若屬性（屬性組） F 是基本關(guān)系 R 的外碼，它與基本關(guān)系 S的主碼 Key 相對應(yīng)（基本關(guān)系 R 和 S 不一定是不同的關(guān)系），則對于 R 中每個元組在 F 上的值必須為：空、 .或者取空值（ F 的每個屬性值均為空值）； 關(guān)系代數(shù)的運算按運算符的 不同主要分為傳統(tǒng)的集合運算和專門的關(guān)系運算兩類。 集合運算有二目運算，包括并、交、差、廣義笛卡爾積四種運算。 專門的關(guān)系運算包括選擇、投影、連接、除等。 根據(jù)關(guān)系系統(tǒng)支持關(guān)系程度不同，可以把關(guān)系系統(tǒng)分為四類：表式系統(tǒng)、（最小）關(guān)系系統(tǒng)、關(guān)系完備系統(tǒng)、全關(guān)系系統(tǒng)。 沈陽理工大學(xué)學(xué)士學(xué)位論文 XIV 表式系統(tǒng)：只支持關(guān)系數(shù)據(jù)結(jié)構(gòu)（即表），不支持集合級的操作。 （最?。╆P(guān)系系統(tǒng)：支持關(guān)系數(shù)據(jù)結(jié)構(gòu)，它支持關(guān)系數(shù)據(jù)結(jié)構(gòu)和選擇、投影、連接三種關(guān)系操作。 關(guān)系上完備的系統(tǒng)這類系統(tǒng)支持關(guān)系數(shù)據(jù)結(jié)構(gòu)和所有的關(guān)系代數(shù)操作（功能上與關(guān)系代數(shù)等價） 。 NoSQL Sequoiadb 數(shù)據(jù)庫 Sequoiadb 簡介 Sequoiadb 數(shù)據(jù)庫是由巨杉公司自主研發(fā)的一款具有完全自主知識產(chǎn)權(quán)的大數(shù)據(jù)數(shù)據(jù)庫內(nèi)核。 Sequoiadb 數(shù)據(jù)庫是一款非關(guān)系型型數(shù)據(jù)庫，對比傳統(tǒng)的關(guān)系型數(shù)據(jù)庫， Sequoiadb 數(shù)據(jù)庫能更好地支持分布式數(shù)據(jù)存儲、高并發(fā)性數(shù)據(jù)操作，而且未來對于數(shù)據(jù)庫的擴容成本也較傳統(tǒng)數(shù)據(jù)庫低。 NoSQL 數(shù)據(jù)庫介紹 NoSQL = Not Only SQL ，意即 “不僅僅是 SQL”，是一項全新的數(shù)據(jù)庫革命性運動，早期就有人提出，發(fā)展至 20xx 年趨勢越發(fā) 高漲。 NoSQL 的擁護者們提倡運用非關(guān)系型的數(shù)據(jù)存儲，相對于鋪天蓋地的關(guān)系型數(shù)據(jù)庫運用，這一概念無疑是一種全新的思維的注入。 隨著互聯(lián)網(wǎng) 網(wǎng)站的興起，非關(guān)系型的數(shù)據(jù)庫成了一個極其熱門的新領(lǐng)域，非關(guān)系數(shù)據(jù)庫產(chǎn)品的發(fā)展非常迅速。 NoSQL 數(shù)據(jù)庫特點： 1) 它們可以處理超大量的數(shù)據(jù)。 2) 它們運行在便宜的 PC 服務(wù)器集群上， PC 集群擴充起來非常方便并且成本很低，避免了 “sharding”操作的復(fù)雜性和成本。 3) 它們擊碎了性能瓶頸， NoSQL 的支持者稱，通過 NoSQL 架構(gòu)可以省去將 Web 或 Java 應(yīng)用和數(shù)據(jù)轉(zhuǎn)換成 SQL友好格式的時間，執(zhí)行速度變得更快。 4) 沒有過多的操作，雖然 NoSQL 的支持者也承認(rèn)關(guān)系數(shù)據(jù)庫提供了無可比擬的功能集合，而且在數(shù)據(jù)完整性上也發(fā)揮絕對穩(wěn)定，他們同時也表示，企業(yè)的具體需求可能沒有那么多。 NoSQL 數(shù)據(jù)庫比較關(guān)系型數(shù)據(jù)庫優(yōu)點： (1)易擴展 沈陽理工大學(xué)學(xué)士學(xué)位論文 XV NoSQL 數(shù)據(jù)庫種類繁多，但是一個共同的特點都是去掉關(guān)系數(shù)據(jù)庫的關(guān)系型特性。數(shù)據(jù)之間無關(guān)系，這樣就非常容易擴展。也無形之間，在架構(gòu)的層面上帶來了可擴展的能力。 (2)大數(shù)據(jù)量，高性能 NoSQL 數(shù)據(jù)庫都具有非常高的讀寫性能，尤其在大數(shù)據(jù)量下，同樣表現(xiàn)優(yōu)秀。這得益于它的無關(guān)系性，數(shù)據(jù)庫的結(jié)構(gòu)簡單。一般 MySQL 使用 Query Cache，每次表的更新 Cache 就失效，是一種大粒度的 Cache，在針對 的交互頻繁的應(yīng)用， Cache 性能不高。而 NoSQL 的 Cache 是記錄級的，是一種細(xì)粒度的Cache，所以 NoSQL 在這個層面上來說就要性能高很多了。 (3)靈活的數(shù)據(jù)模型 NoSQL 無需事先為要存儲的數(shù)據(jù)建立字段，隨時可以存儲自定義的數(shù)據(jù)格式。而在關(guān)系數(shù)據(jù)庫里，增刪字段是一件非常麻煩的事情。如果是非常大數(shù)據(jù)量的表，增加字段簡直就是一個噩夢。這點在 大數(shù)據(jù)量的 時代尤其明顯。 (4)高可用 NoSQL 在不太影響性能的情況，就可以方便的實現(xiàn)高可用的架構(gòu)。比如Cassandra， HBase 模型，通過復(fù)制模型也能實現(xiàn)高可用。 JSP 技術(shù) JSP 語言介紹 JSP（ Java Server Pages)是由 Sun Microsystems 公司倡導(dǎo)、許多公司參與一起建立的一種動態(tài)網(wǎng)頁技術(shù)標(biāo)準(zhǔn)。 JSP 技術(shù)有點類似 ASP 技術(shù)，它是在傳統(tǒng)的網(wǎng)頁HTML 文件 (*.htm,*.html)中插入 Java 程序段 (Scriptlet)和 JSP 標(biāo)記 (tag)，從而形成 JSP 文件 (*.jsp)。 用 JSP 開發(fā)的 Web 應(yīng)用是跨平臺的，既能在 Linux 下運行，也能在其他操作系統(tǒng)上運行。 JSP 其根本是一個簡化的 Serlet 設(shè)計，他實現(xiàn)了 Html 語法中的 java 擴張（以 %, %形式）。 JSP 與 Servlet 一樣，是在服務(wù)器端執(zhí)行的，通常返回給客戶端的就是一個 HTML 文本，因此客戶端只要有瀏覽器就能瀏覽。 Web 服務(wù)器在遇到訪問 JSP 網(wǎng)頁的請求時，首先執(zhí)行其中的程序段，然后將執(zhí)行