【正文】 而決定不同網(wǎng)頁(yè)的抓取先后順序。：遍歷路徑：ABCDEF G H I反響鏈接數(shù)策略反向鏈接數(shù)是指一個(gè)網(wǎng)頁(yè)被其他網(wǎng)頁(yè)鏈接指向的數(shù)量。 深度優(yōu)先遍歷原理圖遍歷的路徑：AFG EHI B C D寬度有線遍歷策略寬度優(yōu)先遍歷策略的基本思路是，將新下載網(wǎng)頁(yè)中發(fā)現(xiàn)的鏈接直接插入待抓取URL隊(duì)列的末尾。而決定這些URL排列順序的方法，叫做抓取策略。 抓取策略在網(wǎng)絡(luò)機(jī)器人中，待抓取URL隊(duì)列是很重要的一部分。 互聯(lián)網(wǎng)頁(yè)面劃分已下載未過(guò)期的網(wǎng)頁(yè)；已下載已過(guò)期網(wǎng)頁(yè)：抓取到的網(wǎng)頁(yè)實(shí)際上市互聯(lián)網(wǎng)內(nèi)同過(guò)的一個(gè)鏡像與備份，互聯(lián)網(wǎng)是動(dòng)態(tài)變化的，一部分互聯(lián)網(wǎng)上的內(nèi)容已經(jīng)發(fā)生了變化，這時(shí)，這部分抓取到的網(wǎng)頁(yè)就已經(jīng)過(guò)期了；待下載網(wǎng)頁(yè)：也就是待抓取URL隊(duì)列中的那些頁(yè)面；可知網(wǎng)頁(yè)：還沒(méi)有抓取下來(lái)，也沒(méi)有在待抓取URL隊(duì)列中，但是可以通過(guò)對(duì)已抓取頁(yè)面或者待抓取URL對(duì)應(yīng)頁(yè)面進(jìn)行分析獲取到的URL，認(rèn)為是可知網(wǎng)頁(yè)；還有一部分網(wǎng)頁(yè)，機(jī)器人是無(wú)法直接抓取下載的。此外，將這些URL放進(jìn)已抓取URL隊(duì)列；4. 分析已抓取URL隊(duì)列中的URL，分析其中的其他URL，并且將URL放入待抓取URL隊(duì)列，從而進(jìn)入下一個(gè)循環(huán)。 網(wǎng)絡(luò)機(jī)器人的基本結(jié)構(gòu)及工作原理。網(wǎng)絡(luò)機(jī)器人是搜索引擎抓取系統(tǒng)的重要組成部分。 連接數(shù)據(jù)表字段含義字段名數(shù)據(jù)類型是否為主鍵可否為空ID號(hào)idint(11)YESNO訪問(wèn)地址urltextNOYES收錄時(shí)間capture_timetimestampNOCURRENT_TIMESTAMP鏈接列表（links） 。鏈接詳細(xì)信息（contents） 。本系統(tǒng)的數(shù)據(jù)庫(kù)存放在與服務(wù)器程序相同的路徑中，在程序中通過(guò)應(yīng)用接口以應(yīng)用程序賬戶的方式訪問(wèn)數(shù)據(jù)庫(kù)。關(guān)聯(lián)：關(guān)聯(lián)轉(zhuǎn)換為鏈接詳細(xì)信息與鏈接列表之間一對(duì)一關(guān)系，外碼為鏈接詳細(xì)信息的ID號(hào)與鏈接列表的ID號(hào)。鏈接列表（ID號(hào)，鏈接地址），主碼為ID號(hào)，外碼為鏈接詳細(xì)信息的ID號(hào)。將概念模型轉(zhuǎn)換為如下的關(guān)系模式：鏈接詳細(xì)信息（ID號(hào)，字符集格式，標(biāo)題信息，關(guān)鍵字信息，簡(jiǎn)單描述），主碼為ID號(hào)，外碼為鏈接的ID號(hào)。鏈接：ID號(hào)，訪問(wèn)地址，收錄信息。轉(zhuǎn)化過(guò)程中，每個(gè)實(shí)體都需要轉(zhuǎn)換為一個(gè)關(guān)系，每個(gè)關(guān)系的主碼必須不為空，對(duì)于二元聯(lián)系需要按照一對(duì)多、弱實(shí)體、一對(duì)一、多對(duì)多等聯(lián)系來(lái)定義外碼。鏈接詳細(xì)信息實(shí)體ER圖。 數(shù)據(jù)庫(kù)概念結(jié)構(gòu)設(shè)計(jì)由數(shù)據(jù)庫(kù)需求分析可知，搜索引擎數(shù)據(jù)庫(kù)的實(shí)體包括鏈接詳細(xì)信息表、鏈接列表、鏈接表。物理結(jié)構(gòu)設(shè)計(jì)，數(shù)據(jù)庫(kù)物理結(jié)構(gòu)設(shè)計(jì)包括存儲(chǔ)類型的選擇、屬性數(shù)據(jù)類型的確定、表的索引結(jié)構(gòu)的確定和數(shù)據(jù)庫(kù)存取路徑的確定，目前的主流數(shù)據(jù)庫(kù)管理系統(tǒng)提供易用的工具，幫助用戶完成數(shù)據(jù)庫(kù)的物理結(jié)構(gòu)設(shè)計(jì)。 實(shí)體描述邏輯結(jié)構(gòu)設(shè)計(jì)，數(shù)據(jù)庫(kù)邏輯結(jié)構(gòu)設(shè)計(jì)就是將ER圖轉(zhuǎn)換為數(shù)據(jù)庫(kù)管理系統(tǒng)支持的數(shù)據(jù)模型。數(shù)據(jù)庫(kù)概念結(jié)構(gòu)設(shè)計(jì)采用實(shí)體聯(lián)系(ER)模型設(shè)計(jì)方法，實(shí)體聯(lián)系(ER)模型設(shè)計(jì)方法可以直觀地描述概念模型。需求分析，確定數(shù)據(jù)庫(kù)的使用范圍，信息收集和處理需求，產(chǎn)生系統(tǒng)業(yè)務(wù)流程圖、系統(tǒng)關(guān)聯(lián)圖、以及數(shù)據(jù)流圖。 數(shù)據(jù)庫(kù)設(shè)計(jì)的步驟數(shù)據(jù)庫(kù)設(shè)計(jì)一般經(jīng)過(guò)規(guī)劃、需求分析、概念設(shè)計(jì)、邏輯設(shè)計(jì)和物理設(shè)計(jì)五個(gè)步驟，下面分別介紹這五個(gè)步驟要完成的工作。搜索引擎的主要工作原理，當(dāng)用戶通過(guò)客戶端輸入搜索關(guān)鍵字后，送入引擎中進(jìn)行分詞工作，然后將要搜索命令傳送到數(shù)據(jù)庫(kù)進(jìn)行查詢操作，最后將查詢結(jié)果返還到客戶端中顯示打印，所以數(shù)據(jù)庫(kù)的設(shè)計(jì)直接影響到搜索結(jié)果的返回。 搜索引擎使用設(shè)計(jì)：服務(wù)器：安裝Windows 7操作系統(tǒng)、Tomcat程序、配置JDK環(huán)境；數(shù)據(jù)庫(kù)：MySQL數(shù)據(jù)庫(kù)、Sequoiadb數(shù)據(jù)庫(kù)；終端設(shè)備：傳統(tǒng)桌面瀏覽器、移動(dòng)瀏覽器。頁(yè)面功能布置有條理，清晰引導(dǎo)用戶使用。頁(yè)面布局規(guī)整，按鈕設(shè)計(jì)應(yīng)該大氣、顯眼。本搜索引擎，用戶通過(guò)瀏覽器實(shí)現(xiàn)搜索功能，用戶操作界面就是網(wǎng)頁(yè)。 界面需求分析軟件用戶界面目前已經(jīng)成為衡量軟件質(zhì)量的重要指標(biāo)，友好的界面可以讓用戶輕松使用軟件搜索所需要的資源，用戶對(duì)軟件的好感可以很好的轉(zhuǎn)化為用戶對(duì)軟件的喜愛(ài)和依賴，在提高軟件的質(zhì)量同時(shí)，也可以引導(dǎo)用戶高效地查找資源，特別是面對(duì)不熟悉電腦操作的中老年人群，簡(jiǎn)單的界面也是他們是否會(huì)選擇使用你的搜索引擎關(guān)鍵。 數(shù)據(jù)庫(kù)數(shù)據(jù)存儲(chǔ)分析搜索引擎搜索的基礎(chǔ)數(shù)據(jù)全部存儲(chǔ)在數(shù)據(jù)庫(kù)當(dāng)中，所以設(shè)計(jì)良好的數(shù)據(jù)表結(jié)構(gòu)也是優(yōu)秀搜索引擎的關(guān)鍵。結(jié)果集分頁(yè)顯示，對(duì)搜索返回的結(jié)果集進(jìn)行分頁(yè)顯示，方便用戶查看各個(gè)搜索結(jié)果。引擎具體功能清單如下：實(shí)現(xiàn)跨平臺(tái)，引擎在設(shè)計(jì)之初已經(jīng)考慮到跨平臺(tái)的兼容性，所以對(duì)于桌面的瀏覽器和Android瀏覽器可以完美訪問(wèn)搜索頁(yè)。這套基于WEB瀏覽器的搜索引擎可以方便用戶快速地在Internet上查找資源，免除由于Internet資源浩瀚而無(wú)法快速、準(zhǔn)確地查找想要的站點(diǎn)。 搜索引擎基本功能本搜索引擎通過(guò)WEB瀏覽器端輸入要搜索的關(guān)鍵字，引擎進(jìn)行中文分詞、關(guān)鍵字處理并送進(jìn)數(shù)據(jù)庫(kù)進(jìn)行操作，然后用戶獲取到需要搜索的結(jié)果集。 用戶使用搜索引擎用例用戶在生活中發(fā)現(xiàn)問(wèn)題，使用桌面瀏覽器或者Android瀏覽器訪問(wèn)搜索頁(yè)面，通過(guò)關(guān)鍵字在數(shù)據(jù)庫(kù)中查找對(duì)應(yīng)的信息。 用戶使用搜索引擎分析用戶使用搜索引擎的習(xí)慣分析：1) 用戶在生活中遇到問(wèn)題；2) 用戶使用搜索引擎，在搜索框中輸入想要查找的關(guān)鍵字；3) 使用搜索功能，搜索引擎在后臺(tái)進(jìn)行數(shù)據(jù)處理，中文分詞分析，與數(shù)據(jù)庫(kù)進(jìn)行交互；4) 客戶端取得服務(wù)器返回的結(jié)果集，進(jìn)行排版顯示；5) 用戶查看搜索結(jié)果，點(diǎn)擊鏈接，查看網(wǎng)站的具體內(nèi)容。界面友好，界面美觀、大氣、易用。簡(jiǎn)單性原則，系統(tǒng)程序要求在保證完整性原則的情況下從簡(jiǎn)設(shè)計(jì)，系統(tǒng)必須易于使用，學(xué)習(xí)成本低。 搜索引擎的設(shè)計(jì)原則為了開(kāi)發(fā)一個(gè)搜索速度快、高性能的搜索引擎，需要遵循如下設(shè)計(jì)原則：數(shù)據(jù)庫(kù)設(shè)計(jì)原則，充分考慮系統(tǒng)的性能，較少數(shù)據(jù)冗余，充分考慮各實(shí)體的構(gòu)成和各字段的屬性，力求最優(yōu)設(shè)計(jì)。多客戶端訪問(wèn)，開(kāi)發(fā)客戶端過(guò)程中考慮各個(gè)客戶端之間的兼容性。中文分詞符合詞意，對(duì)于一個(gè)中文搜索引擎，中文分詞是一個(gè)重要的設(shè)計(jì)環(huán)節(jié)，由于中文的特殊性，使得中文搜索引擎在設(shè)計(jì)時(shí)必須考慮中文詞匯的有意義性，否則搜索結(jié)果會(huì)與用戶當(dāng)初設(shè)想的相差太遠(yuǎn)。設(shè)計(jì)要導(dǎo)到如下目標(biāo)：執(zhí)行速度快，對(duì)于數(shù)據(jù)庫(kù)里成千上萬(wàn)條記錄，要求快速、準(zhǔn)確地查詢出用戶所希望的結(jié)果集，數(shù)據(jù)庫(kù)的穩(wěn)定性至關(guān)重要，設(shè)計(jì)一個(gè)良好的邏輯關(guān)系非常重要。搜索引擎將 Internet網(wǎng)中對(duì)使用者有用的信息提取出來(lái)，無(wú)異于從Internet中提煉真金。正如大海里蘊(yùn)藏了豐富的資源，但人們卻因?yàn)闆](méi)有先進(jìn)的工具而無(wú)法獲得、利用這些資源。真正的問(wèn)題出在人們?cè)谌绱舜蟮男畔⒑Ｑ罄镫y以找到他們所需要的準(zhǔn)確信息。Internet的出現(xiàn)在很大程度上解決了這一問(wèn)題，但很多人仍感到缺乏他們所需要的信息。 搜索引擎開(kāi)發(fā)背景搜索引擎是一種用于幫助Internet用戶查詢信息的搜索工具，它以一定的策略在Internet中搜集、發(fā)現(xiàn)信息，對(duì)信息進(jìn)行理解、提取、組織和處理，并為用戶提供檢索服務(wù)，從而起到信息導(dǎo)航的目的。3 系統(tǒng)分析 搜索引擎說(shuō)明 搜索引擎描述本研究開(kāi)發(fā)的系統(tǒng)名為基于Android客戶端的搜索引擎開(kāi)發(fā)實(shí)現(xiàn)。通過(guò)這個(gè)應(yīng)用，輔助于Ftp，你可以在遠(yuǎn)程通過(guò)Web部署和撤銷應(yīng)用。編譯以后，訪問(wèn)將會(huì)很快。 在Tomcat中，應(yīng)用程序的部署很簡(jiǎn)單，你只需將你的WAR放到Tomcat的webapp目錄下，Tomcat會(huì)自動(dòng)檢測(cè)到這個(gè)文件，并將其解壓。而classes目錄下則包含編譯好的Servlet類和JSP或Servlet所依賴的其它類（如JavaBean）。WAR是Sun提出的一種Web應(yīng)用程序格式，與JAR類似，也是許多文件的一個(gè)壓縮包。由于有了Sun的參與和支持，最新的Servlet和JSP規(guī)范總能在Tomcat中得到體現(xiàn)。JSP可以使用成熟的JAVA BEANS 組件來(lái)實(shí)現(xiàn)復(fù)雜商務(wù)功能。支持服務(wù)器端組件。多樣化和功能強(qiáng)大的開(kāi)發(fā)工具支持。強(qiáng)大的可伸縮性?；旧峡梢栽谒衅脚_(tái)上的任意環(huán)境中開(kāi)發(fā)，在任意環(huán)境中進(jìn)行系統(tǒng)部署，在任意環(huán)境中擴(kuò)展。除了系統(tǒng)之外，代碼不用做任何更改。JSP具備了Java技術(shù)的簡(jiǎn)單易用，完全的面向?qū)ο螅哂衅脚_(tái)無(wú)關(guān)性且安全可靠，主要面向因特網(wǎng)的所有特點(diǎn)。服務(wù)器在頁(yè)面被客戶端請(qǐng)求以后對(duì)這些Java代碼進(jìn)行處理，然后將生成的HTML頁(yè)面返回給客戶端的瀏覽器。 JSP(JavaServer Pages)是一種動(dòng)態(tài)頁(yè)面技術(shù)，它的主要目的是將表示邏輯從Servlet中分離出來(lái)。網(wǎng)頁(yè)還能通過(guò)tags和scriptlets訪問(wèn)存在于服務(wù)端的資源的應(yīng)用邏輯。插入的Java程序段可以操作數(shù)據(jù)庫(kù)、重新定向網(wǎng)頁(yè)等，以實(shí)現(xiàn)建立動(dòng)態(tài)網(wǎng)頁(yè)所需要的功能。JSP與Servlet一樣，是在服務(wù)器端執(zhí)行的，通常返回給客戶端的就是一個(gè)HTML文本，因此客戶端只要有瀏覽器就能瀏覽。 用JSP開(kāi)發(fā)的Web應(yīng)用是跨平臺(tái)的，既能在Linux下運(yùn)行，也能在其他操作系統(tǒng)上運(yùn)行。 JSP技術(shù) JSP語(yǔ)言介紹JSP（Java Server Pages)是由Sun Microsystems公司倡導(dǎo)、許多公司參與一起建立的一種動(dòng)態(tài)網(wǎng)頁(yè)技術(shù)標(biāo)準(zhǔn)。(4)高可用NoSQL在不太影響性能的情況，就可以方便的實(shí)現(xiàn)高可用的架構(gòu)。而在關(guān)系數(shù)據(jù)庫(kù)里，增刪字段是一件非常麻煩的事情。而NoSQL的 Cache是記錄級(jí)的，是一種細(xì)粒度的Cache，所以NoSQL在這個(gè)層面上來(lái)說(shuō)就要性能高很多了。這得益于它的無(wú)關(guān)系性，數(shù)據(jù)庫(kù)的結(jié)構(gòu)簡(jiǎn)單。也無(wú)形之間，在架構(gòu)的層面上帶來(lái)了可擴(kuò)展的能力。NoSQL數(shù)據(jù)庫(kù)比較關(guān)系型數(shù)據(jù)庫(kù)優(yōu)點(diǎn)：(1)易擴(kuò)展NoSQL數(shù)據(jù)庫(kù)種類繁多，但是一個(gè)共同的特點(diǎn)都是去掉關(guān)系數(shù)據(jù)庫(kù)的關(guān)系型特性。3) 它們擊碎了性能瓶頸，NoSQL的支持者稱，通過(guò)NoSQL架構(gòu)可以省去將Web或Java應(yīng)用和數(shù)據(jù)轉(zhuǎn)換成SQL友好格式的時(shí)間，執(zhí)行速度變得更快。NoSQL數(shù)據(jù)庫(kù)特點(diǎn)：1) 它們可以處理超大量的數(shù)據(jù)。NoSQL的擁護(hù)者們提倡運(yùn)用非關(guān)系型的數(shù)據(jù)存儲(chǔ)，相對(duì)于鋪天蓋地的關(guān)系型數(shù)據(jù)庫(kù)運(yùn)用，這一概念無(wú)疑是一種全新的思維的注入。Sequoiadb數(shù)據(jù)庫(kù)是一款非關(guān)系型型數(shù)據(jù)庫(kù)，對(duì)比傳統(tǒng)的關(guān)系型數(shù)據(jù)庫(kù)，Sequoiadb數(shù)據(jù)庫(kù)能更好地支持分布式數(shù)據(jù)存儲(chǔ)、高并發(fā)性數(shù)據(jù)操作，而且未來(lái)對(duì)于數(shù)據(jù)庫(kù)的擴(kuò)容成本也較傳統(tǒng)數(shù)據(jù)庫(kù)低。關(guān)系上完備的系統(tǒng)這類系統(tǒng)支持關(guān)系數(shù)據(jù)結(jié)構(gòu)和所有的關(guān)系代數(shù)操作（功能上與關(guān)系代數(shù)等價(jià)）。表式系統(tǒng)：只支持關(guān)系數(shù)據(jù)結(jié)構(gòu)（即表），不支持集合級(jí)的操作。專門的關(guān)系運(yùn)算包括選擇、投影、連接、除等。參照完整性：若屬性（屬性組）F是基本關(guān)系R的外碼，它與基本關(guān)系S的主碼Key相對(duì)應(yīng)（基本關(guān)系R和S不一定是不同的關(guān)系），則對(duì)于R中每個(gè)元組在F上的值必須為：空、.或者取空值（F的每個(gè)屬性值均為空值）；關(guān)系代數(shù)的運(yùn)算按運(yùn)算符的不同主要分為傳統(tǒng)的集合運(yùn)算和專門的關(guān)系運(yùn)算兩類。完整性約束提供了豐富的完整性：實(shí)體完整性、參照完整性和用戶定義的完整性。關(guān)系模型由關(guān)系數(shù)據(jù)結(jié)構(gòu)、關(guān)系操作集合和完整性約束三部分組成。在關(guān)系數(shù)據(jù)庫(kù)中：各數(shù)據(jù)項(xiàng)之間用關(guān)系來(lái)組織,關(guān)系是表之間的一種連接，通過(guò)關(guān)系，我們可以更靈活地表示和操縱數(shù)據(jù)；另外，用戶可以非常方便的用查詢來(lái)檢索數(shù)據(jù)庫(kù)中的數(shù)據(jù)，一個(gè)Query是一個(gè)用于指定數(shù)據(jù)庫(kù)中行和列的SELECT語(yǔ)句。目前MySQL被廣泛地應(yīng)用在Internet上的中小型網(wǎng)站中。MySQL是一種關(guān)聯(lián)數(shù)據(jù)庫(kù)管理系統(tǒng)，關(guān)聯(lián)數(shù)據(jù)庫(kù)將數(shù)據(jù)保存在不同的表中，而不是將所有數(shù)據(jù)放在一個(gè)大倉(cāng)庫(kù)內(nèi)，這樣就增加了速度并提高了靈活性。搜索引擎需要一種高效、安全的存取方式訪問(wèn)數(shù)據(jù)庫(kù)里的內(nèi)容，本搜索引擎采用傳統(tǒng)數(shù)據(jù)庫(kù)Mysql和新型Nosql數(shù)據(jù)庫(kù)Sequoiadb做為解決方案，使用標(biāo)準(zhǔn)的SQL(結(jié)構(gòu)化查詢語(yǔ)言)和Java提供的接口驅(qū)動(dòng)的方式存取數(shù)據(jù)庫(kù)。從Jspider遍歷并下載網(wǎng)站開(kāi)始，就要求數(shù)據(jù)庫(kù)必須能承受大數(shù)據(jù)數(shù)量、長(zhǎng)時(shí)間數(shù)據(jù)插入，保證快速查找指定關(guān)鍵字段和保持?jǐn)?shù)據(jù)庫(kù)長(zhǎng)期穩(wěn)定性。它們通過(guò) Android 應(yīng)用程序框架為開(kāi)發(fā)者提供服務(wù)。同樣，該應(yīng)用程序重用機(jī)制也使用戶可以方便的替換程序組件。該應(yīng)用程序的架構(gòu)設(shè)計(jì)簡(jiǎn)化了組件的重用。Android分為四個(gè)蹭，從高層到底層分別是應(yīng)用程序曾、應(yīng)用程序框架層、系統(tǒng)運(yùn)行庫(kù)層和Linux內(nèi)核層。Android逐漸擴(kuò)展到平板電腦及其他領(lǐng)域上，如電視、數(shù)碼相機(jī)、游戲機(jī)等。隨后Google以Apache開(kāi)源許可證的授權(quán)方式，發(fā)布了Android的源代碼。2005年8月由Google收購(gòu)注資。尚未有統(tǒng)一中文名稱，中國(guó)大陸地區(qū)較多人使用“安卓”或“安致”。語(yǔ)言。Java 平臺(tái)是基于 Java 語(yǔ)言的平臺(tái)。這與微軟公司所倡導(dǎo)的注重精英和封閉式的模式完全不同。全球數(shù)以萬(wàn)計(jì)的 Java 開(kāi)發(fā)公司被要求所設(shè)計(jì)的 Java 軟件必須相互兼容。這樣Java程序可以只編譯一次，就可以在各種系統(tǒng)中運(yùn)行。在硬件或操作系統(tǒng)平臺(tái)上安裝一個(gè)Java平臺(tái)之后，Java應(yīng)用程序就可運(yùn)行。平臺(tái)Java平臺(tái)由Java虛擬機(jī)（Java Virtual Machine，簡(jiǎn)稱JVM）和Java 應(yīng)用編程接口（Application Programming Interface，簡(jiǎn)稱API）構(gòu)成。在全球云計(jì)算和移動(dòng)互聯(lián)網(wǎng)的產(chǎn)業(yè)環(huán)境下，Java更具備了顯著優(yōu)勢(shì)和廣闊前景。 JSpider工作原理 Java、JSP和Android介紹 Java介紹Java是一種可以撰寫跨平臺(tái)應(yīng)用軟件的面向?qū)ο蟮某绦蛟O(shè)計(jì)語(yǔ)言，是由Sun Microsystems公司于1995年5月推出的Java程序設(shè)計(jì)語(yǔ)言和Java平臺(tái)（即JavaSE, JavaEE, JavaME）的總稱。然后，它將根據(jù)一定的搜索策略從隊(duì)列中選擇下一步要抓取的網(wǎng)頁(yè)URL