【正文】 參考文獻(xiàn)[1] 王?，? 淺析搜索引擎技術(shù)及技巧[J]電腦知識(shí)與技術(shù), 2005,(21) . [2] 彭波,李曉明. 搜索引擎倒排文件的一種分塊組織技術(shù)[J]電子學(xué)報(bào), 2005,(02) . [3] 黃強(qiáng). 搜索引擎技術(shù)研究[J]計(jì)算機(jī)與現(xiàn)代化, 2004,(11) . [4] 林彤,江志軍. Internet的搜索引擎[J]計(jì)算機(jī)工程與應(yīng)用, 2000,(05) . [5] 黃西安. 利用“百度”搜索網(wǎng)絡(luò)信息資源[J]科技情報(bào)開(kāi)發(fā)與經(jīng)濟(jì), 2005,(04) . [6] 陳新明,鐘濤,萬(wàn)鈞,吳杰,張世永. WWW搜索引擎的數(shù)據(jù)采集技術(shù)[J]計(jì)算機(jī)工程與應(yīng)用, 2002,(07) . [7] 都云程,盧獻(xiàn)華. 中文搜索引擎現(xiàn)狀與展望[J]中文信息學(xué)報(bào), 1999,(03) . [8] 丁承,邵志清. 基于字表的中文搜索引擎分詞系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[J]計(jì)算機(jī)工程, 2001,(02) . [9] 刁倩,張惠惠,王永成. Internet上的英文搜索引擎[J]計(jì)算機(jī)工程, 1999,(07) . [10] 陸興. 八個(gè)著名中文搜索引擎的特征及其評(píng)析[J]圖書(shū)館理論與實(shí)踐, 2003,(02) .[11]張俊林. 電子工業(yè)出版社. 《這就是搜索引擎——核心技術(shù)詳解》[12]劉奕群等. 清華大學(xué)出版社. 《搜索引擎技術(shù)基礎(chǔ)》附錄A 英語(yǔ)原文Analysis of J2EE WEB application constructionthe outline of the constructionJ2EE system includes many technologies such as java server pages (JSP), java SERVLET, enterprise bean, WEB service and so on. These technologies appeared have provided an extremely petitive choice to the development of WEB application of electronic merce . How these technologies are bined to form the stable construction which an adaptabl project needs is an importable step in the project development. Completing this step may form a main milestone baseline. It is a advantage to form this baseline.Many factors determine it order to form the construction baseline, the construction designer must choose the center technology in the platform and measure each kind of advantages. Often the construction designer has to check the massive technical datas in this process, listen to the suggestion of members in the ponent project, consider the domain expert39。其實(shí)做畢業(yè)設(shè)計(jì)的過(guò)程也是一個(gè)學(xué)習(xí)的過(guò)程，在本次設(shè)計(jì)中，有許多技術(shù)和語(yǔ)言是我之前沒(méi)有接觸的，但是通過(guò)我自己的學(xué)習(xí)和老師的指導(dǎo)，還有同學(xué)的幫助，我最終還是克服了困難，突破了技術(shù)瓶頸，完成了系統(tǒng)的各個(gè)功能。搜索引擎是用戶網(wǎng)上沖浪的一個(gè)關(guān)鍵軟體，在互聯(lián)網(wǎng)中查找自己想要的信息，最快捷、最方便、最有用的好幫手。 Android瀏覽器搜索結(jié)果顯示如果輸入的關(guān)鍵字在數(shù)據(jù)庫(kù)中不能查找到相關(guān)的信息，則ResultBean會(huì)返回一個(gè)空的集合。 JSpider遍歷、存儲(chǔ)過(guò)程信息存儲(chǔ)在數(shù)據(jù)庫(kù)中，、 詳細(xì)信息表 鏈接表 實(shí)現(xiàn)搜索頁(yè)面在瀏覽器中輸入相應(yīng)的訪問(wèn)地址，例如測(cè)試機(jī)瀏覽器中，輸入://localhost:8080/chen/，回車。 ( move_num ) 。 } else { if( page_now 1 ) { = 1 。 = ( selectSql ) 。 () 。 return str 。 break 。 } } if( ( jx + 1 ) select_word[ ix ].length ){ (39。%) 。 for( int jx = 0 。 ++i ) { if( !(select_word[ ix ][ i ].equals() ) ){ ( + select_word[ ix ][ i ] + % ) 。 } ( or like 39。 jx 0 。amp。 } } if( 0 select_word[ ix ].length ){ (39。%) 。 ) 。 } else { ( + char_word[i] + ) 。%) 。 jx select_word[ ix ].length 。 } //() 。 i select_word[ ix ].length 。 if( select_word[ ix ][ jx ].equals() ){ continue 。amp。 } if( select_word[ ix ].length == 1 || ( select_word[ ix ].length ==2 amp。 } } //() 。 select_word[ ix ][ 0 ].equals() ) ) { break 。 jx select_word[ ix ].length 。 } } (39。%) 。 } if( jx == 1 amp。 select_word[ ix ][ 0 ].equals() ) { break 。實(shí)現(xiàn)代碼如下： for( int ix = 0 。 String[] englishWord = ( [^az|AZ]+ ) 。 分詞處理類SpliteWordSpliteWord作用是對(duì)用戶輸入的關(guān)鍵字進(jìn)行簡(jiǎn)單的分割，然后保存在一個(gè)String數(shù)組中返回。 = statement 。連接數(shù)據(jù)庫(kù)代碼try{ ().newInstance()。 搜索功能流程圖5 搜索引擎實(shí)現(xiàn)完成系統(tǒng)結(jié)構(gòu)設(shè)計(jì)和所有模塊程序流程設(shè)計(jì)后，本系統(tǒng)的設(shè)計(jì)脈絡(luò)已經(jīng)基本清晰，接下來(lái)可以編寫(xiě)代碼，實(shí)現(xiàn)系統(tǒng)。這個(gè)策略也因此叫做大站優(yōu)先策略。當(dāng)下載了某個(gè)頁(yè)面P之后，將P的現(xiàn)金分?jǐn)偨o所有從P中分析出的鏈接，并且將P的現(xiàn)金清空。但是這種情況還會(huì)有一個(gè)問(wèn)題：對(duì)于已經(jīng)下載下來(lái)的頁(yè)面中分析出的鏈接，也就是我們之前提到的未知網(wǎng)頁(yè)那一部分，暫時(shí)是沒(méi)有PageRank值的。在真實(shí)的網(wǎng)絡(luò)環(huán)境中，由于廣告鏈接、作弊鏈接的存在，反向鏈接數(shù)不能完全等他我那個(gè)的重要程度。也就是指網(wǎng)絡(luò)爬蟲(chóng)會(huì)先抓取起始網(wǎng)頁(yè)中鏈接的所有網(wǎng)頁(yè)，然后再選擇其中的一個(gè)鏈接網(wǎng)頁(yè)，繼續(xù)抓取在此網(wǎng)頁(yè)中鏈接的所有網(wǎng)頁(yè)。待抓取URL隊(duì)列中的URL以什么樣的順序排列也是一個(gè)很重要的問(wèn)題，因?yàn)檫@涉及到先抓取那個(gè)頁(yè)面，后抓取哪個(gè)頁(yè)面。 從網(wǎng)絡(luò)機(jī)器人的角度對(duì)互聯(lián)網(wǎng)進(jìn)行劃分對(duì)應(yīng)的，可以將互聯(lián)網(wǎng)的所有頁(yè)面分為五個(gè)部分。機(jī)器人軟件的主要目的是將互聯(lián)網(wǎng)上的網(wǎng)頁(yè)信息下載到本地形成一個(gè)或聯(lián)網(wǎng)內(nèi)容的鏡像備份。 鏈接詳細(xì)信息數(shù)據(jù)表字段含義字段名數(shù)據(jù)類型是否為主鍵可否為空ID號(hào)idint(11)YESNO字符集格式charsetVarchar(128)NOYES標(biāo)題信息TitletextNOYES關(guān)鍵字信息KeywordtextNOYES簡(jiǎn)單描述descriptionlongtextNOYES鏈接（urls） 。 數(shù)據(jù)庫(kù)物理結(jié)構(gòu)設(shè)計(jì)物理結(jié)構(gòu)設(shè)計(jì)，數(shù)據(jù)庫(kù)物理結(jié)構(gòu)設(shè)計(jì)包括存儲(chǔ)類型的選擇、屬性數(shù)據(jù)類型的確定、表的索引結(jié)構(gòu)的確定和數(shù)據(jù)庫(kù)存取路徑的確定。鏈接（ID號(hào)，訪問(wèn)地址，收錄信息），主碼為ID號(hào)，外碼為鏈接詳細(xì)信息的ID號(hào)。根據(jù)數(shù)據(jù)庫(kù)實(shí)體ER圖可以得到各實(shí)體的屬性：鏈接詳細(xì)信息：ID號(hào)，字符集格式，標(biāo)題信息，關(guān)鍵字信息，簡(jiǎn)單描述。 實(shí)體及實(shí)體之間關(guān)系ER圖本搜索引擎對(duì)數(shù)據(jù)庫(kù)的使用，主要集中在關(guān)鍵的鏈接詳細(xì)信息表和鏈接表，因?yàn)楸舅阉饕嬷粚?duì)互聯(lián)網(wǎng)上各個(gè)站點(diǎn)的信息標(biāo)題進(jìn)行搜索，鏈接列表是記錄當(dāng)前鏈接中它自身重定向的若干鏈接信息。對(duì)于關(guān)系數(shù)據(jù)庫(kù)，就是要轉(zhuǎn)換為關(guān)系模式，確定實(shí)體的碼即數(shù)據(jù)庫(kù)中的數(shù)據(jù)表以及其主鍵，確定實(shí)體聯(lián)系的類型，即將聯(lián)系轉(zhuǎn)換為一對(duì)一、一對(duì)多、多對(duì)多等類型。概念結(jié)構(gòu)設(shè)計(jì)，概念結(jié)構(gòu)設(shè)計(jì)的目標(biāo)是產(chǎn)生系統(tǒng)信息需求的數(shù)據(jù)庫(kù)概念結(jié)構(gòu)，即概念模型，概念模型是獨(dú)立于計(jì)算機(jī)硬件結(jié)構(gòu)和數(shù)據(jù)庫(kù)管理系統(tǒng)的。對(duì)于一個(gè)出色的搜索引擎，如何設(shè)計(jì)出一個(gè)高效、穩(wěn)定、安全的數(shù)據(jù)庫(kù)成為關(guān)鍵。4 搜索引擎設(shè)計(jì) 搜索引擎結(jié)構(gòu)設(shè)計(jì)根據(jù)需求分析，我們可以知道用戶在使用搜索功能時(shí)，客戶端一般是桌面瀏覽器或者移動(dòng)瀏覽器，根據(jù)需求分析，可以設(shè)計(jì)出兼容多種客戶端平臺(tái)的搜索引擎結(jié)構(gòu)。為了使用戶擁有良好的使用體驗(yàn)，要求網(wǎng)頁(yè)設(shè)計(jì)到達(dá)以下要求。數(shù)據(jù)庫(kù)的主要實(shí)體有：鏈接詳細(xì)信息表，用于存儲(chǔ)當(dāng)前鏈接的標(biāo)題、簡(jiǎn)單說(shuō)明、字符集和關(guān)鍵字；鏈接列表，用于存儲(chǔ)當(dāng)前鏈接當(dāng)中再指向其他的超鏈接列表；鏈接表，用于存儲(chǔ)當(dāng)前鏈接的具體訪問(wèn)地址，存儲(chǔ)時(shí)間。中文分詞，可以對(duì)一行長(zhǎng)中文句子進(jìn)行分詞，分成若干中文短語(yǔ)，再送進(jìn)數(shù)據(jù)庫(kù)進(jìn)行搜索，從而提高搜索的準(zhǔn)確性，同時(shí)符合用戶日常輸入習(xí)慣。通過(guò)對(duì)引擎的目標(biāo)確定和用例分析，可以全面準(zhǔn)確地把握引擎的功能需求。 用戶使用搜索功能用例分析。面向?qū)ο笤瓌t，系統(tǒng)設(shè)計(jì)符合面向?qū)ο笤O(shè)計(jì)原理，模塊化，易于實(shí)現(xiàn)和擴(kuò)展，維護(hù)成本低。操作簡(jiǎn)單、使用界面具有人性化，清晰明了。安全、穩(wěn)定性高，對(duì)于不同的搜索內(nèi)容必須保證系統(tǒng)的穩(wěn)定。Internet作為一個(gè)信息的海洋，人們用瀏覽器挨個(gè)網(wǎng)頁(yè)尋找的方法將很難找到準(zhǔn)確的信息，而只能是浪費(fèi)大量的時(shí)間和網(wǎng)絡(luò)資源。而與此同時(shí)，相應(yīng)的信息在Internet上卻大量存在著。利用Android瀏覽器插件實(shí)現(xiàn)WEB瀏覽，也可以通過(guò)傳統(tǒng)的桌面瀏覽器訪問(wèn)搜索的始頁(yè)面。另外Tomcat也提供了一個(gè)應(yīng)用：manager，訪問(wèn)這個(gè)應(yīng)用需要用戶名和密碼，用戶名和密碼存儲(chǔ)在一個(gè)xml文件中。通常這些所依賴的類也可以打包成JAR放到WEBINF下的lib目錄下，當(dāng)然也可以放到系統(tǒng)的CLASSPATH中，但那樣移植和管理起來(lái)不方便。與傳統(tǒng)的桌面應(yīng)用程序不同，Tomcat中的應(yīng)用程序是一個(gè)WAR（Web Archive）文件。web應(yīng)用需要強(qiáng)大的服務(wù)器端組件來(lái)支持，開(kāi)發(fā)人員需要利用其他工具設(shè)計(jì)實(shí)現(xiàn)復(fù)雜功能的組件供web頁(yè)面調(diào)用，以增強(qiáng)系統(tǒng)性能。從只有一個(gè)小的Jar文件就可以運(yùn)行Servlet/JSP，到由多臺(tái)服務(wù)器進(jìn)行集群和負(fù)載均衡，到多臺(tái)Application進(jìn)行事務(wù)處理，消息處理，一臺(tái)服務(wù)器到無(wú)數(shù)臺(tái)服務(wù)器，Java顯示了一個(gè)巨大的生命力。系統(tǒng)的多平臺(tái)支持。Java Servlet是JSP的技術(shù)基礎(chǔ)，而且大型的Web應(yīng)用程序的開(kāi)發(fā)需要Java Servlet和JSP配合才能完成。JSP將網(wǎng)頁(yè)邏輯與網(wǎng)頁(yè)設(shè)計(jì)的顯示分離，支持可重用的基于組件的設(shè)計(jì)，使基于Web的應(yīng)用程序的開(kāi)發(fā)變得迅速和容易。Web服務(wù)器在遇到訪問(wèn)JSP網(wǎng)頁(yè)的請(qǐng)求時(shí)，首先執(zhí)行其中的程序段，然后將執(zhí)行結(jié)果連同JSP文件中的HTML代碼一起返回給客戶端。JSP技術(shù)有點(diǎn)類似ASP技術(shù)，它是在傳統(tǒng)的網(wǎng)頁(yè)HTML文件(*.htm,*.html)中插入Java程序段(Scriptlet)和JSP標(biāo)記(tag)，從而形成JSP文件(*.jsp)。如果是非常大數(shù)據(jù)量的表，增加字段簡(jiǎn)直就是一個(gè)噩夢(mèng)。一般MySQL使用 Query Cache，每次表的更新Cache就失效，是一種大粒度的Cache，Cache性能不高。數(shù)據(jù)之間無(wú)關(guān)系，這樣就非常容易擴(kuò)展。2) 它們運(yùn)行在便宜的PC服務(wù)器集群上，PC集群擴(kuò)充起來(lái)非常方便并且成本很低，避免了“sharding”操作的復(fù)雜性和成本。NoSQL數(shù)據(jù)庫(kù)介紹NoSQL = Not Only SQL ，意即“不僅僅是SQL”，是一項(xiàng)全新的數(shù)據(jù)庫(kù)革命性運(yùn)動(dòng)，早期就有人提出，發(fā)展至2009年趨勢(shì)越發(fā)高漲。（最?。╆P(guān)系系統(tǒng)：支持關(guān)系數(shù)據(jù)結(jié)構(gòu)，它支持關(guān)系數(shù)據(jù)結(jié)構(gòu)和選擇、投影、連接三種關(guān)系操作。集合運(yùn)算有二目運(yùn)算，包括并、交、差、廣義笛卡爾積四種運(yùn)算。關(guān)系操作分為關(guān)系代數(shù)、關(guān)系演算、具有關(guān)系代數(shù)和關(guān)系演算雙重特點(diǎn)的語(yǔ)言（SQL語(yǔ)言）。由于其體積小、速度快、總體擁有成本低，尤其是開(kāi)放源碼這一特點(diǎn)，許多中小型網(wǎng)站為了降低網(wǎng)站總體擁有成本而選擇了MySQL作為網(wǎng)站數(shù)據(jù)庫(kù)關(guān)系型數(shù)據(jù)庫(kù)介紹在關(guān)系型數(shù)據(jù)庫(kù)