【正文】 地形成一個(gè)或聯(lián)網(wǎng)內(nèi)容的鏡像備份。 網(wǎng)絡(luò)機(jī)器人原理圖網(wǎng)絡(luò)機(jī)器人的基本工作流程如下：1. 首先選取一部分精心挑選的種子URL；2. 將這些URL放入待抓取URL隊(duì)列；3. 從待抓取URL隊(duì)列中取出待抓取的URL，解析DNS，并且得到主機(jī)的ip，并將URL對(duì)應(yīng)的網(wǎng)頁(yè)下載下來(lái)，存儲(chǔ)進(jìn)已下砸網(wǎng)頁(yè)庫(kù)中。 從網(wǎng)絡(luò)機(jī)器人的角度對(duì)互聯(lián)網(wǎng)進(jìn)行劃分對(duì)應(yīng)的，可以將互聯(lián)網(wǎng)的所有頁(yè)面分為五個(gè)部分。稱為不可知網(wǎng)頁(yè)。待抓取URL隊(duì)列中的URL以什么樣的順序排列也是一個(gè)很重要的問(wèn)題，因?yàn)檫@涉及到先抓取那個(gè)頁(yè)面，后抓取哪個(gè)頁(yè)面。下面重點(diǎn)介紹幾種常見(jiàn)的抓取策略：深度優(yōu)先遍歷策略深度優(yōu)先遍歷策略是指網(wǎng)絡(luò)爬蟲(chóng)會(huì)從起始頁(yè)開(kāi)始，一個(gè)鏈接一個(gè)鏈接跟蹤下去，處理完這條線路之后再轉(zhuǎn)入下一個(gè)起始頁(yè)，繼續(xù)跟蹤鏈接。也就是指網(wǎng)絡(luò)爬蟲(chóng)會(huì)先抓取起始網(wǎng)頁(yè)中鏈接的所有網(wǎng)頁(yè)，然后再選擇其中的一個(gè)鏈接網(wǎng)頁(yè)，繼續(xù)抓取在此網(wǎng)頁(yè)中鏈接的所有網(wǎng)頁(yè)。反向鏈接數(shù)表示的是一個(gè)網(wǎng)頁(yè)的內(nèi)容受到其他人的推薦的程度。在真實(shí)的網(wǎng)絡(luò)環(huán)境中，由于廣告鏈接、作弊鏈接的存在，反向鏈接數(shù)不能完全等他我那個(gè)的重要程度。Partial PageRank策略Partial PageRank算法借鑒了PageRank算法的思想：對(duì)于已經(jīng)下載的網(wǎng)頁(yè)，連同待抓取URL隊(duì)列中的URL，形成網(wǎng)頁(yè)集合，計(jì)算每個(gè)頁(yè)面的PageRank值，計(jì)算完之后， 將待抓取URL隊(duì)列中的URL按照PageRank值的大小排列，并按照該順序抓取頁(yè)面。但是這種情況還會(huì)有一個(gè)問(wèn)題：對(duì)于已經(jīng)下載下來(lái)的頁(yè)面中分析出的鏈接，也就是我們之前提到的未知網(wǎng)頁(yè)那一部分，暫時(shí)是沒(méi)有PageRank值的。OPIC策略該算法實(shí)際上也是對(duì)頁(yè)面進(jìn)行一個(gè)重要性打分。當(dāng)下載了某個(gè)頁(yè)面P之后，將P的現(xiàn)金分?jǐn)偨o所有從P中分析出的鏈接，并且將P的現(xiàn)金清空。大站優(yōu)先策略對(duì)于待抓取URL隊(duì)列中的所有網(wǎng)頁(yè)，根據(jù)所屬的網(wǎng)站進(jìn)行分類。這個(gè)策略也因此叫做大站優(yōu)先策略。 搜索引擎總體流程 檢驗(yàn)載入搜索頁(yè)面合法性檢驗(yàn)載入搜索頁(yè)面合法性流程。 搜索功能流程圖5 搜索引擎實(shí)現(xiàn)完成系統(tǒng)結(jié)構(gòu)設(shè)計(jì)和所有模塊程序流程設(shè)計(jì)后，本系統(tǒng)的設(shè)計(jì)脈絡(luò)已經(jīng)基本清晰，接下來(lái)可以編寫(xiě)代碼，實(shí)現(xiàn)系統(tǒng)。這樣在開(kāi)發(fā)搜索界面時(shí)，實(shí)現(xiàn)代碼與布局代碼分離，作者只需要認(rèn)真考慮界面布局即可，而無(wú)需擔(dān)心代碼之間相互交錯(cuò)，增加開(kāi)發(fā)難度。連接數(shù)據(jù)庫(kù)代碼try{ ().newInstance()。 = connection 。 = statement 。 }catch( SQLException e ){}catch( Exception e ){}執(zhí)行查詢語(yǔ)句由于MysqlBean只是重新封裝了Java中ResultSet類，所以只需要將SQL語(yǔ)句送進(jìn)ResultSet的executeQuery()即可。 分詞處理類SpliteWordSpliteWord作用是對(duì)用戶輸入的關(guān)鍵字進(jìn)行簡(jiǎn)單的分割，然后保存在一個(gè)String數(shù)組中返回。String chineseWord_X = ( [az|AZ0|09 \\pP]+, ) 。 String[] englishWord = ( [^az|AZ]+ ) 。 return result 。實(shí)現(xiàn)代碼如下： for( int ix = 0 。 ++ix ) { switch( ix ) { case 0 : if( select_word[ ix ].length == 1 amp。 select_word[ ix ][ 0 ].equals() ) { break 。 jx 0 。 } if( jx == 1 amp。 select_word[ ix ][ 0 ].equals() ){ continue 。%) 。 i jx 。 } } (39。 } //() 。 jx select_word[ ix ].length 。 } if( select_word[ ix ].length == 1 || ( select_word[ ix ].length ==2 amp。 select_word[ ix ][ 0 ].equals() ) ) { break 。% + select_word[ ix ][ jx ]+ %39。 } } //() 。 jx select_word[ ix ].length 。 } if( select_word[ ix ].length == 1 || ( select_word[ ix ].length ==2 amp。 select_word[ ix ][ 0 ].equals() ) ) { break 。amp。 } //( or like 39。 if( select_word[ ix ][ jx ].equals() ){ continue 。%) 。 i select_word[ ix ].length 。 } } (39。 } //() 。 break 。 jx select_word[ ix ].length 。 if( = 2 ) { break 。%) 。 i 。 } else { ( + char_word[i] + ) 。 ( + char_word[i] + % ) 。 ) 。 break 。%) 。 jx select_word[ ix ].length 。 } } if( 0 select_word[ ix ].length ){ (39。 } //() 。amp。 } */ if( select_word[ ix ].length == 1 ){ break 。 jx 0 。amp。 } ( or like 39。 for( int i = 0 。 ++i ) { if( !(select_word[ ix ][ i ].equals() ) ){ ( + select_word[ ix ][ i ] + % ) 。 ) 。 for( int jx = 0 。 ++jx ) { if( select_word[ ix ][ jx ].equals() ){ continue 。%) 。 i select_word[ ix ].length 。 } } if( ( jx + 1 ) select_word[ ix ].length ){ (39。 } } //() 。 break 。) 。 return str 。由于從接收關(guān)鍵字到真正創(chuàng)建ResultBean結(jié)果集，程序每次執(zhí)行的動(dòng)作都相似，所以作者將這些動(dòng)作進(jìn)行封裝，使得代碼更加簡(jiǎn)潔、更好維護(hù)。 () 。 String[][] arraySelect = () 。 = ( selectSql ) 。 } 結(jié)果集類ResultBeanResultBean封裝了ResultSet中大部分的接口，使得ResultSet能夠適應(yīng)網(wǎng)頁(yè)顯示要求，例如：next()、destroy()等函數(shù)，ResultBean的setPageNow()函數(shù)使得JSP頁(yè)面對(duì)分頁(yè)顯示的控制更簡(jiǎn)單、代碼更優(yōu)雅。 } else { if( page_now 1 ) { = 1 。 } } try { () 。 ( move_num ) 。 調(diào)用JSpider實(shí)現(xiàn)數(shù)據(jù)收錄JSpider兼容多種數(shù)據(jù)庫(kù)，通過(guò)參數(shù)來(lái)調(diào)用相應(yīng)的數(shù)據(jù)庫(kù)接口。 JSpider遍歷、存儲(chǔ)過(guò)程信息存儲(chǔ)在數(shù)據(jù)庫(kù)中，、 詳細(xì)信息表 鏈接表 實(shí)現(xiàn)搜索頁(yè)面在瀏覽器中輸入相應(yīng)的訪問(wèn)地址，例如測(cè)試機(jī)瀏覽器中，輸入://localhost:8080/chen/，回車。 桌面瀏覽器輸入點(diǎn)擊搜索一下，瀏覽器就會(huì)將關(guān)鍵字送到搜索頁(yè)，進(jìn)行搜索處理。 Android瀏覽器搜索結(jié)果顯示如果輸入的關(guān)鍵字在數(shù)據(jù)庫(kù)中不能查找到相關(guān)的信息，則ResultBean會(huì)返回一個(gè)空的集合。 分詞搜索結(jié) 論本搜索引擎搜索的數(shù)據(jù)庫(kù)是主要是MYSQL，網(wǎng)站使用Tomcat作為開(kāi)發(fā)環(huán)境，使用JSP語(yǔ)言和Java語(yǔ)言進(jìn)行開(kāi)發(fā)，用本搜索引擎對(duì)其數(shù)據(jù)庫(kù)進(jìn)行搜索，可以給用戶提供更加舒適的搜索體驗(yàn)服務(wù)。搜索引擎是用戶網(wǎng)上沖浪的一個(gè)關(guān)鍵軟體，在互聯(lián)網(wǎng)中查找自己想要的信息，最快捷、最方便、最有用的好幫手。以上功能是站內(nèi)搜索系統(tǒng)的核心功能。其實(shí)做畢業(yè)設(shè)計(jì)的過(guò)程也是一個(gè)學(xué)習(xí)的過(guò)程，在本次設(shè)計(jì)中，有許多技術(shù)和語(yǔ)言是我之前沒(méi)有接觸的，但是通過(guò)我自己的學(xué)習(xí)和老師的指導(dǎo)，還有同學(xué)的幫助，我最終還是克服了困難，突破了技術(shù)瓶頸，完成了系統(tǒng)的各個(gè)功能。在整個(gè)畢業(yè)設(shè)計(jì)的過(guò)程中，我的畢業(yè)設(shè)計(jì)指導(dǎo)老師穆欣侃老師給予了我耐心和正確的指導(dǎo)，他孜孜不倦地教誨使我能夠順利地完成畢業(yè)設(shè)計(jì)，和其他幫助過(guò)我的老師以及領(lǐng)導(dǎo)一樣，他們對(duì)學(xué)生的關(guān)懷教育和對(duì)學(xué)術(shù)的嚴(yán)謹(jǐn)執(zhí)著都使我十分感動(dòng)，在此衷心感謝他們四年來(lái)對(duì)我的培養(yǎng)。參考文獻(xiàn)[1] 王?，? 淺析搜索引擎技術(shù)及技巧[J]電腦知識(shí)與技術(shù), 2005,(21) . [2] 彭波,李曉明. 搜索引擎倒排文件的一種分塊組織技術(shù)[J]電子學(xué)報(bào), 2005,(02) . [3] 黃強(qiáng). 搜索引擎技術(shù)研究[J]計(jì)算機(jī)與現(xiàn)代化, 2004,(11) . [4] 林彤,江志軍. Internet的搜索引擎[J]計(jì)算機(jī)工程與應(yīng)用, 2000,(05) . [5] 黃西安. 利用“百度”搜索網(wǎng)絡(luò)信息資源[J]科技情報(bào)開(kāi)發(fā)與經(jīng)濟(jì), 2005,(04) . [6] 陳新明,鐘濤,萬(wàn)鈞,吳杰,張世永. WWW搜索引擎的數(shù)據(jù)采集技術(shù)[J]計(jì)算機(jī)工程與應(yīng)用, 2002,(07) . [7] 都云程,盧獻(xiàn)華. 中文搜索引擎現(xiàn)狀與展望[J]中文信息學(xué)報(bào), 1999,(03) . [8] 丁承,邵志清. 基于字表的中文搜索引擎分詞系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[J]計(jì)算機(jī)工程, 2001,(02) . [9] 刁倩,張惠惠,王永成. Internet上的英文搜索引擎[J]計(jì)算機(jī)工程, 1999,(07) . [10] 陸興. 八個(gè)著名中文搜索引擎的特征及其評(píng)析[J]圖書(shū)館理論與實(shí)踐, 2003,(02) .[11]張俊林. 電子工業(yè)出版社. 《這就是搜索引擎——核心技術(shù)詳解》[12]劉奕群等. 清華大學(xué)出版社. 《搜索引擎技術(shù)基礎(chǔ)》附錄A 英語(yǔ)原文Analysis of J2EE WEB application constructionthe outline of the constructionJ2EE system includes many technologies such as java server pages (JSP), java SERVLET, enterprise bean, WEB service and so on. These technologies appeared have provided an extremely petitive choice to the development of WEB application of electronic merce . How these technologies are bined to form the stable construction which an adaptabl project needs is an importable step in the project development. Completing this step may form a main milestone baseline. It is a advantage to form this baseline.Many factors determine it order to form the construction baseline, the construction designer must choose the center technology in the platform and measure each kind of advantages. Often the construction designer has to check the massive technical datas in this process, listen to the suggestion of members in the ponent project, consider the domain expe