【正文】 This thing Iˇ m on barely keeps me off the ground,〃 the first picador said. 168。 六、結(jié)論 本系統(tǒng)開(kāi)發(fā)過(guò)程中用到了許多學(xué)過(guò)的知識(shí)，具體說(shuō)來(lái)有數(shù)據(jù)結(jié)構(gòu)、 java 語(yǔ)言程序設(shè)計(jì)、軟件工程、優(yōu)化理論等等。j()。 (startUrl)。 } } else { if ((()) == 1) { return false。 } // 解析頁(yè)面并找出鏈接 private ArrayList String retrieveLinks(URL pageUrl, String pageContents, HashSet crawledList, boolean limitHost) { ArrayList String linkList = new ArrayList String()。 //(文件 getFile()=+file)。 // 如果還沒(méi)有緩存 ,下載并緩存。//要搜索的字符串 (英文 ) boolean caseSensitive=false。 (3)分詞技術(shù)。 } } 網(wǎng)絡(luò)爬蟲(chóng)的實(shí)現(xiàn) 爬蟲(chóng)結(jié)構(gòu)分析 網(wǎng)絡(luò)爬蟲(chóng) 沿著 WWW 文件間的鏈接在網(wǎng)上漫游，記錄 URL、文件的簡(jiǎn)明概要、關(guān)鍵字或索引。39。 if (src == null) return。: if ((j) == 39。 import 。 同一時(shí)間一個(gè) URL 只能在一個(gè)隊(duì)列中，這也叫做 URL 的狀態(tài)，這是因 為人們常常使用狀態(tài)圖描述計(jì)算機(jī)程序，程序按照狀態(tài)圖從一個(gè)狀態(tài)變換到下一個(gè)狀態(tài)實(shí)際上，當(dāng)發(fā)現(xiàn) URL(內(nèi)鏈接 )時(shí)，移動(dòng) Spider 會(huì)檢查該 URL 是否已經(jīng)存在于完成隊(duì)列或錯(cuò)誤隊(duì)列中，如果已經(jīng)存在于上述兩種隊(duì)列的任何一個(gè)隊(duì)列中，那么移動(dòng) Spider 將不會(huì)對(duì)此 URL 進(jìn)行任何處理。一個(gè)元素的描述一般由開(kāi)始標(biāo)記 (Start Tag)、內(nèi)容 (Content)、結(jié)束標(biāo)記 (End Tag)所組成。 (p注意默認(rèn)起始站點(diǎn)為： 10/p)。 public Timer timer。 二是穩(wěn)定性， servlet 能夠維護(hù)每個(gè)請(qǐng)求的狀態(tài)，一旦加載了 servlet，她就駐留在內(nèi)存中，對(duì)收到的請(qǐng)求提供服務(wù)。 JBuilder 環(huán)境開(kāi)發(fā)程序方便，它是純的 Java 開(kāi)發(fā)環(huán)境，適合企業(yè)的 J2EE 開(kāi)發(fā)。網(wǎng)絡(luò)環(huán)境下的編程語(yǔ)言最需要解決的是可移植性和安全性問(wèn)題。 Java 總是和 C++聯(lián)系在一起，而 C++則是從 C 語(yǔ)言派生而來(lái)的，所以 Java 語(yǔ)言繼承了這兩種語(yǔ)言的大部分特性。 “網(wǎng)絡(luò)蜘蛛”實(shí)際上是一些基于 web 的程序，利用主頁(yè)中的超文本鏈接遍歷 Web．利用能夠從互聯(lián)網(wǎng)上自動(dòng)收集網(wǎng)頁(yè)的“網(wǎng)絡(luò)蜘蛛”程序，自動(dòng)訪問(wèn)互聯(lián)網(wǎng)，并沿著任何網(wǎng)頁(yè)中的所有 URL 爬到其它網(wǎng)頁(yè)，重復(fù)這過(guò)程，并把爬過(guò)的所有網(wǎng)頁(yè)收集到網(wǎng)頁(yè)數(shù)據(jù)庫(kù)中 。 Java 也從當(dāng)初的一種語(yǔ)言而逐漸形成一種產(chǎn)業(yè)，基于 Java 語(yǔ)言的 J2EE 架構(gòu)已成為微軟 .NET 平臺(tái)的強(qiáng)大競(jìng)爭(zhēng)對(duì)手。 2）用戶可以自動(dòng)地生成基于后端數(shù)據(jù)庫(kù)表的 EJB Java 類， Jbuilder 同時(shí)還簡(jiǎn)化了 EJB的自動(dòng)部署功能 .此外它還支持 CORBA，相應(yīng)的向?qū)С绦蛴兄谟脩羧娴毓芾?IDL(分布應(yīng)用程序所必需的接口定義語(yǔ)言 Interface Definition Language)和控制遠(yuǎn)程對(duì)象。 (所謂加載是指 servlet 加載進(jìn) JVM 運(yùn)行 ) 是與平臺(tái)無(wú)關(guān)的。 import .*。 crawler = new myspider( //Thread search=new Thread(crawler)。 } (/body)。當(dāng)移動(dòng) Spider 程序開(kāi)始處理 URL 時(shí)，它們被傳送到這一隊(duì)列，但同一個(gè) URL 不能被多次 處理，因?yàn)檫@樣是浪費(fèi)資源。 import 。 j++) { //循環(huán)讀取解析 / switch (state) { case 0: if ((j) == 39。 if ((a)) { analyzeAnchor(())。 i += ()。 i targ。但由于每個(gè) robot 都是與一定的索引和檢索技術(shù)相聯(lián)系的，所以它必須要能與其它模塊相配合工作。 import 。 URL verifiedUrl = null。 if (mentIndex != 1) { disallowPath =(0, mentIndex)。 while ((line = ()) != null) { (line)。 //for (int i = 0。 if (maxUrls 1) { (Invalid Max URLs value.)。 if (pageContents != null amp。 myspider crawler = new myspider(args[0],max,args[2])。給我留下深刻印象的，是他知識(shí)的淵博、治學(xué)態(tài)度的嚴(yán)謹(jǐn)、誨人不倦的學(xué)者風(fēng)范，是他謙遜待人、處處關(guān)心別人的長(zhǎng)者風(fēng)度，是他勤奮忘我的工作態(tài)度、精益求精的治學(xué)作風(fēng)。 and the embarrassment of her manner a。 首先，我要感謝我的導(dǎo)師，感謝他帶給我來(lái)學(xué)習(xí)的機(jī)會(huì)，感謝他對(duì)我學(xué)術(shù)上的悉心指導(dǎo)，感謝他對(duì)我生活上的關(guān)懷和體貼。 return。 //(提示搜索過(guò)的 :+verifiedUrl)。//搜索字符串 HashSet String crawledList = new HashSet String()。 // String terms = (searchString).toString()。 // Read page into buffer. String line。//獲取不允許訪問(wèn)路徑 // 檢查是否有注釋。 } public void run(){//啟動(dòng)搜索線程 crawl(startUrl,maxUrl, searchString,limitHost,caseSensitive)。 import .*。同時(shí)由于 robot 和 spider 不能更新太快 (因?yàn)榫W(wǎng)絡(luò)帶寬有限，如果更新太快，那么其他用戶就會(huì)受到影響 )，難免有不能及時(shí)加入的新 WWW 地址，所以很多擁有 robot 和 spider 的 WWW 索引和檢索服務(wù)站點(diǎn)同時(shí)提供一項(xiàng)由用戶加入新 WWW地址的功能。 } } else { int targ = ()。 int i = (key)。 if (() 2) return。 for (int j = 0。 import 。新發(fā)現(xiàn)的 URL被加入到這個(gè)隊(duì)列中。 (p+te+、 +(i)+/p)。 byte[] bytes=(ISO88591)。 charset=gb2312 /head body bgcolor=FFFFFF leftmargin=0 topmargin=0 marginwidth=0 marginheight=0 form action=/WebModule1/myservlet method=get ! ImageReady Slices (未標(biāo)題 1) table id=Table_01 width=1025 height=768 border=0 cellpadding=0 cellspacing=0 tr td colspan=4 img src=images/ width=1024 height=171 alt=/td td img src=images/ width=1 height=171 alt=/td /tr tr td style=backgroundcolor: ffccff 搜索內(nèi)容 td td style=backgroundcolor: ffccff input type=text name=param0 style=width: 335px/td td style=backgroundcolor: ffccff input type=submit name=Submit value=搜索 input type=reset value=重設(shè)/td td background=images/ width=162 height=71 /td td img src=images/ width=1 height=71 alt=/td /tr tr td colspan=4 rowspan=2 /td td img src=images/ width=1 height=31 alt=/td /tr tr td img src=images/ width=1 height=495 alt=/td /tr /table ! End ImageReady Slices /form /body /html servlet 的實(shí)現(xiàn) 用 Servlet 來(lái)響應(yīng)用戶的請(qǐng)求，實(shí)現(xiàn)搜索參數(shù)的傳入。 是持久的。比起捆綁在服務(wù)器上銷售的 JDeveloper， JBuiIder 應(yīng)該是唯一的僅靠自身的實(shí)力而占領(lǐng)了大部分市場(chǎng)的 Java 商用開(kāi)發(fā)工具了。從 1992 的秋天 Oak 問(wèn)世，到 1995 春天公開(kāi)發(fā)布 Java 語(yǔ)言，許多人都對(duì) Java 的設(shè)計(jì)和改進(jìn)做出 了貢獻(xiàn)。 關(guān)鍵字： 爬蟲(chóng)、搜索引擎 Abstract The paper， discussing from the application of the search engine， searches the importance and function of Web spider in the search engine． and puts forward its demand of function and design． On the base of analyzing Web Spider’s system strtucture and working elements． this paper also researches the method and strategy of multithreading scheduler， Web page crawling and HTML parsing． And then． a program of web page crawling based on Java is applied and analyzed． Keyword: spider, search engine 目錄 摘要 ................................................................................................................................ 1 Abstract .......................................................................................................................... 2 一、項(xiàng)目背景 ................................................................................................................ 4 搜索引擎現(xiàn)狀分析 .......................................................................................... 4 課題開(kāi)發(fā)背景 .................................................................................................. 4 網(wǎng)絡(luò)爬蟲(chóng)的工作原理 ....................................