【正文】 protected void processWorkload()。//從等待隊(duì)列中請(qǐng)求一個(gè) URL 送入處理隊(duì)列中。 synchronized public Boolean foundOtherLink(String url)。 End。//初始化 URL 集合被加入到等待隊(duì)列中。當(dāng)一個(gè) URL 被處理后，它被移送到錯(cuò)誤隊(duì)列或者完成隊(duì)列中。 數(shù)據(jù)庫(kù)訪(fǎng)問(wèn)技術(shù) 網(wǎng)絡(luò)機(jī)器人程序采用基于 SQL 的數(shù)據(jù) 庫(kù)隊(duì)列管理機(jī)制，必須有相應(yīng)的數(shù)據(jù)庫(kù)訪(fǎng)問(wèn)技術(shù)。但是隨著用戶(hù)需求的不斷提高，目前基于關(guān)鍵字查詢(xún)的搜索引擎已經(jīng)不能滿(mǎn)足用戶(hù)對(duì)搜索結(jié)果要求更準(zhǔn)、搜索范圍更大的需求。對(duì)開(kāi)發(fā)高性能網(wǎng)絡(luò)機(jī)器人所涉及的關(guān)鍵技術(shù)和算法進(jìn)行了詳細(xì)地分析。如果編寫(xiě)的程序是扮演服務(wù)器的角色，就應(yīng)該采用 ServerSocket 類(lèi)；如果程序是連接到服務(wù)器的那么他扮演的是客戶(hù)端的角色，我們 應(yīng)該使用 Socket 類(lèi)，我們研究的網(wǎng)絡(luò)機(jī)器人程序扮演的就是客戶(hù)端的角色。網(wǎng)絡(luò)機(jī)器人程序通過(guò)分析網(wǎng)頁(yè)的 HTML代碼查找網(wǎng)頁(yè)內(nèi)所有鏈接到其它網(wǎng)頁(yè)的標(biāo)簽，根據(jù)標(biāo)簽的屬性 HREF(Hypertext Reference，超文本鏈接 )的值，網(wǎng)絡(luò)機(jī)器人程序?qū)?huì)遇到三種鏈接類(lèi)型：內(nèi)部鏈接（ Internal link）、外部鏈接 (External link)和其它連接 (other link)。 URL 處理狀態(tài)流程圖 ： 發(fā)現(xiàn) URL 錯(cuò)誤隊(duì)列 完成 URL 完成隊(duì)列 等待隊(duì)列 處理隊(duì)列 圖 1 URL 處理狀態(tài)流程圖 算法分析 我 們的算法設(shè)計(jì)主要就是依據(jù)非遞歸的思想構(gòu)造的，當(dāng)一個(gè) URL 被加入到等待隊(duì)列中時(shí)，網(wǎng)絡(luò)機(jī)器人就會(huì)開(kāi)始運(yùn)行。 Document=PopQueue(url,RunQ,LinkType)。 網(wǎng)絡(luò)機(jī)器人程序是通過(guò) Java語(yǔ)言編寫(xiě)的， Java 是面向?qū)ο蟮木幊陶Z(yǔ)言，將各個(gè)模塊的主要功能封裝在相對(duì)獨(dú)立的類(lèi)中，并通過(guò)接口函數(shù)將它們有效地連接起來(lái)，形成一個(gè)完整的系統(tǒng)。//當(dāng)網(wǎng)絡(luò)機(jī)器人沒(méi)有工作時(shí)調(diào)用。 protected void setStatus(Sting url,char status)。利用概念詞庫(kù)建立智能更高的網(wǎng)絡(luò)機(jī)器人能更好的提高查全率，這是我們今后的主要研究方向之一。 RobotWorker類(lèi) ―――－高性能的網(wǎng)絡(luò)機(jī)器人應(yīng)該是多線(xiàn)程的，把任務(wù)分成許多小任務(wù)，必須有一種方法在不同的線(xiàn)程間分配任務(wù)，工作的基本單元就是 RobotWorker 類(lèi)對(duì)象。//啟動(dòng)機(jī)器人進(jìn)程。//從作業(yè)管理器獲得一個(gè)作業(yè)。 PopQueue(url,WaitQ,LinkType)。//隊(duì)列類(lèi)型：等待、完成、處理、錯(cuò)誤隊(duì)列。網(wǎng)絡(luò)機(jī)器人發(fā)現(xiàn)每個(gè)新的網(wǎng)頁(yè)時(shí)不使用調(diào)用自身的方法，而是將新發(fā)現(xiàn)的鏈接加入到該隊(duì)列中。 數(shù)據(jù)庫(kù)技術(shù) 網(wǎng)絡(luò)機(jī)器人程序必須跟蹤它所遇到的每一個(gè) URL(Uniform Resource Locator),對(duì)這個(gè) URL 列表的管理就是網(wǎng)絡(luò)機(jī)器人程序的作業(yè)管理，作業(yè)管理對(duì)于一個(gè)高效的網(wǎng)絡(luò)機(jī)器人程序是非常重要的，這是因?yàn)榫W(wǎng)絡(luò)機(jī)器人程序必須跟蹤所訪(fǎng)問(wèn)的上千個(gè)網(wǎng)頁(yè)的數(shù)據(jù)。search engine。Java 中圖分類(lèi)號(hào)： TP393 文獻(xiàn)標(biāo)識(shí)碼： A Research on the HighPerformance Robot Based on Java CHEN JinYang,JIANG JianZhong, GUO JunLi (Institute of Inf