基于java的網(wǎng)絡蜘蛛程序算法研究-全文預覽
【正文】 理。//向作業(yè)管理器添加一個作業(yè)。 網(wǎng)絡機器人程序是通過 Java語言編寫的， Java 是面向?qū)ο蟮木幊陶Z言，將各個模塊的主要功能封裝在相對獨立的類中，并通過接口函數(shù)將它們有效地連接起來，形成一個完整的系統(tǒng)。 End。 Else PopQueue(url,RunQ,LinkType)。 Begin For url in NewURLS Do Begin If url is not in FinishQ Then//如完成隊列中沒有 URL。 Document=PopQueue(url,RunQ,LinkType)。 While WaitQ is not empty Do//判斷等待隊列是否有 URL.。 LinkType enum{InternalLink,ExternalLink,OtherLink}。//用一個 URL 集合初始化網(wǎng)絡機器人。 URL 處理狀態(tài)流程圖 ： 發(fā)現(xiàn) URL 錯誤隊列 完成 URL 完成隊列 等待隊列 處理隊列 圖 1 URL 處理狀態(tài)流程圖 算法分析 我 們的算法設計主要就是依據(jù)非遞歸的思想構造的，當一個 URL 被加入到等待隊列中時，網(wǎng)絡機器人就會開始運行。 錯誤隊列 ：如果在處理該網(wǎng)頁時發(fā)生了錯誤，它的 URL 將被加入到錯誤隊列中。 實際工作的時候網(wǎng)絡機器人總共使用了四個隊列，每個這樣的隊列保存著同一處理狀態(tài)的 URL,它 們?nèi)缦拢? 等待隊列 ：在這個隊列中， URL 等待被網(wǎng)絡機器人處理。所以開發(fā)高性能的網(wǎng)絡機器人程序不能采用遞歸的程序設計思想。網(wǎng)絡機器人程序通過分析網(wǎng)頁的 HTML代碼查找網(wǎng)頁內(nèi)所有鏈接到其它網(wǎng)頁的標簽，根據(jù)標簽的屬性 HREF(Hypertext Reference，超文本鏈接 )的值，網(wǎng)絡機器人程序?qū)龅饺N鏈接類型：內(nèi)部鏈接（ Internal link）、外部鏈接 (External link)和其它連接 (other link)。 Java 為我們提供一組成為 JDBC(Java Database Connectivity,Java 數(shù)據(jù)庫互連 )的類來訪問 的用途是允許向數(shù)據(jù)庫發(fā)送 SQL 語句，從而讓你指定希望從數(shù)據(jù)庫返回的數(shù)據(jù)。如果網(wǎng)絡機器人程序訪問大型的 Web 服務器時，利用基于內(nèi)存來存儲和管理大型站點的列表，就會顯得速度很慢，消耗計算機資源越來越多，最終導致網(wǎng)絡機器人的工作效率大大下降。 網(wǎng)絡機器人程序需要下載數(shù)十個甚至成百上千的網(wǎng)頁，如果我們采用單線程來完成這一任務，效率是十分低的，程序的瓶頸就在于網(wǎng)絡機器人程序在向服務器發(fā)出下載網(wǎng)頁的請求后必須等待服務器的響應，可想而知，單線程技術需要一個接一個地去等待服務器的對請求的響應，等待時間將是對每一個網(wǎng)頁請求等待響應的時間累加。如果編寫的程序是扮演服務器的角色，就應該采用 ServerSocket 類；如果程序是連接到服務器的那么他扮演的是客戶端的角色，我們 應該使用 Socket 類，我們研究的網(wǎng)絡機器人程序扮演的就是客戶端的角色。因此新一代的智能搜索引擎要求網(wǎng)絡機器人程序具有更高的性能，能夠更快更新網(wǎng)頁、更廣搜索網(wǎng)頁，所以研究高性能的網(wǎng)絡機器人程序?qū)λ阉饕娴陌l(fā)展具有直接的現(xiàn)實意義和重要的學術價值。Java 1. 高性能網(wǎng)絡機器人程序的研究意義 Web
畢業(yè)設計相關推薦
鄂ICP備17016276號-1