基于java的網(wǎng)絡(luò)蜘蛛程序算法研究(更新版)
【正文】 PopQueue(url,RunQ,LinkType)。 Document=PopQueue(url,RunQ,LinkType)。 LinkType enum{InternalLink,ExternalLink,OtherLink}。 URL 處理狀態(tài)流程圖 ： 發(fā)現(xiàn) URL 錯誤隊列 完成 URL 完成隊列 等待隊列 處理隊列 圖 1 URL 處理狀態(tài)流程圖 算法分析 我 們的算法設(shè)計主要就是依據(jù)非遞歸的思想構(gòu)造的，當(dāng)一個 URL 被加入到等待隊列中時，網(wǎng)絡(luò)機器人就會開始運行。 實際工作的時候網(wǎng)絡(luò)機器人總共使用了四個隊列，每個這樣的隊列保存著同一處理狀態(tài)的 URL,它 們?nèi)缦拢? 等待隊列 ：在這個隊列中， URL 等待被網(wǎng)絡(luò)機器人處理。網(wǎng)絡(luò)機器人程序通過分析網(wǎng)頁的 HTML代碼查找網(wǎng)頁內(nèi)所有鏈接到其它網(wǎng)頁的標(biāo)簽，根據(jù)標(biāo)簽的屬性 HREF(Hypertext Reference，超文本鏈接 )的值，網(wǎng)絡(luò)機器人程序?qū)龅饺N鏈接類型：內(nèi)部鏈接（ Internal link）、外部鏈接 (External link)和其它連接 (other link)。如果網(wǎng)絡(luò)機器人程序訪問大型的 Web 服務(wù)器時，利用基于內(nèi)存來存儲和管理大型站點的列表，就會顯得速度很慢，消耗計算機資源越來越多，最終導(dǎo)致網(wǎng)絡(luò)機器人的工作效率大大下降。如果編寫的程序是扮演服務(wù)器的角色，就應(yīng)該采用 ServerSocket 類；如果程序是連接到服務(wù)器的那么他扮演的是客戶端的角色，我們 應(yīng)該使用 Socket 類，我們研究的網(wǎng)絡(luò)機器人程序扮演的就是客戶端的角色。Java 1. 高性能網(wǎng)絡(luò)機器人程序的研究意義 Web搜索引擎技術(shù)是當(dāng)今網(wǎng)絡(luò)信息處理領(lǐng)域的一個熱點和難點。對開發(fā)高性能網(wǎng)絡(luò)機器人所涉及的關(guān)鍵技術(shù)和算法進行了詳細地分析。搜索引擎 。但是隨著用戶需求的不斷提高，目前基于關(guān)鍵字查詢的搜索引擎已經(jīng)不能滿足用戶對搜索結(jié)果要求更準(zhǔn)、搜索范圍更大的需求。多線程是一個應(yīng)用程序在同一時刻運行超過一個任務(wù)的能力，多線程是發(fā)生在一個應(yīng)用程序內(nèi)部的，它們使用同一內(nèi)存空間，所以一個進程的所有線程可以很容易地共享全局數(shù)據(jù)和資源。 數(shù)據(jù)庫訪問技術(shù) 網(wǎng)絡(luò)機器人程序采用基于 SQL 的數(shù)據(jù) 庫隊列管理機制，必須有相應(yīng)的數(shù)據(jù)庫訪問技術(shù)。采用遞歸設(shè)計的程序思路清晰簡單，但存在兩個主要的問題：第一問題就是如果程序要運行很多次，被壓入遞歸的堆棧會變得非常大，它可能會耗盡整個堆棧的內(nèi)存并終 止程序的運行；第二問題就是多線程技術(shù)與遞歸技術(shù)不能兼容。當(dāng)一個 URL 被處理后，它被移送到錯誤隊列或者完成隊列中?；镜乃惴ㄈ缦滤荆? Initialize URLS。//初始化 URL 集合被加入到等待隊列中。 If Extract(NewURLS) from Document is not Null//從下載的網(wǎng)頁中找新的鏈接。 End。 主要的方法有： synchronized public void addWorkload(String url)。 synchronized public Boolean foundOtherLink(String url)。 public void getMaxBody(int mx)。//從等待隊列中請求一個 URL 送入處理隊列中。//返回 URL 的狀態(tài)類型。 protected void processWorkload()。
畢業(yè)設(shè)計相關(guān)推薦
鄂ICP備17016276號-1