基于java的網絡蜘蛛程序算法研究-資料下載頁
2024-11-07 22:00本頁面
【導讀】陳金陽男碩士研究生主要研究方向網絡與通信、網絡信息處理。對開發(fā)高性能網絡機器人所涉及的關鍵技術和算法進行了詳細地分析。最后，給出了程序的關。鍵類，有助于工程的實際應用和開發(fā)。Web搜索引擎技術是當今網絡信息處理領域的一個熱點和難點。Web可以看作是一個龐大的分布式網。是這么一種專業(yè)化的能高效地掃描Web站點并檢索其內容的程序。要求更準、搜索范圍更大的需求。因此新一代的智能搜索引擎要求網絡機器人程序具有更高的性能，能夠。和重要的學術價值。字協(xié)議，因此我們可以這樣說，Inter的實質就是采用套接字連接TCP/IP協(xié)議的網絡。多線程是一個應用程序在同一時刻運行超過一個任務的能力，多線程是發(fā)。器人的工作效率大大下降。在Java中，有四種類型的數據庫驅動程。序可以使JDBC有效的訪問數據庫，它們分別是JDBC-ODBC橋，部分Java和部分本機驅動程序，中間數。據訪問服務器以及純Java驅動程序。器人程序必須能夠找到保存在它所訪問的每個網頁上的鏈接。
【正文】 getMaxBody(int mx)。//返回要下載的正文大小。 public void run()。//啟動機器人進程。 public void halt()。//停止機器人運 行。 RobotSQLWorkload 類――― 是網絡機器人的作業(yè)管理器，可以將作業(yè)存儲在 SQL 數據庫中，通過使用SQL 數據庫，作業(yè)管理器可以處理大型的站點，也是實現高性能網絡機器人重要的類。 主要方法： synchronized public String assignWorkload()。//從等待隊列中請求一個 URL 送入處理隊列中。 synchronized public void addWorkload(String url)。//將一個新的 URL 送入等待隊列。 synchronized public void pleteWorkload(String url,Boolean error)。//決定送入完成隊列還是錯誤隊列。 protected void setStatus(Sting url,char status)。//設置 URL 的狀態(tài)：等待、運行、完成、錯誤。 synchronized public char getURLStatus(String url)。//返回 URL 的狀態(tài)類型。 synchronized public void clear()。//清除作業(yè)管理器的存儲。 RobotWorker類 ―――－高性能的網絡機器人應該是多線程的，把任務分成許多小任務，必須有一種方法在不同的線程間分配任務，工作的基本單元就是 RobotWorker 類對象。 主要方法： public Boolean isBusy()。//返回線程的對象的狀態(tài)是忙還是空閑。 public void run()。//線程處于空閑則等待作業(yè)管理器分配一個作業(yè)，并通知此線程忙。 protected void processWorkload()。//處理作業(yè)管理器中的作業(yè)。 public HTTP getHTTP()。 開發(fā)高性能的網絡機器人對于提高 Web搜索引擎的整體性能起著至關重要的作用，也是研究和開發(fā)新一代的智能搜索引擎必然要求，本文研究了開發(fā)高性能網絡機器人所涉及的不可或缺的關鍵技術、程序設計思想與算法，并對實現程序功能的一些關鍵類進行了詳細地分析。這些對于開發(fā)相應的自主產權的 Web智能搜索引擎都具有一定的參考和借鑒價值。利用概念詞庫建立智能更高的網絡機器人能更好的提高查全率，這是我們今后的主要研究方向之一。 參考文獻 1． Zhang W F,Xu B W,and Yang H J,Learning Users， Interest for Web PreFetching,Proceedings of IEEE 4th International Workshop on Web Site Evolution (WSE2020), MONTRAL,Canada,October2,2020 2． Heaton J. Programming Spiders,Bots and Aggregators in Java. 3． Jeff Heaton[美 ]，董兆豐譯，網 絡機器人 JAVA編程指南〔 M〕，北京電子工業(yè)出版社， 2020,238252. 4． 佟曉筠等，面向主題的智能機器人 ROBOT 研究與實現〔 J〕，電子與信息學報， 25 卷 2020。 5． 杜亞軍等，爬行蟲算法設計與程序實現〔 J〕，計算機應用， 24 卷 2020。
畢業(yè)設計相關推薦
鄂ICP備17016276號-1