基于java的網(wǎng)絡(luò)蜘蛛程序算法研究-閱讀頁
2024-11-27 22:00本頁面
【正文】 FileText)。 If Extract(NewURLS) from Document is not Null//從下載的網(wǎng)頁中找新的鏈接。 If url linktype is EnternalLink Then//如鏈接是外部鏈接。//將外部鏈接加入到等待隊列中。//否則將鏈接加入到處理隊列中。 End。 PopQueue(url,FinishQ,LinkType) 。 End。 這種結(jié)構(gòu)可以方便地引入新的方法改善和提高系統(tǒng)的功能，也可以建立新的類擴充其系統(tǒng)的功能。 主要的方法有： synchronized public void addWorkload(String url)。 synchronized public void getWorkload(String url)。 synchronized public Boolean foundInternalLink(String url)。 synchronized public Boolean foundExternalLink(String url)。 synchronized public Boolean foundOtherLink(String url)。 synchronized public void processPage(HTTP page)。 synchronized public void robotComplete()。 public void setMaxBody(int mx)。 public void getMaxBody(int mx)。 public void run()。 public void halt()。 RobotSQLWorkload 類――― 是網(wǎng)絡(luò)機器人的作業(yè)管理器，可以將作業(yè)存儲在 SQL 數(shù)據(jù)庫中，通過使用SQL 數(shù)據(jù)庫，作業(yè)管理器可以處理大型的站點，也是實現(xiàn)高性能網(wǎng)絡(luò)機器人重要的類。//從等待隊列中請求一個 URL 送入處理隊列中。//將一個新的 URL 送入等待隊列。//決定送入完成隊列還是錯誤隊列。//設(shè)置 URL 的狀態(tài)：等待、運行、完成、錯誤。//返回 URL 的狀態(tài)類型。//清除作業(yè)管理器的存儲。 主要方法： public Boolean isBusy()。 public void run()。 protected void processWorkload()。 public HTTP getHTTP()。這些對于開發(fā)相應(yīng)的自主產(chǎn)權(quán)的 Web智能搜索引擎都具有一定的參考和借鑒價值。 參考文獻 1． Zhang W F,Xu B W,and Yang H J,Learning Users， Interest for Web PreFetching,Proceedings of IEEE 4th International Workshop on Web Site Evolution (WSE2020), MONTRAL,Canada,October2,2020 2． Heaton J. Programming Spiders,Bots and Aggregators in Java. 3． Jeff Heaton[美 ]，董兆豐譯，網(wǎng) 絡(luò)機器人 JAVA編程指南〔 M〕，北京電子工業(yè)出版社， 2020,238252. 4． 佟曉筠等，面向主題的智能機器人 ROBOT 研究與實現(xiàn)〔 J〕，電子與信息學(xué)報， 25 卷 2020。
畢業(yè)設(shè)計相關(guān)推薦
鄂ICP備17016276號-1