基于java的網(wǎng)絡(luò)蜘蛛程序算法研究-閱讀頁
2025-11-23 22:00本頁面
【正文】 FileText)。 If Extract(NewURLS) from Document is not Null//從下載的網(wǎng)頁中找新的鏈接。 If url linktype is EnternalLink Then//如鏈接是外部鏈接。//將外部鏈接加入到等待隊(duì)列中。//否則將鏈接加入到處理隊(duì)列中。 End。 PopQueue(url,FinishQ,LinkType) 。 End。 這種結(jié)構(gòu)可以方便地引入新的方法改善和提高系統(tǒng)的功能，也可以建立新的類擴(kuò)充其系統(tǒng)的功能。 主要的方法有： synchronized public void addWorkload(String url)。 synchronized public void getWorkload(String url)。 synchronized public Boolean foundInternalLink(String url)。 synchronized public Boolean foundExternalLink(String url)。 synchronized public Boolean foundOtherLink(String url)。 synchronized public void processPage(HTTP page)。 synchronized public void robotComplete()。 public void setMaxBody(int mx)。 public void getMaxBody(int mx)。 public void run()。 public void halt()。 RobotSQLWorkload 類――― 是網(wǎng)絡(luò)機(jī)器人的作業(yè)管理器，可以將作業(yè)存儲(chǔ)在 SQL 數(shù)據(jù)庫中，通過使用SQL 數(shù)據(jù)庫，作業(yè)管理器可以處理大型的站點(diǎn)，也是實(shí)現(xiàn)高性能網(wǎng)絡(luò)機(jī)器人重要的類。//從等待隊(duì)列中請(qǐng)求一個(gè) URL 送入處理隊(duì)列中。//將一個(gè)新的 URL 送入等待隊(duì)列。//決定送入完成隊(duì)列還是錯(cuò)誤隊(duì)列。//設(shè)置 URL 的狀態(tài)：等待、運(yùn)行、完成、錯(cuò)誤。//返回 URL 的狀態(tài)類型。//清除作業(yè)管理器的存儲(chǔ)。 主要方法： public Boolean isBusy()。 public void run()。 protected void processWorkload()。 public HTTP getHTTP()。這些對(duì)于開發(fā)相應(yīng)的自主產(chǎn)權(quán)的 Web智能搜索引擎都具有一定的參考和借鑒價(jià)值。 參考文獻(xiàn) 1． Zhang W F,Xu B W,and Yang H J,Learning Users， Interest for Web PreFetching,Proceedings of IEEE 4th International Workshop on Web Site Evolution (WSE2020), MONTRAL,Canada,October2,2020 2． Heaton J. Programming Spiders,Bots and Aggregators in Java. 3． Jeff Heaton[美 ]，董兆豐譯，網(wǎng) 絡(luò)機(jī)器人 JAVA編程指南〔 M〕，北京電子工業(yè)出版社， 2020,238252. 4． 佟曉筠等，面向主題的智能機(jī)器人 ROBOT 研究與實(shí)現(xiàn)〔 J〕，電子與信息學(xué)報(bào)， 25 卷 2020。
畢業(yè)設(shè)計(jì)相關(guān)推薦
鄂ICP備17016276號(hào)-1