基于java的網(wǎng)絡(luò)蜘蛛程序算法研究-文庫(kù)吧
2024-10-18 22:00 本頁(yè)面
【正文】 定義了兩個(gè)類： Socket 和 ServerSccket，它們是利用 Java 進(jìn)行網(wǎng)絡(luò)編程的重要類。如果編寫的程序是扮演服務(wù)器的角色，就應(yīng)該采用 ServerSocket 類；如果程序是連接到服務(wù)器的那么他扮演的是客戶端的角色，我們 應(yīng)該使用 Socket 類，我們研究的網(wǎng)絡(luò)機(jī)器人程序扮演的就是客戶端的角色。 3 關(guān)鍵技術(shù)的研究 網(wǎng)絡(luò)機(jī)器人程序的工作是異常繁重的，好像永遠(yuǎn)都不會(huì)結(jié)束，網(wǎng)絡(luò)機(jī)器人一邊訪問(wèn)網(wǎng)頁(yè)，一邊又要查找下一步要訪問(wèn)的網(wǎng)頁(yè)，訪問(wèn)了一個(gè)站點(diǎn)以后，仍然會(huì)有其它站點(diǎn)加入隊(duì)列中，網(wǎng)絡(luò)機(jī)器人程序的作業(yè)是按指數(shù)級(jí)增長(zhǎng)的，所以對(duì)于大型的智能搜索引擎來(lái)說(shuō)，提高網(wǎng)絡(luò)機(jī)器人程序的效率是非常重要的，以下是開(kāi)發(fā)高性能的網(wǎng)絡(luò)機(jī)器人程序不可或缺的技術(shù)。 多線程技術(shù) 對(duì)于一個(gè)程序員來(lái)說(shuō)，要掌握多線程的編程技術(shù)確實(shí)有些難度，但更難的是，要確定什么時(shí)候需 要用到多線程技術(shù)、怎么劃分線程。多線程是一個(gè)應(yīng)用程序在同一時(shí)刻運(yùn)行超過(guò)一個(gè)任務(wù)的能力，多線程是發(fā)生在一個(gè)應(yīng)用程序內(nèi)部的，它們使用同一內(nèi)存空間，所以一個(gè)進(jìn)程的所有線程可以很容易地共享全局?jǐn)?shù)據(jù)和資源。 網(wǎng)絡(luò)機(jī)器人程序需要下載數(shù)十個(gè)甚至成百上千的網(wǎng)頁(yè)，如果我們采用單線程來(lái)完成這一任務(wù)，效率是十分低的，程序的瓶頸就在于網(wǎng)絡(luò)機(jī)器人程序在向服務(wù)器發(fā)出下載網(wǎng)頁(yè)的請(qǐng)求后必須等待服務(wù)器的響應(yīng)，可想而知，單線程技術(shù)需要一個(gè)接一個(gè)地去等待服務(wù)器的對(duì)請(qǐng)求的響應(yīng)，等待時(shí)間將是對(duì)每一個(gè)網(wǎng)頁(yè)請(qǐng)求等待響應(yīng)的時(shí)間累加。 網(wǎng)絡(luò)機(jī)器人程序必須采 用多線程技術(shù)，多線程技術(shù)允許對(duì)成百上千的網(wǎng)頁(yè)的等待時(shí)間結(jié)合在一起，眾多的線程讓網(wǎng)絡(luò)機(jī)器人程序能同時(shí)等待大量的網(wǎng)頁(yè)，而不是讓它們一個(gè)接一個(gè)的執(zhí)行。 數(shù)據(jù)庫(kù)技術(shù) 網(wǎng)絡(luò)機(jī)器人程序必須跟蹤它所遇到的每一個(gè) URL(Uniform Resource Locator),對(duì)這個(gè) URL 列表的管理就是網(wǎng)絡(luò)機(jī)器人程序的作業(yè)管理，作業(yè)管理對(duì)于一個(gè)高效的網(wǎng)絡(luò)機(jī)器人程序是非常重要的，這是因?yàn)榫W(wǎng)絡(luò)機(jī)器人程序必須跟蹤所訪問(wèn)的上千個(gè)網(wǎng)頁(yè)的數(shù)據(jù)。 網(wǎng)絡(luò)機(jī)器人程序的作業(yè)管理通常采用兩種方法：一種是基于內(nèi)存的隊(duì)列管理，另一種是基于 SQL（ Structured Query Language）數(shù)據(jù)庫(kù)的隊(duì)列管理。如果網(wǎng)絡(luò)機(jī)器人程序訪問(wèn)大型的 Web 服務(wù)器時(shí)，利用基于內(nèi)存來(lái)存儲(chǔ)和管理大型站點(diǎn)的列表，就會(huì)顯得速度很慢，消耗計(jì)算機(jī)資源越來(lái)越多，最終導(dǎo)致網(wǎng)絡(luò)機(jī)器人的工作效率大大下降。所以管理和維護(hù)大型的 Web 站點(diǎn)的網(wǎng)頁(yè)列表必須采用基于 SQL 的數(shù)據(jù)庫(kù)隊(duì)列管理機(jī)制。利用 DBMS(Database Management System)管理大型的網(wǎng)頁(yè)列表能大大緩解內(nèi)存的使用，提高網(wǎng)絡(luò)機(jī)器人程序的運(yùn)行效率。 數(shù)據(jù)庫(kù)訪問(wèn)技術(shù) 網(wǎng)絡(luò)機(jī)器人程序采用基于 SQL 的數(shù)據(jù) 庫(kù)隊(duì)列管理機(jī)制，必須有相應(yīng)的數(shù)據(jù)庫(kù)訪問(wèn)技術(shù)。 Java 為我們提供一組成為 JDBC(Java Database Connectivity,Java 數(shù)據(jù)庫(kù)互連 )的類來(lái)訪問(wèn) 的用途是允許向數(shù)據(jù)庫(kù)發(fā)送 SQL 語(yǔ)句，從而讓你指定希望從數(shù)據(jù)庫(kù)返回的數(shù)據(jù)。在 Java 中，有四種類型的數(shù)據(jù)庫(kù)驅(qū)動(dòng)程序可以使 JDBC 有效的訪問(wèn)數(shù)據(jù)庫(kù)，它們分別是 JDBCODBC 橋，部分 Java 和部分本機(jī)驅(qū)動(dòng)程序，中間數(shù)據(jù)訪問(wèn)服務(wù)器以及純 Java 驅(qū)動(dòng)程序。 將多線程技術(shù)、數(shù)據(jù)庫(kù)技術(shù)和 JDBC 這些技術(shù)有效的結(jié)合在一起，我們就能創(chuàng)建高性能 的網(wǎng)絡(luò)機(jī)器人程序。 4 設(shè)計(jì)思想與算法分析 網(wǎng)頁(yè)的鏈接類型 網(wǎng)絡(luò)機(jī)器人程序在遍歷 Inter 時(shí)，必須從一個(gè)網(wǎng)頁(yè)搜索到另一個(gè)網(wǎng)頁(yè)，為了達(dá)到這個(gè)目的，網(wǎng)絡(luò)機(jī)
畢業(yè)設(shè)計(jì)相關(guān)推薦
鄂ICP備17016276號(hào)-1