【正文】 提供 XML 數(shù)據(jù) writer 功能（如輸出 XML 流功能）的 SyncProvider 實(shí)現(xiàn)可以實(shí)現(xiàn)沈陽(yáng)理工大學(xué)學(xué)士學(xué)位論文29此接口，以向 WebRowSet 實(shí)現(xiàn)提供標(biāo)準(zhǔn) XmlWriter 對(duì)象。if (null == strVal) {strVal = 。 (rootElement)。元素可能有與它們相關(guān)的屬性；由于 Element 接口繼承自 Node，所以可以使用一般 Node 接口屬性 attributes 來(lái)獲得元素所有屬性的集合。 Document 可以看做是 XML 在內(nèi)存中的鏡像，那么一旦對(duì) document 操作就相當(dāng)于對(duì)XML 操作。String DrafCommittee = 。String NumberofPages = 。String AdopInteStand = 。String RevocatoryDate = 。String ReviewAffiDate = 。String IssuDate = 。讀取字符被錄入到字符串中。安全上網(wǎng)，從 360 導(dǎo)航開(kāi)始。因此，該子字符串的長(zhǎng)度為 endIndexbeginIndex。返回的整形數(shù)標(biāo)志了起始沈陽(yáng)理工大學(xué)學(xué)士學(xué)位論文26標(biāo)志字符串的起始位置，在查找戒指標(biāo)志時(shí)要從起始字符串的結(jié)束位置開(kāi)始查找 iEPos = (strEnd, iSPos + ())。 得到標(biāo)志后調(diào)用函數(shù)：strHtml = (strHtml, HtmlStarSign,HtmlEndSign)。} 使用 append 把讀入的 字符串添加到一個(gè)新的字符產(chǎn)中并添加回車 。 新建一個(gè) Bufferedreader 類型變量： BufferedReader br = null。InputStreamReader：InputStreamReader 是字節(jié)流通向字符流的橋梁：它使用指定的 charset 讀取字節(jié)并將其譯碼為字符。創(chuàng)建 BufferedInputStream 時(shí)即創(chuàng)建了一個(gè)內(nèi)部緩沖區(qū)數(shù)組。程序可以從中連續(xù)讀取字節(jié)的對(duì)象叫輸入流，用 InputStream 類來(lái)描述所有輸入流的抽象概念。此處的 Connection 對(duì)象實(shí)際上是根據(jù) URL 的請(qǐng)求協(xié)議(此處是 )生成的URLConnection 類的子類 HttpURLConnection,故此處最好將其轉(zhuǎn)化為HttpURLConnection 類型的對(duì)象 ,以便用到 HttpURLConnection 更多的 API. 返回一個(gè) URLConnection 對(duì)象，它表示到 URL 所引用的遠(yuǎn)程對(duì)象的連接。getHtmlText函數(shù)：public static String getHtmlText(String strUrl, int timeout,String strEnCoding, String cookies, Proxy proxy)strUrl 網(wǎng)址字符串timeout 超時(shí)設(shè)置strEnCoding 網(wǎng)頁(yè)編碼cookies 網(wǎng)頁(yè)cookiesCookies是我們?yōu)g覽的網(wǎng)站傳輸?shù)接脩粲?jì)算機(jī)硬盤(pán)中的文本文件或內(nèi)存中的數(shù)據(jù)，可以當(dāng)作緩存來(lái)記，就是你第一次打開(kāi)某網(wǎng)站然后關(guān)了在開(kāi)一下相對(duì)第一次會(huì)快點(diǎn)，因?yàn)榈谝淮蔚挠涗浽贑OOKIES里儲(chǔ)存了，第二次在開(kāi)那就直接可以調(diào)可它這樣就會(huì)快點(diǎn)！Proxy 代理設(shè)置獲得網(wǎng)頁(yè)源代碼首先要獲得網(wǎng)頁(yè)鏈接：將 String 類型的變量 strURL 轉(zhuǎn)換為 URL 類型：URL url = new URL(strUrl)。如果文件路徑合法，文件內(nèi)容合法，內(nèi)容可讀取，初始化 Bufferedreader類型變量 ，使文件內(nèi)容可逐行被讀取。如果沒(méi)有緩沖，則每次調(diào)用 read() 或 readLine() 都會(huì)導(dǎo)致從文件中讀取字節(jié)，并將其轉(zhuǎn)換為字符后返回，而這是極其低效的。 通常，Reader 所作的每個(gè)讀取請(qǐng)求都會(huì)導(dǎo)致對(duì)基礎(chǔ)字符或字節(jié)流進(jìn)行相應(yīng)的讀取請(qǐng)求。 FileReader 用于讀取字符流。為了逐行讀取 URL 需要申請(qǐng)一個(gè) FileReader 類型變量和一個(gè)沈陽(yáng)理工大學(xué)學(xué)士學(xué)位論文23Bufferedreader 類型變量。目前由 IBM 牽頭，圍繞著 Eclipse 項(xiàng)目已經(jīng)發(fā)展成為了一個(gè)龐大的 Eclipse 聯(lián)盟，有 150 多家軟件公司參與到 Eclipse 項(xiàng)目中，其中包括 Borland、Rational Software、 Red Hat 及 Sybase 等。Eclipse 的本身只是一個(gè)框架平臺(tái)，但是眾多插件的支持使得 Eclipse 擁有其它功能相對(duì)固定的 IDE 軟件很難具有的靈活性。Eclipse 框架還可用來(lái)作為與軟件開(kāi)發(fā)無(wú)關(guān)的其它應(yīng)用程序類型的基礎(chǔ)，比如內(nèi)容管理系統(tǒng)。 Eclipse 還包括插件開(kāi)發(fā)環(huán)境（ Plugin Development Environment，PDE），這個(gè)組件主要針對(duì)希望擴(kuò)展 Eclipse 的軟件開(kāi)發(fā)人員，因?yàn)樗试S他們構(gòu)建與 Eclipse 環(huán)境無(wú)縫集成的工具。是一個(gè)開(kāi)放源代碼的、基于 Java 的可擴(kuò)展開(kāi)發(fā)平臺(tái)。最后當(dāng)數(shù)據(jù)交換完成以后，關(guān)閉網(wǎng)絡(luò)連接，釋放網(wǎng)絡(luò)連接占用的系統(tǒng)端口和內(nèi)存等資源，完成網(wǎng)絡(luò)操作，示例代碼如: ()。示例代碼如下： OutputStream os = ()。 Socket socket2 = new Socket(“”,80)。正是由于這種高度的封裝，一方面簡(jiǎn)化了 Java 語(yǔ)言網(wǎng)絡(luò)編程的難度，另外也使得使用 Java 語(yǔ)言進(jìn)行網(wǎng)絡(luò)編程時(shí)無(wú)法深入到網(wǎng)絡(luò)的底層，所以使用 Java 語(yǔ)言進(jìn)行網(wǎng)絡(luò)底層系統(tǒng)編程很困難，具體點(diǎn)說(shuō)，Java 語(yǔ)言無(wú)法實(shí)現(xiàn)底層的網(wǎng)絡(luò)嗅探以及獲得 IP 包結(jié)構(gòu)等信息。按照前面的介紹，網(wǎng)絡(luò)通訊的方式有 TCP 和 UDP 兩種，其中 TCP 方式的網(wǎng)絡(luò)通訊是指在通訊的過(guò)程中保持連接，有點(diǎn)類似于打電話，只需要撥打一次號(hào)碼(建立一次網(wǎng)絡(luò)連接) ，就可以多次通話(多次傳輸數(shù)據(jù))。該包中既包含基礎(chǔ)的網(wǎng)絡(luò)編程類，也包含封裝后的專門(mén)處理WEB 相關(guān)的處理類。實(shí)質(zhì)上，服務(wù)器端獲得的連接和客戶端創(chuàng)建的連接是一樣的，只是數(shù)據(jù)交換的步驟不同。一般在服務(wù)器端編程中，當(dāng)獲得連接時(shí)，需要開(kāi)啟專門(mén)的線程處理該連接，每個(gè)連接都由獨(dú)立的線程實(shí)現(xiàn)。根據(jù)邏輯需要，可以進(jìn)行無(wú)限次的資料交換。在建立網(wǎng)絡(luò)連接時(shí)需要指定連接到的服務(wù)器 IP 地址和端口號(hào)。當(dāng)然，B/S 結(jié)構(gòu)的編程中只需要實(shí)現(xiàn)服務(wù)器端即可。TCP 的可靠連接得益于它的三次握手原理。TCP 是一個(gè)面向連接的協(xié)議，為用戶進(jìn)程提供可靠的全雙工字節(jié)流。它使用 32 位地址。發(fā)送方和接收方的成對(duì)的兩個(gè)socket 之間必須建立連接，以便在 TCP 協(xié)議的基礎(chǔ)上進(jìn)行通信，當(dāng)一個(gè) socket（通常都是 server socket）等待建立連接時(shí)，另一個(gè) socket 可以要求進(jìn)行連接，一旦這兩個(gè)socket 連接起來(lái)，它們就可以進(jìn)行雙向數(shù)據(jù)傳輸，雙方都可以進(jìn)行發(fā)送或接收操作。即通信雙方一方作為服務(wù)器等待客戶提出請(qǐng)求并予以響應(yīng)。網(wǎng)絡(luò)編程中有兩個(gè)主要的問(wèn)題，一個(gè)是如何準(zhǔn)確的定位網(wǎng)絡(luò)上一臺(tái)或多臺(tái)主機(jī)，另一個(gè)就是找到主機(jī)后如何可靠高效的進(jìn)行數(shù)據(jù)傳輸。synchronized 關(guān)鍵詞實(shí)現(xiàn)的基本操作是把每個(gè)需要線程同步的部分定義為一個(gè)臨界區(qū)，在臨界區(qū)中同一時(shí)刻只有一個(gè)線程被執(zhí)行。所以 JAVA 中的每個(gè)對(duì)象都有自己的鎖。JAVA提供了多種機(jī)制以實(shí)現(xiàn)線程同步。線程調(diào)度程序根據(jù)調(diào)度策略來(lái)調(diào)度不同的線程，調(diào)用線程的 run方法給已經(jīng)注冊(cè)的各個(gè)線程以執(zhí)行的機(jī)會(huì)，被調(diào)度執(zhí)行的線程進(jìn)入運(yùn)行（Running）狀態(tài)。 while(i100){ i++。 }程序不能像終止小應(yīng)用程序那樣通過(guò)調(diào)用一個(gè)方法來(lái)結(jié)束線程(小應(yīng)用程序通過(guò)調(diào)用 stop()方法結(jié)束小應(yīng)用程序的運(yùn)行)。本例子中，線程運(yùn)行結(jié)束的條件是 clockThread 為 null，而在小應(yīng)用程序的 stop()方法中，將 clockThread 賦值為 null。 } catch (InterruptedException e){} }4. 阻塞狀態(tài)(Blocked)線程運(yùn)行過(guò)程中，可能由于各種原因進(jìn)入阻塞狀態(tài)。對(duì)多個(gè)處于就緒狀態(tài)的線程是由 Java 運(yùn)行時(shí)系統(tǒng)的線程調(diào)度程序(thread scheduler)來(lái)調(diào)度的。當(dāng)start()方法返回后，線程就處于就緒狀態(tài)。2. 就緒狀態(tài)(Runnable)一個(gè)新創(chuàng)建的線程并不自動(dòng)開(kāi)始運(yùn)行，要執(zhí)行線程，必須調(diào)用線程的 start()方法。 } }當(dāng)該語(yǔ)句執(zhí)行后 clockThread 就處于新建狀態(tài)。其中，Running 狀態(tài)并非屬于JAVA 規(guī)范中定義的線程狀態(tài)，也就是說(shuō)，在 JAVA 規(guī)范中，并沒(méi)有將運(yùn)行（Running）狀態(tài)真正的設(shè)置為一個(gè)狀態(tài)，它屬于可運(yùn)行狀態(tài)的一種。我們也可以通過(guò)實(shí)現(xiàn) Runnable 接口并實(shí)現(xiàn)接口中定義的唯一方法 run()，可以創(chuàng)建一個(gè)線程。通常，我們可以將一個(gè)類繼承 Thread，然后，覆蓋 Thread 中的 run()方法，這樣讓這個(gè)類本身也就成了線程。沈陽(yáng)理工大學(xué)學(xué)士學(xué)位論文13public static void yield() 使當(dāng)前執(zhí)行的線程暫停執(zhí)行，允許其它線程執(zhí)行。public void run() 線程的線程體。public String getName() 返回線程名。Thread 類實(shí)現(xiàn)了 Runnable 接口，因此 Thread 對(duì)象也是可運(yùn)行對(duì)象。沈陽(yáng)理工大學(xué)學(xué)士學(xué)位論文12Java 語(yǔ)言實(shí)現(xiàn)多線程編程的類和接口?？梢孕蜗蟮睦斫鉃?在一個(gè) JAVA 程序內(nèi)部虛擬了多臺(tái)計(jì)算機(jī)，每臺(tái)計(jì)算機(jī)對(duì)應(yīng)一個(gè)線程，有自己的 CPU，可以獲取所需的代碼和數(shù)據(jù)，因此能獨(dú)立執(zhí)行任務(wù)，相互間還可以共享代碼和數(shù)據(jù)。還有其它很多使用多線程的好處，這里就不在累述。用戶接口可以更加吸引人，這樣比如用戶點(diǎn)擊了一個(gè)按鈕去觸發(fā)某些事件的處理，可以彈出一個(gè)進(jìn)度條來(lái)顯示處理的進(jìn)度。要使兩個(gè)循環(huán)同時(shí)執(zhí)行，需要編寫(xiě)多線程的程序。for(int j = 0。圖 單線程程序示意圖 圖 多線程程序示意圖有些程序中需要多個(gè)控制流并行執(zhí)行。順序程序都有開(kāi)始、執(zhí)行序列和結(jié)束，在程序執(zhí)行的任何時(shí)刻，只有一個(gè)執(zhí)行點(diǎn)。作為單個(gè)順序控制流，線程必須在運(yùn)行的程序中得到自己運(yùn)行的資源，如必須有自己的執(zhí)行棧和程序計(jì)數(shù)器。也就是說(shuō)，進(jìn)程是運(yùn)行中的程序，是程序的一次運(yùn)行活動(dòng)。 503 Service Unavailable 服務(wù)器當(dāng)前不能夠處理客戶端的請(qǐng)求，在一段時(shí)間之后，服務(wù)器可能會(huì)恢復(fù)正常。 401 Unauthonzed 請(qǐng)求未經(jīng)授權(quán)。 3xx: 復(fù)位向—要完成請(qǐng)求必須進(jìn)行更進(jìn)一步的操作。狀態(tài)描述：狀態(tài)描述給出了關(guān)于狀態(tài)代碼的簡(jiǎn)短的文字描述。GET 一般用于獲取 /查詢資源信息；而 POST 一般用于更新資源信息。TRACE 請(qǐng)求服務(wù)器回送收到的請(qǐng)求信息，主要用語(yǔ)測(cè)試或診斷。HEAD 請(qǐng)求獲取由 RequestURI 所標(biāo)識(shí)的資源的響應(yīng)消息報(bào)頭。 HTTP 消息結(jié)構(gòu)Request 消息結(jié)構(gòu)：Response 消息結(jié)構(gòu)： 請(qǐng)求方法 根據(jù) HTTP 標(biāo)準(zhǔn)，HTTP 請(qǐng)求可以使用多種請(qǐng)求方法。無(wú)狀態(tài)：HTTP 協(xié)議是無(wú)狀態(tài)協(xié)議。正在傳輸?shù)念愋陀?ContentType 加以標(biāo)記。請(qǐng)求方法常用的有 GET、HEAD、POST。它允許將超文本標(biāo)記語(yǔ)言(HTML) 文檔從 Web 服務(wù)器傳送到 Web 瀏覽器。 HTTP 協(xié)議簡(jiǎn)介超文本傳輸協(xié)議 (HTTPHypertext transfer protocol) 是分布式，協(xié)作式，超媒體系統(tǒng)應(yīng)用之間的通信協(xié)議。URL 相當(dāng)于一個(gè)文件名在網(wǎng)絡(luò)范圍的擴(kuò)展。比較好的情況是邏輯結(jié)構(gòu)與前面的樹(shù)型物理結(jié)構(gòu)相吻合。扁平結(jié)構(gòu)就是網(wǎng)站中所有的頁(yè)面都是在根目錄這一級(jí)別，形成一個(gè)扁平的物理結(jié)構(gòu)。 統(tǒng)一資源定位符是統(tǒng)一資源標(biāo)志符的一個(gè)下種?，F(xiàn)在它已經(jīng)被萬(wàn)維網(wǎng)聯(lián)盟編制為因特網(wǎng)標(biāo)準(zhǔn) RFC1738 了。通過(guò)實(shí)現(xiàn)此爬蟲(chóng)程序可以定點(diǎn)搜集某一站點(diǎn)的 URLs，如果需要搜集其它信息，可以在解析URLs 的同時(shí)，解析獲取相應(yīng)信息沈陽(yáng)理工大學(xué)學(xué)士學(xué)位論文42 總體設(shè)計(jì)方案 系統(tǒng)設(shè)計(jì)方案 本設(shè)計(jì)主要是通過(guò)在 eclipse 軟件環(huán)境中進(jìn)行，設(shè)計(jì)過(guò)程中首先服務(wù)器端獲得網(wǎng)頁(yè)URL，URL 的獲得途徑有從客戶端獲得的已經(jīng)形成的 URL，和解析網(wǎng)站獲得的更新的URL 兩種途徑，然后根據(jù) URL 連接該網(wǎng)頁(yè)，獲取網(wǎng)頁(yè)源代碼，獲取網(wǎng)頁(yè)源代碼中需要的網(wǎng)頁(yè)內(nèi)容，去除多余的標(biāo)簽，空格，最后形成 XML 文檔，服務(wù)器端的還包含獲得IP 代理，因?yàn)榉磸?fù)解析同一個(gè)網(wǎng)站，網(wǎng)站的防火墻會(huì)讓本地 IP 無(wú)法訪問(wèn)該網(wǎng)站，所以我們需要用到 IP 代理循環(huán)訪問(wèn)網(wǎng)站解決這個(gè)問(wèn)題，服務(wù)器端還可以閱本地文件的模塊，方便文件閱讀的客戶端主要是過(guò)濾本地的文檔與服務(wù)器端進(jìn)行信息交互，傳送需要解析的 URL，獲得已經(jīng)解析的網(wǎng)頁(yè)源代碼所形成的 XML 文檔。雖然大的 Flash 效果看上去很好，外觀看著也很漂亮，但可惜搜索引擎看不到，無(wú)法讀取任何內(nèi)容。動(dòng)態(tài) URL。部分站長(zhǎng)為了讓用戶記住登陸信息，強(qiáng)迫用戶使用 Cookies。與通用爬蟲(chóng)(general purpose web crawler)不同，聚焦爬蟲(chóng)并不追求大的覆蓋，而將目標(biāo)定為抓取與某一特定主題內(nèi)容相關(guān)的網(wǎng)頁(yè)，為面向主題的用戶查詢準(zhǔn)備數(shù)據(jù)資源。網(wǎng)絡(luò)爬蟲(chóng)是搜索引擎的重要組成部分