【文章內(nèi)容簡介】 策略 主題搜索引擎的網(wǎng)絡蜘蛛，它只服務于一定的人群，因此采集信息時也只采集與主題相關的信息。主題搜索引擎其網(wǎng)絡蜘蛛的搜索策略有很多種，以下簡單介紹這些搜索策略。 基于內(nèi)容評價的搜索策略 [8,12,17,19]， 是由傳統(tǒng)信息檢索中的文本檢索的思想轉變過來的。即利用文本相似度的計算方法評價頁面文本與主題集（如關鍵詞、主題相關文檔）之間相似程 度，再根據(jù)其相似程序確定訪問頁面的順序。 基于鏈接結構評價的搜索策略，利用頁面的結構特征和鏈接的重要性，來決定搜索順序。它有兩種算法，分別是 PageRank 和 HITS，前者原先用于對查詢結果的排序，近幾年被用于網(wǎng)絡蜘蛛對鏈接重要性的評價；后者根據(jù)網(wǎng)頁出入度確定網(wǎng)頁的重要性。 基于鞏固學習的搜索策略，利用 Web 信息資源的相似性，先對網(wǎng)絡蜘蛛進行一些訓練，使其具備一些經(jīng)驗信息，再利用這些經(jīng)驗信息指導搜索。 平臺的選擇 .NET平臺與 JAVA平臺都是當前兩大流行的設計平臺。這兩大平 臺有各自的特點，都有非常強大的功能，都可以滿足我們設計的需要。 JAVA 平臺提供給我們的是平臺中立和可移植性，我們可以在 WIN 系統(tǒng)下或其他系統(tǒng)下開發(fā)項目，經(jīng)過一次編譯就可以在其他系統(tǒng)下運行；而 .NET 平臺提供給我們的是可視化的開發(fā)界面，使初學者較容易上手，豐富的組件庫可以使開發(fā)者輕松許多。考慮到初次設計這種要求較高的應用程序，我們這里選擇 .NET 平臺。 9 語言的選擇 前面講到我們選擇 .NET 作為我們的開發(fā)平臺，在語言選擇上，我們選擇相對來說較為熟悉的 C語言作為本次設計的首選語言。 I/O 與數(shù)據(jù)流 簡介 I/O 一般指輸入（ input） /輸出 (output)系統(tǒng)，它本身提供應用程序與外部溝通的一種方式。數(shù)據(jù)流，是一個用于傳輸數(shù)據(jù)的對象，數(shù)據(jù)的傳輸也有兩個方向 : （ 1）如果數(shù)據(jù)從外部源傳輸?shù)匠绦蛑?，這就是讀取流。 （ 2）如果數(shù)據(jù)從程序傳輸?shù)酵獠吭?，這就是寫入流。 在 C語言中，它利用 .NET 的 I/O 系統(tǒng)，提供程序語言的 I/O 功能。 .NET 以面向對象設計方式，處理 I/O 相關問題，所有與 I/O 有關的功能，被封裝于各種不同形式的類，而其中主要的 I/O 類，集中于命名空間 。 是非常 大的命名空間，其中包含各種的類，提供不同格式數(shù)據(jù)流的處理功能。 訪問 Inter 介紹 C可以通過 .NET 基類提供的方法和工具類，使用各種網(wǎng)絡協(xié)議（如 HTTP 和 TCP）訪問網(wǎng)絡和 Inter。在制作具備網(wǎng)絡功能的應用程序時，我們要用到相應的類及方法，而這些類、方法都散布在 和 這兩個命名空間。其中，前者提供實現(xiàn) Sockets 應用程序的相關類，它通常與較低層的操作有關；后者提供開發(fā)因特網(wǎng)功能所需的應用程序接口，它通常與較高層的操作有關，例如使用HTTP 等協(xié)議進行 Web 請求。 命名空間 . Sockets 命名空間主要提供制作 Sockets 網(wǎng)絡應用程序的相關類。其中幾個比較重要的類有 Socket 類、 TcpClient 類、 TcpListener 類，另外一個類ScoketException，則是當 Sockets 網(wǎng)絡錯誤或使用 DNS 類存取網(wǎng)絡主機信息產(chǎn)生錯誤時，系統(tǒng)所拋出的異常類。使用 Socket 實現(xiàn)具備網(wǎng)絡連接服務的應用程序，通常必需提供接受客戶端應用程序連接的服務端應用程序，整個應用程序的 運作過程如下幾步： （ 1）綁定至指定端點：對一個特定主機的指定通信端口，等待連接的服務器端應用程序，進行聯(lián)系的操作； （ 2）完成服務器連接：聯(lián)系完成后，創(chuàng)建與主機服務器的連接； （ 3）傳送數(shù)據(jù)至 Socket：在客戶端應用程序，將指定的數(shù)據(jù)傳送至 Socket 對象上； 10 （ 4）從 Socket 上讀取數(shù)據(jù)：上述步驟的反向操作，在 Socket 讀取所需的操作。 TcpClient 類：它提供 TCP 網(wǎng)絡服務的 Client 連接，提供 TCP 網(wǎng)絡服務的客戶端應用程序與服務器連接， 然后使用此連接發(fā)送和接收數(shù)據(jù)包 。通過指定的 IP 地址以 及通信端口編號進行連接的。其中 IPEndPoint 類代表網(wǎng)絡終點，它是一種用以表示 IP 地址和通信端口編號的類。 IPAddress 類代表 IP地址。 TcpListener 類：提供制作相關功能所需的方法，分別接受 IP 地址以及所要傾聽的通信端口編號參數(shù)。 NetworkStream 類： 主要是提供用于網(wǎng)絡訪問的基礎數(shù)據(jù)流。 它主要通過串接Socket 對象，創(chuàng)建其對象實例，在使用前， 需要創(chuàng)建 Socket 對象實例，并通過 方法建立與遠程服務端的連接，而后才可以使用該方法得到網(wǎng)絡傳輸流。 命名空間 命名空間提供了一般性的網(wǎng)絡資源存取，如下載網(wǎng)頁、文件等。有幾個比較重要的類有 WebRequest 類、 WebResponse 類、 HttpWebRequest 類、HttpWebResponse 類、 WebClient 類。 WebRequest 類和 WebResponse 類是 .NET 要求 /響應結構模型的核心類； HttpWebRequest類和 HttpWebResponse類讓我們在使用 HTTP協(xié)議完成網(wǎng)絡的要求 /響應等相關操作。 多線程技術 線程可以視為一段獨立 執(zhí)行的程序代碼段，應用程序至少會于一個或一個以上的線程中執(zhí)行，多線程可以讓應用程序同時進行多項工作，提高執(zhí)行性能。多線程通常被應用在以下幾種情形：一種是耗時的運算工作，如進行復雜的數(shù)學運算，這時可以讓應用程序進行運算的同時，進行其他工作。另一種是等待響應信息，程序必須長時間等待響應時運用多線程技術。如通過網(wǎng)絡讀取文件或下載大量數(shù)據(jù)時，可以通過使用多線程技術來提高工作效率。 創(chuàng)建線程 想要在應用程序里使用線程，最簡單的方式便是創(chuàng)建 Thread 類的實例對象，在此之前 ，先引 用 命 名空 間。以 下為構 造函 數(shù)： Public Thread(ThreadStart startPoint)。//startPonit 參數(shù)是一個 ThreadStart 委派，用以封裝線程對象所要執(zhí)行的方法。此委派的定義如下： Public delegate void ThreadStart()。//ThreadStart 委派不能有返回值，且不能接受任何參數(shù)。 在創(chuàng)建新線程對象后，要調用 Thread 類的 Start 方法，如此線程才會開始執(zhí)行11 委派 Thread 所封裝的方法， Start 方法定義如下： Public void Start()。//啟動線程； 程序首先聲明一個實例對象，調用 Start()方法，再通過聲明一個 Thread 類的實例對象 Threading，再調用線程的 Start()方法來啟動線程。 線程的暫停與恢復 Thread 類提供一組方法，允許一個線程啟動后，能夠暫停執(zhí)行，在適當?shù)臅r候恢復執(zhí)行。這里有幾個方法可以達到此目的。其定義如下： Public void Suspend()。//暫停線程； Public void Resume()。//恢復線程； Public void Join()。//將一個新的線程 加入到目前正在執(zhí)行的線程。 終止線程 從創(chuàng)建線程、執(zhí)行到暫停等，最終要終止線程。這時可以調用方法 Interrupt強制終止線程的執(zhí)行。其定義如下： Public void Interrupt ()。 線程管理 線程允許應用程序同時執(zhí)行多個工作，但是不當?shù)氖褂镁€程也會帶來不利影響。這時我們就可以用 ThreadPool 類來管理線程 [9] 。其中比較重要的方法為QueneUserWorkItem 方法。 設計思路 在理解本次設計原理的基礎上，本程序主要功能就是分析 URL 并下載網(wǎng)頁 ，那么在進行設計完整程序之前，可以對本程序的設計進行簡化。即把下載一個網(wǎng)站網(wǎng)頁的設計簡化為下載一個網(wǎng)頁的設計。這個問題相對來說就比較簡單，我們可以利用 .NET中的 WebR