【文章內容簡介】 rLog)。 (1,ManagerName)。 (2,ManagerLog)。 ResultSet rs = ()。 if (()) { ()。 } else { (登錄失敗)。 } ()。%%@ page contentType=text/html。 charset=gb2312 import=.* %語句是JSP文件的標志。().newInstance()。Stringurl=jdbc:microsoft:sqlserver://localhost:1433。DatabaseName=SEARCH。Connectionconn=(url,sa,111)三個語句是實現(xiàn)與數(shù)據(jù)庫的連接。面向主題資源的發(fā)現(xiàn)是通過添加與該主題相關聯(lián)的關鍵詞來增加主題資源的數(shù)量，以使用戶查找到的信息更全面。進行關鍵詞的添加是通過三個基本界面來實現(xiàn)的，管理員在關鍵詞管理界面輸入需添加的關鍵詞點擊保存關鍵詞，，關鍵詞管理的界面如下圖所示。 關鍵詞管理界面% (gbk)。 String keyword = (keyword)。 String power = (power)。 ().newInstance()。 String url=jdbc:microsoft:sqlserver://localhost:1433。DatabaseName=SEARCH。 Connection conn= (url,sa,111)。 String sql = INSERT INTO keywordstable VALUES(?,?)。 PreparedStatement pstmt = (sql)。 (1,keyword)。 (2,power)。 int flag = ()。 if (flag != 0) { //(OK)。 ()。 } else { (fail)。 } ()。%% ().newInstance()。 String url=jdbc:microsoft:sqlserver://localhost:1433。DatabaseName=SEARCH。 Connection conn= (url,sa,111)。 Statement stmt = ()。 String sql = SELECT * FROM keywordstable 。 PreparedStatement pstmt=(sql)。 ResultSet rs = ()。 while (()) {% tr td%=(id)%/td td%=(keyword)%/td td%=(power)%/td /tr% } ()。%String sql = INSERT INTO keywordstable VALUES(?,?)。PreparedStatement pstmt = (sql)。(1,keyword)。(2,power)語句實現(xiàn)返回管理關鍵詞界面輸入的關鍵詞信息并將其添加到數(shù)據(jù)庫中。面向主題資源的發(fā)現(xiàn)是通過在Eclipse中運行以下程序來實現(xiàn)的。import 。 import .*。import 。import 。import .*。import 。import 。public class RadarSpecialSearchEngine { public static void main (String[] args) throws ParserException { try { TravelWordTable(D:\\\\)。 } catch(Exception e) { ()。 } }public static void TravelWordTable(String filename) throws IOException { try{ String buffer 。 FileWriter resultFile = null。 PrintWriter myFile = null。 String dstfile = filename+ 。 File writefile = new File(dstfile)。 if(!()) { ()。 } resultFile=new FileWriter(writefile)。 myFile = new PrintWriter(resultFile)。 BufferedReader reader = new BufferedReader(new FileReader(filename))。 while((buffer = ())!=null) { String url = +buffer+amp。pn=0amp。ver=0amp。cl=3。 getBaiduUrls(url,GB2312,myFile)。 } if( myFile != null) ()。 if( resultFile != null) ()。 } catch (ParserException e) { ()。 } } public static void getBaiduUrls(String url , String pageEncoding,PrintWriter writer) throws ParserException { NodeList nodeList = null。 try { /* Parser parser = new Parser(url)。 (pageEncoding)。 // 設置解析編碼格式 // Baidu 檢索結果的url連接和標題nodeList = ( new AndFilter( new HasAttributeFilter(target) , new HasAttributeFilter(onclick)))。 (())。*/ NodeFilter filter = new NodeClassFilter()。 Parser parser = new Parser()。 (url)。 (pageEncoding)。 nodeList = (filter)。 } catch (ParserException e) { ()。 } if(nodeList != null amp。amp。 () 0) { // 循環(huán)遍歷每個Url節(jié)點 for(int i = 0。 i ()。 i ++) {String urlLink = ((LinkTag)(i)).extractLink()。String LinkName = ((LinkTag)(i)).getLinkText()。if( (bnu) != 0 || () != 0 )(結果 + i + 標題：+LinkName)。 ( 鏈接：+urlLink )。 (urlLink)。 } } }} 運行結果為：面向主題資源發(fā)現(xiàn)后將得到的待下載的URL列表導入數(shù)據(jù)庫中，并對這些下載地址進行添加和刪除的管理。待下載的URL列表是通過運行程序來發(fā)現(xiàn)的，在這里我們也可以人工進行添加。 待下載URL列表管理界面得到了相關主題資源的網(wǎng)頁地址或者網(wǎng)站的目錄和網(wǎng)址之后，用Nutch進行批量下載，下載的網(wǎng)頁內容用于之后的索引和用戶檢索。Nutch提供了命令行下載方式，它最初是在Linux系統(tǒng)下運行的，在Windows系統(tǒng)下運行還需要Linux仿真環(huán)境Cygwin的支持，在這些下載環(huán)境設置好之后即可以在Cygwin的Shell環(huán)境中自動執(zhí)行進行網(wǎng)頁的下載。打開Cygwin，在其命令窗口中輸入“cd /cygdrive/d/”,進入Nutch根目錄，接著輸入“bin/nutch crawl –dir specialweb –depth 1 –topN 100 –threads 1”進行網(wǎng)頁的下載。下載過程使用nutch crawl命令，以“dir”引入下載，并將其下載內容存入specialweb中，depth 3表示下載的深度是3即下載三層內容，“topN 100”表示下載到前100個網(wǎng)頁后結束，“threads 1”表示使用一個獨立的線程下載。，調用Generator生成數(shù)據(jù)段，啟動Fetcher線程實際下載網(wǎng)頁，CrawlDb update把網(wǎng)頁內的鏈接加入待下載的的數(shù)據(jù)庫中。 進入Nutch主目錄界面 輸入命令進行下載的界面crawl started in:specialweb表明網(wǎng)絡蜘蛛的名稱是specialweb；rootUrlDir = ；Injector:starting表示注入下載列表；Injector: Converting injected urls to crawl db ；Generator: Selecting bestscoring urls due for ，決定下載順序。Generator:segment:specialweb/segments/20090609093124語句的意思是生成下載結果存儲的數(shù)據(jù)段；Generator: Partitioning selected urls by host, for 。 注入下載列表界面 生成數(shù)據(jù)段界面Fetcher: segment: specialweb/segments/20090609093124是下載指定網(wǎng)頁內容到segment中去。CrawlDb update: starting表明下載完畢后，更新下載數(shù)據(jù)庫，增加新的下載。 實際下載網(wǎng)頁界面LinkDb: starting表明開始進行網(wǎng)頁鏈接關系分析；LinkDb: URL filter: 。LinkDb: done表示鏈接分析完畢。 網(wǎng)頁鏈接分析界面Indexer: starting語句表示為抓取的網(wǎng)頁開始建立索引。 開始建立索引界面 建立索引界面Dedup: starting表示網(wǎng)頁去重；merging indexes to: specialweb/index表示將索引合并。 網(wǎng)頁去重界面面向主題的資源下載完畢之后，將檢索的目錄地址改為!filepropertiespropertyname/namevalueD:\\specialweb/valuedescription/description/property。修改Tomcat/webapps/，使其內容與D:\\conf下的文件相同?！癈onnector”屬性，在最后增加URIEncoding=“UTF8”，使本地的Tomcat支持中文。重新啟動Tomcat，訪問:8080/。 搜索的初始界面 搜索結果界面在SQL Server數(shù)據(jù)庫中建立ManagerInfor存儲管理員信息，用來驗證管理員登錄是否成功，建立keywordstable來存儲添加的關鍵詞信息，建立Waitforurl表存儲待下載的URL列表信息。 建立的SEARCH數(shù)據(jù)庫 建立的各個表第七章 測試 確定測試方法的原則測試產(chǎn)品有兩種方法，黑盒測試與白盒測試。 黑盒測試如果已經(jīng)知道了產(chǎn)品應該具有的功能，可以通過測試來檢驗是否每個功能都能正常使用，這種方法稱為黑盒測試。黑盒測試法把程序看作一個黑盒子，完全不考慮程序的內部結構和處理過程。黑盒測試是在程序接口進行的測試，它只檢查程序功能是否能按照規(guī)格 白盒測試如果知道產(chǎn)品的內部工作過程，可以通過測試來檢驗產(chǎn)品內部動作是否按照規(guī)格說明書的規(guī)定正常進行，這種方法稱為白盒測試，也成為結構測試。 本系統(tǒng)選擇的測試方法面向主題的搜索引擎是針對特定領域和問題，通過網(wǎng)絡蜘蛛自動獲取相關信息并建立索引，為用戶提供有效信息和相關服務。本系統(tǒng)的功能的功能明確，因此采用黑盒測試的方法。 測試的目標測試的根本目標是盡可能很多的發(fā)現(xiàn)并排除軟件中潛藏的錯誤，最終把一個高質量的軟件系統(tǒng)交給用戶使用。；；。此外，應該認識到測試絕不能證明程序是正確的。即使經(jīng)過了最嚴格的測試之后，仍然可能還有沒被發(fā)現(xiàn)的錯誤潛藏的在程序中。測試只能查找程序中的錯誤，不能證明程序中沒有錯誤。 測試項目 系統(tǒng)管理員登錄的測試在系統(tǒng)管理員登錄界面中輸入用戶名和密碼，當輸入的信息與數(shù)據(jù)庫中的管理員信息相符時測試是否能登錄成功，當輸入的信息與數(shù)據(jù)庫中的管理員信息不符合時測試管理員不能進入到