【文章內(nèi)容簡介】 VARCHARnot null數(shù)據(jù)源名稱3） （如表43所示）表43情感傾向標(biāo)注列表字段名字段類型字段限制注釋type_idINT主鍵新聞類型編號type_contentVARCHARnot null新聞類型type_codeINTnot null新聞類型編碼smalltypeVARCHARnot null新聞詳細(xì)類別這三個表之間的實體關(guān)系圖如圖41所示：圖41 數(shù)據(jù)庫實體關(guān)系圖 系統(tǒng)功能模塊設(shè)計整個新聞爬蟲系統(tǒng)應(yīng)該包括四部分的功能模塊：爬取類別的選擇、數(shù)據(jù)獲取模塊、數(shù)據(jù)存入模塊、數(shù)據(jù)分析以及數(shù)據(jù)可視化模塊。其總體的工程如圖42所示：數(shù)據(jù)存儲：將獲取的新聞數(shù)據(jù)存入數(shù)據(jù)庫中數(shù)據(jù)取得：利用爬蟲程序獲得網(wǎng)頁中的新聞數(shù)據(jù)數(shù)據(jù)爬取選擇：選擇要爬取得新聞類別和方式 開始 數(shù)據(jù)可視化：將新聞信息以及分析結(jié)果輸?shù)角芭_ 開始 圖42 系統(tǒng)主要工作流程 數(shù)據(jù)獲取功能模塊在該新聞爬蟲系統(tǒng)中，數(shù)據(jù)的獲取主要依靠網(wǎng)絡(luò)爬蟲來實現(xiàn)。爬蟲程序在針對系統(tǒng)指定的網(wǎng)站進(jìn)行爬行時，會對網(wǎng)頁中的相關(guān)元數(shù)據(jù)進(jìn)行抽取并保存在本地數(shù)據(jù)庫中。爬蟲程序主要由鏈接過濾子模塊、頁面解析子模塊、爬行控制子模塊以及數(shù)據(jù)存儲子模塊構(gòu)成，其模塊結(jié)構(gòu)如圖43所示：圖43 數(shù)據(jù)獲取功能模塊結(jié)構(gòu)圖1） 鏈接過濾子模塊在爬蟲程序的爬行過程中，需要不斷地向待抓取的URL隊列中添加新的URL，而爬蟲作為計算機程序具有機械執(zhí)行的特性，無法智能判斷出某一個URL是否需要進(jìn)行解析，這就要求在爬行過程中需要為爬蟲定義一個鏈接過濾器，只有符合某些條件的URL才能被過濾器所識別，其余不符合條件的URL將會被鏈接過濾器過濾掉，不會加入到待抓取的爬行隊列中去，同時對于符合條件的URL也要判斷該URL是否被爬取過，如果已被爬過則舍棄。在爬蟲中采用鏈接過濾器進(jìn)行URL過濾是很有必要的。一方面，能夠被過濾器識別的URL符合用戶預(yù)定義的過濾規(guī)則，這些URL全部都是用戶所期望獲取的數(shù)據(jù)來源，數(shù)據(jù)抓取的準(zhǔn)確性得到很好的保證；另一方面，由于大量不符合條件的URL都被過濾掉了，爬行隊列中僅僅加入符合條件的URL，大大節(jié)省了寶貴的內(nèi)存空間。鏈接過濾子模塊的工作方式如圖44所示：圖44 鏈接過濾子模塊2） 頁面解析子模塊爬行隊列在爬蟲程序中的地位是非常重要的。在爬蟲程序的工作過程中，需要不斷地提取符合鏈接過濾器的URL加入到爬蟲隊列中去，這些URL所指向的HTML頁面可以分為兩類：一類是可以直接從中獲取元數(shù)據(jù)的HTML頁面，另一類是包含更多符合鏈接過濾器的URL但是不能抽取元數(shù)據(jù)的HTML頁面。對于第一類HTML頁面，直接利用HTML解析工具對其進(jìn)行解析并進(jìn)行元數(shù)據(jù)抽取；對于第二類HTML頁面，則需要對其進(jìn)行URL抽取而非元數(shù)據(jù)抽取，將HTML中復(fù)合鏈接過濾器的URL全部提取出來進(jìn)行重爬判斷并將符合條件的URL加入到爬行隊列中去。頁面解析子模塊的工作方式如圖45所示：圖45 頁面解析子模塊3） 爬行控制子模塊爬行控制模塊是整個爬蟲程序的核心，它控制著整個爬蟲的抓取策略（寬度優(yōu)先或者深度優(yōu)先）以及停止條件。爬行控制子模塊的工作流程如圖46所示：圖46 爬行控制子模塊4） 數(shù)據(jù)存儲子模塊在每次進(jìn)行完HTML頁面的信息抽取之后，都要將所有獲取到的元數(shù)據(jù)寫入到數(shù)據(jù)庫中去，另外還需要將本次抓取的URL也寫入數(shù)據(jù)庫中。數(shù)據(jù)存儲子模塊的工作流程如圖47所示：圖47 數(shù)據(jù)存儲子模塊 數(shù)據(jù)可視化功能模塊 數(shù)據(jù)可視化功能模塊查看新聞內(nèi)容查看新聞小類別圖表歡迎頁面查看符合條件新聞列表查看新聞類別分析圖表查看一天中新聞變化查看新聞隨月份變化圖 圖48 數(shù)據(jù)可視化功能結(jié)構(gòu)圖系統(tǒng)可視化功能模塊的主要功能結(jié)構(gòu)如圖48所示，通過ExtJS結(jié)合Google Visualization API進(jìn)行構(gòu)建，其主要功能包括：1） 顯示歡迎頁：用戶進(jìn)入本系統(tǒng)后顯示歡迎信息并對系統(tǒng)主要功能進(jìn) 展示；2） 查看各類新聞：查看當(dāng)前類型的新聞；3） 按關(guān)鍵字，時間等多條件搜索新聞：輸入關(guān)鍵字和日期進(jìn)行檢索，查看當(dāng)前符合條件的新聞；4） 查看新聞類別分析柱狀圖：輸入日期進(jìn)行檢索，可查看當(dāng)前日期下的新聞類別的分析柱狀圖，在沒有日期限制的條件下就顯示全部新聞的類別分析柱狀圖；5） 查看新聞小類別分析柱狀圖：輸入日期進(jìn)行檢索，可查看當(dāng)前日期下的新聞小類別的分析柱狀圖，在沒有日期限制的條件下就顯示全部新聞的小類別分析柱狀圖；6） 查看新聞數(shù)量隨月份的變化折線圖：輸入日期進(jìn)行檢索，可查看對于當(dāng)前年份下的新聞數(shù)量隨月份變化的折線圖；7） 查看新聞數(shù)量在一天中的變化折線圖：輸入日期進(jìn)行檢索，可查看對于當(dāng)前日期下的新聞數(shù)量隨時間變化的折線圖； 本章小結(jié)本章節(jié)對新聞爬蟲系統(tǒng)進(jìn)行了數(shù)據(jù)庫結(jié)構(gòu)的總體設(shè)計以及系統(tǒng)功能模塊的總體設(shè)計，并對數(shù)據(jù)獲取功能模塊的子模塊以及數(shù)據(jù)可視化功能模塊的功能結(jié)構(gòu)做出了明確的劃分，為系統(tǒng)詳細(xì)設(shè)計與實現(xiàn)階段的工作備好條件。5 系統(tǒng)詳細(xì)設(shè)計與實現(xiàn)本章節(jié)將圍繞新聞爬蟲系統(tǒng)的功能模塊詳細(xì)設(shè)計和技術(shù)實現(xiàn)展開詳細(xì)說明，針對系統(tǒng)總體設(shè)計進(jìn)行細(xì)化和擴充，詳細(xì)地設(shè)計每個模塊實現(xiàn)算法以及所需的局部結(jié)構(gòu)，最后將所有的設(shè)計方案進(jìn)行技術(shù)實現(xiàn)。 數(shù)據(jù)獲取模塊數(shù)據(jù)獲取模塊主要利用Java語言結(jié)合HTTPClient開源工具編寫了一個針對新聞的可擴展的網(wǎng)絡(luò)爬蟲，該爬蟲程序能夠按照廣度優(yōu)先的爬行策略對新聞數(shù)據(jù)進(jìn)行全面的定向抓取以及周期性的增量抓取。在爬蟲程序執(zhí)行數(shù)據(jù)抓取的過程中，采用HTMLParser對獲取到的新聞信息進(jìn)行元數(shù)據(jù)抽取，將新聞的URL、標(biāo)題、內(nèi)容、發(fā)布方、發(fā)布時間、新聞類別等元數(shù)據(jù)以及新聞的圖片存入SQL Server數(shù)據(jù)庫中。 爬蟲程序初始界面爬蟲程序的初始界面如圖51所示。本程序利用SWING實現(xiàn)，界面上方是功能選區(qū)，管理員用戶可以指定爬行操作的數(shù)據(jù)源，進(jìn)行數(shù)據(jù)抓取過程的相關(guān)操作。界面下方的空白區(qū)域使用JTextArea實現(xiàn)，其作用是截獲系統(tǒng)的控制臺輸出并進(jìn)行顯示，用于指示當(dāng)前的爬行動態(tài)信息。界面底部使用JProgressBar實現(xiàn)了一個爬行進(jìn)度指示條，用于指示當(dāng)前爬行操作的執(zhí)行進(jìn)度。圖51 爬蟲程序初始界面 “建立連接”操作用戶點擊“建立連接”按鈕可以獲取到數(shù)據(jù)庫的連接，通過點擊“測試連接”按鈕可以連接到測試數(shù)據(jù)庫進(jìn)行各類測試操作而不影響主數(shù)據(jù)庫的數(shù)據(jù)。用戶在點擊“建立連接”按鈕后，在控制臺進(jìn)行當(dāng)前狀態(tài)輸出，系統(tǒng)狀態(tài)由NotLinked變?yōu)長inked。操作效果如圖52所示：圖52 “建立連接”操作 “開始爬行”操作用戶在取得到數(shù)據(jù)庫的連接之后，可以通過選擇新聞類別（可細(xì)分為china、world、society、mil）開始抓取數(shù)據(jù)，數(shù)據(jù)來源和爬行限制選項可在界面上部進(jìn)行控制。例如我們選擇對于china對應(yīng)的國內(nèi)新聞進(jìn)行爬取則程序會對國內(nèi)新聞開始進(jìn)行抓取（如圖54所示）并將帖子信息寫入到數(shù)據(jù)庫中（如圖55所示）。 圖53 需要抓取的新聞列表圖54 正在進(jìn)行抓取圖55 新聞信息已寫入數(shù)據(jù)庫中 數(shù)據(jù)可視化模塊 歡迎頁用戶在進(jìn)入新聞爬蟲系統(tǒng)后，系統(tǒng)會彈出歡迎頁面，并對該系統(tǒng)主要功能進(jìn)行顯示。如圖56所示：圖56 系統(tǒng)歡迎頁面 查看各類新聞用戶需要選擇相應(yīng)的新聞類別，也可輸入關(guān)鍵字，日期進(jìn)行檢索。例如在新聞類別下選國內(nèi)下的港澳臺快訊，然后輸入關(guān)鍵字，日期關(guān)鍵字為“臺灣”時間為20140609，進(jìn)行檢索，則檢索過程圖如圖57所示： 圖57檢索過程圖檢索的結(jié)果圖如下圖58所示： 圖58 檢索結(jié)果圖當(dāng)點擊第二個結(jié)果時新聞內(nèi)容展示圖如下圖59所示：圖59新聞內(nèi)容展示圖 按時辰分析折線圖用戶需要輸入日期進(jìn)行檢索，查看當(dāng)前日期下的新聞數(shù)量隨時間的變化圖。例如日期設(shè)定為“20140608”，進(jìn)行分析，則顯示出的統(tǒng)計圖如圖510所示：圖510 按時辰分析折線圖根據(jù)分析結(jié)果可以看到新聞發(fā)布的高峰期以及新聞發(fā)布數(shù)量隨時間變化的趨勢。 新聞類別分析柱狀圖用戶需要輸入日期進(jìn)行檢索，查看當(dāng)前日期下的相應(yīng)類別的新聞數(shù)量，當(dāng)用戶不輸入日期時就顯示相應(yīng)類型的全部的新聞數(shù)量。分析柱狀圖如圖511和512所示： 圖511未輸入任何日期的柱狀分析圖 圖512 搜索“20140608”后的類型分析柱狀圖分析結(jié)果顯示，當(dāng)沒有輸入任何時間時，國內(nèi)新聞共576條，國外591條，社會578條，軍事354條，可見除了軍事新聞相對較少外其他三種數(shù)量差不多。當(dāng)輸入時間為“20140608”時國內(nèi)新聞69條，國外29條，社會23條，軍事12條，可見仍然是軍事新聞數(shù)量最少。 新聞小類別分析柱狀圖用戶需要輸入日期進(jìn)行檢索，查看當(dāng)前日期下的相應(yīng)類別的新聞數(shù)量，當(dāng)用戶不輸入日期時就顯示相應(yīng)類型的全部的新聞數(shù)量。分析柱狀圖如圖513和514所示：圖513 未輸入任何日期的柱狀分析圖 圖5154輸入20140608后的類型柱狀分析圖結(jié)果顯示不管是新聞總數(shù)還是某一天的新聞數(shù)各地新聞的數(shù)量都是做多的，其次就是社會萬象，而最少的應(yīng)屬奇聞軼事和環(huán)球新聞。 本章小結(jié) 本章節(jié)對新聞爬蟲系統(tǒng)進(jìn)行了功能模塊的詳細(xì)設(shè)計并完成了系統(tǒng)的開發(fā)實現(xiàn)工作，對于數(shù)據(jù)獲取模塊以及數(shù)據(jù)可視化模塊進(jìn)行了詳細(xì)的設(shè)計實現(xiàn)和功能說明。6 系統(tǒng)測試與發(fā)布 系統(tǒng)測試是針對整個產(chǎn)品系統(tǒng)進(jìn)行的測試，目的是驗證系統(tǒng)是否滿足了需求規(guī)格的定義，找出與需求規(guī)格不符或與之矛盾的地方，從而提出更加完善的方案。本章節(jié)按照系統(tǒng)測試的原則設(shè)計出多個測試用例，根據(jù)系統(tǒng)測試的常用方法對新聞爬蟲系統(tǒng)進(jìn)行測試。 軟件測試的目標(biāo)和方法 軟件測試的目的軟件測試的目的是指發(fā)現(xiàn)軟件中的錯誤和缺陷并加以改正，它不僅是軟件開發(fā)階段的有機組成部分，而且在軟件工程（即軟件定義、設(shè)計和開發(fā)過程）中占據(jù)相當(dāng)大的比重。應(yīng)該排除對測試的錯誤觀點，設(shè)計合適的測試用例，用盡可能少的測試用例，來發(fā)現(xiàn)盡可能多的軟件錯誤?？梢苑?wù)于測試目標(biāo)的規(guī)則為： 測試是一個為了發(fā)現(xiàn)錯誤而執(zhí)行程序的過程。 一個好的測試用例是指很可能找到迄今為止尚未發(fā)現(xiàn)錯誤的測試用例。 一個成功的測試是指揭示了迄今為止尚未發(fā)現(xiàn)錯誤的測試[9]。軟件測試是軟件質(zhì)量保證的關(guān)鍵環(huán)節(jié)，直接影響著軟件的質(zhì)量評估。首先，測試并不僅僅是為了要找出錯誤，通過分析錯誤產(chǎn)生的原因和錯誤的分布特征，可以幫助項目管理者發(fā)現(xiàn)當(dāng)前所采用的軟件過程的缺陷以便改進(jìn)；其次，沒有發(fā)現(xiàn)錯誤的測試也是有價值的，完整的測試是評定軟件質(zhì)量的方法之一。 軟件測試的方法軟件測試用例的設(shè)計方法大體可分為兩類：黑盒測試和白盒測試。軟件的黑盒測試又稱為“行為測試”，這種方法把測試對象看作一個黑盒子 ，測試人員可以完全不考慮程序內(nèi)部的邏輯結(jié)構(gòu)和內(nèi)部特性，只需要依據(jù)程序的需求規(guī)格說明書，檢查程序的功能是否符合其需求。黑盒測試可用于各種測試。軟件的白盒測試又稱為“結(jié)構(gòu)測試”，這種方法是把測試對象看作一個打開的盒子，它允許測試人員利用程序內(nèi)部的邏輯結(jié)構(gòu)以及有關(guān)信息來設(shè)計或選擇測試用例，從而對程序所有邏輯路徑進(jìn)行測試，檢查程序的功能是否符合其功能需求。白盒測試主要用于對程序模塊的測試[10]。 測試用例 測試用例設(shè)計原則測試用例是一份關(guān)于具體測試步驟的文檔，它描述了測試的輸入?yún)?shù)、條件以及配置、預(yù)期的輸出結(jié)果等，以判斷被測軟件的工作是否正常。測試用例編寫應(yīng)該遵循的原則如下：1）測試用例要達(dá)到最大覆蓋軟件系統(tǒng)的功能點，測試工程師應(yīng)該在測試計劃編寫完成之后，在開發(fā)階段編寫測試用例，參考需求規(guī)格說明書和軟件功能點對每個功能點進(jìn)行操作上的細(xì)化，盡可能趨向最大需求覆蓋率；2）測試用例對測試功能點、測試條件、測試步驟、輸入值和預(yù)期結(jié)果應(yīng)該有準(zhǔn)確的定義；3）測試用例的設(shè)計應(yīng)該包括各種類型的測試用例，在設(shè)計測試用例時，除了滿足系統(tǒng)基本功能需求外，還應(yīng)該考慮各種異常情況、邊界情況和承受壓力的能力等。 設(shè)計測試用例針對系統(tǒng)不同的功能模塊，設(shè)計8個測試用例分別進(jìn)行測試，如表61至表68所示：表61 測試用例一測試用例編號Testing_Crawling測試項目數(shù)據(jù)獲取模塊手動抓取功能預(yù)設(shè)條件當(dāng)前已連接到數(shù)據(jù)庫服務(wù)器輸入數(shù)據(jù)源URL種子集合操作步驟（1）選擇數(shù)據(jù)來源（2）點擊“爬取所有新聞”按鈕預(yù)期輸出（1） 抓取的數(shù)據(jù)逐條存入數(shù)據(jù)庫中（2） 抓取狀態(tài)實時輸出至控制臺狀態(tài)欄表62 測試用例二測試用例編號Testing_KeepCrawling測試項目數(shù)據(jù)獲取模塊增量抓取功能預(yù)設(shè)條件當(dāng)前已連接到數(shù)據(jù)庫服務(wù)器輸入需要進(jìn)行增量采集（周期性任務(wù)）的頁面URL操作步驟（1）選擇數(shù)據(jù)來源（2）點擊“增量抓取”按鈕預(yù)期輸出（1） 增量抓取的數(shù)據(jù)逐條存入數(shù)據(jù)庫中（2） 抓取狀態(tài)實時輸出至控制臺狀態(tài)欄（3） 抓取任務(wù)定時進(jìn)行觸發(fā)表63 測試用例三測試用例編號Testing_VisualGragf測試項目數(shù)據(jù)可視化模塊分析圖預(yù)設(shè)條件TOMCAT服務(wù)器已開啟輸入（1） 需要進(jìn)行檢索的關(guān)鍵詞（2） 檢索日期操作步驟（1）輸入關(guān)鍵詞和日期（2）點擊“搜索”按鈕預(yù)