【導讀】人工采集互聯(lián)網(wǎng)信息已不能實現(xiàn)。網(wǎng)絡爬蟲是一種自動搜集互聯(lián)網(wǎng)信息的程序，通。向采集某些網(wǎng)站下的特定信息。信息的兩大問題而提出的。首先明確了通用web信息采集的主要功能和核心流程，理進行了設計，其中任務管理模塊是本系統(tǒng)的核心模塊，包括對采集任務的配置，該系統(tǒng)用戶根據(jù)需求填寫采集任務的配置信息，網(wǎng)絡爬蟲則根據(jù)配置。信息中的訪問規(guī)則、提取規(guī)則，自動地、有效地下載網(wǎng)頁提取信息。列表與聯(lián)系信息、競爭產(chǎn)品的價格列表、實時金融新聞、供求信息、論文摘要等等。實現(xiàn)采集工作的流程化和自動化。

　　

【正文】 任務組名稱和描述。當一個項目需要創(chuàng)建多個采集任務時，為了方便管理可以創(chuàng)建一個任務組，任務組可以根據(jù)項目命名，在此任務組中創(chuàng)建相關采集任務，方便管理，以免遺漏。任務組管理模塊，管理員和用戶都可以進行操作，但是權限不同，管理員對所有任務組進行增刪改查的操作，超級用戶和普通用戶都可以管理自己的任務組，超級用戶還可以瀏覽其他用戶的任務組。 任務組列表。在展示任務組列表時調(diào)用 index 方法，使用 all 方法將數(shù)據(jù)庫中所有信息讀出，在 視圖文件中將讀出的信息迭代輸出。 圖 任務組列表圖 新建任務組。調(diào)用 new 方法，實例化一個 TaskGroup 的對象， 視圖文件中用一個表單控制各個信息項的填寫，點擊創(chuàng)建時，提交表單，調(diào)用 create方法，若創(chuàng)建成功，則跳轉到顯示任務組信息界面，并提示創(chuàng)建成功，同時填寫的信息填入相應的數(shù)據(jù)庫表中，若沒有創(chuàng)建成功則重新創(chuàng)建。 29 圖 添加任務組圖 修改任務組信息。調(diào)用 edit 方法，通過 find（ param[:id]）方法將這條任務組信息從數(shù)據(jù)庫中讀出，與新建任務組的視圖文件相同， 在視圖文件中用一個表 單控制，將數(shù)據(jù)信息輸出，用戶可以修改想要修改的信息項，點擊保存，提交表單，調(diào)用 update 方法，若更新成功，則跳轉到顯示任務組信息界面，并提示修改成功，同時填寫的信息填入相應的數(shù)據(jù)庫表中，若沒有修改成功則重新修改。 圖 修改任務組圖 查看用戶信息。調(diào)用 show 方法，通過 find（ param[:id]）方法將需要顯示的用戶信息從數(shù)據(jù)庫中讀出，輸出即可。 30 圖 查詢?nèi)蝿战M信息圖 刪除任務組信息。調(diào)用 destroy 方法，通過 find（ param[:id]）方法找到需要刪除的任務組信息，再刪除前會彈出對話框提示確認 刪除此任務組，確認刪除才會調(diào)用 delete 方法，刪除此條任務組信息，否則返回上一步操作， destroy 方法沒有單獨的視圖界面，刪除任務組信息功能在展示任務組列表的界面中。 圖 刪除任務組圖 31 任務管理模塊 任務管理模塊分為新建任務、查看任務、修改任務、刪除任務、開始任務五部分。任務信息包括任務名稱、起始地址列表、訪問規(guī)則、提取規(guī)則、深度、等待時間。任務管理與任務組管理相似，管理員可以對所有任務進行增刪改查的操作，超級用戶和普通用戶只可以管理自己的任務組，超級用戶還可以瀏覽其他用戶的任務組。在對任務進行增刪 改查操作時，起始地址列表必須按照每行一個鏈接的規(guī)則輸入，下載網(wǎng)頁等待最多不能超過三分鐘。 任務管理列表。在展示任務列表時調(diào)用 index 方法，使用 all 方法將數(shù)據(jù)庫中所有信息讀出，在 視圖文件中將讀出的信息迭代輸出。 圖 任務列表圖 新建任務。調(diào)用 new 方法，實例化一個 Task 的對象， 視圖文件中用一個表單控制各個信息項的填寫，點擊創(chuàng)建時，提交表單，調(diào)用 create 方法，若創(chuàng)建成功，則跳轉到顯示任務信息界面，并提示創(chuàng)建成功，同時填寫的信息填入相應的數(shù)據(jù)庫表中， 若沒有創(chuàng)建成功則重新創(chuàng)建。 32 圖 添加任務圖 修改任務信息。調(diào)用 edit 方法，通過 find（ param[:id]）方法將這條任務信息從數(shù)據(jù)庫中讀出，與新建任務的視圖文件相同， 在視圖文件中用一個表單控制，將數(shù)據(jù)信息輸出，用戶可以修改想要修改的信息項，點擊保存，提交表單，調(diào)用 update 方法，若更新成功，則跳轉到顯示任務信息界面，并提示修改成功，同時填寫的信息填入相應的數(shù)據(jù)庫表中，若沒有修改成功則重新修改。 圖 修改任務圖 查看信息。調(diào)用 show_info 方法，通過 all 方法將數(shù)據(jù)從數(shù)據(jù) 庫中讀出，輸出。 33 圖 查詢?nèi)蝿战M信息圖 刪除任務信息。調(diào)用 destroy 方法，通過 find（ param[:id]）方法將需要刪除的任務信息從數(shù)據(jù)庫中讀出，再刪除前會彈出對話框提示確認刪除此任務，確認刪除才會調(diào)用 delete 方法，刪除此條任務信息，否則返回上一步操作， destroy 方法沒有單獨的視圖界面，刪除任務信息功能在展示任務列表的界面中。 圖 刪除任務圖 開始采集任務。調(diào)用 start 方法，通過 find（ param[:id]）方法從數(shù)據(jù)庫中將采集任務的配置信息讀出，將配置信息傳給后臺網(wǎng)絡蜘蛛，并開始采集， 此時跳轉到 start 34 視圖界面，顯示采集的鏈接。 圖 采集任務展示圖 界面設計 對于每一個系統(tǒng)來說，后臺的功能實現(xiàn)固然是重要的，但如今網(wǎng)站頁面設計的美觀大方也會吸引很多的用戶，為其帶來效益?；疖嚂r刻表查詢系統(tǒng)也遵循頁面美觀大方這一目標來設計的，具體內(nèi)容如下。 登錄界面 此頁面為用戶登錄頁面，頁面設計簡單，包括用戶名密碼的輸入框，登錄和重置按鈕，如圖 。 圖 用戶登錄首頁 35 普通用戶管理界面 普通用戶登錄后，顯示任務管理界面，任務列表中僅列出用戶自己創(chuàng)建的任務，可對任務及任務采集的數(shù)據(jù)信息進行增刪改查的操作 。不能瀏覽其他用戶的任務和采集的數(shù)據(jù)信息。同樣，用戶可以對自己創(chuàng)建的任務組進行管理，如圖 。 圖 普通用戶任務管理界面 點擊任務組列表時的界面，如圖 。 圖 普通用戶任務組管理界面 超級用戶管理界面 超級用戶登錄后，顯示任務管理界面，任務列表中會列出所有的任務，但只可以對用戶自己創(chuàng)建的任務及任務采集的數(shù)據(jù)信息進行增刪改查的操作。只能瀏覽其 36 他用戶的任務和采集的數(shù)據(jù)信息，對于任務組也有相同的操作，如圖 。 圖 超級用戶任務管理界面 圖 超級用戶任務組管理界面 管理員管理界面 管理員登錄后跳轉到 用戶管理頁面，同時在左側欄中有任務列表任務組列表用戶列表的導航，根據(jù)管理員選擇在主界面中顯示不同信息，管理員擁有最高權限可對用戶任務任務組進行增刪改查的操作，如圖 。 37 圖 管理員用戶管理界面 測試實例的研究與選擇 軟件測試就是利用測試工具按照測試方案和流程對產(chǎn)品進行功能和性能測試，甚至根據(jù)需要編寫不同的測試工具，設計和維護測試系統(tǒng)，對測試方案可能出現(xiàn)的問題進行分析和評估。執(zhí)行測試用例后，需要跟蹤故障以確保開發(fā)的產(chǎn)品適合需求。 軟件測試的方法主要有兩種：白盒測試和黑盒測試。本系統(tǒng)采用的是黑盒測試方法，黑 盒測試也稱功能測試，它是通過測試來檢測每個功能是否都能正常使用。在測試中，它只檢查程序功能的是否按照需求規(guī)格說明書的規(guī)定正常使用，程序是否能適當?shù)亟邮蛰斎霐?shù)據(jù)而產(chǎn)生正確的輸出信息。黑盒測試著眼于程序外部結構，不考慮內(nèi)部邏輯結構，主要針對軟件界面和軟件功能進行測試，黑盒測試是以用戶的角度，從輸入數(shù)據(jù)與輸出數(shù)據(jù)的對應關系出發(fā)進行測試的。 黑盒測試法注重于測試軟件的功能需求，主要試圖發(fā)現(xiàn)下列幾類錯誤。功能不正確或遺漏、界面錯誤、數(shù)據(jù)庫訪問錯誤、性能錯誤、初始化和終止錯誤等。 軟件測試的方法 從軟件工程的角度講，測 試軟件的方法可分為兩種：黑盒測試、白盒測試?，F(xiàn) 38 介紹如下： 對于系統(tǒng)的測試，黑盒測試法把程序看成一個黑盒子，即不考慮程序的內(nèi)部結構和處理過程，是在程序的接口進行的測試，只檢查程序的功能能否按照規(guī)格說明書的規(guī)定正常使用，所以黑盒測試又稱為功能測試。 白盒測試法的前提是完全了解程序的結構和處理過程，這種方法按照程序的內(nèi)部邏輯測試程序，檢驗程序中的每條通路是否都能夠按照預定要求正確工作，所以白盒測試又稱為結構測試。 該系統(tǒng)在設計時充分考慮用戶的需求，不放過任何細節(jié)及露洞。在每一功能模塊的實現(xiàn)上都做了充分的測試。功 能都能夠達到要求，錯誤處理也很完善。 實例測試 表 是 測試內(nèi)容與結果 編號 測試內(nèi)容 預期結果 實際結果 是否符合 1 用戶登錄功能 輸入正確的用戶名和密碼可以成功登錄到管理員界面，錯誤的用戶名和密碼重新輸入。 輸入正確的用戶名和密碼可以成功登錄到管理員界面，錯誤的用戶名和密碼重新輸入。 是 2 新建用戶功能 添加用戶相關信息，并且用戶名不能重復，倆次密碼的輸入相同，郵箱格式正確，如不符合規(guī)則提示并要求重新輸入，如符合規(guī)則提交后要求掉轉到顯示信息頁面，并準確存入數(shù)據(jù)庫中。 添加用戶相關信息，并且用戶名不能重 復，倆次密碼的輸入相同，郵箱格式正確，如不符合規(guī)則提示并要求重新輸入，如符合規(guī)則提交后要求掉轉到顯示信息頁面，并準確存入數(shù)據(jù)庫中。 是 3 修改用戶信息功能 進入修改頁面后，僅修改想要修改的信息項即可。提交信息后調(diào)轉顯示信息頁面，并準確存入數(shù)據(jù)庫中。 進入修改頁面后，僅修改想要修改的信息項即可。提交信息后調(diào)轉顯示信息頁面，并準確存入數(shù)據(jù)庫中。 是 4 刪除用戶信息功能 在刪除某個用戶，會提示是否確認刪除，如確認，則用戶列表及數(shù)據(jù)庫中將刪除此人信息，若不確認，則不做任何操作，避免誤刪用戶信息。 在刪除某個 用戶，會提示是否確認刪除，如確認，則用戶列表及數(shù)據(jù)庫中將刪除此人信息，若不確認，則不做任何操作，避免誤刪用戶信息。 是 5 新建任務組功能 添加任務相關信息，可添加描述信息，提交后要求掉轉到顯示信息頁面，并準確存入數(shù)據(jù)庫中。 添加任務相關信息，可添加描述信息，提交后要求掉轉到顯示信息頁面，并準確存入數(shù)據(jù)庫中。 是 6 任務采集功能 點擊開始采集后，跳轉到采集信息頁面，頁面中有采集的鏈接的展示區(qū)，采集的信息及鏈接準確的保存到數(shù)據(jù)庫中。 點擊開始采集后，跳轉到采集信息頁面，頁面中有采集的鏈接的展示區(qū)，采集的 信息及鏈接準確的保存到數(shù)據(jù)庫中。 是 7 查看采集信息功能 任務采集后可通過此功能，查看采集的鏈接和提取的信息。 任務采集后可通過此功能，查看采集的鏈接和提取的信息。 是 8 退出系統(tǒng)功能 點擊所有車次按鈕后，即可顯示所有列車信息。 點擊所有車次按鈕后，即可顯示所有列車信息。 是 39 編號 測試內(nèi)容 預期結果 實際結果 是否符合 9 修改密碼 點擊修改密碼，跳轉頁面，輸入新密碼和確認密碼，若倆次輸入相同，則修改成功，并返回首頁面。 點擊修改密碼，跳轉頁面，輸入新密碼和確認密碼，若倆次輸入相同，則修改成功，并返回首頁面。 是 10 界面風格 頁面的頂 部底部和導航是不變的，主頁面隨著導航選擇不同，做不同的響應，顯示不同的頁面。 采用 div+css 樣式來統(tǒng)一設置。 頁面的頂部底部和導航是不變的，主頁面隨著導航選擇不同，做不同的響應，顯示不同的頁面。 采用 div+css 樣式來統(tǒng)一設置。 是 11 分頁顯示 分頁信息都可以正常顯示。 分頁信息都可以正常顯示。 是 通過以上的測試分析，通用 web 信息采集系統(tǒng)各部分模塊的功能以及業(yè)務流程均測試通過，符合要求。 40 7 結論與展望 通用 web信息系統(tǒng)從開始設計到功能的具體實現(xiàn)再到系統(tǒng)最后的完善只用了短短幾個月的時間，至今 為止基本功能已經(jīng)全部實現(xiàn)。而所要達到的基本設計目標也都已經(jīng)實現(xiàn)了。 系統(tǒng)實現(xiàn)了任務配置，任務管理，信息提取，用戶管理等功能，用戶根據(jù)需求配置相關信息，進而提取到有效信息，另外，系統(tǒng)對不同類型用戶有權限設置，不同類型的用戶登錄，管理任務的范圍不同，超級用戶不僅可以管理自己的任務，也可以瀏覽他人的任務，而普通用戶只可以管理自己的任務。 本系統(tǒng)因為時間的限制和技術水平局限的原因，所以導致各個方面的工作不是特別的完善。比如說可設置不同的訪問規(guī)則、提取規(guī)則，不同的下載網(wǎng)頁的方法，可以使用一臺服務器作為主機，分配給不同 的計算機進行采集，主服務器可以監(jiān)控到計算機的進程和采集任務，這些想法在以后的工作中也會慢慢學習研究，努力實現(xiàn)一個功能強大的 web 信息采集系統(tǒng)。 41 參考文獻 [1] 許勇 .王黎 .張麗莉 .Ruby on Rail 程序設計技術詳解 .清華大學出版社 [2] 陳松喬 .任勝兵 .王國軍 .現(xiàn)代軟件工程 .清華大學出版社 [3] 王珊 .薩師煊 .高等數(shù)據(jù)庫系統(tǒng)概論 .高等教育出版社 [4] 李保利 .陳玉忠 .俞士汶 .信息抽取研究綜述 ， 計算機工程與應用 [5] 張成洪 .古曉洪 .白延紅 .Web 數(shù)據(jù)抽取技術研究進展 .計算機科學