【導(dǎo)讀】人工采集互聯(lián)網(wǎng)信息已不能實(shí)現(xiàn)。網(wǎng)絡(luò)爬蟲是一種自動(dòng)搜集互聯(lián)網(wǎng)信息的程序，通。向采集某些網(wǎng)站下的特定信息。信息的兩大問(wèn)題而提出的。首先明確了通用web信息采集的主要功能和核心流程，理進(jìn)行了設(shè)計(jì)，其中任務(wù)管理模塊是本系統(tǒng)的核心模塊，包括對(duì)采集任務(wù)的配置，該系統(tǒng)用戶根據(jù)需求填寫采集任務(wù)的配置信息，網(wǎng)絡(luò)爬蟲則根據(jù)配置。信息中的訪問(wèn)規(guī)則、提取規(guī)則，自動(dòng)地、有效地下載網(wǎng)頁(yè)提取信息。列表與聯(lián)系信息、競(jìng)爭(zhēng)產(chǎn)品的價(jià)格列表、實(shí)時(shí)金融新聞、供求信息、論文摘要等等。實(shí)現(xiàn)采集工作的流程化和自動(dòng)化。

　　

【正文】 任務(wù)組名稱和描述。當(dāng)一個(gè)項(xiàng)目需要?jiǎng)?chuàng)建多個(gè)采集任務(wù)時(shí)，為了方便管理可以創(chuàng)建一個(gè)任務(wù)組，任務(wù)組可以根據(jù)項(xiàng)目命名，在此任務(wù)組中創(chuàng)建相關(guān)采集任務(wù)，方便管理，以免遺漏。任務(wù)組管理模塊，管理員和用戶都可以進(jìn)行操作，但是權(quán)限不同，管理員對(duì)所有任務(wù)組進(jìn)行增刪改查的操作，超級(jí)用戶和普通用戶都可以管理自己的任務(wù)組，超級(jí)用戶還可以瀏覽其他用戶的任務(wù)組。 任務(wù)組列表。在展示任務(wù)組列表時(shí)調(diào)用 index 方法，使用 all 方法將數(shù)據(jù)庫(kù)中所有信息讀出，在 視圖文件中將讀出的信息迭代輸出。 圖 任務(wù)組列表圖 新建任務(wù)組。調(diào)用 new 方法，實(shí)例化一個(gè) TaskGroup 的對(duì)象， 視圖文件中用一個(gè)表單控制各個(gè)信息項(xiàng)的填寫，點(diǎn)擊創(chuàng)建時(shí)，提交表單，調(diào)用 create方法，若創(chuàng)建成功，則跳轉(zhuǎn)到顯示任務(wù)組信息界面，并提示創(chuàng)建成功，同時(shí)填寫的信息填入相應(yīng)的數(shù)據(jù)庫(kù)表中，若沒(méi)有創(chuàng)建成功則重新創(chuàng)建。 29 圖 添加任務(wù)組圖 修改任務(wù)組信息。調(diào)用 edit 方法，通過(guò) find（ param[:id]）方法將這條任務(wù)組信息從數(shù)據(jù)庫(kù)中讀出，與新建任務(wù)組的視圖文件相同， 在視圖文件中用一個(gè)表 單控制，將數(shù)據(jù)信息輸出，用戶可以修改想要修改的信息項(xiàng)，點(diǎn)擊保存，提交表單，調(diào)用 update 方法，若更新成功，則跳轉(zhuǎn)到顯示任務(wù)組信息界面，并提示修改成功，同時(shí)填寫的信息填入相應(yīng)的數(shù)據(jù)庫(kù)表中，若沒(méi)有修改成功則重新修改。 圖 修改任務(wù)組圖 查看用戶信息。調(diào)用 show 方法，通過(guò) find（ param[:id]）方法將需要顯示的用戶信息從數(shù)據(jù)庫(kù)中讀出，輸出即可。 30 圖 查詢?nèi)蝿?wù)組信息圖 刪除任務(wù)組信息。調(diào)用 destroy 方法，通過(guò) find（ param[:id]）方法找到需要?jiǎng)h除的任務(wù)組信息，再刪除前會(huì)彈出對(duì)話框提示確認(rèn) 刪除此任務(wù)組，確認(rèn)刪除才會(huì)調(diào)用 delete 方法，刪除此條任務(wù)組信息，否則返回上一步操作， destroy 方法沒(méi)有單獨(dú)的視圖界面，刪除任務(wù)組信息功能在展示任務(wù)組列表的界面中。 圖 刪除任務(wù)組圖 31 任務(wù)管理模塊 任務(wù)管理模塊分為新建任務(wù)、查看任務(wù)、修改任務(wù)、刪除任務(wù)、開(kāi)始任務(wù)五部分。任務(wù)信息包括任務(wù)名稱、起始地址列表、訪問(wèn)規(guī)則、提取規(guī)則、深度、等待時(shí)間。任務(wù)管理與任務(wù)組管理相似，管理員可以對(duì)所有任務(wù)進(jìn)行增刪改查的操作，超級(jí)用戶和普通用戶只可以管理自己的任務(wù)組，超級(jí)用戶還可以瀏覽其他用戶的任務(wù)組。在對(duì)任務(wù)進(jìn)行增刪 改查操作時(shí)，起始地址列表必須按照每行一個(gè)鏈接的規(guī)則輸入，下載網(wǎng)頁(yè)等待最多不能超過(guò)三分鐘。 任務(wù)管理列表。在展示任務(wù)列表時(shí)調(diào)用 index 方法，使用 all 方法將數(shù)據(jù)庫(kù)中所有信息讀出，在 視圖文件中將讀出的信息迭代輸出。 圖 任務(wù)列表圖 新建任務(wù)。調(diào)用 new 方法，實(shí)例化一個(gè) Task 的對(duì)象， 視圖文件中用一個(gè)表單控制各個(gè)信息項(xiàng)的填寫，點(diǎn)擊創(chuàng)建時(shí)，提交表單，調(diào)用 create 方法，若創(chuàng)建成功，則跳轉(zhuǎn)到顯示任務(wù)信息界面，并提示創(chuàng)建成功，同時(shí)填寫的信息填入相應(yīng)的數(shù)據(jù)庫(kù)表中， 若沒(méi)有創(chuàng)建成功則重新創(chuàng)建。 32 圖 添加任務(wù)圖 修改任務(wù)信息。調(diào)用 edit 方法，通過(guò) find（ param[:id]）方法將這條任務(wù)信息從數(shù)據(jù)庫(kù)中讀出，與新建任務(wù)的視圖文件相同， 在視圖文件中用一個(gè)表單控制，將數(shù)據(jù)信息輸出，用戶可以修改想要修改的信息項(xiàng)，點(diǎn)擊保存，提交表單，調(diào)用 update 方法，若更新成功，則跳轉(zhuǎn)到顯示任務(wù)信息界面，并提示修改成功，同時(shí)填寫的信息填入相應(yīng)的數(shù)據(jù)庫(kù)表中，若沒(méi)有修改成功則重新修改。 圖 修改任務(wù)圖 查看信息。調(diào)用 show_info 方法，通過(guò) all 方法將數(shù)據(jù)從數(shù)據(jù) 庫(kù)中讀出，輸出。 33 圖 查詢?nèi)蝿?wù)組信息圖 刪除任務(wù)信息。調(diào)用 destroy 方法，通過(guò) find（ param[:id]）方法將需要?jiǎng)h除的任務(wù)信息從數(shù)據(jù)庫(kù)中讀出，再刪除前會(huì)彈出對(duì)話框提示確認(rèn)刪除此任務(wù)，確認(rèn)刪除才會(huì)調(diào)用 delete 方法，刪除此條任務(wù)信息，否則返回上一步操作， destroy 方法沒(méi)有單獨(dú)的視圖界面，刪除任務(wù)信息功能在展示任務(wù)列表的界面中。 圖 刪除任務(wù)圖 開(kāi)始采集任務(wù)。調(diào)用 start 方法，通過(guò) find（ param[:id]）方法從數(shù)據(jù)庫(kù)中將采集任務(wù)的配置信息讀出，將配置信息傳給后臺(tái)網(wǎng)絡(luò)蜘蛛，并開(kāi)始采集， 此時(shí)跳轉(zhuǎn)到 start 34 視圖界面，顯示采集的鏈接。 圖 采集任務(wù)展示圖 界面設(shè)計(jì) 對(duì)于每一個(gè)系統(tǒng)來(lái)說(shuō)，后臺(tái)的功能實(shí)現(xiàn)固然是重要的，但如今網(wǎng)站頁(yè)面設(shè)計(jì)的美觀大方也會(huì)吸引很多的用戶，為其帶來(lái)效益?；疖嚂r(shí)刻表查詢系統(tǒng)也遵循頁(yè)面美觀大方這一目標(biāo)來(lái)設(shè)計(jì)的，具體內(nèi)容如下。 登錄界面 此頁(yè)面為用戶登錄頁(yè)面，頁(yè)面設(shè)計(jì)簡(jiǎn)單，包括用戶名密碼的輸入框，登錄和重置按鈕，如圖 。 圖 用戶登錄首頁(yè) 35 普通用戶管理界面 普通用戶登錄后，顯示任務(wù)管理界面，任務(wù)列表中僅列出用戶自己創(chuàng)建的任務(wù)，可對(duì)任務(wù)及任務(wù)采集的數(shù)據(jù)信息進(jìn)行增刪改查的操作 。不能瀏覽其他用戶的任務(wù)和采集的數(shù)據(jù)信息。同樣，用戶可以對(duì)自己創(chuàng)建的任務(wù)組進(jìn)行管理，如圖 。 圖 普通用戶任務(wù)管理界面 點(diǎn)擊任務(wù)組列表時(shí)的界面，如圖 。 圖 普通用戶任務(wù)組管理界面 超級(jí)用戶管理界面 超級(jí)用戶登錄后，顯示任務(wù)管理界面，任務(wù)列表中會(huì)列出所有的任務(wù)，但只可以對(duì)用戶自己創(chuàng)建的任務(wù)及任務(wù)采集的數(shù)據(jù)信息進(jìn)行增刪改查的操作。只能瀏覽其 36 他用戶的任務(wù)和采集的數(shù)據(jù)信息，對(duì)于任務(wù)組也有相同的操作，如圖 。 圖 超級(jí)用戶任務(wù)管理界面 圖 超級(jí)用戶任務(wù)組管理界面 管理員管理界面 管理員登錄后跳轉(zhuǎn)到 用戶管理頁(yè)面，同時(shí)在左側(cè)欄中有任務(wù)列表任務(wù)組列表用戶列表的導(dǎo)航，根據(jù)管理員選擇在主界面中顯示不同信息，管理員擁有最高權(quán)限可對(duì)用戶任務(wù)任務(wù)組進(jìn)行增刪改查的操作，如圖 。 37 圖 管理員用戶管理界面 測(cè)試實(shí)例的研究與選擇 軟件測(cè)試就是利用測(cè)試工具按照測(cè)試方案和流程對(duì)產(chǎn)品進(jìn)行功能和性能測(cè)試，甚至根據(jù)需要編寫不同的測(cè)試工具，設(shè)計(jì)和維護(hù)測(cè)試系統(tǒng)，對(duì)測(cè)試方案可能出現(xiàn)的問(wèn)題進(jìn)行分析和評(píng)估。執(zhí)行測(cè)試用例后，需要跟蹤故障以確保開(kāi)發(fā)的產(chǎn)品適合需求。 軟件測(cè)試的方法主要有兩種：白盒測(cè)試和黑盒測(cè)試。本系統(tǒng)采用的是黑盒測(cè)試方法，黑 盒測(cè)試也稱功能測(cè)試，它是通過(guò)測(cè)試來(lái)檢測(cè)每個(gè)功能是否都能正常使用。在測(cè)試中，它只檢查程序功能的是否按照需求規(guī)格說(shuō)明書的規(guī)定正常使用，程序是否能適當(dāng)?shù)亟邮蛰斎霐?shù)據(jù)而產(chǎn)生正確的輸出信息。黑盒測(cè)試著眼于程序外部結(jié)構(gòu)，不考慮內(nèi)部邏輯結(jié)構(gòu)，主要針對(duì)軟件界面和軟件功能進(jìn)行測(cè)試，黑盒測(cè)試是以用戶的角度，從輸入數(shù)據(jù)與輸出數(shù)據(jù)的對(duì)應(yīng)關(guān)系出發(fā)進(jìn)行測(cè)試的。 黑盒測(cè)試法注重于測(cè)試軟件的功能需求，主要試圖發(fā)現(xiàn)下列幾類錯(cuò)誤。功能不正確或遺漏、界面錯(cuò)誤、數(shù)據(jù)庫(kù)訪問(wèn)錯(cuò)誤、性能錯(cuò)誤、初始化和終止錯(cuò)誤等。 軟件測(cè)試的方法 從軟件工程的角度講，測(cè) 試軟件的方法可分為兩種：黑盒測(cè)試、白盒測(cè)試。現(xiàn) 38 介紹如下： 對(duì)于系統(tǒng)的測(cè)試，黑盒測(cè)試法把程序看成一個(gè)黑盒子，即不考慮程序的內(nèi)部結(jié)構(gòu)和處理過(guò)程，是在程序的接口進(jìn)行的測(cè)試，只檢查程序的功能能否按照規(guī)格說(shuō)明書的規(guī)定正常使用，所以黑盒測(cè)試又稱為功能測(cè)試。 白盒測(cè)試法的前提是完全了解程序的結(jié)構(gòu)和處理過(guò)程，這種方法按照程序的內(nèi)部邏輯測(cè)試程序，檢驗(yàn)程序中的每條通路是否都能夠按照預(yù)定要求正確工作，所以白盒測(cè)試又稱為結(jié)構(gòu)測(cè)試。 該系統(tǒng)在設(shè)計(jì)時(shí)充分考慮用戶的需求，不放過(guò)任何細(xì)節(jié)及露洞。在每一功能模塊的實(shí)現(xiàn)上都做了充分的測(cè)試。功 能都能夠達(dá)到要求，錯(cuò)誤處理也很完善。 實(shí)例測(cè)試 表 是 測(cè)試內(nèi)容與結(jié)果 編號(hào) 測(cè)試內(nèi)容 預(yù)期結(jié)果 實(shí)際結(jié)果 是否符合 1 用戶登錄功能 輸入正確的用戶名和密碼可以成功登錄到管理員界面，錯(cuò)誤的用戶名和密碼重新輸入。 輸入正確的用戶名和密碼可以成功登錄到管理員界面，錯(cuò)誤的用戶名和密碼重新輸入。 是 2 新建用戶功能 添加用戶相關(guān)信息，并且用戶名不能重復(fù)，倆次密碼的輸入相同，郵箱格式正確，如不符合規(guī)則提示并要求重新輸入，如符合規(guī)則提交后要求掉轉(zhuǎn)到顯示信息頁(yè)面，并準(zhǔn)確存入數(shù)據(jù)庫(kù)中。 添加用戶相關(guān)信息，并且用戶名不能重 復(fù)，倆次密碼的輸入相同，郵箱格式正確，如不符合規(guī)則提示并要求重新輸入，如符合規(guī)則提交后要求掉轉(zhuǎn)到顯示信息頁(yè)面，并準(zhǔn)確存入數(shù)據(jù)庫(kù)中。 是 3 修改用戶信息功能 進(jìn)入修改頁(yè)面后，僅修改想要修改的信息項(xiàng)即可。提交信息后調(diào)轉(zhuǎn)顯示信息頁(yè)面，并準(zhǔn)確存入數(shù)據(jù)庫(kù)中。 進(jìn)入修改頁(yè)面后，僅修改想要修改的信息項(xiàng)即可。提交信息后調(diào)轉(zhuǎn)顯示信息頁(yè)面，并準(zhǔn)確存入數(shù)據(jù)庫(kù)中。 是 4 刪除用戶信息功能 在刪除某個(gè)用戶，會(huì)提示是否確認(rèn)刪除，如確認(rèn)，則用戶列表及數(shù)據(jù)庫(kù)中將刪除此人信息，若不確認(rèn)，則不做任何操作，避免誤刪用戶信息。 在刪除某個(gè) 用戶，會(huì)提示是否確認(rèn)刪除，如確認(rèn)，則用戶列表及數(shù)據(jù)庫(kù)中將刪除此人信息，若不確認(rèn)，則不做任何操作，避免誤刪用戶信息。 是 5 新建任務(wù)組功能 添加任務(wù)相關(guān)信息，可添加描述信息，提交后要求掉轉(zhuǎn)到顯示信息頁(yè)面，并準(zhǔn)確存入數(shù)據(jù)庫(kù)中。 添加任務(wù)相關(guān)信息，可添加描述信息，提交后要求掉轉(zhuǎn)到顯示信息頁(yè)面，并準(zhǔn)確存入數(shù)據(jù)庫(kù)中。 是 6 任務(wù)采集功能 點(diǎn)擊開(kāi)始采集后，跳轉(zhuǎn)到采集信息頁(yè)面，頁(yè)面中有采集的鏈接的展示區(qū)，采集的信息及鏈接準(zhǔn)確的保存到數(shù)據(jù)庫(kù)中。 點(diǎn)擊開(kāi)始采集后，跳轉(zhuǎn)到采集信息頁(yè)面，頁(yè)面中有采集的鏈接的展示區(qū)，采集的 信息及鏈接準(zhǔn)確的保存到數(shù)據(jù)庫(kù)中。 是 7 查看采集信息功能 任務(wù)采集后可通過(guò)此功能，查看采集的鏈接和提取的信息。 任務(wù)采集后可通過(guò)此功能，查看采集的鏈接和提取的信息。 是 8 退出系統(tǒng)功能 點(diǎn)擊所有車次按鈕后，即可顯示所有列車信息。 點(diǎn)擊所有車次按鈕后，即可顯示所有列車信息。 是 39 編號(hào) 測(cè)試內(nèi)容 預(yù)期結(jié)果 實(shí)際結(jié)果 是否符合 9 修改密碼 點(diǎn)擊修改密碼，跳轉(zhuǎn)頁(yè)面，輸入新密碼和確認(rèn)密碼，若倆次輸入相同，則修改成功，并返回首頁(yè)面。 點(diǎn)擊修改密碼，跳轉(zhuǎn)頁(yè)面，輸入新密碼和確認(rèn)密碼，若倆次輸入相同，則修改成功，并返回首頁(yè)面。 是 10 界面風(fēng)格 頁(yè)面的頂 部底部和導(dǎo)航是不變的，主頁(yè)面隨著導(dǎo)航選擇不同，做不同的響應(yīng)，顯示不同的頁(yè)面。 采用 div+css 樣式來(lái)統(tǒng)一設(shè)置。 頁(yè)面的頂部底部和導(dǎo)航是不變的，主頁(yè)面隨著導(dǎo)航選擇不同，做不同的響應(yīng)，顯示不同的頁(yè)面。 采用 div+css 樣式來(lái)統(tǒng)一設(shè)置。 是 11 分頁(yè)顯示 分頁(yè)信息都可以正常顯示。 分頁(yè)信息都可以正常顯示。 是 通過(guò)以上的測(cè)試分析，通用 web 信息采集系統(tǒng)各部分模塊的功能以及業(yè)務(wù)流程均測(cè)試通過(guò)，符合要求。 40 7 結(jié)論與展望 通用 web信息系統(tǒng)從開(kāi)始設(shè)計(jì)到功能的具體實(shí)現(xiàn)再到系統(tǒng)最后的完善只用了短短幾個(gè)月的時(shí)間，至今 為止基本功能已經(jīng)全部實(shí)現(xiàn)。而所要達(dá)到的基本設(shè)計(jì)目標(biāo)也都已經(jīng)實(shí)現(xiàn)了。 系統(tǒng)實(shí)現(xiàn)了任務(wù)配置，任務(wù)管理，信息提取，用戶管理等功能，用戶根據(jù)需求配置相關(guān)信息，進(jìn)而提取到有效信息，另外，系統(tǒng)對(duì)不同類型用戶有權(quán)限設(shè)置，不同類型的用戶登錄，管理任務(wù)的范圍不同，超級(jí)用戶不僅可以管理自己的任務(wù)，也可以瀏覽他人的任務(wù)，而普通用戶只可以管理自己的任務(wù)。 本系統(tǒng)因?yàn)闀r(shí)間的限制和技術(shù)水平局限的原因，所以導(dǎo)致各個(gè)方面的工作不是特別的完善。比如說(shuō)可設(shè)置不同的訪問(wèn)規(guī)則、提取規(guī)則，不同的下載網(wǎng)頁(yè)的方法，可以使用一臺(tái)服務(wù)器作為主機(jī)，分配給不同 的計(jì)算機(jī)進(jìn)行采集，主服務(wù)器可以監(jiān)控到計(jì)算機(jī)的進(jìn)程和采集任務(wù)，這些想法在以后的工作中也會(huì)慢慢學(xué)習(xí)研究，努力實(shí)現(xiàn)一個(gè)功能強(qiáng)大的 web 信息采集系統(tǒng)。 41 參考文獻(xiàn) [1] 許勇 .王黎 .張麗莉 .Ruby on Rail 程序設(shè)計(jì)技術(shù)詳解 .清華大學(xué)出版社 [2] 陳松喬 .任勝兵 .王國(guó)軍 .現(xiàn)代軟件工程 .清華大學(xué)出版社 [3] 王珊 .薩師煊 .高等數(shù)據(jù)庫(kù)系統(tǒng)概論 .高等教育出版社 [4] 李保利 .陳玉忠 .俞士汶 .信息抽取研究綜述 ， 計(jì)算機(jī)工程與應(yīng)用 [5] 張成洪 .古曉洪 .白延紅 .Web 數(shù)據(jù)抽取技術(shù)研究進(jìn)展 .計(jì)算機(jī)科學(xué)