【正文】 具體來說，就是一個(gè)測(cè)試函數(shù)是否高效，是否會(huì)有隱含的邏輯陷阱，是否會(huì)將自動(dòng)化測(cè)試系統(tǒng)引入無限的循環(huán)測(cè)試。 在路由器雙端口測(cè)試系統(tǒng)中，模塊的提供者將負(fù)責(zé)具體模塊的設(shè)計(jì)和測(cè)試工作并提出相應(yīng)的自動(dòng)化測(cè)試邏輯。 有一些方法可以幫助測(cè)試執(zhí)行失敗的結(jié)果分析，某些方法可以找到問題所在。 而相對(duì)來說，測(cè)試管理模塊的性能在這個(gè)項(xiàng)目中已經(jīng)足夠優(yōu)良，對(duì)于整個(gè)自動(dòng)化測(cè)試的過程不會(huì)存在瓶頸。 在項(xiàng)目的實(shí)際工作中，通過我們對(duì)測(cè)試集/組/例性能的分析，很多測(cè)試都是花費(fèi)大量的時(shí)間等候模塊的運(yùn)行。 ● 性能 提高代碼的性能往往增加了代碼的復(fù)雜性，因此，會(huì)威脅到代碼的可靠性。 失敗的自動(dòng)化會(huì)給整個(gè)項(xiàng)目帶來災(zāi)難性的后果，當(dāng)測(cè)試人員構(gòu)建的測(cè)試自動(dòng)化采用了糟糕的設(shè)計(jì)方案或者由于后期的修改引入了錯(cuò)誤，都會(huì)導(dǎo)致失敗的自動(dòng)化測(cè)試。本章亦將討論如何高效合理的設(shè)計(jì)測(cè)試函數(shù)以及判斷測(cè)試函數(shù)的一些探索性方法。所以，在自動(dòng)化測(cè)試設(shè)計(jì)中考慮自動(dòng)化的可擴(kuò)充性是非常關(guān)鍵的。 自動(dòng)化測(cè)試方法的討論 在實(shí)際的工作中，由于軟件自動(dòng)化工程師習(xí)慣于把注意力僅僅集中在如何使自動(dòng)化運(yùn)轉(zhuǎn)起來，導(dǎo)致測(cè)試自動(dòng)化達(dá)不到預(yù)期的效果。而在實(shí)際的工程中如何實(shí)現(xiàn)軟件的自動(dòng)化測(cè)試也是一個(gè)很吸引人的技術(shù)問題。 以上討論的是自動(dòng)化測(cè)試的基本理論。圖52 簡(jiǎn)單自動(dòng)化測(cè)試系統(tǒng) 其中“測(cè)試項(xiàng)目”都可能是一個(gè)獨(dú)立的簡(jiǎn)單測(cè)試系統(tǒng)，包含有不同的測(cè)試數(shù)據(jù)和測(cè)試方法。并且由于軟件測(cè)試的特殊性，離散系統(tǒng)將占有很大的比重。如圖51所示：圖51 傳統(tǒng)測(cè)試方法 而自動(dòng)化測(cè)試方法可以理解為是一個(gè)包含反饋的復(fù)雜系統(tǒng)。這種模型的優(yōu)點(diǎn)是實(shí)現(xiàn)簡(jiǎn)單，功能可靠。在這個(gè)過程中，筆者研究了如何實(shí)現(xiàn)自動(dòng)化測(cè)試方法以及測(cè)試模型的評(píng)價(jià)方法。我們應(yīng)該像運(yùn)作其他的開發(fā)項(xiàng)目一樣來運(yùn)作軟件自動(dòng)化測(cè)試項(xiàng)目。在這類組織環(huán)境中，經(jīng)常采用自動(dòng)化測(cè)試方法?；谠撃Ｊ?，現(xiàn)代軟件研究者Jerry Weinberg提出一套軟件組織模型，在該組織模型中增加了一個(gè)額外的級(jí)別，稱之為0級(jí)別。對(duì)于規(guī)范化的軟件開發(fā)過程，自動(dòng)化測(cè)試也作為一個(gè)必要的模塊對(duì)于整個(gè)工程的效率和質(zhì)量有著重要的影響力。測(cè)試管理模塊、日志生成接口模塊及與多端口測(cè)試系統(tǒng)之間的接口模塊將在下面章節(jié)中詳細(xì)介紹。由于用戶界面僅在TPT作為單獨(dú)的測(cè)試器時(shí)才發(fā)揮重要作用，因此本章主要是從TPT單獨(dú)測(cè)試的角度上來講述的。因此，監(jiān)控功能的實(shí)現(xiàn)可以使規(guī)定時(shí)間內(nèi)，具體收、發(fā)了哪些包，是否符合要求等信息記錄下來，具體將作為日志的生成與分析模塊詳細(xì)進(jìn)行說明，此處為調(diào)用與顯示作用。如圖47所示：圖47 手動(dòng)選擇下一個(gè)要執(zhí)行的測(cè)試?yán)? 當(dāng)選擇“詳細(xì)模式”時(shí)，則按照日志記錄的格式將被測(cè)層PDU和測(cè)試支撐層PDU顯示在圖形界面上，供用戶進(jìn)行在線或下線評(píng)估。當(dāng)選擇“粗略模式”時(shí)，將顯示測(cè)試?yán)龍?zhí)行的三個(gè)測(cè)試結(jié)果：pass, fail, inconclusive。這將涉及到測(cè)試管理模塊，將在后面的測(cè)試管理模塊中進(jìn)行詳細(xì)講解。具體研究將在下一章中進(jìn)行討論。如圖46所示：圖46 手動(dòng)執(zhí)行界面 在自動(dòng)模式下，將按照用戶選擇的測(cè)試集/組/例在測(cè)試?yán)詣?dòng)化測(cè)試的原則下，自動(dòng)進(jìn)行測(cè)試?yán)捻樞驁?zhí)行。如果此時(shí)用戶終止測(cè)試，將是按照最簡(jiǎn)單的“非A即非B”的原則進(jìn)行，即測(cè)試?yán)齠ail測(cè)試子組fail測(cè)試組fail測(cè)試集fail協(xié)議測(cè)試fail；如果用戶選擇繼續(xù)進(jìn)行測(cè)試，則執(zhí)行模塊會(huì)將剩下未進(jìn)行的測(cè)試?yán)匡@示出，可以供用戶手動(dòng)進(jìn)行下一測(cè)試?yán)膱?zhí)行，直至測(cè)試全部完成。 在手動(dòng)模式下，點(diǎn)擊“開始”后，將按照用戶設(shè)置的配置測(cè)試?yán)樞蜻M(jìn)行執(zhí)行，理想狀態(tài)下將list測(cè)試?yán)碇械臏y(cè)試?yán)宽樌麍?zhí)行完畢。如圖45所示：圖45 自動(dòng)模式界面 執(zhí)行模塊 當(dāng)測(cè)試文件配置好后，點(diǎn)擊執(zhí)行模塊可以對(duì)測(cè)試過程進(jìn)行實(shí)時(shí)的操作與控制。 右邊顯示框中可以分為“注釋”和“函數(shù)集”兩部分顯示。}print(“非A即非B測(cè)試結(jié)果”，R1 or R2)。}else{printf（“測(cè)試A failed, 忽略B測(cè)試”）。R2=testB()。R1=testA()。例如非A即非B的DEMO測(cè)試函數(shù)集（用類C語言表示）：printf(“現(xiàn)在開始測(cè)試”)。 用戶可以將測(cè)試?yán)氖謩?dòng)配置以文件的形式保存下來，方便下一次的打開與調(diào)用。并且在顯示測(cè)試?yán)Q時(shí)，會(huì)按照嚴(yán)格的測(cè)試?yán)?guī)則，從一級(jí)樹深表示到最葉子節(jié)點(diǎn)來表示測(cè)試?yán)拿Q，進(jìn)行了統(tǒng)一表示的規(guī)定。以目前規(guī)定測(cè)試?yán)臄?shù)量來看，每個(gè)測(cè)試組下的測(cè)試?yán)龜?shù)目小于100，故采用固定長(zhǎng)度三位數(shù)字來表示測(cè)試?yán)幪?hào)。 值得一提的是這里的命名規(guī)則，統(tǒng)一采用“BV001漢字”的形式來表示。用戶可以通過“上移”、“下移”、“刪除”來調(diào)整測(cè)試?yán)膱?zhí)行順序。 在手動(dòng)測(cè)試模式下，用戶不僅可以選擇某個(gè)協(xié)議的測(cè)試集，或多個(gè)測(cè)試集的集合，也可以選擇具體的某個(gè)測(cè)試?yán)⑶铱梢詫?duì)測(cè)試?yán)膱?zhí)行順序進(jìn)行排序與預(yù)先設(shè)計(jì)。 在測(cè)試?yán)渲媚K中，包含了被測(cè)測(cè)試?yán)木唧w描述，是測(cè)試前期準(zhǔn)備工作的重點(diǎn)。其中用戶配置模塊又分為兩個(gè)子模塊：參數(shù)配置模塊與測(cè)試?yán)渲媚K。如下表41(a)和41(b)所示：表41(a) BGP協(xié)議測(cè)試組舉例序號(hào)測(cè)試組名稱測(cè)試子組測(cè)試子組編碼1基本信息處理GBGP4ConBasic間接、直接連接GBGP4ConBasicGS1基本參數(shù)測(cè)試GBGP4ConBasicGS2路徑屬性測(cè)試GBGP4ConBasicGS3內(nèi)、外部更新GBGP4ConBasicGS4路由選擇測(cè)試GBGP4ConBasicGS5…………表41(b) BGP協(xié)議測(cè)試?yán)e例測(cè)試子組測(cè)試目的測(cè)試?yán)幪?hào)測(cè)試內(nèi)容GS1測(cè)試IBGP以及EBGP的之間連接和間接連接BV001測(cè)試IBGP直接連接BV002測(cè)試IBGP間接連接BV003測(cè)試EBGP直接連接BV004測(cè)試EBGP間接連接………… 按照此規(guī)則可以將實(shí)驗(yàn)室已有測(cè)試?yán)砑拥较到y(tǒng)數(shù)據(jù)中，并可以隨著需求的不同隨時(shí)更新和修改。一致性測(cè)試集規(guī)劃為四個(gè)測(cè)試組：狀態(tài)機(jī)測(cè)試組、路由更新測(cè)試組、錯(cuò)誤處理測(cè)試組以及BGP擴(kuò)展測(cè)試組。命名規(guī)則舉例：BV001測(cè)試Next Header為4（IPinIP）時(shí)IUT是否進(jìn)行AH處理。比如測(cè)試RFC2402中關(guān)于AH頭格式中下一頭字段的描述，需要對(duì)AH頭中該字段的值進(jìn)行考慮，因此可設(shè)計(jì)多個(gè)字段值進(jìn)行測(cè)試，這就需要測(cè)試子組中包括多個(gè)測(cè)試?yán)Ｃ?guī)則舉例：GS1檢查ipv6版本號(hào)。(4) 測(cè)試子組（Test Subgroup）：對(duì)應(yīng)于一個(gè)標(biāo)準(zhǔn)協(xié)議的某一項(xiàng)功能描述，包含一個(gè)或多個(gè)對(duì)該項(xiàng)功能進(jìn)行多項(xiàng)測(cè)試的測(cè)試組。是三級(jí)樹深。命名規(guī)則舉例：C一致性測(cè)試。對(duì)測(cè)試?yán)膭?dòng)態(tài)選擇技術(shù)的研究對(duì)協(xié)議進(jìn)行快速測(cè)試或完整性測(cè)試等規(guī)劃，作為后期研究。命名規(guī)則舉例：BGP邊界網(wǎng)關(guān)協(xié)議。具體規(guī)則如下：(1) 協(xié)議（Protocol）：包含IPvICMP、OSPF、BGP、SNMP、MPLS和IPsec協(xié)議等。由于路由器多端口并發(fā)測(cè)試系統(tǒng)項(xiàng)目現(xiàn)在仍在開發(fā)過程中，在測(cè)試控制數(shù)據(jù)定義方面，實(shí)驗(yàn)室曾先后安排了IPvICMP、OSPF、BGP、SNMP、MPLS和IPsec協(xié)議測(cè)試控制數(shù)據(jù)的規(guī)劃、描述和測(cè)試技術(shù)的研究工作，目前的測(cè)試主要針對(duì)于已進(jìn)行研究與規(guī)劃過的協(xié)議，但仍存在不完善和待修改之處，為方便協(xié)議規(guī)劃的修改與后期新定義的增加，設(shè)計(jì)了系統(tǒng)配置模塊，主要用于測(cè)試集/組/例的增、刪、改。 具體用戶模塊的子模塊及其操作由下面詳細(xì)說明。252。 Display Panel 在用戶對(duì)測(cè)試?yán)M(jìn)行選擇以后，主窗口會(huì)顯示用戶的當(dāng)前配置和對(duì)測(cè)試將要完成功能的說明。在實(shí)際操作中，可能某一次測(cè)試活動(dòng)會(huì)多測(cè)試?yán)M(jìn)行多次的組合與選擇，會(huì)有多次的操作，此面板可以方便用戶手動(dòng)操作，幫助用戶完成以上的工作。 Config Panel 配置面板中的作用等同于菜單欄中的參數(shù)配置。 Menu Bar 菜單欄包括對(duì)測(cè)試的一些操作控制命令，如系統(tǒng)初始化（包括系統(tǒng)配置和用戶配置）、測(cè)試執(zhí)行（包括開始、暫停、恢復(fù)和停止）、日志管理（包括保存、另存為、打開和關(guān)閉）、顯示設(shè)置（包括粗略模式和詳細(xì)模式）和幫助（顯示幫助信息和版本信息）。 各模塊之間的關(guān)系如圖41所示：圖41 用戶接口模塊各子模塊之間關(guān)系 界面顯示 在路由器雙端口測(cè)試器測(cè)試程序啟動(dòng)后，將首先顯示用戶界面。 功能模塊設(shè)計(jì) 秉承著用戶界面設(shè)計(jì)的兩個(gè)原則：置界面于用戶的控制之下和保持界面的一致性，用戶界面設(shè)計(jì)在工作流程上分為結(jié)構(gòu)設(shè)計(jì)、交互設(shè)計(jì)和視覺設(shè)計(jì)三個(gè)部分，筆者使用VC作為開發(fā)工具，分割窗口結(jié)構(gòu)，這樣的結(jié)構(gòu)劃分功能上比較直觀，能夠給用戶一個(gè)良好直觀的體驗(yàn)。理想的測(cè)試系統(tǒng)要求測(cè)試配置比較靈活、自動(dòng)化程度較高，并用良好的測(cè)試定義語言來描述測(cè)試過程。 用戶界面設(shè)計(jì)的人性化與否直接關(guān)系到了其操作的便捷度與操作效率的高低[47]。第4章 用戶接口模塊的設(shè)計(jì)與實(shí)現(xiàn) 用戶接口模塊的作用 用戶界面是系統(tǒng)與用戶之間進(jìn)行交互的直接橋梁，是命令/應(yīng)答和信息交換通道，也是用戶獲得對(duì)軟件使用的第一感官。因此，在筆者選擇文件系統(tǒng)作為數(shù)據(jù)保存方式。數(shù)據(jù)庫(kù)系統(tǒng)在物理上和邏輯上比較獨(dú)立，整體結(jié)構(gòu)化程度和數(shù)據(jù)安全性都比較高，但實(shí)現(xiàn)比較復(fù)雜；數(shù)據(jù)文件系統(tǒng)物理上和邏輯上獨(dú)立性不強(qiáng)，非常依賴數(shù)據(jù)應(yīng)用系統(tǒng)，但是對(duì)于類似文本這樣結(jié)構(gòu)化不強(qiáng)數(shù)據(jù)的讀取保存效率比較高，而且實(shí)現(xiàn)較為簡(jiǎn)單。 對(duì)數(shù)據(jù)的記錄保存主要有兩種方式：數(shù)據(jù)庫(kù)系統(tǒng)和數(shù)據(jù)文件系統(tǒng)。 支撐層PDU數(shù)據(jù)流記錄模塊 如圖33所示，日志記錄模塊在編解碼器和支撐層適配模塊與系統(tǒng)數(shù)據(jù)文件系統(tǒng)之間進(jìn)行數(shù)據(jù)傳輸。 筆者根據(jù)日志記錄模塊的功能，按其所記錄數(shù)據(jù)的類型，將日志記錄模塊劃分成：252。此外，實(shí)際測(cè)試中可能出現(xiàn)測(cè)試結(jié)果的正確與否與支撐層的行為有關(guān)的情況，這就是為什么保存支撐層PDU數(shù)據(jù)流的原因。 日志記錄模塊 在測(cè)試過程中，對(duì)測(cè)試?yán)龍?zhí)行時(shí)產(chǎn)生的被測(cè)層PDU數(shù)據(jù)流和支撐層PDU數(shù)據(jù)流進(jìn)行記錄。通過getlog函數(shù)完成對(duì)日志文件的讀取。下線評(píng)估的數(shù)據(jù)源通過日志來獲得。對(duì)于性能測(cè)試，往往獲得一個(gè)取值范圍，即數(shù)值的上下邊界。所謂在線評(píng)估是指測(cè)試評(píng)估在測(cè)試?yán)龍?zhí)行過程中進(jìn)行，而下線評(píng)估是指測(cè)試?yán)龍?zhí)行完成后根據(jù)相應(yīng)的數(shù)據(jù)進(jìn)行評(píng)估。n 測(cè)試報(bào)告生成子模塊：此子模塊的功能在于根據(jù)測(cè)試記錄和測(cè)試結(jié)論自動(dòng)生成可讀的測(cè)試報(bào)告。前者與測(cè)試目的直接相關(guān)，后者屬于輔助性記錄，在僅根據(jù)被測(cè)層PDU交互信息難以分析被測(cè)系統(tǒng)故障時(shí)，可利用被測(cè)層的適配層與支撐層之間截獲的信息進(jìn)一步分析故障原因。具體來說，此模塊其基本功能包括：n 測(cè)試過程顯示子模塊：這一子模塊的功能是在測(cè)試記錄流中根據(jù)需要（顯示的詳略）以形象的圖形方式直觀地為測(cè)試操作人員提供對(duì)測(cè)試過程的監(jiān)視手段。 在TPTTM的總體管理下，根據(jù)用戶的需求，可以對(duì)測(cè)試結(jié)果的詳略進(jìn)行選擇控制顯示。 測(cè)試過程顯示、測(cè)試記錄與測(cè)試報(bào)告生成模塊 本模塊中的“測(cè)試過程顯示模塊”也可以看作是用戶接口模塊的一個(gè)子模塊，而“測(cè)試記錄與測(cè)試報(bào)告生成模塊”可以看作是日志模塊的子模塊。 Management Protocol）[46]。MPRTM與TPT處于物理上獨(dú)立的測(cè)試設(shè)備之中，因此二者間通過交換機(jī)實(shí)現(xiàn)互聯(lián)。上述信息在“路由器多端口并發(fā)測(cè)試系統(tǒng)”（MPRCTS）中的交換，必須依靠“雙端口測(cè)試器與多端口并發(fā)測(cè)試管理器接口模塊”（T amp。 TPT amp。動(dòng)態(tài)選擇的可能原則之一是利用測(cè)試集/組/例之間存在的“非A即非B”的關(guān)系，即如果測(cè)試組/例A失敗時(shí)，測(cè)試組/例B的執(zhí)行結(jié)果也必然失敗的關(guān)系。TPTTM可工作于兩種模式：順序執(zhí)行模式和動(dòng)態(tài)測(cè)試?yán)x擇模式。 TPT測(cè)試管理模塊與單測(cè)試執(zhí)行器間的關(guān)系是，TPTTM每選擇一個(gè)測(cè)試?yán)蛯⒃摐y(cè)試?yán)目刂茩?quán)轉(zhuǎn)交給單測(cè)試?yán)龍?zhí)行器（STCE），執(zhí)行完成后將控制權(quán)返回TPTTM。包括系統(tǒng)配置和參數(shù)配置，前者包括對(duì)測(cè)試中需要使用的模塊配置（網(wǎng)絡(luò)支撐平臺(tái)），后者包括測(cè)試器和被測(cè)對(duì)象端口的IP地址、MAC地址或端口號(hào)等。 測(cè)試管理模塊 TPT測(cè)試管理模塊（TPTTM – TPT Test Manager）是TPT的主控程序。TPT用戶接口模塊也是TPT傳遞測(cè)試過程記錄信息、顯示信息和測(cè)試結(jié)果信息的通道。 功能設(shè)計(jì) 用戶接口模塊 TPT用戶接口模塊是測(cè)試操作員與雙端口測(cè)試器間的命令/應(yīng)答和信息交換通道。 具體說來，本課題研究與開發(fā)的模塊將包括：■ TPT用戶接口模塊■ 測(cè)試管理模塊■ TPTamp。通過執(zhí)行不同測(cè)試?yán)p端口測(cè)試系統(tǒng)可以靈活的進(jìn)行不同的測(cè)試任務(wù)。期間，雙端口測(cè)試系統(tǒng)還需要完成對(duì)測(cè)試?yán)龍?zhí)行進(jìn)行管理、記錄測(cè)試數(shù)據(jù)、向多端口并發(fā)測(cè)試系統(tǒng)發(fā)送測(cè)試反饋數(shù)據(jù)等工作。此時(shí)，TPT部件應(yīng)包含如下模塊：◆測(cè)試管理模塊◆TPT amp。作為測(cè)試部件，其用戶接口模塊、日志記錄模塊、測(cè)試結(jié)果分析與測(cè)試報(bào)告生成模塊將不復(fù)存在，相應(yīng)的功能由并發(fā)多端口測(cè)試系統(tǒng)相應(yīng)功能模塊完成。同時(shí)，將測(cè)試結(jié)果寫入日志記錄模塊中。操作員通過用戶接口模塊將系統(tǒng)配置信息和測(cè)試配置信息傳遞給測(cè)試管理模塊，有自動(dòng)配置和手動(dòng)配置兩種模式。此時(shí)雙端口測(cè)試管理器作為一個(gè)獨(dú)立的系統(tǒng)，并不需要多端口與雙端口之間的接口模塊，無需與多端口并發(fā)測(cè)試系統(tǒng)管理器進(jìn)行通信，因此TPT與多端口并發(fā)測(cè)試管理器的接口并不發(fā)揮作用。作為獨(dú)立的測(cè)試器對(duì)路由器的任意兩個(gè)端口進(jìn)行一致性、性能等測(cè)試。 雙端口測(cè)試器在多端口并發(fā)測(cè)試系統(tǒng)中身兼兩職，既可作為MPRCTS的基礎(chǔ)測(cè)試模塊，參與并發(fā)測(cè)試；也可以作為獨(dú)立的測(cè)試工具對(duì)路由器的一對(duì)端口進(jìn)行測(cè)試。第3章 TPT需求分析與功能設(shè)計(jì) 需求分析 在上述多端口路由器并發(fā)測(cè)試系統(tǒng)的講解中，已經(jīng)提到雙端口測(cè)試管理