【文章內(nèi)容簡介】 后觸發(fā)， 98%由三個(gè)參數(shù)一起造成。其它應(yīng)用的錯(cuò)誤發(fā)現(xiàn)率曲線也都比較相像，組合強(qiáng)度等于 4到 6 時(shí)錯(cuò)誤發(fā)現(xiàn)率都達(dá)到了將近100%。 特別的，生成 2way 的測試用例集的方法被稱為 pairwise（或 allpairs）測試方法。目前 pairwise 是使用最普遍的組合測試技術(shù)，因?yàn)檐浖械慕^大部分錯(cuò)誤都只由一個(gè)或兩個(gè)參數(shù)造成， pairwise 生成的測試用例能夠覆蓋足夠的錯(cuò)誤空間。使用 pairwise 技術(shù)后，總測試用例數(shù)目從原來的 MN下降到了約 M * N。至于生成高組合強(qiáng)度的測試用例，測試用例集發(fā)現(xiàn)錯(cuò)誤的能力沒有實(shí)質(zhì)上的提高，卻會(huì)導(dǎo)致生成算法的更加復(fù)雜化和產(chǎn)生多得多的測試用例。最壞的情況下，當(dāng)組合強(qiáng)度和參數(shù)的數(shù)目相等時(shí)，組合測試退化為枚舉測試。 組合測試的最早提出，也就是為了 簡化軟件在各種配置環(huán)境下的測試。因?yàn)闋可娴接布h(huán)境的搭建，配置參數(shù)測試中每增加一種測試情況比單純地多寫一個(gè)測試用例所花的代價(jià)大得多。人們迫切需要解決這一問題，使得配置參數(shù)測試成為了組合測試中最為發(fā)達(dá)的形式，尤其在那些要求適應(yīng)不同硬件平臺(tái)和環(huán)境的軟件的測試過程中?？紤]一款受 5 個(gè)配置因素影響的應(yīng)用：操作系統(tǒng)（ Windows XP、 Apple OS X、 Red Hat Enterprise Linux），瀏覽器（ IE、FireFox），網(wǎng)絡(luò)協(xié)議（ IPv IPv6），處理器平臺(tái)（ Intel、 AMD）和數(shù)據(jù)庫（ MySQL、 Sybase、 基于模型的自動(dòng)化測試工具的實(shí)現(xiàn) 第 9 頁 共 13 頁 Oracle），一共 32223=72 種硬件平臺(tái)。 pairwise 測試只需要設(shè)計(jì)如下 10 個(gè)測試，就覆蓋了每一種影響因素和另外一種影響因素的所有組合。 編號(hào) 操作系統(tǒng) 瀏覽器 網(wǎng)絡(luò)協(xié)議 處理器平臺(tái) 數(shù)據(jù)庫 1 XP IE IPv4 Intel MySQL 2 XP FireFox IPv6 AMD Sybase 3 XP IE IPv6 Intel Oracle 4 OS X FireFox IPv4 AMD MySQL 5 OS X IE IPv4 Intel Sybase 6 OS X FireFox IPv4 Intel Oracle 7 RHEL IE IPv6 AMD MySQL 8 RHEL FireFox IPv4 Intel Sybase 9 RHEL FireFox IPv4 AMD Oracle 10 OSX FireFox IPv6 AMD Oracle 表 22 pairwise 測試的配置 即使被測軟件沒有配置 選項(xiàng) ， 軟件仍要處理一些輸入。例如， Word 20xx 應(yīng)用程序至少允許用戶對拖黑文字進(jìn)行 10 種不同操作：設(shè)為上標(biāo)、設(shè)為下標(biāo)、加粗、加下劃線、設(shè)為斜體、加刪除線、加灰色背景、加陰影效果、加倒影效果、加熒光效果。相關(guān)的字體處理函數(shù)需要根據(jù)用戶的輸入來相應(yīng)修改文字效果，該函數(shù)需要在所有的可能情況下都正常工作，而一共有 210=1024 種可能。前面的經(jīng)驗(yàn)告訴我們， 3way 的測試用例就能夠達(dá)到 90%以上的錯(cuò)誤發(fā)現(xiàn)率，具有較高的收益 代價(jià)比。 圖 24 3way 覆蓋數(shù)組 圖 24 列出了對于具有 10 個(gè)變量、每個(gè)變量各有兩種取值的 3way 覆蓋數(shù)組。覆蓋數(shù)組并不唯一，這只是其中一種情況。 tway 覆蓋數(shù)組的特點(diǎn)是，任意 t 個(gè)參數(shù)的所有排列組合都將分別出現(xiàn)在覆蓋數(shù)組的某一行中，比如上圖中的 ABC、 DEG、 HIJ，三個(gè)參數(shù)共有 8 種排列組合（ 000、 00 0 01 100、 10 1 111）都被覆蓋數(shù)組所覆蓋。覆蓋數(shù)組的每一行對應(yīng)一個(gè)測試用例，相比之前的 1024 個(gè)測試用例，組合測試只需要 13 個(gè)測試用例。 基于模型的自動(dòng)化測試工具的實(shí)現(xiàn) 第 10 頁 共 13 頁 組合測試用例生成的本質(zhì)是構(gòu)造覆蓋數(shù)組， 最早的構(gòu)造方法是利用正交數(shù)組， 其定義和覆蓋數(shù)組類似，唯一區(qū)別在于正交數(shù)組中所有 t 元組出現(xiàn)的次數(shù)相同，而覆蓋數(shù)組不保證這一點(diǎn)。在某些特殊的情況下，正交數(shù)組就是最優(yōu)的覆蓋數(shù)組，為此，如何構(gòu)造正交數(shù)組問題吸引了大量的研究者研究。 Sloane 在其網(wǎng)站上總結(jié)記錄了超過 200 個(gè)正交數(shù)組 [18]。利用計(jì)算機(jī)也可以自動(dòng)求解出部分類型的正交數(shù)組，由已知的大覆蓋數(shù)組構(gòu)造小覆蓋數(shù)組的方法被稱為坍塌 [19]。坍塌的缺陷在于，最終得到的覆蓋數(shù)組往往并不是最優(yōu)解，一般比最優(yōu)解要大。另 一種構(gòu)造方法剛好相反，是由已知的小覆蓋數(shù)組遞歸構(gòu)造出大覆蓋數(shù)組。 構(gòu)造最優(yōu)覆蓋數(shù)組的實(shí)際上是一個(gè) NP 完全問題 [20]，我們知道， NP 完全問題是一系列可以互相轉(zhuǎn)化的問題。于是我們可以利用和借鑒其它 NP 完全問題的研究成果來構(gòu)造覆蓋數(shù)組，比如第一個(gè)被證明為 NP 完全問題的可滿足性問題，整數(shù)規(guī)劃問題，圖論問題等等。 數(shù)學(xué)構(gòu)造方法僅限于某些特定大小或者組合強(qiáng)度的覆蓋數(shù)組的構(gòu)造，不具有通用性。 NP完全問題則是困擾了人類多年的超級(jí)難題，目前還沒有突破性解法，所以轉(zhuǎn)化為其它問題也是大同小異。但我們可以利用局部搜索方法，比如啟發(fā) 式搜索算法，在較短的時(shí)間內(nèi)就可以搜索出近似最優(yōu)解。啟發(fā)式搜索算法是利用一個(gè)已有的數(shù)組，通過合適的變換得到一個(gè)更優(yōu)的覆蓋矩陣，不斷地變換直到得到一個(gè)較優(yōu)的矩陣。近年來流行的模擬自然界行為的智能優(yōu)化算法中，目前已經(jīng)應(yīng)用到組合測試中的主要有模擬退火、禁忌搜索、遺傳算法等等。 更為有效的方法是貪心算法，貪心算法的思想是從空矩陣開始，然后逐行或者逐列地?cái)U(kuò)展矩陣，直到所有的 t 元組都被覆蓋。按照擴(kuò)展方式的不同，又可以分為一維擴(kuò)展和二維擴(kuò)展。商業(yè)工具 AETG 最先提出一維擴(kuò)展的方法 [21]，依次增加一行，每次盡可能多地覆蓋未覆蓋的 t 元組。微軟開發(fā)的工具 PICT 采用類似 AETG 的方法生成測試用例 [22]，不同之處在于，PICT 每次產(chǎn)生的結(jié)果是相同的。 Lei 等人提出的 IPO（ Inparameterorder） [23]方法屬于二維擴(kuò)展， 該算法主要針對 pairwise 測試。首先構(gòu)造前兩個(gè)參數(shù)的所有組合，形成一個(gè)小的矩陣，再分別為矩陣添加一列和必要多的行，覆蓋完所有元組后結(jié)束。 我們將模仿 PICT 工具中 pairwise 算法的主要思想，使用一維擴(kuò)展的貪心算法來生成覆蓋數(shù)組。同時(shí)給系統(tǒng)留好接口，利于以后換用新的 pairwise 生成算法，具體的算法設(shè)計(jì)將在第四章介紹。 . MBT 預(yù)期輸出 生成 三大關(guān)鍵技術(shù)就只剩下輔助性內(nèi)容生成工具了，輔助性工具主要還是為了解決預(yù)期輸出的生成問題。前面我們構(gòu)造了系統(tǒng)的模型，模型描述了系統(tǒng)的狀態(tài)和狀態(tài)之間的動(dòng)作，這些動(dòng)作都是由一個(gè)個(gè)函數(shù)和方法的調(diào)用序列組成的。 SUT 提供的 API 往往不能和測試用例的要求完全契合，為了讓測試用例能夠順利地在 SUT 上執(zhí)行，需要測試人員在 SUT 之上再包裝一層，即圖 21 中的 適配器層。 嚴(yán)格地說，我們編寫的工具只負(fù)責(zé)生成基本的測試用例框架，或者稱為抽象的測試用例。測試用例中相當(dāng)于使用了打樁的設(shè)計(jì)模式，樁的實(shí)際實(shí)現(xiàn)由最終的測試人員補(bǔ)充完成，樁的實(shí)現(xiàn)包括對 SUT 提供的 API 的封裝組合和測試判斷邏輯的編寫。我們把這些樁叫做 token，token 對應(yīng)于適配器層中的某個(gè)函數(shù)和方法，兩者可以直接一一對應(yīng)，也可以先序列化為可擴(kuò)展標(biāo)記語言（ XML， Extensible Markup Language）文件再利用 XML 解析器之類的工具生成測試用例。這樣 MBT 的整個(gè)測試工具都變得項(xiàng)目之間可移植了，如果某一測試條件和預(yù)期結(jié)果不同則在 token 中拋出異常，拋出的異常隨后被測試工具捕獲，最終判定該測試用例不通過。圖 25 展示了一個(gè)測試工具自動(dòng)生成的測試用例，用戶需要實(shí)現(xiàn) token_1 和 token_2的具體邏輯，然后測試用例就能夠被真正執(zhí)行了。 token_1和 token_2 執(zhí)行過程中如果發(fā)現(xiàn)錯(cuò)誤會(huì)觸發(fā)異常，程序打印出錯(cuò)誤提示，同時(shí)導(dǎo)致測試用例的總錯(cuò)誤個(gè)數(shù)加一。反之，一切正常并給出通過提示。 基于模型的自動(dòng)化測試工具的實(shí)現(xiàn) 第 11 頁 共 13 頁 圖 25 測試用例示例 另外我們也可以利用 pairwise 來完成部分 情況下預(yù)期輸出的生成。對于相同輸出結(jié)果的某些參數(shù)取值組合，把輸出結(jié)果也當(dāng)作 pairwise 算法輸入?yún)?shù)的一項(xiàng)，輸出結(jié)果列和其它輸入?yún)?shù)的區(qū)別在于其取值唯一。 PICT 工具還支持混合組合強(qiáng)度的測試用例生成，以及輸入各種約束，比如指定某些參數(shù)的組合形式必須出現(xiàn)或者不出現(xiàn)，所以具有較強(qiáng)的預(yù)期輸出生成能力。不過如果預(yù)期輸出涉及復(fù)雜的判斷邏輯，還是使用委托給 token 來處理的方法較好。 基于模型的自動(dòng)化測試工具的實(shí)現(xiàn) 第 12 頁 共 13 頁 第三章 系統(tǒng)架構(gòu) . 功能概述及流程 課題要求完成的 基于模型的自動(dòng)化測試工具 的功能包括：支持輸入 FSM 模型、支持添加token、支持 pairwise 組合測試、支持生成測試用例框架、支持序列化 FSM 模型到文件和反序列化讀入。其中考慮到 token 的可復(fù)用性，用戶可以直接在工具上定義 token 順序執(zhí)行序列組成的函數(shù)過程，更復(fù)雜的函數(shù)過程則通過添加新的 token 實(shí)現(xiàn)。用戶使用該工具生成測試用例的流程如下： 圖 31 生成測試用例流程 用戶可以直接繪制 FSM 模型，或者在以前保存的模型基礎(chǔ)上修改模型，工具支持 FSM模型的序列化與反序列化。繪制 FSM 模型時(shí)首先需要定義一些 FSM 的狀態(tài)轉(zhuǎn)換動(dòng)作中用到的token 和這些 token 組成的若干 函數(shù)過程，隨后在模型繪制面板中畫出 FSM 模型相應(yīng)的有向圖。 FSM 模型的有向圖包括代表不同狀態(tài)的圓形節(jié)點(diǎn)，以及代表狀態(tài)間轉(zhuǎn)換動(dòng)作的弧線。一個(gè) token 或函數(shù)過程可以在相同的或者不同的狀態(tài)轉(zhuǎn)換動(dòng)作中被反復(fù)使用，只要求這些token 或函數(shù)過程方法頭中所定義的參數(shù)被正確地賦予某個(gè)常量或者變量。變量可以有多個(gè)允許的取值，用戶在 pairwise 相關(guān)面板輸入各個(gè)變量的可能取值，接下來工具將分析 FSM模型尋找所以可執(zhí)行路徑，同時(shí)結(jié)合路徑長度限制和 pairwise 技術(shù)來生成測試用例。最后用戶還可以在生成的測試用例中再人工 選擇部分測試用例出來，保存為最終需要被執(zhí)行的測試用例。 基于模型的自動(dòng)化測試工具的實(shí)現(xiàn) 第 13 頁 共 13 頁 . 系統(tǒng)架構(gòu) 工具設(shè)計(jì)的主要目的是為了自動(dòng)生成測試用例， 而模型是驅(qū)動(dòng) MBT 各測試過程的根本，所以系統(tǒng)架構(gòu)中最核心的部分是 FSM 的數(shù)據(jù)模型，數(shù)據(jù)模型描述了 FSM 中各個(gè)狀態(tài)和轉(zhuǎn)換動(dòng)作的詳細(xì)屬性。比如狀態(tài)名稱，轉(zhuǎn)換動(dòng)作名稱，用戶所定義 token 的名稱和所需輸入輸出參數(shù)，函數(shù)過程的名稱和其中包含的 token 執(zhí)行序列等等。 圖 32 系統(tǒng)總體架構(gòu) 用戶不是生硬地使用形式化語言來描述 FSM 數(shù)據(jù)模型，工具提供了可視化界面，實(shí)現(xiàn)了鼠標(biāo)選取不同繪圖元素再拖拽調(diào)整的繪圖方式。此外，為了持久化保存繪制好的 FSM 模型，系統(tǒng)包含了序列化模塊，用于模型的序列化與反序列化。 測試用例的生成過程是基于兩大模塊來完成的， FSM 模型遍歷模塊負(fù)責(zé)生成各種可執(zhí)行路徑， pairwise 測試模塊負(fù)責(zé)生成參數(shù)變量取值的不同組合。最后把參數(shù)變量取值代入可執(zhí)行路徑中，即得到測試用例。 基于模型的自動(dòng)化測試工具的實(shí)現(xiàn) 第 14 頁 共 13 頁 第四章 系統(tǒng) 各功能 實(shí)現(xiàn) 前一章中我們介紹了系統(tǒng)的整體架構(gòu)，下面將逐一介紹系統(tǒng)各模塊的具體實(shí)現(xiàn)，整個(gè)系統(tǒng)都使用 C語言編寫完成。 . FSM 數(shù)據(jù)模型實(shí)現(xiàn) 我們知道 FSM 數(shù)據(jù)模型是影響系統(tǒng)的關(guān)鍵，圖 41 列出了系統(tǒng)實(shí)際實(shí)現(xiàn)過程中 FSM 數(shù)據(jù)模型相關(guān)各類之間的關(guān)系。對于一些簡單的 set 和 get 方法圖中并沒有標(biāo)出，其它輔助性的方法也予于省略。 0..10..*0..10..*0..10..*0..10..*0..10..10..10..*0..10..*1..11..10..10..*FSMstatesactionsstateMapactionMap: ListState: ListAction: Dictionarystring,State: Dictionarystring,Action++++++Initialize ()GenerateTours ()GetAction ()GetState ()LoadFromXML ()SaveToXML ()...: void: ListTour: Action: State: void: voidAction