【文章內(nèi)容簡介】 時(shí)間執(zhí)行自動(dòng)測試 。 軟件測試技術(shù)方法的比較與分析 11 (6)解決測試與開發(fā)之間的矛盾 通常在開發(fā)的末期 ， 進(jìn)入集成測試階段 ， 由于每發(fā)布一個(gè)版本的初期 ， 測試系統(tǒng)的錯(cuò)誤比較少 ， 這時(shí)開發(fā)人員有等待測試人員測出錯(cuò)誤的時(shí)間 。 事實(shí)上在迭代周期很短的開發(fā)模式中 ， 存在更多的矛盾 ， 但自動(dòng)化測試可以解決其中的主要矛盾 。 (7)增加軟件信任度 每一個(gè)測試人員都有自己特殊的經(jīng)歷和技術(shù)背景 ， 有自己的一些操作習(xí)慣和先入為主的觀念 ， 這就導(dǎo)致不是所有的測試都是可信的 ， 而且有時(shí)測試會(huì)把一些新的錯(cuò)誤帶入軟件產(chǎn)品之中 。 自動(dòng)化測試則會(huì)在很大程度上避免這些問題 。 一旦得知軟件通過強(qiáng)有力的自動(dòng)測試 后 ， 軟件 發(fā)布 時(shí)對(duì) 其的 信任 度也 高 （ 假設(shè) 已做過 很好 的 測試 ）。 總而言之 ， 測試自動(dòng)化的優(yōu)點(diǎn)在于通過較少的開銷 就可以獲得更徹底的測試能力 ， 以及提高產(chǎn)品的質(zhì)量 。 當(dāng)然 ， 軟件自動(dòng)化測試也并非萬能 ， 人們對(duì)軟件自動(dòng)化測試的理解也存在許多誤區(qū) ， 認(rèn)為自動(dòng)化測試能完成一切工作 ， 從測試計(jì)劃到測試執(zhí)行 ， 都不需要人工干預(yù) 。 其實(shí)軟件自動(dòng)化測試所完成的測試功能也是有限的 。 以下幾點(diǎn)是自動(dòng)化測試的不足所在 [1011]： (1)不能完全取代手工測試 。 軟件自動(dòng)化測試不可能也沒必要取代手工測試來完成所有的測試任務(wù) 。 因?yàn)橛行y試使用手工測試比自動(dòng)化測試要簡單 ， 這時(shí)將測試自動(dòng)化的開銷就比較大了 。 如以下一些情況 ： ①測試很 少運(yùn)行 。 對(duì)于很少運(yùn)行的測試任務(wù) ， 例如一年只需測試一次 ， 對(duì)測試自動(dòng)化則是一種浪費(fèi) 。 ②軟 件不 穩(wěn)定 。如 果在 某段 時(shí)間 內(nèi)軟 件的 界面 和 功能 更新 頻繁 ， 那么修改相應(yīng)的自動(dòng)化測試點(diǎn)開銷較大，因此只有當(dāng)軟件達(dá)到相對(duì)的穩(wěn)定 ， 沒有界面性嚴(yán)重錯(cuò)誤和中斷錯(cuò)誤才適合開始自動(dòng)化測試。 軟件測試技術(shù)方法的比較與分析 12 ③涉及感觀方面的測試。例如界面的美觀、聲音的體驗(yàn)、易用性的測試等，這類測試很容易通過人來驗(yàn)證，自動(dòng)化測試反而難以執(zhí)行。 ④涉及物理交互的測試。自動(dòng)化測試很難完成與物理設(shè)備的交互，比如刷卡的測試等。 (2)手工測試比軟件自動(dòng)化測試發(fā)現(xiàn)的缺陷更多 自動(dòng)化測試的 最大特點(diǎn)在于適合重復(fù)測試。一般情況下，以前運(yùn)行過 的測 試再 次用 來檢 查軟 件的 新版 本往 往暴 露的缺 陷要 少 得多。測試專家 JamesBach總結(jié)出 ， 85%的缺陷靠手工發(fā)現(xiàn)，而自動(dòng)化測試只能發(fā)現(xiàn) 15%的缺陷。自動(dòng)化測試能夠很好的發(fā)現(xiàn)老缺陷。 (3)軟件自動(dòng)化測試不能提高有效性 自動(dòng)化測試并不會(huì)比手工運(yùn)行相同測試更有效，它可以提高測試效率，但也可能對(duì)測試的進(jìn)展起反作用。 (4)軟件自動(dòng)化測試可能會(huì)制約軟件開發(fā) 應(yīng)用軟件的變化對(duì)自動(dòng)化測試的影響要比手工測試更大一些，軟件的部分改變有可能使自動(dòng)化測試軟件崩潰。而設(shè)計(jì)和實(shí)施自動(dòng)化測試要比手工測試開銷大，并需要維護(hù)，所以對(duì)自動(dòng)化測試影響較大的軟件修改可能受到限制。 (5)軟件自動(dòng)化測試本身沒有想象力 自動(dòng) 化測 試是 通過 軟件 進(jìn)行 ，測 試程 序只 是按 照 運(yùn)行 機(jī)制 執(zhí)行。手工測試時(shí)可以直接判斷結(jié)果的正確性，而自動(dòng)測試許多情況下測試結(jié)果還需要人工干預(yù)判斷。手工測試可以處理意外事件網(wǎng)絡(luò)連接中斷，此時(shí)必須重新建立連接。手工測試時(shí)可以及時(shí)處理該意外，而自動(dòng)化測試時(shí)該意外事件一般會(huì)導(dǎo)致測試的中止。 總的說來 ， 軟件自動(dòng)化測試的優(yōu)點(diǎn)和收益是顯而易見的，但它同時(shí)也并非萬能，只有對(duì)其進(jìn)行合理的設(shè)計(jì)和順利的實(shí)施才能從 中獲益。 范圍 Peer給出了對(duì)各類型測試進(jìn)行自動(dòng)化的參考 [12]。 軟件測試技術(shù)方法的比較與分析 13 表 各類型測試進(jìn) 行自動(dòng) 化 技術(shù) 描述 備注 單元測試 /組件測試 該測試工作通常是開發(fā)人員的職責(zé)，很多不同的方法能夠被使用，比如“測試先行”，它是一個(gè)測試框架，開發(fā)人員在編寫代碼前編寫不同的單元測試。當(dāng)測試通過是，代碼也被完成了。 通過使用正式的自動(dòng)化單元測試，不僅能夠幫助開發(fā)人員產(chǎn)生更加穩(wěn)定的代碼而且能夠使軟件的整體質(zhì)量更加的好。 冒煙測試 /構(gòu)建版本測試 冒煙測試是一般驗(yàn)證被測試系統(tǒng)的功能性測試用例的集合， 冒煙測試背后的思想是確?；A(chǔ)是可以工作的，以便更大的測試工作能夠開始 在構(gòu)建過程能夠確保構(gòu)建已經(jīng)為測試準(zhǔn)備好時(shí)，冒煙測試通常是自動(dòng)化的運(yùn)行 功能 /集成測試 這里測試的工作關(guān)注在驗(yàn)證的不同的組件之間的集成上。 這些類型的測試通常是被測試的更加復(fù)雜測試的基礎(chǔ)，大量的邊緣測試被合并以制造出不同的錯(cuò)誤處理測試。 系統(tǒng)測試 /用例測試 這種測試是通過執(zhí)行用戶場景模擬真實(shí)用戶使用系統(tǒng)以證明系統(tǒng)具有被期望的功能的測試。 不需要使用自動(dòng)化的測試。安裝測試、安全性測試通常是由手工完成，因此系統(tǒng)的環(huán)境不會(huì)是恒定不變的。 回 歸測試 回歸測試實(shí)際上是重復(fù)已經(jīng)存在的測試。通常如果是手工完成的話，這種測試只在項(xiàng)目的結(jié)尾執(zhí)行少數(shù)幾次。 這里完全有潛力完成自動(dòng)化的測試。能夠在每次構(gòu)件完成后執(zhí)行自動(dòng)化的回歸測試，以驗(yàn)證被測試系統(tǒng)的改變是否影響了系統(tǒng)的其他功能。 性能測試 性能測試包括以下不同測試形式： 負(fù)載測試 壓力測試 并發(fā)測試 如果沒有自動(dòng)化的測試工具，將無法執(zhí)行通過模擬用戶的負(fù)載實(shí)現(xiàn)的高密集度的性能測試。 可 見重復(fù)性比較高的回歸測試 ， 以及手工測試難以完成的性能軟件測試技術(shù)方法的比較與分析 14 測試是自動(dòng) 化測 試最有潛力應(yīng)用和最能體現(xiàn)價(jià)值的地方 ， 而早期的單元測試中如果引入自 動(dòng)化， 也將大大提高開發(fā)出的代碼質(zhì)量。 當(dāng)決定在一個(gè)產(chǎn)品的測試過程中實(shí)現(xiàn)自動(dòng)化測試的時(shí)候 ，必須將自動(dòng)化測試 手工測試結(jié)合起來使用 。 目的就是用較少的開銷，獲得徹底的測試，并提 高商 品的質(zhì)量。 下表 對(duì)何 時(shí)使 用自 動(dòng)化 測試 和何 時(shí)使 用手 工測 試 進(jìn)行 了一 個(gè)概要的總結(jié)。 表 何時(shí)使用自動(dòng) 化測試 和手 工測試 使用自動(dòng)化測試 使用手工測試 項(xiàng)目沒有嚴(yán)格的時(shí)間壓力 具有良好定義的測試策略和測試計(jì)劃 ? 知道要測試什么 ? 知道什么時(shí)候測試 對(duì)于自動(dòng)化測試擁有一個(gè)能夠被識(shí)別的測試框架和侯選者 能夠確保多個(gè)測試運(yùn)行的構(gòu)建 策略 多平臺(tái)環(huán)境需要被測試 擁有運(yùn)行測試的硬件 擁有關(guān)注在自動(dòng)化過程上的資源 被測試系統(tǒng)是可自動(dòng)化測試的 沒有適當(dāng)?shù)臏y試過程 沒有一個(gè)測試什么，什么時(shí)候測試的清晰的藍(lán)圖 剛加入項(xiàng)目組，并且還不是完全的理解方案的功能性和或者設(shè)計(jì) 項(xiàng)目成員或者整個(gè)項(xiàng)目在時(shí)間的壓力下 在團(tuán)隊(duì)中沒有資源或者具有自動(dòng)化測試技能的人 沒有硬件 軟件測試技術(shù)方法的比較與分析 15 自動(dòng)化測試需要不同類型的自動(dòng)化測試工具進(jìn)行支持。 目前，軟件市場上已經(jīng)有很多優(yōu)秀的自動(dòng)化測試工具，它們功能強(qiáng)大，有針對(duì)功能的，也有針對(duì)性能的，有執(zhí) 行白盒測試的測試工具也有執(zhí)行黑盒的測試工具。主流的商業(yè)化的自動(dòng)化測試工具軟件開發(fā)公司是： Mercury Interactive 公司、 IBM Rational 公司和 Compuware公司。三個(gè)公司都開發(fā)了一整套自動(dòng)化測試工具，這些自動(dòng)化測試工具都經(jīng)過無數(shù)的實(shí)際運(yùn)用，都是非常優(yōu)秀的自動(dòng)化測試工具。 一個(gè)完整地自動(dòng)化軟件測試工具，應(yīng)該包括測試管理工具、功能測試工具、性能測試工具三個(gè)部分。下面就目前 Windows 操作系統(tǒng)下的主流的自動(dòng)化測試工具作一個(gè)整體的介紹。 MI（ Mercury Interactive）公司的 測試軟件 Mercury Interactive 公司是商業(yè)技術(shù)優(yōu)化的業(yè)界領(lǐng)導(dǎo)者。它成立于 1989 年，目前，和全球超過 35 個(gè)國家都有貿(mào)易往來。全球100強(qiáng)公司中有將近 90%的公司依靠 MI 公司的軟件和服務(wù)來實(shí)施他們的商業(yè)技術(shù)優(yōu)化策略。這使得 MI 公司成為世界上最大的、成長最快的企業(yè)級(jí)軟件公司。該公司開發(fā)的自動(dòng)化測試工具以其功能強(qiáng)大、完善的售后服務(wù)和支持，使其成為了自動(dòng)化測試軟件開發(fā)領(lǐng)域的領(lǐng)先者。 MI 主要測試軟件的構(gòu)成如下圖 [13]： 圖 MI 主要測試軟件 的構(gòu) 成 下面對(duì)上圖的工具作一個(gè)概 括的介紹。 軟件測試技術(shù)方法的比較與分析 16 管理工具 TestDirector 是 MI 自動(dòng)化測試工具集中的測試管理工具，它是業(yè)界第一個(gè)基于 WEB 的測試管理系統(tǒng)。使用 TD 及其配套的功能和性能等測試工具，可以組織全球范圍的測試。 TestDirector 通過在一個(gè)整體的應(yīng)用系統(tǒng)中提供并且集成了測試需求管理、測試計(jì)劃、測試日程控制及測試執(zhí)行和錯(cuò)誤跟蹤等功能，通過使用這些功能可以使測試專業(yè)化，提高測試的效率，加速測試的過程。 TestDirector 主要有三大功能模塊構(gòu)成： (1)Site Administrator 該模塊的主要功能是： 創(chuàng)建測試域，創(chuàng)建和維護(hù)測試項(xiàng)目，管理測試人員，查看測試項(xiàng)目的訪問情況，配置注冊(cè)碼。 (2)Customer 在該功能模塊中， TD 用戶 （ 即測試人員或其他與測試相關(guān)的人員 ） 可以訂制和修改用戶的一些信息。包括 ： 修改用戶信息、創(chuàng)建新的用戶類型和用戶組類型，訂制模塊的訪問權(quán)限，訂制項(xiàng)目實(shí)體和列表，配置郵件，調(diào)整工作流等。 (3)TestManager 這個(gè)模塊是 TestDirector 的主要功能的所在。它主要集成了需求指定、建立測試計(jì)劃、執(zhí)行測試、缺陷跟蹤四個(gè)功能模塊。 測試工具 MI 的測試工具主要有功能測 試工具 WinRunner 和性能測試工具 LoadRunner，下面對(duì)這兩個(gè)工具作一個(gè)概括的介紹。 (1)WinRunner 針對(duì) Windows 應(yīng)用程序的一個(gè)企業(yè)級(jí)的功能測試工具，用于檢測應(yīng)用 程序 是否 能夠 達(dá)到 預(yù)期 的功 能及 正常 運(yùn)行 。它通 過自 動(dòng) 錄制、檢測和回放用戶的應(yīng)用操作，來發(fā)現(xiàn)程序中的錯(cuò)誤?？梢杂行У貛椭?測試 人員 對(duì)復(fù) 雜的 企業(yè) 級(jí)應(yīng) 用軟 件的 不同 發(fā)布版 本進(jìn) 行 測試，提高測試人員的工作效率和質(zhì)量。確?？缙脚_(tái)的、復(fù)雜的企業(yè)軟件測試技術(shù)方法的比較與分析 17 級(jí)應(yīng)用軟件無故障發(fā)布和長期穩(wěn)定的運(yùn)行。 (2)LoadRunner 黑盒性能測試工具。 Rational 公司 的測試軟 件 Rational 公司是軟件業(yè)中領(lǐng)先的應(yīng)用開發(fā)工具供應(yīng)商，提供基于業(yè)界開放標(biāo)準(zhǔn)的工具、最佳方案和服務(wù)，用于開發(fā)商業(yè)應(yīng)用和構(gòu)建軟件產(chǎn)品和系統(tǒng)。 2021 年 Rational 公司被 IBM 公司收購。對(duì)于 Rational 公司的產(chǎn)品，我們比較熟悉的是它的建模工具，它的測 試 工 具 同 它 的 建 模 工 具 一 樣 優(yōu) 秀 。 Rational 的 測 試 工 具Rational Suite TestStudio 的構(gòu)成如下圖 [14]： 圖 Rational Suite TestStudio 的 構(gòu)成 管理工具 Rational Suite TestStudio 測試工具集中的管理工具主要有五個(gè)子工具組成，它們結(jié)合起來，完成一個(gè)完整的測試管理工具的功能。下面就上面各個(gè)管理工具的功能作一個(gè)概括的介紹。 (1)Rational TestManager TestManager 處于測試管理工具的核心位置。它是一個(gè)開放的可 擴(kuò) 展 的 架 構(gòu) ， 將 其 它 的 工 具 和 測 試 數(shù) 據(jù) 聯(lián) 合 為 一 個(gè) 整 體 。 在TestManager 中主要可以完成建立測試計(jì)劃、安排測試、執(zhí)行測試、查看測試結(jié)果和分析測試結(jié)果等工作。 軟件測試技術(shù)方法的比較與分析 18 (2)Rational Administrator Rational Administrator 集中了測試項(xiàng)目的管理功能，可以創(chuàng)建測試項(xiàng)目，管理相關(guān)的人員，包括測試人員和有關(guān)的開發(fā)人員。它的詳細(xì)功能如下： ① 創(chuàng)建一個(gè) Rational 測試項(xiàng)目，配置項(xiàng)目的有關(guān)信息 。 ② 連接某個(gè)測試項(xiàng)目 。 ③ 通過網(wǎng)絡(luò)操作遠(yuǎn)程的測試項(xiàng)目 。 ④ 刪除一個(gè)測試項(xiàng)目 。 ⑤ 創(chuàng)建和管理測試人員和用戶組 。 ⑥ 創(chuàng)建和管理包含 RequisitePro 項(xiàng)目和 Rose 項(xiàng)目的測試項(xiàng)目 。 ⑦ 控制一個(gè) Rational 測試項(xiàng)目的測試數(shù)據(jù)的安全權(quán)限 。 (3)Rational RequisitePro Rational RequisitePro 是一個(gè)需求管理的工具，它可幫助項(xiàng)目團(tuán)隊(duì)控制開發(fā)的進(jìn)度。它通過將 Microsoft Word 和一個(gè)需求倉庫連接來組織測試需求，它還提供了跟蹤功能，并且在整個(gè)項(xiàng)目的生命周期內(nèi)可以隨時(shí)改變需求。 利用 RequisitePro 你可以完成如下工作： ① 定制需求數(shù)據(jù)庫和管理多種不同類型的測試。 ② 指定優(yōu)先級(jí)，排序和安排需求 。 ③ 控制特征變形，確保軟件質(zhì)量 。 ④ 跟蹤產(chǎn)生的變化，包括這些改變是誰做出的、什么時(shí)