【文章內(nèi)容簡(jiǎn)介】 時(shí)間執(zhí)行自動(dòng)測(cè)試 。 軟件測(cè)試技術(shù)方法的比較與分析 11 (6)解決測(cè)試與開發(fā)之間的矛盾 通常在開發(fā)的末期 ， 進(jìn)入集成測(cè)試階段 ， 由于每發(fā)布一個(gè)版本的初期 ， 測(cè)試系統(tǒng)的錯(cuò)誤比較少 ， 這時(shí)開發(fā)人員有等待測(cè)試人員測(cè)出錯(cuò)誤的時(shí)間 。 事實(shí)上在迭代周期很短的開發(fā)模式中 ， 存在更多的矛盾 ， 但自動(dòng)化測(cè)試可以解決其中的主要矛盾 。 (7)增加軟件信任度 每一個(gè)測(cè)試人員都有自己特殊的經(jīng)歷和技術(shù)背景 ， 有自己的一些操作習(xí)慣和先入為主的觀念 ， 這就導(dǎo)致不是所有的測(cè)試都是可信的 ， 而且有時(shí)測(cè)試會(huì)把一些新的錯(cuò)誤帶入軟件產(chǎn)品之中 。 自動(dòng)化測(cè)試則會(huì)在很大程度上避免這些問(wèn)題 。 一旦得知軟件通過(guò)強(qiáng)有力的自動(dòng)測(cè)試 后 ， 軟件 發(fā)布 時(shí)對(duì) 其的 信任 度也 高 （ 假設(shè) 已做過(guò) 很好 的 測(cè)試 ）。 總而言之 ， 測(cè)試自動(dòng)化的優(yōu)點(diǎn)在于通過(guò)較少的開銷 就可以獲得更徹底的測(cè)試能力 ， 以及提高產(chǎn)品的質(zhì)量 。 當(dāng)然 ， 軟件自動(dòng)化測(cè)試也并非萬(wàn)能 ， 人們對(duì)軟件自動(dòng)化測(cè)試的理解也存在許多誤區(qū) ， 認(rèn)為自動(dòng)化測(cè)試能完成一切工作 ， 從測(cè)試計(jì)劃到測(cè)試執(zhí)行 ， 都不需要人工干預(yù) 。 其實(shí)軟件自動(dòng)化測(cè)試所完成的測(cè)試功能也是有限的 。 以下幾點(diǎn)是自動(dòng)化測(cè)試的不足所在 [1011]： (1)不能完全取代手工測(cè)試 。 軟件自動(dòng)化測(cè)試不可能也沒必要取代手工測(cè)試來(lái)完成所有的測(cè)試任務(wù) 。 因?yàn)橛行y(cè)試使用手工測(cè)試比自動(dòng)化測(cè)試要簡(jiǎn)單 ， 這時(shí)將測(cè)試自動(dòng)化的開銷就比較大了 。 如以下一些情況 ： ①測(cè)試很 少運(yùn)行 。 對(duì)于很少運(yùn)行的測(cè)試任務(wù) ， 例如一年只需測(cè)試一次 ， 對(duì)測(cè)試自動(dòng)化則是一種浪費(fèi) 。 ②軟 件不 穩(wěn)定 。如 果在 某段 時(shí)間 內(nèi)軟 件的 界面 和 功能 更新 頻繁 ， 那么修改相應(yīng)的自動(dòng)化測(cè)試點(diǎn)開銷較大，因此只有當(dāng)軟件達(dá)到相對(duì)的穩(wěn)定 ， 沒有界面性嚴(yán)重錯(cuò)誤和中斷錯(cuò)誤才適合開始自動(dòng)化測(cè)試。 軟件測(cè)試技術(shù)方法的比較與分析 12 ③涉及感觀方面的測(cè)試。例如界面的美觀、聲音的體驗(yàn)、易用性的測(cè)試等，這類測(cè)試很容易通過(guò)人來(lái)驗(yàn)證，自動(dòng)化測(cè)試反而難以執(zhí)行。 ④涉及物理交互的測(cè)試。自動(dòng)化測(cè)試很難完成與物理設(shè)備的交互，比如刷卡的測(cè)試等。 (2)手工測(cè)試比軟件自動(dòng)化測(cè)試發(fā)現(xiàn)的缺陷更多 自動(dòng)化測(cè)試的 最大特點(diǎn)在于適合重復(fù)測(cè)試。一般情況下，以前運(yùn)行過(guò) 的測(cè) 試再 次用 來(lái)檢 查軟 件的 新版 本往 往暴 露的缺 陷要 少 得多。測(cè)試專家 JamesBach總結(jié)出 ， 85%的缺陷靠手工發(fā)現(xiàn)，而自動(dòng)化測(cè)試只能發(fā)現(xiàn) 15%的缺陷。自動(dòng)化測(cè)試能夠很好的發(fā)現(xiàn)老缺陷。 (3)軟件自動(dòng)化測(cè)試不能提高有效性 自動(dòng)化測(cè)試并不會(huì)比手工運(yùn)行相同測(cè)試更有效，它可以提高測(cè)試效率，但也可能對(duì)測(cè)試的進(jìn)展起反作用。 (4)軟件自動(dòng)化測(cè)試可能會(huì)制約軟件開發(fā) 應(yīng)用軟件的變化對(duì)自動(dòng)化測(cè)試的影響要比手工測(cè)試更大一些，軟件的部分改變有可能使自動(dòng)化測(cè)試軟件崩潰。而設(shè)計(jì)和實(shí)施自動(dòng)化測(cè)試要比手工測(cè)試開銷大，并需要維護(hù)，所以對(duì)自動(dòng)化測(cè)試影響較大的軟件修改可能受到限制。 (5)軟件自動(dòng)化測(cè)試本身沒有想象力 自動(dòng) 化測(cè) 試是 通過(guò) 軟件 進(jìn)行 ，測(cè) 試程 序只 是按 照 運(yùn)行 機(jī)制 執(zhí)行。手工測(cè)試時(shí)可以直接判斷結(jié)果的正確性，而自動(dòng)測(cè)試許多情況下測(cè)試結(jié)果還需要人工干預(yù)判斷。手工測(cè)試可以處理意外事件網(wǎng)絡(luò)連接中斷，此時(shí)必須重新建立連接。手工測(cè)試時(shí)可以及時(shí)處理該意外，而自動(dòng)化測(cè)試時(shí)該意外事件一般會(huì)導(dǎo)致測(cè)試的中止。 總的說(shuō)來(lái) ， 軟件自動(dòng)化測(cè)試的優(yōu)點(diǎn)和收益是顯而易見的，但它同時(shí)也并非萬(wàn)能，只有對(duì)其進(jìn)行合理的設(shè)計(jì)和順利的實(shí)施才能從 中獲益。 范圍 Peer給出了對(duì)各類型測(cè)試進(jìn)行自動(dòng)化的參考 [12]。 軟件測(cè)試技術(shù)方法的比較與分析 13 表 各類型測(cè)試進(jìn) 行自動(dòng) 化 技術(shù) 描述 備注 單元測(cè)試 /組件測(cè)試 該測(cè)試工作通常是開發(fā)人員的職責(zé)，很多不同的方法能夠被使用，比如“測(cè)試先行”，它是一個(gè)測(cè)試框架，開發(fā)人員在編寫代碼前編寫不同的單元測(cè)試。當(dāng)測(cè)試通過(guò)是，代碼也被完成了。 通過(guò)使用正式的自動(dòng)化單元測(cè)試，不僅能夠幫助開發(fā)人員產(chǎn)生更加穩(wěn)定的代碼而且能夠使軟件的整體質(zhì)量更加的好。 冒煙測(cè)試 /構(gòu)建版本測(cè)試 冒煙測(cè)試是一般驗(yàn)證被測(cè)試系統(tǒng)的功能性測(cè)試用例的集合， 冒煙測(cè)試背后的思想是確?；A(chǔ)是可以工作的，以便更大的測(cè)試工作能夠開始 在構(gòu)建過(guò)程能夠確保構(gòu)建已經(jīng)為測(cè)試準(zhǔn)備好時(shí)，冒煙測(cè)試通常是自動(dòng)化的運(yùn)行 功能 /集成測(cè)試 這里測(cè)試的工作關(guān)注在驗(yàn)證的不同的組件之間的集成上。 這些類型的測(cè)試通常是被測(cè)試的更加復(fù)雜測(cè)試的基礎(chǔ)，大量的邊緣測(cè)試被合并以制造出不同的錯(cuò)誤處理測(cè)試。 系統(tǒng)測(cè)試 /用例測(cè)試 這種測(cè)試是通過(guò)執(zhí)行用戶場(chǎng)景模擬真實(shí)用戶使用系統(tǒng)以證明系統(tǒng)具有被期望的功能的測(cè)試。 不需要使用自動(dòng)化的測(cè)試。安裝測(cè)試、安全性測(cè)試通常是由手工完成，因此系統(tǒng)的環(huán)境不會(huì)是恒定不變的。 回 歸測(cè)試 回歸測(cè)試實(shí)際上是重復(fù)已經(jīng)存在的測(cè)試。通常如果是手工完成的話，這種測(cè)試只在項(xiàng)目的結(jié)尾執(zhí)行少數(shù)幾次。 這里完全有潛力完成自動(dòng)化的測(cè)試。能夠在每次構(gòu)件完成后執(zhí)行自動(dòng)化的回歸測(cè)試，以驗(yàn)證被測(cè)試系統(tǒng)的改變是否影響了系統(tǒng)的其他功能。 性能測(cè)試 性能測(cè)試包括以下不同測(cè)試形式： 負(fù)載測(cè)試 壓力測(cè)試 并發(fā)測(cè)試 如果沒有自動(dòng)化的測(cè)試工具，將無(wú)法執(zhí)行通過(guò)模擬用戶的負(fù)載實(shí)現(xiàn)的高密集度的性能測(cè)試。 可 見重復(fù)性比較高的回歸測(cè)試 ， 以及手工測(cè)試難以完成的性能軟件測(cè)試技術(shù)方法的比較與分析 14 測(cè)試是自動(dòng) 化測(cè) 試最有潛力應(yīng)用和最能體現(xiàn)價(jià)值的地方 ， 而早期的單元測(cè)試中如果引入自 動(dòng)化， 也將大大提高開發(fā)出的代碼質(zhì)量。 當(dāng)決定在一個(gè)產(chǎn)品的測(cè)試過(guò)程中實(shí)現(xiàn)自動(dòng)化測(cè)試的時(shí)候 ，必須將自動(dòng)化測(cè)試 手工測(cè)試結(jié)合起來(lái)使用 。 目的就是用較少的開銷，獲得徹底的測(cè)試，并提 高商 品的質(zhì)量。 下表 對(duì)何 時(shí)使 用自 動(dòng)化 測(cè)試 和何 時(shí)使 用手 工測(cè) 試 進(jìn)行 了一 個(gè)概要的總結(jié)。 表 何時(shí)使用自動(dòng) 化測(cè)試 和手 工測(cè)試 使用自動(dòng)化測(cè)試 使用手工測(cè)試 項(xiàng)目沒有嚴(yán)格的時(shí)間壓力 具有良好定義的測(cè)試策略和測(cè)試計(jì)劃 ? 知道要測(cè)試什么 ? 知道什么時(shí)候測(cè)試 對(duì)于自動(dòng)化測(cè)試擁有一個(gè)能夠被識(shí)別的測(cè)試框架和侯選者 能夠確保多個(gè)測(cè)試運(yùn)行的構(gòu)建 策略 多平臺(tái)環(huán)境需要被測(cè)試 擁有運(yùn)行測(cè)試的硬件 擁有關(guān)注在自動(dòng)化過(guò)程上的資源 被測(cè)試系統(tǒng)是可自動(dòng)化測(cè)試的 沒有適當(dāng)?shù)臏y(cè)試過(guò)程 沒有一個(gè)測(cè)試什么，什么時(shí)候測(cè)試的清晰的藍(lán)圖 剛加入項(xiàng)目組，并且還不是完全的理解方案的功能性和或者設(shè)計(jì) 項(xiàng)目成員或者整個(gè)項(xiàng)目在時(shí)間的壓力下 在團(tuán)隊(duì)中沒有資源或者具有自動(dòng)化測(cè)試技能的人 沒有硬件 軟件測(cè)試技術(shù)方法的比較與分析 15 自動(dòng)化測(cè)試需要不同類型的自動(dòng)化測(cè)試工具進(jìn)行支持。 目前，軟件市場(chǎng)上已經(jīng)有很多優(yōu)秀的自動(dòng)化測(cè)試工具，它們功能強(qiáng)大，有針對(duì)功能的，也有針對(duì)性能的，有執(zhí) 行白盒測(cè)試的測(cè)試工具也有執(zhí)行黑盒的測(cè)試工具。主流的商業(yè)化的自動(dòng)化測(cè)試工具軟件開發(fā)公司是： Mercury Interactive 公司、 IBM Rational 公司和 Compuware公司。三個(gè)公司都開發(fā)了一整套自動(dòng)化測(cè)試工具，這些自動(dòng)化測(cè)試工具都經(jīng)過(guò)無(wú)數(shù)的實(shí)際運(yùn)用，都是非常優(yōu)秀的自動(dòng)化測(cè)試工具。 一個(gè)完整地自動(dòng)化軟件測(cè)試工具，應(yīng)該包括測(cè)試管理工具、功能測(cè)試工具、性能測(cè)試工具三個(gè)部分。下面就目前 Windows 操作系統(tǒng)下的主流的自動(dòng)化測(cè)試工具作一個(gè)整體的介紹。 MI（ Mercury Interactive）公司的 測(cè)試軟件 Mercury Interactive 公司是商業(yè)技術(shù)優(yōu)化的業(yè)界領(lǐng)導(dǎo)者。它成立于 1989 年，目前，和全球超過(guò) 35 個(gè)國(guó)家都有貿(mào)易往來(lái)。全球100強(qiáng)公司中有將近 90%的公司依靠 MI 公司的軟件和服務(wù)來(lái)實(shí)施他們的商業(yè)技術(shù)優(yōu)化策略。這使得 MI 公司成為世界上最大的、成長(zhǎng)最快的企業(yè)級(jí)軟件公司。該公司開發(fā)的自動(dòng)化測(cè)試工具以其功能強(qiáng)大、完善的售后服務(wù)和支持，使其成為了自動(dòng)化測(cè)試軟件開發(fā)領(lǐng)域的領(lǐng)先者。 MI 主要測(cè)試軟件的構(gòu)成如下圖 [13]： 圖 MI 主要測(cè)試軟件 的構(gòu) 成 下面對(duì)上圖的工具作一個(gè)概 括的介紹。 軟件測(cè)試技術(shù)方法的比較與分析 16 管理工具 TestDirector 是 MI 自動(dòng)化測(cè)試工具集中的測(cè)試管理工具，它是業(yè)界第一個(gè)基于 WEB 的測(cè)試管理系統(tǒng)。使用 TD 及其配套的功能和性能等測(cè)試工具，可以組織全球范圍的測(cè)試。 TestDirector 通過(guò)在一個(gè)整體的應(yīng)用系統(tǒng)中提供并且集成了測(cè)試需求管理、測(cè)試計(jì)劃、測(cè)試日程控制及測(cè)試執(zhí)行和錯(cuò)誤跟蹤等功能，通過(guò)使用這些功能可以使測(cè)試專業(yè)化，提高測(cè)試的效率，加速測(cè)試的過(guò)程。 TestDirector 主要有三大功能模塊構(gòu)成： (1)Site Administrator 該模塊的主要功能是： 創(chuàng)建測(cè)試域，創(chuàng)建和維護(hù)測(cè)試項(xiàng)目，管理測(cè)試人員，查看測(cè)試項(xiàng)目的訪問(wèn)情況，配置注冊(cè)碼。 (2)Customer 在該功能模塊中， TD 用戶 （ 即測(cè)試人員或其他與測(cè)試相關(guān)的人員 ） 可以訂制和修改用戶的一些信息。包括 ： 修改用戶信息、創(chuàng)建新的用戶類型和用戶組類型，訂制模塊的訪問(wèn)權(quán)限，訂制項(xiàng)目實(shí)體和列表，配置郵件，調(diào)整工作流等。 (3)TestManager 這個(gè)模塊是 TestDirector 的主要功能的所在。它主要集成了需求指定、建立測(cè)試計(jì)劃、執(zhí)行測(cè)試、缺陷跟蹤四個(gè)功能模塊。 測(cè)試工具 MI 的測(cè)試工具主要有功能測(cè) 試工具 WinRunner 和性能測(cè)試工具 LoadRunner，下面對(duì)這兩個(gè)工具作一個(gè)概括的介紹。 (1)WinRunner 針對(duì) Windows 應(yīng)用程序的一個(gè)企業(yè)級(jí)的功能測(cè)試工具，用于檢測(cè)應(yīng)用 程序 是否 能夠 達(dá)到 預(yù)期 的功 能及 正常 運(yùn)行 。它通 過(guò)自 動(dòng) 錄制、檢測(cè)和回放用戶的應(yīng)用操作，來(lái)發(fā)現(xiàn)程序中的錯(cuò)誤。可以有效地幫助 測(cè)試 人員 對(duì)復(fù) 雜的 企業(yè) 級(jí)應(yīng) 用軟 件的 不同 發(fā)布版 本進(jìn) 行 測(cè)試，提高測(cè)試人員的工作效率和質(zhì)量。確?？缙脚_(tái)的、復(fù)雜的企業(yè)軟件測(cè)試技術(shù)方法的比較與分析 17 級(jí)應(yīng)用軟件無(wú)故障發(fā)布和長(zhǎng)期穩(wěn)定的運(yùn)行。 (2)LoadRunner 黑盒性能測(cè)試工具。 Rational 公司 的測(cè)試軟 件 Rational 公司是軟件業(yè)中領(lǐng)先的應(yīng)用開發(fā)工具供應(yīng)商，提供基于業(yè)界開放標(biāo)準(zhǔn)的工具、最佳方案和服務(wù)，用于開發(fā)商業(yè)應(yīng)用和構(gòu)建軟件產(chǎn)品和系統(tǒng)。 2021 年 Rational 公司被 IBM 公司收購(gòu)。對(duì)于 Rational 公司的產(chǎn)品，我們比較熟悉的是它的建模工具，它的測(cè) 試 工 具 同 它 的 建 模 工 具 一 樣 優(yōu) 秀 。 Rational 的 測(cè) 試 工 具Rational Suite TestStudio 的構(gòu)成如下圖 [14]： 圖 Rational Suite TestStudio 的 構(gòu)成 管理工具 Rational Suite TestStudio 測(cè)試工具集中的管理工具主要有五個(gè)子工具組成，它們結(jié)合起來(lái)，完成一個(gè)完整的測(cè)試管理工具的功能。下面就上面各個(gè)管理工具的功能作一個(gè)概括的介紹。 (1)Rational TestManager TestManager 處于測(cè)試管理工具的核心位置。它是一個(gè)開放的可 擴(kuò) 展 的 架 構(gòu) ， 將 其 它 的 工 具 和 測(cè) 試 數(shù) 據(jù) 聯(lián) 合 為 一 個(gè) 整 體 。 在TestManager 中主要可以完成建立測(cè)試計(jì)劃、安排測(cè)試、執(zhí)行測(cè)試、查看測(cè)試結(jié)果和分析測(cè)試結(jié)果等工作。 軟件測(cè)試技術(shù)方法的比較與分析 18 (2)Rational Administrator Rational Administrator 集中了測(cè)試項(xiàng)目的管理功能，可以創(chuàng)建測(cè)試項(xiàng)目，管理相關(guān)的人員，包括測(cè)試人員和有關(guān)的開發(fā)人員。它的詳細(xì)功能如下： ① 創(chuàng)建一個(gè) Rational 測(cè)試項(xiàng)目，配置項(xiàng)目的有關(guān)信息 。 ② 連接某個(gè)測(cè)試項(xiàng)目 。 ③ 通過(guò)網(wǎng)絡(luò)操作遠(yuǎn)程的測(cè)試項(xiàng)目 。 ④ 刪除一個(gè)測(cè)試項(xiàng)目 。 ⑤ 創(chuàng)建和管理測(cè)試人員和用戶組 。 ⑥ 創(chuàng)建和管理包含 RequisitePro 項(xiàng)目和 Rose 項(xiàng)目的測(cè)試項(xiàng)目 。 ⑦ 控制一個(gè) Rational 測(cè)試項(xiàng)目的測(cè)試數(shù)據(jù)的安全權(quán)限 。 (3)Rational RequisitePro Rational RequisitePro 是一個(gè)需求管理的工具，它可幫助項(xiàng)目團(tuán)隊(duì)控制開發(fā)的進(jìn)度。它通過(guò)將 Microsoft Word 和一個(gè)需求倉(cāng)庫(kù)連接來(lái)組織測(cè)試需求，它還提供了跟蹤功能，并且在整個(gè)項(xiàng)目的生命周期內(nèi)可以隨時(shí)改變需求。 利用 RequisitePro 你可以完成如下工作： ① 定制需求數(shù)據(jù)庫(kù)和管理多種不同類型的測(cè)試。 ② 指定優(yōu)先級(jí)，排序和安排需求 。 ③ 控制特征變形，確保軟件質(zhì)量 。 ④ 跟蹤產(chǎn)生的變化，包括這些改變是誰(shuí)做出的、什么時(shí)