【正文】 試與開發(fā)之間的矛盾通常在開發(fā)的末期，進入集成測試階段，由于每發(fā)布一個版本的初期，測試系統(tǒng)的錯誤比較少，這時開發(fā)人員有等待測試人員測出錯誤的時間。事實上在迭代周期很短的開發(fā)模式中，存在更多的矛盾，但自動化測試可以解決其中的主要矛盾。(7)增加軟件信任度每一個測試人員都有自己特殊的經(jīng)歷和技術(shù)背景，有自己的一些操作習(xí)慣和先入為主的觀念，這就導(dǎo)致不是所有的測試都是可信的，而且有時測試會把一些新的錯誤帶入軟件產(chǎn)品之中。自動化測試則會在很大程度上避免這些問題。一旦得知軟件通過強有力的自動測試后，軟件發(fā)布時對其的信任度也高（假設(shè)已做過很好的測試）。總而言之，測試自動化的優(yōu)點在于通過較少的開銷就可以獲得更徹底的測試能力，以及提高產(chǎn)品的質(zhì)量。當(dāng)然，軟件自動化測試也并非萬能，人們對軟件自動化測試的理解也存在許多誤區(qū)，認(rèn)為自動化測試能完成一切工作，從測試計劃到測試執(zhí)行，都不需要人工干預(yù)。其實軟件自動化測試所完成的測試功能也是有限的。以下幾點是自動化測試的不足所在[1011]：(1)不能完全取代手工測試。軟件自動化測試不可能也沒必要取代手工測試來完成所有的測試任務(wù)。因為有些測試使用手工測試比自動化測試要簡單，這時將測試自動化的開銷就比較大了。如以下一些情況：①測試很少運行。對于很少運行的測試任務(wù)，例如一年只需測試一次，對測試自動化則是一種浪費。②軟件不穩(wěn)定。如果在某段時間內(nèi)軟件的界面和功能更新頻繁，那么修改相應(yīng)的自動化測試點開銷較大，因此只有當(dāng)軟件達到相對的穩(wěn)定，沒有界面性嚴(yán)重錯誤和中斷錯誤才適合開始自動化測試。③涉及感觀方面的測試。例如界面的美觀、聲音的體驗、易用性的測試等，這類測試很容易通過人來驗證，自動化測試反而難以執(zhí)行。④涉及物理交互的測試。自動化測試很難完成與物理設(shè)備的交互，比如刷卡的測試等。(2)手工測試比軟件自動化測試發(fā)現(xiàn)的缺陷更多自動化測試的最大特點在于適合重復(fù)測試。一般情況下，以前運行過的測試再次用來檢查軟件的新版本往往暴露的缺陷要少得多。測試專家 JamesBach總結(jié)出，85%的缺陷靠手工發(fā)現(xiàn)，而自動化測試只能發(fā)現(xiàn)15%的缺陷。自動化測試能夠很好的發(fā)現(xiàn)老缺陷。(3)軟件自動化測試不能提高有效性自動化測試并不會比手工運行相同測試更有效，它可以提高測試效率，但也可能對測試的進展起反作用。(4)軟件自動化測試可能會制約軟件開發(fā)應(yīng)用軟件的變化對自動化測試的影響要比手工測試更大一些，軟件的部分改變有可能使自動化測試軟件崩潰。而設(shè)計和實施自動化測試要比手工測試開銷大，并需要維護，所以對自動化測試影響較大的軟件修改可能受到限制。(5)軟件自動化測試本身沒有想象力自動化測試是通過軟件進行，測試程序只是按照運行機制執(zhí)行。手工測試時可以直接判斷結(jié)果的正確性，而自動測試許多情況下測試結(jié)果還需要人工干預(yù)判斷。手工測試可以處理意外事件網(wǎng)絡(luò)連接中斷，此時必須重新建立連接。手工測試時可以及時處理該意外，而自動化測試時該意外事件一般會導(dǎo)致測試的中止?？偟恼f來，軟件自動化測試的優(yōu)點和收益是顯而易見的，但它同時也并非萬能，只有對其進行合理的設(shè)計和順利的實施才能從中獲益。Peer給出了對各類型測試進行自動化的參考[12]。 各類型測試進行自動化技術(shù)描述備注單元測試/組件測試該測試工作通常是開發(fā)人員的職責(zé)，很多不同的方法能夠被使用，比如“測試先行”，它是一個測試框架，開發(fā)人員在編寫代碼前編寫不同的單元測試。當(dāng)測試通過是，代碼也被完成了。通過使用正式的自動化單元測試，不僅能夠幫助開發(fā)人員產(chǎn)生更加穩(wěn)定的代碼而且能夠使軟件的整體質(zhì)量更加的好。冒煙測試/構(gòu)建版本測試冒煙測試是一般驗證被測試系統(tǒng)的功能性測試用例的集合，冒煙測試背后的思想是確保基礎(chǔ)是可以工作的，以便更大的測試工作能夠開始在構(gòu)建過程能夠確保構(gòu)建已經(jīng)為測試準(zhǔn)備好時，冒煙測試通常是自動化的運行功能/集成測試這里測試的工作關(guān)注在驗證的不同的組件之間的集成上。這些類型的測試通常是被測試的更加復(fù)雜測試的基礎(chǔ)，大量的邊緣測試被合并以制造出不同的錯誤處理測試。系統(tǒng)測試/用例測試這種測試是通過執(zhí)行用戶場景模擬真實用戶使用系統(tǒng)以證明系統(tǒng)具有被期望的功能的測試。不需要使用自動化的測試。安裝測試、安全性測試通常是由手工完成，因此系統(tǒng)的環(huán)境不會是恒定不變的。回歸測試回歸測試實際上是重復(fù)已經(jīng)存在的測試。通常如果是手工完成的話，這種測試只在項目的結(jié)尾執(zhí)行少數(shù)幾次。這里完全有潛力完成自動化的測試。能夠在每次構(gòu)件完成后執(zhí)行自動化的回歸測試，以驗證被測試系統(tǒng)的改變是否影響了系統(tǒng)的其他功能。性能測試性能測試包括以下不同測試形式：負(fù)載測試壓力測試并發(fā)測試如果沒有自動化的測試工具，將無法執(zhí)行通過模擬用戶的負(fù)載實現(xiàn)的高密集度的性能測試。可見重復(fù)性比較高的回歸測試，以及手工測試難以完成的性能測試是自動化測試最有潛力應(yīng)用和最能體現(xiàn)價值的地方，而早期的單元測試中如果引入自動化，也將大大提高開發(fā)出的代碼質(zhì)量。當(dāng)決定在一個產(chǎn)品的測試過程中實現(xiàn)自動化測試的時候，必須將自動化測試手工測試結(jié)合起來使用。目的就是用較少的開銷，獲得徹底的測試，并提高商品的質(zhì)量。下表對何時使用自動化測試和何時使用手工測試進行了一個概要的總結(jié)。 何時使用自動化測試和手工測試使用自動化測試使用手工測試項目沒有嚴(yán)格的時間壓力具有良好定義的測試策略和測試計劃161。 知道要測試什么161。 知道什么時候測試對于自動化測試擁有一個能夠被識別的測試框架和侯選者能夠確保多個測試運行的構(gòu)建策略多平臺環(huán)境需要被測試擁有運行測試的硬件擁有關(guān)注在自動化過程上的資源被測試系統(tǒng)是可自動化測試的沒有適當(dāng)?shù)臏y試過程沒有一個測試什么，什么時候測試的清晰的藍圖剛加入項目組，并且還不是完全的理解方案的功能性和或者設(shè)計項目成員或者整個項目在時間的壓力下在團隊中沒有資源或者具有自動化測試技能的人沒有硬件自動化測試需要不同類型的自動化測試工具進行支持。目前，軟件市場上已經(jīng)有很多優(yōu)秀的自動化測試工具，它們功能強大，有針對功能的，也有針對性能的，有執(zhí)行白盒測試的測試工具也有執(zhí)行黑盒的測試工具。主流的商業(yè)化的自動化測試工具軟件開發(fā)公司是：Mercury Interactive公司、IBM Rational公司和Compuware公司。三個公司都開發(fā)了一整套自動化測試工具，這些自動化測試工具都經(jīng)過無數(shù)的實際運用，都是非常優(yōu)秀的自動化測試工具。一個完整地自動化軟件測試工具，應(yīng)該包括測試管理工具、功能測試工具、性能測試工具三個部分。下面就目前Windows操作系統(tǒng)下的主流的自動化測試工具作一個整體的介紹。 MI（Mercury Interactive）公司的測試軟件Mercury Interactive公司是商業(yè)技術(shù)優(yōu)化的業(yè)界領(lǐng)導(dǎo)者。它成立于1989年，目前，和全球超過35個國家都有貿(mào)易往來。全球100強公司中有將近90%的公司依靠MI公司的軟件和服務(wù)來實施他們的商業(yè)技術(shù)優(yōu)化策略。這使得MI公司成為世界上最大的、成長最快的企業(yè)級軟件公司。該公司開發(fā)的自動化測試工具以其功能強大、完善的售后服務(wù)和支持，使其成為了自動化測試軟件開發(fā)領(lǐng)域的領(lǐng)先者。MI主要測試軟件的構(gòu)成如下圖[13]： MI主要測試軟件的構(gòu)成下面對上圖的工具作一個概括的介紹。TestDirector是MI自動化測試工具集中的測試管理工具，它是業(yè)界第一個基于WEB的測試管理系統(tǒng)。使用TD及其配套的功能和性能等測試工具，可以組織全球范圍的測試。TestDirector通過在一個整體的應(yīng)用系統(tǒng)中提供并且集成了測試需求管理、測試計劃、測試日程控制及測試執(zhí)行和錯誤跟蹤等功能，通過使用這些功能可以使測試專業(yè)化，提高測試的效率，加速測試的過程。TestDirector主要有三大功能模塊構(gòu)成：(1)Site Administrator該模塊的主要功能是：創(chuàng)建測試域，創(chuàng)建和維護測試項目，管理測試人員，查看測試項目的訪問情況，配置注冊碼。(2)Customer在該功能模塊中，TD用戶（即測試人員或其他與測試相關(guān)的人員）可以訂制和修改用戶的一些信息。包括：修改用戶信息、創(chuàng)建新的用戶類型和用戶組類型，訂制模塊的訪問權(quán)限，訂制項目實體和列表，配置郵件，調(diào)整工作流等。(3)TestManager這個模塊是TestDirector的主要功能的所在。它主要集成了需求指定、建立測試計劃、執(zhí)行測試、缺陷跟蹤四個功能模塊。MI的測試工具主要有功能測試工具WinRunner和性能測試工具LoadRunner，下面對這兩個工具作一個概括的介紹。(1)WinRunner針對Windows應(yīng)用程序的一個企業(yè)級的功能測試工具，用于檢測應(yīng)用程序是否能夠達到預(yù)期的功能及正常運行。它通過自動錄制、檢測和回放用戶的應(yīng)用操作，來發(fā)現(xiàn)程序中的錯誤?？梢杂行У貛椭鷾y試人員對復(fù)雜的企業(yè)級應(yīng)用軟件的不同發(fā)布版本進行測試，提高測試人員的工作效率和質(zhì)量。確?？缙脚_的、復(fù)雜的企業(yè)級應(yīng)用軟件無故障發(fā)布和長期穩(wěn)定的運行。(2)LoadRunner黑盒性能測試工具。 Rational公司的測試軟件Rational公司是軟件業(yè)中領(lǐng)先的應(yīng)用開發(fā)工具供應(yīng)商，提供基于業(yè)界開放標(biāo)準(zhǔn)的工具、最佳方案和服務(wù)，用于開發(fā)商業(yè)應(yīng)用和構(gòu)建軟件產(chǎn)品和系統(tǒng)。2002年Rational公司被IBM公司收購。對于Rational公司的產(chǎn)品，我們比較熟悉的是它的建模工具，它的測試工具同它的建模工具一樣優(yōu)秀。Rational的測試工具Rational Suite TestStudio的構(gòu)成如下圖[14]： Rational Suite TestStudio的構(gòu)成Rational Suite TestStudio測試工具集中的管理工具主要有五個子工具組成，它們結(jié)合起來，完成一個完整的測試管理工具的功能。下面就上面各個管理工具的功能作一個概括的介紹。(1)Rational TestManagerTestManager 處于測試管理工具的核心位置。它是一個開放的可擴展的架構(gòu)，將其它的工具和測試數(shù)據(jù)聯(lián)合為一個整體。在TestManager中主要可以完成建立測試計劃、安排測試、執(zhí)行測試、查看測試結(jié)果和分析測試結(jié)果等工作。(2)Rational AdministratorRational Administrator集中了測試項目的管理功能，可以創(chuàng)建測試項目，管理相關(guān)的人員，包括測試人員和有關(guān)的開發(fā)人員。它的詳細(xì)功能如下：①創(chuàng)建一個Rational測試項目，配置項目的有關(guān)信息。②連接某個測試項目。③通過網(wǎng)絡(luò)操作遠程的測試項目。④刪除一個測試項目。⑤創(chuàng)建和管理測試人員和用戶組。⑥創(chuàng)建和管理包含RequisitePro項目和Rose項目的測試項目。⑦控制一個Rational測試項目的測試數(shù)據(jù)的安全權(quán)限。(3)Rational RequisiteProRational RequisitePro是一個需求管理的工具，它可幫助項目團隊控制開發(fā)的進度。它通過將Microsoft Word和一個需求倉庫連接來組織測試需求，它還提供了跟蹤功能，并且在整個項目的生命周期內(nèi)可以隨時改變需求。利用RequisitePro你可以完成如下工作：①定制需求數(shù)據(jù)庫和管理多種不同類型的測試。②指定優(yōu)先級，排序和安排需求。③控制特征變形，確保軟件質(zhì)量。④跟蹤產(chǎn)生的變化，包括這些改變是誰做出的、什么時候、為什么。(4)Rational ClearQuest在ClearQuest中進行缺陷的跟蹤和管理。通過ClearQuest可以將測試中發(fā)現(xiàn)的缺陷直接發(fā)送給相應(yīng)的測試人員，集中管理某個測試項目的缺陷，并跟蹤缺陷的修復(fù)情況。(5)Rational SoDA文檔生成工具，測試需求、測試結(jié)果、缺陷報告等測試信息可以通過SoDA這個工具生成詳細(xì)的報表。Rational Suite TestStudio測試工具集中的測試工具比較全面，既有功能和性能的測試工具，也有代碼級的黑盒和白盒測試工具。(1)Rational Robot Rational Robot集成了功能測試和性能測試兩種功能。使用Robot可以創(chuàng)建兩種類型的測試腳本：基于GUI對象的功能測試腳本和用于性能測試的腳本。功能測試腳本可以在Robot中直接運行，而性能測試的腳本要在TestManager中運行。(2)Rational QuantifyRational Quantify提供了一個完整的、精確的針對被測應(yīng)用程序和相關(guān)組件的一個性能測試數(shù)據(jù)集合，同過圖表等易于理解和觀察的方式顯示出來，可以很容易看出被測程序那個地方耗費了較多時間，然后優(yōu)化修改耗費時間較多的代碼，提高程序執(zhí)行效率。Rational Quantify主要適用的應(yīng)用程序的對象是：Visual C/C++，.dlls，OLE/ActiveX控件以及COM對象組件；Visual Basic開發(fā)的應(yīng)用程序；Java語言開發(fā)的應(yīng)用程序；Ｃ＃語言開發(fā)的應(yīng)用程序等。(3)Rational Purify檢測內(nèi)存泄露的白盒測試工具。(4)Rational PureCoverage 測試代碼覆蓋率的白盒測試工具。(5)Rational TestFactory它是一個基于組件的測試工具，主要功能如下：①根據(jù)程序的導(dǎo)航結(jié)構(gòu)自動生成TestFactory腳本。②自動創(chuàng)建和維護一個被測軟件的詳細(xì)map。③不用記錄，自動生成提供擴展代碼覆蓋率的腳本和發(fā)現(xiàn)缺陷的腳本。④追蹤運行過的或未運行過的源代碼，并且報告它的詳細(xì)的發(fā)現(xiàn)。⑤通過最大限度的縮短花費在書寫導(dǎo)航代碼上的時間來縮短產(chǎn)品的測試周期。⑥在TestFactory中可以回放Robot功能測試腳本一觀察擴展代碼覆蓋率的信息以創(chuàng)建回歸測試集；在Robot中也可以回放TestFactory腳本用以調(diào)試腳本。(6)Rational SiteCheck網(wǎng)頁測試工具，利用Rational SiteCheck