【正文】 在測(cè)試過(guò)程中往往采用折衷的做法，沒(méi)有采用大而全的測(cè)試結(jié)果校驗(yàn)方法，這樣就不得不面對(duì)少量漏測(cè)情況的出現(xiàn)的風(fēng)險(xiǎn)。自動(dòng)化測(cè)試不能改變這種情況的出現(xiàn)。如果自動(dòng)化工程師不習(xí)慣采用這種折衷的方法，那么他必須找相關(guān)人員咨詢，尋找一種合適的測(cè)試結(jié)果校驗(yàn)策略，這需要有很大的創(chuàng)造性。目前有很多技術(shù)可以保證在不產(chǎn)生誤報(bào)告警的情況下，找到被測(cè)試產(chǎn)品的缺陷。 把注意力放在通過(guò)設(shè)計(jì)保證測(cè)試的可延續(xù)性上，選擇一個(gè)合適的測(cè)試體系架構(gòu)，你將進(jìn)一步邁向成功的自動(dòng)化測(cè)試。 步驟六：有計(jì)劃的部署 在前面的故事中，當(dāng)自動(dòng)化工程師沒(méi)有提供打包后的自動(dòng)化測(cè)試程序給測(cè)試執(zhí)行人員，會(huì)影響到測(cè)試執(zhí)行，測(cè)試執(zhí)行人員不得不反過(guò)來(lái)求助自動(dòng)化工程師指出如何使用自動(dòng)化測(cè)試程序。 作為自動(dòng)化工程師，你知道如何利用自動(dòng)化方法執(zhí)行測(cè)試和分析執(zhí)行失敗的結(jié)果。不過(guò)，測(cè)試執(zhí)行人員卻未必知道如何使用自動(dòng)化測(cè)試。因此，需要提供自動(dòng)化測(cè)試程序的安裝文檔和使用文檔，保證自動(dòng)化測(cè)試程序容易安裝和配置。當(dāng)安裝的環(huán)境與安裝的要求不匹配，出現(xiàn)安裝錯(cuò)誤的時(shí)候，能夠給出有價(jià)值的提示信息，便于定位安裝問(wèn)題。 能夠把自動(dòng)化測(cè)試程序和測(cè)試套作為產(chǎn)品對(duì)待，那真是太好了。你應(yīng)該對(duì)自動(dòng)化測(cè)試程序和測(cè)試套開(kāi)展測(cè)試，保證它們不依賴于任何專(zhuān)用的庫(kù)或者是設(shè)備上的任何其他程序。 保證其他測(cè)試人員能夠隨時(shí)利用已經(jīng)提供的自動(dòng)化測(cè)試程序和測(cè)試套開(kāi)展測(cè)試工作；保證自動(dòng)化測(cè)試是符合一般測(cè)試執(zhí)行人員的思維習(xí)慣的；保證測(cè)試執(zhí)行人員能夠理解測(cè)試結(jié)果，并能夠正確分析失敗的測(cè)試執(zhí)行結(jié)果；這需要自動(dòng)化工程師提供自動(dòng)動(dòng)化測(cè)試相關(guān)的指導(dǎo)性文檔和培訓(xùn)。 作為測(cè)試管理者，你希望在自動(dòng)化工程師離開(kāi)前，能夠識(shí)別并修改測(cè)試套中的所有問(wèn)題。自動(dòng)化工程師遲早會(huì)離開(kāi)的，如果你沒(méi)有及時(shí)的把測(cè)試套中的問(wèn)題提出來(lái)，就會(huì)面臨廢棄已有的測(cè)試套的決定。 良好的測(cè)試套有多方面的用處。良好的測(cè)試套支持對(duì)產(chǎn)品新版本的測(cè)試；良好的測(cè)試套在新的軟件平臺(tái)上可以很方便的驗(yàn)證產(chǎn)品的功能；良好的測(cè)試套支持每天晚上開(kāi)始的軟件每日構(gòu)造過(guò)程；甚至開(kāi)發(fā)人員在代碼 check in 之前，用良好的測(cè)試套驗(yàn)證代碼的正確性。 測(cè)試套的共享也很重要。很難預(yù)見(jiàn)以后什么人會(huì)繼續(xù)使用你開(kāi)發(fā)的測(cè)試套。因此，盡量讓產(chǎn)品開(kāi)發(fā)測(cè)試團(tuán)隊(duì)中的成員都很容易獲得你的測(cè)試套。可以把測(cè)試套放在公司的內(nèi)部網(wǎng)絡(luò)上，這是個(gè)很好的辦法。這樣，大家就不必為了獲取一份需要的測(cè)試套而四處打聽(tīng)。有些人總是感覺(jué)自己的測(cè)試套還沒(méi)有最終完工或者不夠完美，而沒(méi)有拿出來(lái)與人分享，這種做法一定要改變，共享出來(lái)的測(cè)試套不一定非常完美，共享才是關(guān)鍵。 有計(jì)劃的自動(dòng)化測(cè)試部署，保證你的測(cè)試套能夠被產(chǎn)品相關(guān)人員獲取到，你就向成功的自動(dòng)化測(cè)試又邁進(jìn)了一步。并且你的自動(dòng)化測(cè)試會(huì)被一次又一次的重用。 步驟七：面對(duì)成功的挑戰(zhàn) 當(dāng)你完成了所有的事情，測(cè)試套已經(jīng)文檔化了，并且文檔已經(jīng)交付了。測(cè)試執(zhí)行人員能夠理解要開(kāi)展的測(cè)試，并知道如何完成測(cè)試執(zhí)行。隨著你所負(fù)責(zé)產(chǎn)品的進(jìn)一步開(kāi)發(fā)和維護(hù)，測(cè)試被反復(fù)重用。雖然，在自動(dòng)化使測(cè)試變簡(jiǎn)單的同時(shí)，也總是使測(cè)試過(guò)程復(fù)雜化。測(cè)試人員需要學(xué)習(xí)如何診斷自動(dòng)化測(cè)試執(zhí)行失敗的情況，如果不這樣做，測(cè)試執(zhí)行人員會(huì)認(rèn)為執(zhí)行失敗的情況是由自動(dòng)化引起，然后，自動(dòng)化工程師被叫過(guò)來(lái)幫助診斷每一個(gè)執(zhí)行失敗的情況，開(kāi)發(fā)人員往往也會(huì)認(rèn)為執(zhí)行失敗是由于自動(dòng)化測(cè)試自身引起的問(wèn)題，這樣，測(cè)試執(zhí)行人員就不得不學(xué)習(xí)通過(guò)手工的方式，或者通過(guò)采用少量腳本的方式重現(xiàn)自動(dòng)化測(cè)試發(fā)現(xiàn)的問(wèn)題，以證明他們確實(shí)發(fā)現(xiàn)了產(chǎn)品當(dāng)中的 BUG 。 測(cè)試套的相關(guān)工作還沒(méi)有結(jié)束，為了提高測(cè)試覆蓋率或者測(cè)試新的產(chǎn)品特性，需要增加更多的測(cè)試。如果已有的測(cè)試不能正常工作，那么需要對(duì)之修改；如果已有的測(cè)試是冗余的，那么需要?jiǎng)h除這部分測(cè)試。 隨著時(shí)間的推移，開(kāi)發(fā)人員也會(huì)研究你設(shè)計(jì)的測(cè)試，改進(jìn)產(chǎn)品的設(shè)計(jì)并且通過(guò)模擬你的測(cè)試過(guò)程對(duì)產(chǎn)品做初步測(cè)試，研究如何使產(chǎn)品在第一次測(cè)試就通過(guò)，這樣，你設(shè)計(jì)的測(cè)試很可能無(wú)法繼續(xù)發(fā)現(xiàn)新的問(wèn)題，這種現(xiàn)象被稱(chēng)為一種殺蟲(chóng)劑悖論。這時(shí)候，會(huì)有人對(duì)你的測(cè)試有效性提出質(zhì)疑，那么，你必須考慮是否應(yīng)該挖掘更嚴(yán)格的測(cè)試，以便能夠發(fā)現(xiàn)開(kāi)發(fā)人員優(yōu)化之后的產(chǎn)品中的缺陷。 以前，我提到過(guò)一個(gè)基本上無(wú)法實(shí)現(xiàn)的設(shè)想，設(shè)想通過(guò)按下一個(gè)按鈕就完成了所有的測(cè)試工作。自動(dòng)化測(cè)試是不是全能的，手工測(cè)試是永遠(yuǎn)無(wú)法完全替代的。 有些測(cè)試受測(cè)試環(huán)境的影響很大，往往需要采用人工方法獲取測(cè)試結(jié)果，分析測(cè)試結(jié)果。因此，很難在預(yù)先知道設(shè)計(jì)的測(cè)試用例有多大的重用性。自動(dòng)化測(cè)試還需要考慮成本問(wèn)題，因此，千萬(wàn)不要陷入到一切測(cè)試都采用自動(dòng)化方法的錯(cuò)誤觀念中。 我曾經(jīng)主張保證給與測(cè)試自動(dòng)化持續(xù)不斷的投入。但是，在開(kāi)展自動(dòng)化測(cè)試的時(shí)候，一個(gè)問(wèn)題擺在面前，測(cè)試自動(dòng)化應(yīng)該及時(shí)的提供給測(cè)試執(zhí)行人員，這個(gè)不成問(wèn)題，但是如何保證需求變更后，能夠及時(shí)提供更新后的自動(dòng)化測(cè)試就是個(gè)大問(wèn)題了。如果自動(dòng)化測(cè)試與需求變更無(wú)法同步，那么自動(dòng)化測(cè)試的效果就無(wú)法保證了，測(cè)試人員就不愿意花費(fèi)時(shí)間學(xué)習(xí)如何使用新的測(cè)試工具和如何診斷測(cè)試工具上報(bào)的錯(cuò)誤。識(shí)別項(xiàng)目計(jì)劃中的軟件發(fā)布日期，然后把這個(gè)日期作為里程碑，并計(jì)劃達(dá)到這個(gè)里程碑。當(dāng)達(dá)到這個(gè)里程碑后，自動(dòng)化工程師應(yīng)該做什么呢？如果自動(dòng)化工程師關(guān)注當(dāng)前產(chǎn)品版本的發(fā)布，他需要為測(cè)試執(zhí)行人員提供幫助和咨詢，但是，一旦測(cè)試執(zhí)行人員知道如何使用自動(dòng)化測(cè)試，自動(dòng)化測(cè)試工程師可以考慮下一個(gè)版本的測(cè)試自動(dòng)化工作，包括改進(jìn)測(cè)試工具和相關(guān)的庫(kù)。當(dāng)開(kāi)發(fā)人員開(kāi)始設(shè)計(jì)產(chǎn)品下一個(gè)版本中的新特性的時(shí)候，如果考慮了自動(dòng)化測(cè)試需求，那么自動(dòng)化測(cè)試師的設(shè)計(jì)工作就很好開(kāi)展了，采用這種方法，自動(dòng)化測(cè)試工程師可以保持與開(kāi)發(fā)周期同步，而不是與測(cè)試周期同步。如果不采用這種方式，在產(chǎn)品版本升級(jí)的過(guò)程中，自動(dòng)化測(cè)試無(wú)法得到進(jìn)一步的改進(jìn)。 持續(xù)在在自動(dòng)化投入，你會(huì)面臨成功的挑戰(zhàn)，當(dāng)自動(dòng)化測(cè)試成為測(cè)試過(guò)程可靠的基礎(chǔ)后，自動(dòng)化測(cè)試的道路將會(huì)越來(lái)越平坦。 AutoRunner 　　AutoRunner是黑盒測(cè)試工具，可以用來(lái)完成功能測(cè)試、回歸測(cè)試、每日構(gòu)建測(cè)試與自動(dòng)回歸測(cè)試等工作。是具有腳本語(yǔ)言的、提供針對(duì)腳本完善的跟蹤和調(diào)試功能的、支持IE測(cè)試和Windows native測(cè)試的自動(dòng)化測(cè)試工具，是目前國(guó)內(nèi)最好的銀行業(yè)務(wù)測(cè)試工具。 　　產(chǎn)品可以進(jìn)行： 　　Web測(cè)試——對(duì)B/S系統(tǒng)進(jìn)行功能測(cè)試，支持各種B/S應(yīng)用和網(wǎng)站。 　　.NET測(cè)試——,。 　　VT100/VT220測(cè)試——對(duì)金融等行業(yè)廣泛使用的終端系統(tǒng)進(jìn)行功能測(cè)試，支持自動(dòng)錄制腳本、所見(jiàn)即所得的資源和腳本編輯，穩(wěn)定的自動(dòng)同步功能。 　　產(chǎn)品特點(diǎn)： 　　使用JAVA語(yǔ)言作為腳本語(yǔ)言，便于學(xué)習(xí)與使用。 　　提供了強(qiáng)大的測(cè)試案例編輯功能。 　　支持各種同步點(diǎn)，包括識(shí)別同步和自己擴(kuò)展的同步點(diǎn)。 　　支持參數(shù)化和自動(dòng)參數(shù)化。 　　支持模糊識(shí)別，通過(guò)對(duì)組建設(shè)置和權(quán)重識(shí)別來(lái)實(shí)現(xiàn)模糊識(shí)別，提高了腳本執(zhí)行的可靠性和兼容性。 　　支持JAVA語(yǔ)法分析的編輯器，關(guān)鍵字提示，提高腳本編寫(xiě)的效率。 　　支持debug功能，可以方便的進(jìn)行腳本調(diào)試。 　　支持測(cè)試跟蹤調(diào)試，實(shí)現(xiàn)了JAVA的跟蹤體系：JDA。 　　支持測(cè)試過(guò)程的錯(cuò)誤處理功能。 　　支持創(chuàng)建批量測(cè)試過(guò)程。 　　支持Java組件的回放和錄制。 　　支持識(shí)別DATATABLE數(shù)據(jù)表格。 　　新增SuitToolEx組件探測(cè)工具WinRunner 目錄[隱藏]簡(jiǎn)介 軟件功能　　 [編輯本段]簡(jiǎn)介　　 Mercury Interactive公司的WinRunner是一種企業(yè)級(jí)的功能測(cè)試工具，用于檢測(cè)應(yīng)用程序是否能夠達(dá)到預(yù)期的功能及正常運(yùn)行。通過(guò)自動(dòng)錄制、檢測(cè)和回放用戶的應(yīng)用操作，WinRunner能夠有效地幫助測(cè)試人員對(duì)復(fù)雜的企業(yè)級(jí)應(yīng)用的不同發(fā)布版進(jìn)行測(cè)試，提高測(cè)試人員的工作效率和質(zhì)量，確?？缙脚_(tái)的、復(fù)雜的企業(yè)級(jí)應(yīng)用無(wú)故障發(fā)布及長(zhǎng)期穩(wěn)定運(yùn)行。 　　企業(yè)級(jí)應(yīng)用可能包括Web應(yīng)用系統(tǒng)，ERP系統(tǒng)，CRM系統(tǒng)等等。這些系統(tǒng)在發(fā)布之前，升級(jí)之后都要經(jīng)過(guò)測(cè)試，確保所有功能都能正常運(yùn)行，沒(méi)有任何錯(cuò)誤。如何有效地測(cè)試不斷升級(jí)更新且不同環(huán)境的應(yīng)用系統(tǒng)，是每個(gè)公司都會(huì)面臨的問(wèn)題。 　　如果時(shí)間或資源有限，這個(gè)問(wèn)題會(huì)更加棘手。人工測(cè)試的工作量太大，還要額外的時(shí)間來(lái)培訓(xùn)新的測(cè)試人員等等。為了確保那些復(fù)雜的企業(yè)級(jí)應(yīng)用在不同環(huán)境下都能正?？煽康剡\(yùn)行，你需要一個(gè)能簡(jiǎn)單操作的測(cè)試工具來(lái)自動(dòng)完成應(yīng)用程序的功能性測(cè)試。 [編輯本段]軟件功能　　輕松創(chuàng)建測(cè)試：用WinRuuner創(chuàng)建一個(gè)測(cè)試，只需點(diǎn)擊鼠標(biāo)和鍵盤(pán)，完成一個(gè)標(biāo)準(zhǔn)的業(yè)務(wù)操作流程，WinRunner自動(dòng)記錄你的操作并生成所需的腳本代碼。這樣，即使計(jì)算機(jī)技術(shù)知識(shí)有限的業(yè)務(wù)用戶輕松創(chuàng)建完整的測(cè)試。你還可以直接修改測(cè)試腳本以滿足各種復(fù)雜測(cè)試的需求。WinRunner提供這兩種測(cè)試創(chuàng)建方式，滿足測(cè)試團(tuán)隊(duì)中業(yè)務(wù)用戶和專(zhuān)業(yè)技術(shù)人員的不同需求。 　　插入檢查點(diǎn)：在記錄一個(gè)測(cè)試的過(guò)程中，可以插入檢查點(diǎn)，檢查在某個(gè)時(shí)刻/狀態(tài)下，應(yīng)用程序是否運(yùn)行正常。在插入檢查點(diǎn)后，WinRunner會(huì)收集一套數(shù)據(jù)指標(biāo)，在測(cè)試運(yùn)行時(shí)對(duì)其一一驗(yàn)證。WinRunner提供幾種不同類(lèi)型的檢查點(diǎn)，包括文本的、GUI、位圖和數(shù)據(jù)庫(kù)。例如，用一個(gè)位圖檢查點(diǎn)，你可以檢查公司的圖標(biāo)是否出現(xiàn)于指定位置。 　　檢驗(yàn)數(shù)據(jù)：除了創(chuàng)建并運(yùn)行測(cè)試，WinRunner還能驗(yàn)證數(shù)據(jù)庫(kù)的數(shù)值，從而確保業(yè)務(wù)交易的準(zhǔn)確性。例如，在創(chuàng)建測(cè)試時(shí)，可以設(shè)定哪些數(shù)據(jù)庫(kù)表和記錄需要檢測(cè)；在測(cè)試運(yùn)行時(shí)，測(cè)試程序就會(huì)自動(dòng)核對(duì)數(shù)據(jù)庫(kù)內(nèi)的實(shí)際數(shù)值和預(yù)期的數(shù)值。WinRunner自動(dòng)顯示檢測(cè)結(jié)果，在有更新/刪除/插入的記錄上突出顯示以引起注意。 　　增強(qiáng)測(cè)試：為了徹底全面地測(cè)試一個(gè)應(yīng)用程序，需要使用不同類(lèi)型的數(shù)據(jù)來(lái)測(cè)試。WinRunner的數(shù)據(jù)驅(qū)動(dòng)向?qū)? Data Driver Wizard)可以讓你簡(jiǎn)單地點(diǎn)擊幾下鼠標(biāo)，就可以把一個(gè)業(yè)務(wù)流程測(cè)試轉(zhuǎn)化為數(shù)據(jù)驅(qū)動(dòng)測(cè)試，從而反映多個(gè)用戶各自獨(dú)特且真實(shí)的行為。 　　以一個(gè)訂單輸入的流程為例，你可能希望把訂單號(hào)或客戶名稱(chēng)作為可變欄，用多套數(shù)據(jù)進(jìn)行測(cè)試。使用Data Driver Wizard，你可以選擇訂單號(hào)或客戶名稱(chēng)用數(shù)據(jù)表格文件中的哪個(gè)欄目的數(shù)據(jù)替換。你可以把訂單號(hào)或客戶名稱(chēng)輸入數(shù)據(jù)表格文件，或從其它表格和數(shù)據(jù)庫(kù)中導(dǎo)入。數(shù)據(jù)驅(qū)動(dòng)測(cè)試不僅節(jié)省了時(shí)間和資源，又提高了應(yīng)用的測(cè)試覆蓋率。 　　WinRunner還可以通過(guò)Function Generator增加測(cè)試的功能。使用Function Generator可以從目錄列表中選擇一個(gè)功能增加到你的測(cè)試中以提高測(cè)試能力。例如，你可以選擇”calendar”，然后從日歷功能的下屬目錄中選擇，如Calendar_select_date(),然后你可以直觀地輸入?yún)?shù)，把這個(gè)功能插入到你的測(cè)試中。 　　針對(duì)相當(dāng)數(shù)量的企業(yè)應(yīng)用里非標(biāo)準(zhǔn)對(duì)象，WinRunner提供了Virtual Object Wizard來(lái)識(shí)別以前未知的對(duì)象。使用Virtual Object Wizard，你可以選擇未知對(duì)象的類(lèi)型，設(shè)定標(biāo)識(shí)和命名。在錄制使用該對(duì)象的測(cè)試時(shí)，WinRunner會(huì)自動(dòng)對(duì)應(yīng)它的名字，從而提高測(cè)試腳本的可讀性和測(cè)試質(zhì)量。 　　運(yùn)行測(cè)試：創(chuàng)建好測(cè)試腳本，并插入檢查點(diǎn)和必要的添加功能后，你就可以開(kāi)始運(yùn)行測(cè)試。運(yùn)行測(cè)試時(shí)，WinRunner會(huì)自動(dòng)操作應(yīng)用程序，就象一個(gè)真實(shí)的用戶根據(jù)業(yè)務(wù)流程執(zhí)行著每一步的操作。測(cè)試運(yùn)行過(guò)程中，如有網(wǎng)絡(luò)消息窗口出現(xiàn)或其它意外事件出現(xiàn)，WinRunner也會(huì)根據(jù)預(yù)先的設(shè)定排除這些干擾。 　　分析結(jié)果：測(cè)試運(yùn)行結(jié)束后，你需要分析測(cè)試結(jié)果。WinRunner通過(guò)交互式的報(bào)告工具來(lái)提供詳盡的、易讀的報(bào)告。報(bào)告中會(huì)列出測(cè)試中發(fā)現(xiàn)的錯(cuò)誤內(nèi)容、位置、檢查點(diǎn)和其它重要事件，幫助你對(duì)測(cè)試結(jié)果進(jìn)行分析。這些測(cè)試結(jié)果還可以通過(guò)Mercury Interactive的測(cè)試管理工具TestDirector來(lái)查閱。 　　維護(hù)測(cè)試：隨著時(shí)間的推移，開(kāi)發(fā)人員會(huì)對(duì)應(yīng)用程序做進(jìn)一步的修改，并需要增加另外的測(cè)試。使用WinRunner，你不必對(duì)程序的每一次改動(dòng)都重新創(chuàng)建你的測(cè)試。WinRunner可以創(chuàng)建在整個(gè)應(yīng)用程序生命周期內(nèi)都可以重復(fù)使用的測(cè)試，從而大大地節(jié)省時(shí)間和資源，充分利用你的測(cè)試投資。 　　每次記錄測(cè)試時(shí)，WinRunner會(huì)自動(dòng)創(chuàng)建一個(gè)GUI Map文件以保存應(yīng)用對(duì)象。這些對(duì)象分層次組織，既可以總覽所有的對(duì)象，也可以查詢某個(gè)對(duì)象的詳細(xì)信息。一般而言，對(duì)應(yīng)用程序的任何改動(dòng)都會(huì)影響到成百上千個(gè)測(cè)試。通過(guò)修改一個(gè)GUI Map文件而非無(wú)數(shù)個(gè)測(cè)試，WinRunner可以方便地實(shí)現(xiàn)測(cè)試重用。 　　幫助你的應(yīng)用程序?yàn)闊o(wú)線應(yīng)用作準(zhǔn)備：隨著無(wú)線設(shè)備種類(lèi)和數(shù)量的增加，你的應(yīng)用程序測(cè)試計(jì)劃需要同時(shí)滿足傳統(tǒng)的基于瀏覽器的用戶和無(wú)線瀏覽設(shè)備，如移動(dòng)電話、傳呼機(jī)和個(gè)人數(shù)字助理(PDA)。 　　無(wú)線應(yīng)用協(xié)議是一種公開(kāi)的、全球性的網(wǎng)絡(luò)協(xié)議，用來(lái)支持標(biāo)準(zhǔn)數(shù)據(jù)格式化和無(wú)線設(shè)備信號(hào)的傳輸。 　　使用WinRunner，測(cè)試人員可以利用微型瀏覽模擬器來(lái)記錄業(yè)務(wù)流程操作，然后回放和檢查這些業(yè)務(wù)流程功能的正確性。23 / 23