【導讀】軟件測試是保證軟件質(zhì)量的重要手段。隨著計算機硬件性能的不斷提高，軟件的功能也越來越強大，軟件結(jié)構(gòu)越來越復雜,軟件質(zhì)量越來越難以控制。多測試僅靠手工測試無法完成。為減少測試開銷，在有限的時間內(nèi)執(zhí)行更多地。測試，并且降低人為引起的錯誤，自動化測試是非常必要的。性能測試工具三個部分。論文闡述了軟件自動化測試相關(guān)概念和理論，概括和。比較了其適用范圍和組織結(jié)構(gòu)。MI公司、Rational公司、Compuware公司開發(fā)。面對其測試管理工具產(chǎn)品作了詳細的分析和比較，為自動化測試研究提供參考。

　　

【正文】 的特點 ，就是 Robot 可以執(zhí)行部分性能測試的功能，即性能測試腳本的生成。而其它兩個公司將性能測試工具和功能測試工具分的很清楚， MI 公司的性能測試工具就是 LoadRunner， LoadRunner 負責從腳本的生成、執(zhí)行到測試結(jié)果的查看等全部與性能測試有關(guān)的工作。和 MI 公司的分法一樣， Compuware 公司將性能測試功能完全交由 QALoad 完成。像 Rational 公司這種將功能測試和部分性能測試集成到一個工具中的做法，雖然對功能測試沒有什么影響，但總讓人感覺工具劃分不清楚，特別是性能測試，腳本生成在 Robot 中，而執(zhí) 行要在TestManager 中，顯得有點麻煩。而其它兩個公司的工具劃分就感覺很好，功能測試、性能測試和管理工具都是相互獨立的，學習和使用起來比較方便。 另外一個特點就是 Robot 雖然能夠執(zhí)行功能測試，但是測試結(jié)果要在測試管理工具 TestManager 中查看，所以 Robot 對管理工具的依賴性比較強，從而顯得其獨立性比較差。 QARun 比較特殊的地方是有一個 Events 的模塊和一個 Dialog模塊， Events 模塊和 WinRunner 中的同步點模塊的功能是相近的，是 為 了 使 腳 本 執(zhí) 行 和 被 測 應 用 程 序 響 應 更 好 的 同 步 而 設(shè) 立的。Dialog 模塊是為了增強腳本功能而設(shè)立的，下面會詳細介紹。 軟件測試技術(shù)方法的比較與分析 28 測試步驟 (1)WinRunner 使用 WinRunner 進行自動化功能測試，主要有下面六個步驟： 圖 WinRunner 進 行功能 測試 步驟 其中 Create GUI Map、 Debug Tests 這兩個步驟不是必須的。 (2)Rational Robot 使用 Robot 進行功能測試有如下 八 個步驟： 圖 Robot 進行功 能測試 步驟 其中 Debug Tests、 Compile Tests（ Run Tests 步驟中會先進行腳本的編譯）這兩個步驟不是必須的。 (3)QARun 使用 QARun 進行功能測試主要有下面 九 個步驟： 圖 QARun 進行功 能測試 步驟 其中 Create Map、 Debug Tests、 Compile Tests（ Run Tests步驟中會先進行腳本的編譯）這三個步驟不是必須的。 (4)比較 從上面三個工具的測試步驟圖，可以看出，三者都要有創(chuàng)建測試、調(diào)試測試、運行測試、查看測試結(jié)果、報告缺陷這些步驟。 Robot比其它兩個工具少了創(chuàng)建對象映射這個步驟（不是說 Robot 中沒有對象映射，而是 Robot 中 對象映射只可以查看和捕獲，不能手工修改某個對象的映射）。 WinRunner 比其它兩個工具少了創(chuàng)建測試項軟件測試技術(shù)方法的比較與分析 29 目、登錄項目、編譯測試這三個步驟。從測試步驟上我們也可以看出， WinRunner 的獨立性比 Robot 和 QARun 要強， Robot、 QARun 與測試管理工具的結(jié)合更緊密 [1922]。 GUI 對象識別 三種工具都是基于捕捉 /回放的測試原理，既然要回放用戶的操作， 那么 用戶 操作 的對 象的 識別 就是 一個 很重 要的要 解決 的 問題。在這三種工具中都采用了一種叫做對象映射的技術(shù)，就是一個實際的窗口對象用一個邏輯名來標示， 而這個邏輯名對應的是這個對象的實際物理描述。這種技術(shù)的第一個好處就是即使某個對象在窗口中的位置變了，該對象仍可以被正確的識別，這就大大增強了腳本的生命力；另外一個好處就是如果一個對象的物理描述變了，不必去修改腳本，只需要修改該對象的映射即可，當然前提是在工具中提供這種對象映射修改的功能。在 WinRunner 和 QARun 里面這些對象映射是可以編輯的， Robot 中不可以編輯。所以就這一點來說 Robot 的腳本的可維護性不如另外兩個工具。 下面讓我們詳細看一下三個工具都為 GUI 對象識別提供了那些功能 [19， 2122]： (1)WinRunner GUI Map 是 WinRunner 在 Context Sensitive 模式下錄制的腳本回放時識別被測軟件 GUI 對象的依據(jù)。在 WinRunner 中提供了兩種 GUI Map File 模式，一種是 Global GUI Map File；一種是 GUI Map File per Test。前一種模式下所有的測試都使用的都是同一個 GUI Map 文件；后一種模式下，每一個測試都有一個單獨的 GUI Map 文件。有三種方式創(chuàng)建 GUI Map： ① RapidTest Script 向?qū)? 通過該 向?qū)憧梢暂p松的將被測試軟件所包含的所有 GUI 對象加入到 GUI Map 中。 ② GUI Map Editor 下圖是 GUI Map Editor 的窗口： 軟件測試技術(shù)方法的比較與分析 30 圖 GUI Map Editor 的窗 口 通過這個編輯器可以將一個 GUI 對象或一個窗口中的所有對象加入 GUI Map 中。另外如果一個 GUI 對象的名稱或物理描述信息改變了的話，可以在該編輯器中打開相應得 GUI Map 文件，修改相應的信息。該編輯器還提供了兩個不同 GUI Map 文件間 GUI 對象映射相互拷貝的功能。 ③ 自動錄制腳本過程由 WinRunner自動將遇到的每一個 GUI 對象加入 GUI Map 中。 WinRunner 能夠識別標準的 GUI 對象，但也有一些非標準的對象無法在 WinRunner 內(nèi)置的對象類型中找到匹配。為了解決這個問題， WinRunner 提供了虛擬的對象映射，將一個未知類型的對象映射到一個與其相近的類型。 WinRunner 還提供了腳本拼接的功能，可以將兩個或多個比較小的 GUI Map 文件拼接成比較大的 GUI Map文件。 (2)Rational Robot 雖然 Robot 也是采用了對象映射技術(shù)來識別 GUI 對象，但是它提供的關(guān)于這方面 的功能比較弱，而且很多功能都對用戶隱藏了。它不支持 GUI Map 的編輯，所以如果一個 GUI 對象的物理描述改變了，為了使用先前的腳本，只有去修改腳本，如果是一兩個腳本，還好修改，如果成百上千的腳本都與該對象有關(guān)的話，那修改起來就不是一件容易的事情了。下面是 Robot 提供的一個查看 GUI 映射的一個對話框，名稱是 Inspector： 軟件測試技術(shù)方法的比較與分析 31 圖 查看 GUI 映射 Robot 在錄制腳本和回放腳本的過程中，會將整個桌面上的所有對象包括隱含的對象，全都建立映射。從上面的窗口中我們也可以看出，最上一級是 Desktop，下面就是包含在 Desktop 中的所有對象，然后每個對象的子對象也都會建立映射。所以 Robot 建立的GUI 對象映射很全，執(zhí)行 Robot 的腳本，一般不用擔心腳本中某個邏輯名對應的對象找不到的問題，除非對象的物理屬性改變了。 (3)QARun QARun 將 GUI 對 象 映 射 分 成 了 三 類 ： 對 象 映 射 (object mapping)、別名映射 (alias mapping)、圖像映射（ image mapping）。QARun 針對這三種映射提供了相應的編輯器，用戶可以通過這些編輯器查看、添加、修改對象映射。在 QARun 錄制腳本的過程中，它會自動建立用戶操作的 GUI 對象的映射，這點同 WinRunner 相似。 需要特殊指出的是別名映射 (alias mapping), 它是將一個非標準的類對象映射為一個標準的控件類型，這點與 WinRunner 中的虛擬對象映射相似。 QARun 遇到一個非標準的對象的時候，它就放棄對象的記錄，而只是僅僅鼠標和鍵盤的響應。這可以保證腳本可以正確的回放，但是使得腳本的理解和維護變得困難起來。 (4)比較 從上面的分析，我們可以得到如下結(jié)論： 軟件測試技術(shù)方法的比較與分析 32 三種工具雖然都使用了對象映射技術(shù)來識別 GUI 對象，但就功能 來說 WinRunner 和 QARun 比較強，這兩個工具支持對象映射文件的編輯，所以當測試的系統(tǒng)的某個對象改變了的話，測試人員只需要修改相應對象的 GUI 映射，而不是去修改成百上千的腳本。 Robot由于并沒有給出一個可以讓用戶對 GUI 映射操作的一個機制，所以如果一個測試對象改變了，就只有去修改所有與該對象有關(guān)的腳本或者從新建立測試，這是一個很煩人的工作。 腳本執(zhí)行 與被測程 序響應的同 步問題 三種工具都是根據(jù)腳本中的命令，調(diào)用操作系統(tǒng)提供的 API 控制鼠標和鍵盤對被測程序進行操作，這個過程中存在一個很明顯的問題就 是腳本的執(zhí)行速度一般要比被測試程序的響應要快，那么如何保持腳本的執(zhí)行與被測程序的響應同步， 有兩種方法解決這個問題：第一種是在每個需要延時執(zhí)行的腳本指令后面插入一個合適的等待時間。第二種就是在需要延時執(zhí)行的指令前面插入一個等待某個事件或?qū)ο蟪霈F(xiàn)的操作，當響應的對象或事件出現(xiàn)時，再繼續(xù)執(zhí)行腳本。就第一種方法來說，合適的等待時間很難確定，因為不同的機器，就算同一臺機器，程序的執(zhí)行速度也有可能不一樣，所以這個合適的等待時間一般是一個足夠長的時間。而第二種方法就很好，只要某個對象或事件出現(xiàn)，說明被測程序的響應已經(jīng)完畢 ，腳本就繼續(xù)往下執(zhí)行。 下表是對 WinRunner、 Robot 和 QARun 處理腳本執(zhí)行速度與被測程序響應同步問題的一個比較： 表 處理腳本 執(zhí)行 速度與 被測 程序響 應同 步問題 比較 WinRunner Robot QARun 同步方法 等待對象或?qū)ο蟮膶傩灾党霈F(xiàn) 通過 Delay 函數(shù)，手動插入合適的等待時間 等待對象或某個事件出現(xiàn) 實現(xiàn)方法名稱 Synchronization Delay Events 工 具 項 目 軟件測試技術(shù)方法的比較與分析 33 Point 實現(xiàn)方法種類劃分 針對對象或窗口的屬性值 針對對象或窗口包含的位圖 針對屏幕區(qū) 域圖像 位圖、菜單、窗口、鼠標、鍵盤、日期和屏幕 7 種events 很顯然， Robot 對這個問題的處理功能比較弱，它根據(jù)錄制腳本時估計的時間來決定某個腳本命令執(zhí)行完后的等待時間，往往為了確保被測程序能夠在下一行腳本指令執(zhí)行前，插入的等待時間都比較長，浪費了時間。 QARun 中的 Events 和 WinRunner 中的同步點的功能是一樣的。腳本運行過程中到某個命令的事候要等待某個對象或事件的出現(xiàn)，就可以插入事件點。這使得腳本的執(zhí)行顯得智能化，要比單純的設(shè)定 delay 多少時間要強的多 [23]。 測試信息 收集 使用這些自動化的功能測試工具，最后要看的就是測試結(jié)果，那么測 試工 具在 測試 過程 中對 測試 信息 的收 集能 力對于 測試 結(jié) 果是否全面正確有著很大的影響。經(jīng)過的對三個工具的實際使用，我們發(fā)現(xiàn)這三個工具對于測試信息的收集能力都是很全面的，主要有檢查點的信息（不同的檢查點會給出不同的比較結(jié)果窗口，很容易發(fā)現(xiàn)測試過程中捕獲到的值與期望值的差別在那里）；腳本執(zhí)行的過程中遇到的錯誤信息，如指令操作的 GUI 對象缺失、錯誤的指令格式、錯誤的函數(shù)參數(shù)等。 結(jié)合測試 管理工具 從上面的分析和比較過程中，我們可以看出三個工具雖然都有一定 的獨立性，特別是 WinRunner，完全可以離開管理工具，獨立軟件測試技術(shù)方法的比較與分析 34 完成自 動化 的功 能測 試， 但如 果結(jié) 合配 套的 管理 工具一 起使 用 的話，不單可以實現(xiàn)單獨的功能測試工具不能完成的工作，還可以大大提高測試效率、使測試專業(yè)化，達到事半功倍的效果。 WinRunner、 Robot 和 QARun 都提供了和配套測試管理工具的接口，結(jié)合相應的測試工具，就可以完成測試需求建立、測試用例設(shè)計、測試腳本創(chuàng)建、測試運行、測試結(jié)果分析、缺陷跟蹤等一套完整的測試流程。 比較總結(jié) 表 自動化功能測試工具的比較 WinRunner Robot QARun 易安裝 是 是 是 操作系統(tǒng) Windows 98/2021/xp/2021 Windows 98/2021/xp/2021 Windows 98/2021/xp 瀏覽器 Inter explorer,Netscape 同左 同左 分布式測試控制／同步／執(zhí)行 支持 支持 支持 自動創(chuàng)建測試結(jié)果日志 可以 可以 可以 被測軟件 改變后的腳本維護 修改 GUI Map 重新錄制腳本或手工修改腳本 修改 Object Map、Image Map 或Alias Map 與測試管理工具的 集成 提供和 TD 服務器連接的接口 直接集成 直接集成 無人看管下的自動執(zhí)行測試 通過 TestDirector 通過 TestManager 通過 QADirector 項 目 工 具 軟件測試技術(shù)方