【文章內(nèi)容簡介】 (3) 應(yīng)用測量結(jié)果制訂測試過程改進(jìn)計(jì)劃。 軟件質(zhì)量評(píng)價(jià)內(nèi)容包括定義可測量的軟件質(zhì)量屬性，定義評(píng)價(jià)軟件工作產(chǎn)品的質(zhì)量目標(biāo)等項(xiàng)工作。軟件質(zhì)量評(píng)價(jià)有2個(gè)子目標(biāo): (1) 管理層，測試組和軟件質(zhì)量保證組要制訂與質(zhì)量有關(guān)的政策，質(zhì)量目標(biāo)和軟件產(chǎn)品質(zhì)量屬性。(2) 測試過程應(yīng)是結(jié)構(gòu)化，己測量和己評(píng)價(jià)的，以保證達(dá)到質(zhì)量目標(biāo)。 優(yōu)化、缺陷預(yù)防和質(zhì)量控制級(jí)概述 由于本級(jí)的測試過程是可重復(fù)，已定義，已管理和己測量的，因此軟件組織能夠優(yōu)化調(diào)整和持續(xù)改進(jìn)測試過程。測試過程的管理為持續(xù)改進(jìn)產(chǎn)品質(zhì)量和過程質(zhì)量提供指導(dǎo)，并提供必要的基礎(chǔ)設(shè)施。優(yōu)化，預(yù)防缺陷和質(zhì)量控制級(jí)有3個(gè)要實(shí)現(xiàn)的成熟度目標(biāo): 應(yīng)用過程數(shù)據(jù)預(yù)防缺陷，質(zhì)量控制，測試過程優(yōu)化。 這時(shí)的軟件組織能夠記錄軟件缺陷，分析缺陷模式，識(shí)別錯(cuò)誤根源，制訂防止缺陷再次發(fā)生的計(jì)劃，提供跟蹤這種括動(dòng)的辦法，并將這些活動(dòng)貫穿于全組織的各個(gè)項(xiàng)目中。應(yīng)用過程數(shù)據(jù)預(yù)防缺陷有礴個(gè)成熟度子目標(biāo): (1) 成立缺陷預(yù)防組。(2) 識(shí)別和記錄在軟件生命周期各階段引入的軟件缺陷和消除的缺陷。 (3) 建立缺陷原因分析機(jī)制，確定缺陷原因。 (4) 管理，開發(fā)和測試人員互相配合制訂缺陷預(yù)防計(jì)劃，防止已識(shí)別的缺陷再次發(fā)生。缺陷預(yù)防計(jì)劃要具有可跟蹤性。 在本級(jí)，軟件組織通過采用統(tǒng)計(jì)采樣技術(shù)，測量組織的自信度，測量用戶對(duì)組織的信賴度以及設(shè)定軟件可靠性目標(biāo)來推進(jìn)測試過程。為了加強(qiáng)軟件質(zhì)量控制，測試組和質(zhì)量保證組要有負(fù)責(zé)質(zhì)量的人員參加，他們應(yīng)掌握能減少軟件缺陷和改進(jìn)軟件質(zhì)量的技術(shù)和工具。支持統(tǒng)計(jì)質(zhì)量控制的子目標(biāo)有: (1) 軟件測試組和軟件質(zhì)量保證組建立軟件產(chǎn)品的質(zhì)量目標(biāo)，如:產(chǎn)品的缺陷密度，組織的自信度以及可信賴度等。 (2) 測試管理者要將這些質(zhì)量目標(biāo)納入測試計(jì)劃中。 (3) 培訓(xùn)測試組學(xué)習(xí)和使用統(tǒng)計(jì)學(xué)方法。 (4) 收集用戶需求以建立使用模型 優(yōu)化測試過程在測試成熟度的最高級(jí)，己能夠量化測試過程。這樣就可以依據(jù)量化結(jié)果來調(diào)整測試過程，不斷提高測試過程能力，并且軟件組織具有支持這種能力持續(xù)增長的基礎(chǔ)設(shè)施。基礎(chǔ)設(shè)施包括政策，標(biāo)準(zhǔn)，培訓(xùn)，設(shè)備，工具以及組織結(jié)構(gòu)等。優(yōu)化測試過程包含:(1) 識(shí)別需要改進(jìn)的測試?yán)▌?dòng) (2) 實(shí)施改進(jìn)。 (3) 跟蹤改進(jìn)進(jìn)程。 (4) 不斷評(píng)估所采用的與測試相關(guān)的新工具和新方法。 (5) 支持技術(shù)更新。 軟件測試能力成熟度模型度量評(píng)估雖然TMM在管理和度量級(jí)才明確提出了正式的度量以及評(píng)估計(jì)劃，但定義度量對(duì)象與度量方法的工作則可以在四級(jí)以下進(jìn)行，因?yàn)槎攘勘旧砭褪侵С指叱墒於饶繕?biāo)的實(shí)現(xiàn)以及當(dāng)前能進(jìn)行的最佳測試活動(dòng)的實(shí)施。軟件測試機(jī)構(gòu)可從低級(jí)、粗略的度量做起，隨著成熟度等級(jí)的提高,度量逐步深入和細(xì)化。與成熟度的等級(jí)關(guān)系相似，高等級(jí)的度量包含了低等級(jí)的度量[10]。下面討論在各成熟度等級(jí)上，可應(yīng)用于軟件測試機(jī)構(gòu)的度量對(duì)象和度量方法:(1) 規(guī)模度量 規(guī)模對(duì)于測試項(xiàng)目，測試計(jì)劃，成本／工作量預(yù)測，風(fēng)險(xiǎn)評(píng)估，效率度量而言，是一項(xiàng)非常重要的度量因素，它包括：軟件產(chǎn)品規(guī)模、測試對(duì)象數(shù)量、測試用例編寫數(shù)量、測試用例執(zhí)行數(shù)量[11]。(2) 缺陷度量、軟件異常數(shù)量、缺陷率 測試機(jī)構(gòu)在此級(jí)開始收集缺陷信息的目的是：在實(shí)際測試中對(duì)發(fā)現(xiàn)的各類問題有著文檔化的記錄。缺陷信息有助于評(píng)價(jià)軟件質(zhì)量，支持軟件開發(fā)和測試過程的改進(jìn)，同時(shí)對(duì)軟件缺陷數(shù)據(jù)庫的建立提供了基礎(chǔ)。(3) 成本／工作量、測試項(xiàng)目總體成本、測試執(zhí)行小時(shí)數(shù)、測試工作量成本成本度量則有助于測試成本預(yù)測，通過收集成本／工作量度量信息，軟件測試機(jī)構(gòu)就可以開始著手建立成本數(shù)據(jù)庫，為將來的測試項(xiàng)目提供成本預(yù)測支持。(4) 代碼走查、系統(tǒng)測試的計(jì)劃時(shí)間、系統(tǒng)測試的執(zhí)行時(shí)間 代碼走查和系統(tǒng)測試是軟件測試機(jī)構(gòu)被授權(quán)的測試類型。如果有其它測試類型，則同樣要搜集其設(shè)計(jì)和執(zhí)行時(shí)間[12]。有助于制定，評(píng)估和改進(jìn)測試計(jì)劃的度量包括：1) 計(jì)劃生成的測試用例數(shù)量2) 實(shí)際生成的測試用例數(shù)量3) 計(jì)劃的測試覆蓋率4) 實(shí)際的測試覆蓋率5) 成本性能指數(shù)（CPI，指計(jì)劃的測試時(shí)間與實(shí)際測試時(shí)間之間的比例） 軟件測試能力成熟度模型實(shí)踐作者將在論文中運(yùn)用TMM模型與敏捷系統(tǒng)測試過程模型的基本思想，提出基于TMM模型的敏捷系統(tǒng)測試具體過程實(shí)現(xiàn)模型，闡述如何發(fā)揮敏捷系統(tǒng)測試的優(yōu)勢，并減少其帶來的測試難度；分析軟件缺陷管理方案、企業(yè)級(jí)軟件系統(tǒng)測試用例設(shè)計(jì)；并提供案例分析以論證運(yùn)用TMM模型可以改進(jìn)敏捷系統(tǒng)測試過程。 本章小結(jié)作者在本章重點(diǎn)闡述了軟件測試成熟度模型（TMM），軟件測試成熟度模型是基于CMM產(chǎn)生的，TMM的目標(biāo)是幫助組織提高軟件測試成熟度，并輔助軟件測試機(jī)構(gòu)進(jìn)行測試過程的評(píng)估與改進(jìn)。作者將在下文對(duì)敏捷系統(tǒng)測試運(yùn)用測試成熟度模型的改進(jìn)和度量評(píng)估方法。13浙江大學(xué)碩士學(xué)位論文 第3章 系統(tǒng)測試?yán)碚摲治龅?章 系統(tǒng)測試?yán)碚摲治? 系統(tǒng)測試和敏捷系統(tǒng)測試概述 系統(tǒng)測試概述正如緒論所描述，系統(tǒng)測試是針對(duì)整個(gè)產(chǎn)品系統(tǒng)進(jìn)行的測試，目的是驗(yàn)證系統(tǒng)是否滿足了需求規(guī)格的定義，找出與需求規(guī)格不符或與之矛盾的地方，從而提出更加完善的方案。由于系統(tǒng)測試屬于最終軟件產(chǎn)品對(duì)外發(fā)布前的產(chǎn)品驗(yàn)收測試，在傳統(tǒng)的瀑布開發(fā)模式下，為了交付系統(tǒng)測試的版本穩(wěn)定性，系統(tǒng)測試屬于產(chǎn)品開發(fā)的較后階段，通常要等到代碼開發(fā)階段、對(duì)代碼的單元測試和對(duì)產(chǎn)品功能的集成測試完成之后。在所有開發(fā)代碼的活動(dòng)全部完成后，開發(fā)人員開始參與到系統(tǒng)測試活動(dòng)中來，他們的工作將轉(zhuǎn)向協(xié)助測試人員修復(fù)發(fā)現(xiàn)的軟件缺陷。系統(tǒng)測試是對(duì)整個(gè)產(chǎn)品系統(tǒng)進(jìn)行的測試，目的是驗(yàn)證系統(tǒng)是否滿足需求規(guī)格定義，找出與需求規(guī)格不符或與之矛盾的地方。系統(tǒng)測試屬于最終產(chǎn)品驗(yàn)收測試，其執(zhí)行一般基于開發(fā)團(tuán)隊(duì)交付的可運(yùn)行版本。，主要針對(duì)傳統(tǒng)瀑布模型下的系統(tǒng)測試，而敏捷的系統(tǒng)測試也會(huì)經(jīng)歷圖上的各個(gè)過程，區(qū)別在于敏捷的測試也是迭代的、增量的，即敏捷模型下系統(tǒng)測試過程并不是單一過程，而是基于敏捷迭代而進(jìn)行多個(gè)系統(tǒng)測試迭代，并且每個(gè)系統(tǒng)測試迭代都會(huì)加入敏捷因素，例如不斷的溝通和反饋，并且上圖中過程之間會(huì)不斷的交互，各個(gè)過程的界限也變得模糊。系統(tǒng)測試的一般過程包括：圖 系統(tǒng)測試過程具體實(shí)現(xiàn)過程示例 (1) 版本交付系統(tǒng)測試，測試團(tuán)隊(duì)分析測試策略 在瀑布模型下，系統(tǒng)測試開始于開發(fā)階段完全結(jié)束之后。系統(tǒng)測試團(tuán)隊(duì)根據(jù)產(chǎn)品功能需求說明書和設(shè)計(jì)文檔分析系統(tǒng)測試策略。 (2) 設(shè)計(jì)測試用例，制定測試計(jì)劃 系統(tǒng)測試團(tuán)隊(duì)根據(jù)系統(tǒng)測試策略的分析結(jié)果設(shè)計(jì)測試用例，并制定測試計(jì)劃。測試計(jì)劃的詳細(xì)程度和覆蓋程度也基于測試策略。 (3) 執(zhí)行測試用例，驗(yàn)證缺陷修復(fù) 軟件測試過程就是發(fā)現(xiàn)缺陷的過程，測試團(tuán)隊(duì)發(fā)現(xiàn)的缺陷將由開發(fā)團(tuán)隊(duì)進(jìn)行修復(fù)，并由測試團(tuán)隊(duì)進(jìn)行回歸驗(yàn)證。 (4) 完成測試計(jì)劃，分析并交付測試結(jié)果 系統(tǒng)測試團(tuán)隊(duì)將測試交付測試結(jié)果，并對(duì)測試中發(fā)現(xiàn)的軟件缺陷進(jìn)行再分析，收集缺陷數(shù)據(jù)報(bào)告并根據(jù)缺陷趨勢曲線識(shí)別和預(yù)防缺陷的頻繁發(fā)生。 敏捷的系統(tǒng)測試概述 獨(dú)立的系統(tǒng)測試階段有利于測試工作的順利進(jìn)行，但缺點(diǎn)也顯而易見——不能盡早消除系統(tǒng)層面的軟件缺陷導(dǎo)致測試和修復(fù)所發(fā)現(xiàn)缺陷的成本居高不下，同時(shí)也不可避免的增加整個(gè)軟件產(chǎn)品發(fā)布的時(shí)間。在敏捷模型下，系統(tǒng)測試活動(dòng)將采用“有條件”的敏捷迭代過程[13]。所謂條件是指系統(tǒng)測試的敏捷實(shí)現(xiàn)過程將基于開發(fā)團(tuán)隊(duì)交付的alpha版本軟件產(chǎn)品，最初交付的產(chǎn)品僅包含部分功能，當(dāng)進(jìn)入功能開發(fā)整合和系統(tǒng)測試并行階段后，后續(xù)功能會(huì)在敏捷迭代中不斷逐步整合到軟件產(chǎn)品中。敏捷的系統(tǒng)測試強(qiáng)調(diào)從客戶的角度出發(fā)，即從使用系統(tǒng)的用戶出發(fā)來測試系統(tǒng)，重點(diǎn)關(guān)注持續(xù)迭代整合進(jìn)系統(tǒng)的新功能和迭代周期需回歸測試已修復(fù)的軟件缺陷。敏捷的系統(tǒng)測試強(qiáng)調(diào)以人為中心，測試過程的進(jìn)行依靠團(tuán)隊(duì)的高效溝通和持續(xù)反饋。 敏捷系統(tǒng)測試的優(yōu)點(diǎn)引入敏捷系統(tǒng)測試的優(yōu)點(diǎn)顯而易見：（1）盡早發(fā)現(xiàn)與系統(tǒng)測試相關(guān)的軟件缺陷。許多系統(tǒng)層面的軟件缺陷只有在基于復(fù)雜用戶故事設(shè)計(jì)的測試用例中才會(huì)被發(fā)現(xiàn)，因此系統(tǒng)測試提早介入可以提早發(fā)現(xiàn)此類缺陷的時(shí)間。盡早發(fā)現(xiàn)軟件缺陷可以有效降低軟件測試的成本，并提高軟件產(chǎn)品的質(zhì)量。（2）使系統(tǒng)測試工程師更好的融入整個(gè)敏捷團(tuán)隊(duì)。 敏捷測試的采用使得系統(tǒng)測試團(tuán)隊(duì)和其他角色之間更頻繁且更深入的交流，系統(tǒng)測試團(tuán)隊(duì)可以在交流中不斷修改和完善測試計(jì)劃，并更加高效的進(jìn)行缺陷跟蹤。更密切交流的另一個(gè)重要好處是，當(dāng)新的功能整合到軟件版本中時(shí)，系統(tǒng)測試團(tuán)隊(duì)可以立即注意到，并增加相應(yīng)的測試計(jì)劃。（3）允許系統(tǒng)測試工程師提出需求變更。 傳統(tǒng)的系統(tǒng)測試在代碼開發(fā)完成后開始，由于需求的凍結(jié)，使得系統(tǒng)系統(tǒng)測試工程師可以從用戶使用系統(tǒng)的角度出發(fā)，對(duì)產(chǎn)品的需求提出變更，提高產(chǎn)品的質(zhì)量或用戶使用的友好程度。（4）加快軟件產(chǎn)品發(fā)布周期。系統(tǒng)測試和功能開發(fā)整合并行使得系統(tǒng)測試可以提早介入到產(chǎn)品開發(fā)生命周期中，系統(tǒng)測試工程師可以有更多的時(shí)間進(jìn)行測試，這使測試人員可以在迭代的早期熟悉并理解產(chǎn)品的架構(gòu)特點(diǎn)和運(yùn)行方式，從而加快后續(xù)階段的測試效率。 敏捷系統(tǒng)測試的挑戰(zhàn) 敏捷系統(tǒng)測試的引入加快了軟件產(chǎn)品發(fā)布的周期，但也不可避免的增加了系統(tǒng)測試過程進(jìn)行的難度，敏捷系統(tǒng)測試主要的挑戰(zhàn)包括：(1) 易引入新的系統(tǒng)層次軟件缺陷。(2) 增加了測試用例設(shè)計(jì)的難度。(3) 完成測試計(jì)劃的工作量變得難以估計(jì)。(4) 敏捷的測試過程對(duì)系統(tǒng)測試工程師提出了更高的要求。(5) 測試和開發(fā)并行增加了開發(fā)工程師的工作難度。 系統(tǒng)測試過程模型 ，該模型主要描述的是在一個(gè)系統(tǒng)測試過程中，系統(tǒng)測試團(tuán)隊(duì)所參與的與測試過程相關(guān)的活動(dòng)。與具體實(shí)現(xiàn)模型不同，本節(jié)作者所描述的系統(tǒng)過程模型主要闡述的是系統(tǒng)測試的漸進(jìn)過程，即系統(tǒng)測試過程可以分為多個(gè)子過程，每個(gè)過程是包含了系統(tǒng)測試的一個(gè)具體實(shí)現(xiàn)。 里程碑模型 由于系統(tǒng)測試是在將軟件產(chǎn)品交付給客戶使用之前完成的最終產(chǎn)品測試，一般在完成開發(fā)和功能驗(yàn)證測試之后進(jìn)行，因此采用里程碑模型的系統(tǒng)測試過程為產(chǎn)品發(fā)布之前的測試建立了時(shí)間表，時(shí)間表上的各個(gè)節(jié)點(diǎn)稱里程碑。測試團(tuán)隊(duì)會(huì)對(duì)里程碑完成提出階段性目標(biāo)，并且每個(gè)里程碑達(dá)到時(shí)都會(huì)產(chǎn)生階段可交付物，例如可對(duì)外交付或?qū)eta用戶交付的軟件版本。里程碑模型有利于測試團(tuán)隊(duì)不斷加深對(duì)所測試軟件產(chǎn)品的理解，同時(shí)提出階段性目標(biāo)有利于跟進(jìn)整個(gè)系統(tǒng)測試過程所處狀態(tài)，隨著階段的深入，完成里程碑的標(biāo)準(zhǔn)將變得越來越苛刻，最終目標(biāo)是達(dá)到產(chǎn)品發(fā)布的質(zhì)量要求。里程碑模型并不是簡單的時(shí)間表概念，更重要的是制定達(dá)到里程碑的目標(biāo)。如表31所示，里程碑目標(biāo)的內(nèi)容一般包括：計(jì)劃驗(yàn)證修復(fù)的軟件缺陷、計(jì)劃覆蓋的測試計(jì)劃內(nèi)容。圖 里程碑模型示例表 采用里程碑模型下各個(gè)階段里程碑目標(biāo)示例里程碑目標(biāo)M1M2M3Release測試用例覆蓋進(jìn)行優(yōu)先級(jí)最高的測試用例覆蓋優(yōu)先級(jí)最高的測試用例覆蓋優(yōu)先級(jí)最高，次高的用例完成所有測試用例修復(fù)軟件缺陷修復(fù)30%被確定為M1里程碑目標(biāo)的缺陷修復(fù)50%被確定為M2里程碑目標(biāo)的缺陷修復(fù)70%被確定為M3里程碑目標(biāo)的缺陷修復(fù)所有軟件缺陷 軟件產(chǎn)品發(fā)布生命周期模型 采用軟件發(fā)布生命周期模型的系統(tǒng)測試過程是基于里程碑模型的衍生，其里程碑時(shí)間點(diǎn)以對(duì)Alpha/Beta用戶發(fā)布或?qū)ν庹桨l(fā)布軟件版本為主要里程碑目標(biāo)，同時(shí)每一個(gè)里程碑目標(biāo)都包含了對(duì)之前發(fā)布版本的缺陷修復(fù)和質(zhì)量提高。里程碑時(shí)間表從最初Alpha版本交付測試開始到軟件產(chǎn)品最終對(duì)外發(fā)布。軟件發(fā)布生命周期模型適用于企業(yè)級(jí)軟件的測試，龐大復(fù)雜的測試計(jì)劃可以分解為多個(gè)階段計(jì)劃，通過階段性目標(biāo)的檢驗(yàn)完成大型的系統(tǒng)測試項(xiàng)目。： (1) PreAlpha里程碑 該階段主要指傳統(tǒng)瀑布模型下的需求分析、設(shè)計(jì)、開發(fā)、單元測試環(huán)節(jié)。 (2) Alpha里程碑 該階段的目標(biāo)通常是最終交付的版本軟件通過所有測試，并完成缺陷修復(fù)。所有測試工作將在該里程碑達(dá)到前完成。 (3) Beta里程碑 Beta測試階段將根據(jù)設(shè)計(jì)用戶故事、用戶場景設(shè)計(jì)測試用例，進(jìn)行測試。通常Beta階段開始前開發(fā)團(tuán)隊(duì)將完成所有功能的開發(fā)，因此該階段將開始完成的系統(tǒng)測試過程。Beta里程碑可以分解為多個(gè)里程碑，每個(gè)階段將設(shè)置相應(yīng)的里程碑目標(biāo)，隨著階段的深入，完成里程碑的標(biāo)準(zhǔn)將變得越來越苛刻。 (4) 軟件對(duì)外發(fā)布候選版本里程碑 該階段里程碑目標(biāo)主要是驗(yàn)收交付的Alpha版本產(chǎn)品質(zhì)量，并修復(fù)發(fā)現(xiàn)的缺陷，使得該里程碑達(dá)到時(shí)交付可運(yùn)行的軟件產(chǎn)品。圖 軟件產(chǎn)品發(fā)布生命周期示例 里程碑模型和敏捷迭代開發(fā)模型相結(jié)合的模型圖 里程碑模型和敏捷迭代模型相結(jié)合的系統(tǒng)測試過程示例 ，采用里程碑模型和敏捷迭代模型相結(jié)合的系統(tǒng)測試是敏捷系統(tǒng)測試的一種實(shí)現(xiàn)模型。上述模型描述的系統(tǒng)測試過程是一個(gè)深度敏捷模型，業(yè)務(wù)團(tuán)隊(duì)，即系統(tǒng)測試團(tuán)隊(duì)將與功能開發(fā)團(tuán)隊(duì)在系統(tǒng)測試過程中不斷交互，測試和開發(fā)將實(shí)現(xiàn)一定程度的并行。在這個(gè)敏捷的模型中，最初交付系統(tǒng)測試的產(chǎn)品僅包含部分功能，當(dāng)進(jìn)入開發(fā)測試并行階段后，后續(xù)功能會(huì)在敏捷迭代中逐步整合到軟件產(chǎn)品中。該模型中，迭代過程主要針對(duì)功能開發(fā)團(tuán)隊(duì)的工作；里程碑過程針對(duì)業(yè)務(wù)團(tuán)隊(duì)。每個(gè)迭代過程的目標(biāo)是向測試團(tuán)隊(duì)交付完成的代碼；每個(gè)里程碑的目標(biāo)是交付對(duì)外發(fā)布的軟件版本。，（TMM）分析的系統(tǒng)測試具體過程實(shí)現(xiàn)模型，它是里程碑模型和敏捷迭代開發(fā)的系統(tǒng)測試過程模型的具體實(shí)現(xiàn)，并結(jié)合了TMM對(duì)如何提高軟件測試成熟度的分析。，并有效減少敏捷系統(tǒng)測試的挑戰(zhàn)所帶來的不利因素。 基于TMM的系統(tǒng)測試過程具體實(shí)現(xiàn)模型根據(jù)第二章所闡述的軟件測試能力成熟度模型（TMM），作者以里程碑模型和敏捷迭代開發(fā)的模型為系統(tǒng)測試過程，提出一個(gè)四里程碑的系統(tǒng)測試過程模型，其中第一、第二階段將與迭代開發(fā)并行，第三階段開始前所有開發(fā)都將完成，因此第一、第二階段為敏捷的系統(tǒng)測試過程具體實(shí)現(xiàn)模型，第三第四階段依然采用傳統(tǒng)的過程具體實(shí)現(xiàn)模型。表 四里程碑