【文章內(nèi)容簡介】 試的時(shí)刻 ： ● 對所有重大的已改正缺陷重新進(jìn)行測試。 ● 利用從舊的缺陷中學(xué)到的內(nèi)容來發(fā)現(xiàn)新的缺陷。 ● 分析、重新測試以及重新提交那些仍然沒有得到改正的、很難再現(xiàn)的缺陷。 ● 在邊界進(jìn)行測試，在慢速機(jī)器上快速測試，測試極端用例組合，測試錯(cuò)誤處理，測試認(rèn)為能讓程序失敗的區(qū)域。 ● 在一個(gè)有多名測試人員的項(xiàng)目中，考慮將某個(gè)測試人員特殊化。讓他成為一個(gè)全職 “ 錯(cuò)誤推測員 ” ，其唯一的工作是發(fā)現(xiàn)并開拓有希望發(fā)現(xiàn)錯(cuò)誤的新測試區(qū)域。把回歸測試測試安排和文檔編制留給其他人來完成。他的職責(zé)自始至終都很重要。如果適當(dāng)選擇了這樣一個(gè)測試人員，他會(huì)遠(yuǎn)比從最后一刻的顯示阻塞中發(fā)現(xiàn)的問題更多，同時(shí)也為小組的其他人爭取了時(shí)間來發(fā)現(xiàn)其他問題。 ● 確保在接收到一個(gè)新版本后立即檢查代碼改正。 還要在極少時(shí)間內(nèi)努力告訴程序員，每個(gè)改正是否起作用。 β測試階段 ● 在所有配置情況下完成所有設(shè)備的一輪 完整的測試。 如果能在 α 階段測試每個(gè)設(shè)備，而程序也通過了所有這些測試，那就應(yīng)該在 β 測試階段之后仍然時(shí)不時(shí)地重新進(jìn)行設(shè)備測試以確定所有設(shè)備仍然在運(yùn)轉(zhuǎn)（或證明它們不起作用）。如果一直等到 β 測試階段才發(fā)現(xiàn)它們，那么就不得不在最終測試期間對所有錯(cuò)誤重新進(jìn)行測試。 ● 繼續(xù)自動(dòng)化某些測試， 即使自動(dòng)化可能不再節(jié)約。有些程序甚至需要比任何人預(yù)料的多得多的測試周期。在后面這些周期中，能越快進(jìn)行回歸測試越好。只有當(dāng)確定接近最后一個(gè)測試周期時(shí)才停止自動(dòng)化。要確保每個(gè)測試都值得花那么多時(shí)間來處理。 ● 測試所有的數(shù)據(jù)文件， 包括剪貼畫、模板、指南、樣例等。嘗試處理一個(gè)小型的、有代表性的文件組，并記錄所用的時(shí)間。計(jì)算出平均值，并乘以要撿查的文件數(shù)目。這個(gè)結(jié)果告訴你測試這些文件的一個(gè)周期所需的時(shí)間還必須估計(jì)重新測試修訂文件所需的時(shí)間。 β測試階段 令測試狀態(tài)清晰，并獲取已解決的問題 報(bào)告要點(diǎn)： ● 散發(fā)總結(jié)開放問題并提供各種項(xiàng)目統(tǒng)計(jì)數(shù)據(jù)的概要和狀態(tài)報(bào)告。 可能已經(jīng)散發(fā)了這樣的報(bào)告，但隨著項(xiàng)目的進(jìn)展，可能會(huì)有更多報(bào)告，它們準(zhǔn)備得更正式，并且已散發(fā)給公司中的更高級人員。 ● 根據(jù)統(tǒng)計(jì)數(shù)據(jù)使用正確的判斷。 不要不經(jīng)過進(jìn)一步說明就宣布開放的報(bào)告以及最近報(bào)告的問題的數(shù)量多有意義而且多重要。在進(jìn)度晚期，高級管理人員會(huì)相信的。這些數(shù)字傳達(dá)了錯(cuò)誤的印象。 ● 在接近項(xiàng)目末期時(shí)增加測試人員要謹(jǐn)慎。 一個(gè)編寫了大量報(bào)告來從本質(zhì)上說明“這一 Amiga程序應(yīng)當(dāng)遵循 Macintosh用戶界面規(guī)則”的新測試人員正在浪費(fèi)最后一分鐘的寶貴時(shí)間。后期加入的測試人員集合了狂熱、判斷力很差和固執(zhí)等特征為一體，他們會(huì)使項(xiàng)目所付出的成本比從他們身上獲得的利益要多得多。 ● 散發(fā)暫緩問題清單，并召集或參加會(huì)議來對暫緩的問題進(jìn)行評審。 到 β測試階段或在 β 后不久，這些會(huì)議應(yīng)該每周舉行一次。稍后可能每隔幾天就要舉行一次?，F(xiàn)在而不是在提交產(chǎn)品的前一兩天使這些決定得到考慮是很重要的。強(qiáng)調(diào)（標(biāo)示出）想要重新考慮的任何報(bào)告 — 要謹(jǐn)慎選擇訴求。 ● 散發(fā)開放用戶界面設(shè)計(jì)問題清單，并在 UI確定之前召集或參加一個(gè)評審會(huì)議。 如果不把握機(jī)會(huì)在確定之前提出問題，那么在確定之后，就無權(quán)請求對設(shè)計(jì)決議重新進(jìn)行考慮了。 β測試階段 對于 β測試階段前提出的草稿，也要在 β階段前執(zhí)行所有測試。 ● 與編寫人員相比，測試人員可能對細(xì)節(jié)的變更和后期的設(shè)計(jì)變更熟悉，因此更重視檢查手冊是否是最新。 ● 警告編寫人員注意即將對程序進(jìn)行的可能修改。 ● 尋找沒有進(jìn)行解釋，或者解釋得不夠清楚，或者在細(xì)節(jié)上不夠清楚的特征。 ● 在一個(gè)有多名測試人員的項(xiàng)目中，讓每個(gè)新測試人員整理手冊的最新版本（對照程序檢查它的每個(gè)詞）。 最好的情況是，對一個(gè)適度大小的項(xiàng)目而言，從 α測試階段中期直到 UI正好確定之前，新測試人員加入到項(xiàng)目中。 繼續(xù)對在 α測試階段發(fā)布的測試?yán)锍瘫M(jìn)度進(jìn)行度量。每周檢查進(jìn)度。 β測試階段 要小心程序員對于他們?nèi)绱寺浜笥谶M(jìn)度的借口，正是他們在驅(qū)使進(jìn)度延遲。當(dāng)進(jìn)度一落千丈時(shí)，每個(gè)測試人員和測試經(jīng)理都相信這一點(diǎn)，但并不意味著他們就是對的： 如果在測試時(shí)落后于進(jìn)度，稍后就會(huì)發(fā)現(xiàn)本來可以更快發(fā)現(xiàn)的缺陷。 如果繼續(xù)尋找程序以前的許多版本中的錯(cuò)誤，它們可能在以前的許多版本中已經(jīng)被發(fā)現(xiàn)而且都已經(jīng)被改正。那么程序還沒有準(zhǔn)備好提交的部分原因就是花了太長時(shí)間來查找缺陷。 如果把自己和測試組逼得太緊，那么報(bào)告就會(huì)難以閱讀和重現(xiàn)，它們包含更少的調(diào)查，而且過于簡單化，會(huì)使程序員花費(fèi)更長時(shí)間來改正缺陷。 沒完沒了地存在于一個(gè)項(xiàng)目中的缺陷可能反映出很差的測試報(bào)告。如果的確如此，當(dāng)項(xiàng)目經(jīng)理最終意識到所說的是一個(gè)嚴(yán)重問題，而且程序員最終指出（或者最終指給他看）。如何再現(xiàn)問題時(shí)存在一個(gè)新近的延遲，那也是測試人員的錯(cuò)，因此不得不拿出所有時(shí)間來改正它并重新測試。 第十三章第四節(jié) 預(yù)最終測試階段 預(yù)最終測試階段 ? 以前沒有完成的任何數(shù)據(jù)文件或安裝例程，或者其他任何工作到現(xiàn)在已全部完成。在預(yù)最終測試階段入口處，已經(jīng)不存在任何開放的缺陷。 ? 如果公司政策不要求在預(yù)最終測試階段后，而在允許程序進(jìn)入最終測試之前進(jìn)行數(shù)天或數(shù)周的無驚奇測試，那么程序就可以進(jìn)入 最終測試 。 ? 可能會(huì)在預(yù)最終測試階段發(fā)現(xiàn)少數(shù)較嚴(yán)重的缺陷。程序員改正了這些缺陷，而測試人員不再發(fā)現(xiàn)足夠嚴(yán)重的新缺陷之后，程序就移交給 最終測試 。 預(yù)最終測試階段 在預(yù)最終測試階段，你面臨以下 3個(gè)挑戰(zhàn)： ● 繼續(xù)尋找可怕的問題，以保持測試成果的繼續(xù)有效。一旦未能及時(shí)發(fā)現(xiàn)任何足夠有害的問題，產(chǎn)品就會(huì)進(jìn)入最終測試階段（并在此后不久便發(fā)布）。 ● 確保新的缺陷改正不會(huì)破壞任何東西。 得到一個(gè)新版本時(shí)，測試那些宣稱已被改正的錯(cuò)誤，接著在前一版本的停止之處繼續(xù)測試計(jì)劃。如果在該版本中，要從頭至尾通過測試計(jì)劃，那就得從頭重新開始。 ● 安排好松散的部分。 現(xiàn)在是確保每個(gè)關(guān)鍵任務(wù)都已經(jīng)在項(xiàng)目的某些點(diǎn)上得到運(yùn)行的最后機(jī)會(huì)了。 預(yù)最終測試階段 這是一個(gè)高強(qiáng)度的、詳盡研究的測試階段 ，盡管從理論上說它似乎很簡單，問題在于，會(huì)發(fā)現(xiàn)少數(shù)必須得到改正的嚴(yán)重缺陷。 可能會(huì)每天拿到程序的一個(gè)新版本，或者甚至在同一天內(nèi)拿到兩到三次。這不光是過于頻繁地輸送程序的新版本的問題。相反地，除了不可暫緩的某個(gè)缺陷報(bào)告必須的變更以外，程序已經(jīng)完成。在程序員完成了那一變更之后，所有各方都同意：就他們所知，沒有什么別的要做了。因此，已改正的程序很快進(jìn)入最終測試。進(jìn)一步對老版本進(jìn)行測試已經(jīng)毫無意義，而推遲新的版本也毫無意義。這一過程在每發(fā)現(xiàn)一個(gè)新的不可推遲的問題時(shí)就會(huì) 重復(fù)。 無論何時(shí)一個(gè)新的版本進(jìn)入測試中，與那些舊版本比較所有文件都是明智的做法。當(dāng)注意到某個(gè)文件中存在一個(gè)與項(xiàng)目經(jīng)理的變更清單上的任何程序區(qū)域都無關(guān)的變更時(shí)，問一問該清單中都遺漏了哪些變更。 進(jìn)行最后一輪的設(shè)備測試， 確保在每個(gè)菜單或程序清單中的每個(gè)設(shè)備已按照每種支持模式和分辨率進(jìn)行了選擇。 如果有時(shí)間，在看來可能是最后一個(gè)測試周期中，恢復(fù)某些已存檔的測試。 程序可能仍然會(huì)通過這些測試， 但這是確認(rèn)這一點(diǎn)的 最后機(jī)會(huì) 。 預(yù)最終測試階段 如果有時(shí)間， 重新測試 每個(gè)已改正的缺陷。 散布最終暫緩缺陷的清單。 開發(fā)小組（或高級管理人員，或任何出席缺陷評審會(huì)議的人）以前曾對所有這些缺陷進(jìn)行過評價(jià)，因而此次最后評審是形式上的，但是總得給管理人員一個(gè)最后的機(jī)會(huì)，讓他們在發(fā)布之前重新考慮產(chǎn)品的質(zhì)量。 一旦完成了預(yù)最終測試，產(chǎn)品就會(huì)拿去制作并發(fā)布，或者擺脫控制，由其他人進(jìn)行最終驗(yàn)收測試，可能由其他小組進(jìn)行，如客戶支持小組。 在產(chǎn)品交付之前，會(huì)要求測試人員對程序質(zhì)量進(jìn)行評估。 產(chǎn)品的質(zhì)量就是它的適用性。 產(chǎn)品的設(shè)計(jì)、功能、可用性及可靠性都是產(chǎn)品質(zhì)量的因素。當(dāng)管理層要求在項(xiàng)目末期對程序的質(zhì)量進(jìn)行估計(jì)時(shí)，不要被其迷惑。他們要的不是對設(shè)計(jì)問題的老調(diào)重彈，他們（可能）想要的都是有關(guān)程序可靠性的信息。當(dāng)要求對發(fā)布前質(zhì)量進(jìn)行估計(jì)時(shí)，可以提供發(fā)布前可靠性等級，并以一些設(shè)計(jì)評論進(jìn)行補(bǔ)充。 預(yù)最終測試階段 ?如果客戶在產(chǎn)品中一個(gè)缺陷都找不到，其可靠性就很高。如果客戶很可能找到缺陷，尤其是一個(gè)嚴(yán)重缺陷，可靠性就很低。許多經(jīng)理通常對以下 四個(gè)估計(jì)等級 感到滿意。 ?下面我們將詳細(xì)說明。 預(yù)最終測試階段 ● 低可靠性：產(chǎn)品中存在客戶可能會(huì)發(fā)現(xiàn)的嚴(yán)重缺陷。這些是已知的、暫緩的問題。 ● 中等可靠性：低可靠性和高可靠性之間的可靠性。 ● 高可靠性：產(chǎn)品經(jīng)過了很好的測試，并且不會(huì)再發(fā)現(xiàn)任何嚴(yán)重問題。 可能遺漏了少數(shù)問題但是認(rèn)為不會(huì)有很多客戶發(fā)現(xiàn)它們。 ● 未知可靠性：還沒有對程序進(jìn)行足夠的測試，或者已經(jīng)盡所能對它進(jìn)行了很好的測試，沒發(fā)現(xiàn)任何可怕的問題，但是能肯定仍然存在嚴(yán)重問題。 除非能解釋為何很擔(dān)心并擬出一個(gè)合理的計(jì)劃來暴露認(rèn)為可能存在的問題，否則第二種情況不值得提出（一個(gè)合理的計(jì)劃可能包括來自一個(gè)外部咨詢?nèi)藛T的短期幫助，或者特殊測試硬件的一個(gè)短期租約）。 預(yù)最終測試階段 1． 最低可靠性 。 公司不會(huì)將未滿足其最低可靠性標(biāo)準(zhǔn)的產(chǎn)品發(fā)布 。測試人員可能不知道公司的最低標(biāo)準(zhǔn) — 這通常不會(huì)寫下來 。公司可能要求至少做到下面幾點(diǎn)： ● 所有的輸入數(shù)據(jù)邊界已經(jīng)得到檢查。 如果程序把任何合適的值看成超出了邊界，它就會(huì)得體地拒絕它們。 ● 手冊的最終版本已經(jīng)進(jìn)行了整理。 能發(fā)出所有命令，還可以嘗試所有的菜單選擇，選擇所有明顯的分支，回答所有的 “ 是 ”或 “ 否 ” 的問題。所有這些都起作用，至少如果沒有嘗試任何奇特的組合的話它們是起作用的。 ● 所有的主要配件已經(jīng)進(jìn)行了測試。 程序與假定要一同工作的最常見的硬件和系統(tǒng)軟件一起工作。 ● 客戶能進(jìn)入的編輯命令、重復(fù)和其他序列不會(huì)使程序失去控制。 ● 系統(tǒng)能容忍客戶制造出來的所有錯(cuò)誤。 預(yù)最終測試階段 公司的最低標(biāo)淮應(yīng)該（而且可能）要比上述標(biāo)準(zhǔn)更高一些。 如果說產(chǎn)品沒有達(dá)到這些標(biāo)準(zhǔn)之一，公司就不會(huì)把產(chǎn)品發(fā)布。 如果公平地給這些標(biāo)準(zhǔn)中的任何一個(gè) “ 未知 ”可靠性等級，公司也不會(huì)把產(chǎn)品發(fā)布。 許多已發(fā)布的程序沒有滿足這些標(biāo)準(zhǔn)。我們把其中的大部分歸咎于測試人員的無組織。 預(yù)最終測試階段 2． 產(chǎn)品每個(gè)區(qū)域的可靠性估計(jì) 。 ? 對程序的每個(gè)區(qū)域的可靠性進(jìn)行估計(jì)是值得的。一次故障的可能性多大？ 應(yīng)當(dāng)知道哪些區(qū)域已經(jīng)測試達(dá)到哪一等級，以及測試如何進(jìn)行。甚至可以公布一份常規(guī)狀態(tài)報(bào)告，列出所有功能區(qū)域和問題類別，并為每項(xiàng)指示出估計(jì)的可靠性。 ? 如果估計(jì)某個(gè)區(qū)域的可靠性低，那就列出導(dǎo)致這一結(jié)論的每個(gè)問題。如果認(rèn)為還有許多問題有待發(fā)現(xiàn)，那就清楚表明看法。 ? 如果程序的某個(gè)區(qū)域還沒有認(rèn)真進(jìn)行測試，其可靠性就未知。不要只是把它描述為未知，要告訴人們要花多長時(shí)間對其運(yùn)行一個(gè)突擊測試，以估計(jì)其可靠性。給出你可能發(fā)現(xiàn)的缺陷的例子。 如果想不起什么備選的例子，就在本書的附錄中查查看。描述一個(gè)確定測試運(yùn)行到目前為止已經(jīng)不能捕獲的嚴(yán)重問題。不要假定缺陷存在于此，要說你還不知道缺陷是否存在。