【文章內(nèi)容簡(jiǎn)介】 本驗(yàn)證提示信息位置、格式、內(nèi)容與需求的一致性。 增加、刪除、保存等操作提交 核心業(yè)務(wù)邏輯 檢查核心業(yè)務(wù)處理實(shí)現(xiàn)是否正確，驗(yàn)證系統(tǒng)對(duì)每個(gè)邏輯分支或可能的輸入、輸出項(xiàng)都做了友好的異常處理。 功能類型 測(cè)試方法 /工具 舉例 1 高頻度發(fā)生業(yè)務(wù)處理 使用 Robot錄制腳本或編寫(xiě)應(yīng)用程序定制發(fā)生條件和發(fā)生時(shí)點(diǎn)，驗(yàn)證當(dāng)前時(shí)點(diǎn)發(fā)生交易的處理是否正確。 連續(xù)交易撮合 2 核心業(yè)務(wù)處理 先采用模塊測(cè)試測(cè)試策略，然后采用聯(lián)合測(cè)試策略；其中，場(chǎng)景數(shù)據(jù)通過(guò)編寫(xiě)腳本自動(dòng)生成或通過(guò)進(jìn)行數(shù)據(jù)移植來(lái)獲取。功能正確性校驗(yàn)，采用工具對(duì)照和庫(kù)表比對(duì)結(jié)合的策略。 結(jié)算 3 高頻度參數(shù)變更處理 使用 Robot錄制腳本或編寫(xiě)應(yīng)用程序?qū)ο到y(tǒng)參數(shù)進(jìn)行計(jì)劃性調(diào)整，驗(yàn)證定制交易在當(dāng)前時(shí)點(diǎn)的處理是否正確。 保證金率調(diào)整 4 實(shí)時(shí)統(tǒng)計(jì)發(fā)布 編寫(xiě)應(yīng)用程序?qū)崟r(shí)對(duì)庫(kù)中數(shù)據(jù)進(jìn)行動(dòng)態(tài)匯總統(tǒng)計(jì)，驗(yàn)證 當(dāng)前信息發(fā)布是否就是當(dāng)前時(shí)點(diǎn)的信息。 行情發(fā)布 5 周期長(zhǎng)的業(yè)務(wù)處理 使用 Robot錄制腳本定制交易發(fā)生時(shí)點(diǎn)，驗(yàn)證交易的持續(xù)進(jìn)行及歷史數(shù)據(jù)保存。 持倉(cāng) 6 大數(shù)據(jù)量業(yè)務(wù)限時(shí)處理 編寫(xiě)程序自動(dòng)生成大批量場(chǎng)景數(shù)據(jù)，使用Robot錄制腳本定制交易發(fā)生計(jì)劃，并對(duì)交易發(fā)生狀態(tài)進(jìn)行實(shí)時(shí)統(tǒng)計(jì)和分析。 撮合 期貨交易所系統(tǒng)招標(biāo)項(xiàng)目投標(biāo)書(shū) 股份有限公司 9 模塊間或子系統(tǒng)間 檢查模塊間和子系統(tǒng)間功能執(zhí)行的連貫性、正確性。 功能類型 測(cè)試方法 /工具 舉例 1 業(yè)務(wù)邏輯依賴不緊密的功能 采取并行推進(jìn)的測(cè)試方法。這種方法即可以單項(xiàng)驗(yàn)證各業(yè)務(wù)功能的正確性，又可以加快整體 測(cè)試進(jìn)度。 交易權(quán)限認(rèn)證、交易查詢、模板創(chuàng)建、會(huì)員管理 2 業(yè)務(wù)邏輯依賴緊密的功能 在每輪測(cè)試過(guò)程中，將采取順序推進(jìn)的測(cè)試方法，以便有效驗(yàn)證模塊間的接口邏輯和數(shù)據(jù)傳遞的正確性。 上游模塊的輸出是下游模塊的輸入，例如：報(bào)單、撮合、結(jié)算、交割等功能 3 業(yè)務(wù)狀態(tài)一致性 在第一階段和第二階段均需根據(jù)業(yè)務(wù)規(guī)則定義使用 Robot測(cè)試工具驗(yàn)證每個(gè)業(yè)務(wù)時(shí)點(diǎn)業(yè)務(wù)狀態(tài)的一致性。 交易員終端發(fā)生交易，交易系統(tǒng)進(jìn)行處理，信息通過(guò)行情服務(wù)發(fā)布給會(huì)員，三者信息一致 4 網(wǎng)絡(luò)通訊 編寫(xiě)應(yīng)用程序或使用 Robot錄制腳本測(cè)試本地、局 域網(wǎng)、廣域網(wǎng)等節(jié)點(diǎn)間的信息傳輸是否正常發(fā)生，驗(yàn)證信息是否存在丟失或延遲。如服務(wù)端對(duì)不同類型報(bào)文的接收、處理和發(fā)送情況。 會(huì)員遠(yuǎn)程指令 文檔測(cè)試 檢查文檔的正確性、完備性、可理解性。 功能類型 測(cè)試方法 /工具 舉例 1 聯(lián)機(jī)幫助文檔或用戶手冊(cè) 手工檢查幫助文檔或手冊(cè)是否有索引和搜索功能，可以方便、快捷地查找所需信息。 系統(tǒng)幫助文檔 2 指南和向?qū)? 手工依次執(zhí)行驗(yàn)證是否可以引導(dǎo)用戶一步一步完成任務(wù)。 系統(tǒng)操作指南 3 安裝、設(shè)置指南 手工依次執(zhí)行驗(yàn)證是否可以根據(jù)指導(dǎo)步驟完成安裝和設(shè)置后，系統(tǒng)能夠正常運(yùn)行。 服務(wù)器系統(tǒng)運(yùn)行監(jiān)測(cè)到系統(tǒng)資源達(dá)到臨界值或受到攻擊時(shí)發(fā)送的警告 4 示例及模版 手工檢查示例和模板的樣式、內(nèi)容等與需求是否一致。 合約模版，價(jià)格模版，保證金率模版等 5 錯(cuò)誤提示信息 通過(guò)場(chǎng)景運(yùn)行，逐一核對(duì)錯(cuò)誤提示信息的樣式、內(nèi)容等與需求是否一致。 熔斷、報(bào)單錄入失敗等 6 用于演示的圖像和聲音 用于演示或加在的圖片和聲音文件是否能正常加載展示 頁(yè)面圖片 7 授權(quán) /注冊(cè)登記表及用戶許可協(xié)議 驗(yàn)證安裝軟件版本間的兼容性 安裝軟件版本 8 軟件的包裝、廣告宣傳材料 軟件包裝 軟件的包裝、廣告宣傳材 料 期貨交易所系統(tǒng)招標(biāo)項(xiàng)目投標(biāo)書(shū) 股份有限公司 10 非功能測(cè)試方法 針對(duì)交易所系統(tǒng)實(shí)時(shí)性、可用性、安全性要求較高等特點(diǎn)，在非功能測(cè)試方面，主要利用 IBM Rational 系列測(cè)試工具，以及采用編寫(xiě)測(cè)試程序等方法，分別模擬系統(tǒng)的實(shí)際運(yùn)行、各種可能的非法操作、外部攻擊等。測(cè)試必須在與生產(chǎn)環(huán)境基本具備可比性的環(huán)境下進(jìn)行，并設(shè)計(jì)多輪迭代，以便可保證測(cè)試采樣的真實(shí)性、可靠性。 非功能類型 測(cè)試類型 測(cè)試方法 /工具 安全性 網(wǎng)絡(luò)消息洪流測(cè)試 （ 1）手工或編寫(xiě)應(yīng)用程序發(fā)起敵意會(huì)話，驗(yàn)證系統(tǒng)對(duì)敵意攻擊的處理能力； （ 2）手工、編寫(xiě)應(yīng)用程序、使用 Robot工具 使用同一 IP進(jìn)行重復(fù)請(qǐng)求，驗(yàn)證系統(tǒng)對(duì)多連接請(qǐng)求的處理機(jī)制； （ 3）編寫(xiě)模擬程序或使用 Robot工具測(cè)試操作系統(tǒng)、組件、配置文件或外部端口訪問(wèn)操作系統(tǒng)、組件的控制和安全審計(jì)機(jī)制。 多連接請(qǐng)求測(cè)試 核心業(yè)務(wù)組件訪問(wèn)安全測(cè)試 基于操作系統(tǒng)的安全控制和審計(jì)測(cè)試 業(yè)務(wù)管理系統(tǒng)安全訪問(wèn)測(cè)試 交易管理終端身份驗(yàn)證測(cè)試 可用性 應(yīng)用功能測(cè)試 （ 1）可用性測(cè)試必須保證一段時(shí)間的連續(xù)運(yùn)行，通過(guò)編寫(xiě)應(yīng)用程序增大壓力測(cè)試的幅度，可以適當(dāng)縮短連續(xù)測(cè)試時(shí)間； （ 2）進(jìn)行可用性測(cè)試一定要選取有代表性的測(cè)試 用例腳本，以便能覆蓋系統(tǒng)的主要功能和業(yè)務(wù)流程組合； （ 3）必要時(shí)，可采取人為干預(yù)的方式使某些系統(tǒng)組件運(yùn)行失效，以驗(yàn)證系統(tǒng)故障恢復(fù)能力和組件運(yùn)行的獨(dú)立性。 鏈接測(cè)試 表單測(cè)試 性能 客戶端測(cè)試 （ 1）性能測(cè)試時(shí)必須保證系統(tǒng)一段時(shí)間的連續(xù)運(yùn)行，按照交易所系統(tǒng)的業(yè)務(wù)特征，至少一輪測(cè)試保證連續(xù) 1天的運(yùn)行時(shí)間； （ 2）利用 IBM Rational Robot 測(cè)試工具錄制測(cè)試腳本，必要時(shí)編寫(xiě)測(cè)試程序模擬交易員終端發(fā)送報(bào)單報(bào)文，實(shí)現(xiàn)自動(dòng)并發(fā)測(cè)試； （ 3）為驗(yàn)證系統(tǒng)可能存在性能問(wèn)題的關(guān)鍵點(diǎn)，必要時(shí)需要開(kāi)發(fā)商 協(xié)助在應(yīng)用中增加 log，輸出時(shí)間記錄信息。 期貨交易所系統(tǒng)招標(biāo)項(xiàng)目投標(biāo)書(shū) 股份有限公司 11 測(cè)試用例技術(shù) 用例技術(shù)說(shuō)明 測(cè)試用例指對(duì)一項(xiàng)特定的軟件產(chǎn)品進(jìn)行測(cè)試任務(wù)的描述，體現(xiàn)測(cè)試方案、方法、技術(shù)和策略。內(nèi)容包括測(cè)試目標(biāo)、測(cè)試環(huán)境、輸入數(shù)據(jù)、測(cè)試步驟、預(yù)期結(jié)果、測(cè)試腳本等。 測(cè)試用例的設(shè)計(jì)和編制是軟件測(cè)試活動(dòng)中最重要的。測(cè)試用例是測(cè)試工作的指導(dǎo)，是軟件測(cè)試的必須遵守的準(zhǔn)則。 在 最初測(cè)試 時(shí)，一般測(cè)試 用例 是 考慮不周全 的 ， 需要 隨著測(cè)試的進(jìn)行和軟件版本更新， 逐步深入、 日趨完善。 針對(duì)交易所系統(tǒng)這樣的交易 的測(cè)試 ，較好的 做法是把測(cè)試數(shù)據(jù)和測(cè)試腳本從測(cè)試用例中劃分出來(lái)。 測(cè)試用例更趨于是針對(duì)軟件產(chǎn)品的功能、業(yè)務(wù)規(guī)則和業(yè)務(wù)處理所設(shè)計(jì)的 實(shí)施 方案。 對(duì)測(cè)試用例描述的詳細(xì)和復(fù)雜程度有時(shí)難以明確要求。測(cè)試需要在給定的資源、時(shí)間條件下盡可能達(dá)成目標(biāo)，我們必須在測(cè)試計(jì)劃階段明確測(cè)試的目標(biāo)，一切圍繞測(cè)試的目標(biāo)進(jìn)行，測(cè)試用例的詳細(xì)程度根據(jù)需要確定： 對(duì)核心的復(fù)雜流程和算法，測(cè)試用例必須明細(xì)到每一步可能的分支；對(duì)系統(tǒng)中各個(gè)功能模塊都需要的通用測(cè)試用例，可以提煉通用的測(cè)試要素，制定詳細(xì)的測(cè)試用例，而不需在每個(gè)用例中重復(fù)，以節(jié)省編寫(xiě)時(shí)間和執(zhí)行時(shí)間，提高用例的復(fù)用性。如：日期校驗(yàn)、金額合法性檢查、輸 入字段合法性檢查等。 測(cè)試用例設(shè)計(jì)方法 分析方法 分析步驟 1 等價(jià)類劃分 首先，進(jìn)行分類：將輸入域按照具有相同特征或類似功能進(jìn)行分類；然后進(jìn)行抽象：在每個(gè)子類中抽象出相同特型并用實(shí)例來(lái)表征這個(gè)特性。 2 邊界值分析法 首先確定輸入域，定義輸入邊界值；然后確定輸出域，定義輸出邊界值。 3 越界值分析法 首先根據(jù)邊界分析的結(jié)果域確定越界值；然后對(duì)越界值進(jìn)行等價(jià)類劃分。 4 因果圖法 首先，根據(jù)業(yè)務(wù)功能說(shuō)明書(shū)中的輸入輸出條件分析出等價(jià)類，將每個(gè)輸入輸出賦予一個(gè)標(biāo)志符；其次，將對(duì)應(yīng)的輸入輸出之間，輸入與 輸出之間的關(guān)系聯(lián)系起來(lái)，并將其中不可能的組合情況標(biāo)注成約束條件或者限制條件，形成因果圖；然后，將因果圖轉(zhuǎn)化成判定圖；最后，將判定表中的第一行作為場(chǎng)景劃分要素，每一列可以作為依據(jù)進(jìn)期貨交易所系統(tǒng)招標(biāo)項(xiàng)目投標(biāo)書(shū) 股份有限公司 12 行測(cè)試用例設(shè)計(jì)。 5 判定表驅(qū)動(dòng)分析方法 因果圖可以生成判定表，但是也可以直接使用判定表。判定表（ Decision Table）是列舉和分析復(fù)合邏輯條件下多個(gè)路徑的工具。主要是通過(guò)一個(gè)二維表格一目了然的將負(fù)責(zé)的邏輯結(jié)構(gòu)和多種條件組合的情況表達(dá)出來(lái)。 6 錯(cuò)誤推測(cè)法 列舉程序中所有可能出現(xiàn)的錯(cuò)誤和容易發(fā)現(xiàn)錯(cuò)誤的地方，對(duì)它們進(jìn)行分析 提取場(chǎng)景劃分要素。 7 功能圖法 使用功能圖形式化的表示程序的功能說(shuō)明，并機(jī)械的生成功能圖的測(cè)試用例。 8 缺值假定法 首先根據(jù)因果圖法提取出流程進(jìn)行中的關(guān)系數(shù)據(jù)正確性的關(guān)鍵要素；然后，對(duì)這些關(guān)鍵要素進(jìn)行分析組合，這些組合要素可以直接作為依據(jù)進(jìn)行測(cè)試用例設(shè)計(jì)。 9 動(dòng)態(tài)黑盒測(cè)試 首先進(jìn)行通過(guò)測(cè)試：確認(rèn)軟件至少能做什么，而不考驗(yàn)其能力。然后進(jìn)行失敗測(cè)試：純粹為了破壞軟件而設(shè)計(jì)和執(zhí)行的測(cè)試案例，也稱為迫使出錯(cuò)測(cè)試。蓄意攻擊軟件的薄弱環(huán)節(jié)。 測(cè)試用例 應(yīng)用 （ 1） 指 導(dǎo)測(cè)試的實(shí)施 在實(shí)施測(cè)試時(shí)測(cè)試用例作為測(cè)試的 準(zhǔn)則 和指導(dǎo) ， 測(cè)試執(zhí)行 人員一定要按照用例嚴(yán)格按 測(cè)試 項(xiàng)目和測(cè)試步驟逐一實(shí)施測(cè)試 ， 并 將 測(cè)試情況記錄在測(cè)試用例管理軟件中，以便自動(dòng)生成測(cè)試結(jié)果文檔。 根據(jù)測(cè)試用例的測(cè)試等級(jí)， 每一輪迭代 測(cè)試 哪 些用例在設(shè)計(jì)用例時(shí)都已作明確規(guī)定， 測(cè)試執(zhí)行 時(shí)測(cè)試人員不能隨意作變動(dòng)。 （ 2） 規(guī)劃測(cè)試數(shù)據(jù)的準(zhǔn)備 在我們的實(shí)踐中測(cè)試數(shù)據(jù)是與測(cè)試用例分離的。按照測(cè)試用例配套準(zhǔn)備一組或若干組測(cè)試原始數(shù)據(jù)，以及標(biāo)準(zhǔn)測(cè)試結(jié)果。尤其象測(cè)試報(bào)表之類數(shù)據(jù)集的正確性，按照測(cè)試用例規(guī)劃準(zhǔn)備測(cè)試數(shù)據(jù)是十分必須的。 除正常數(shù)據(jù)之外，還必須根據(jù)測(cè)試用例設(shè)計(jì)大量邊緣數(shù)據(jù)和錯(cuò)誤數(shù)據(jù) 。 （ 3） 編寫(xiě)測(cè)試腳本的 設(shè)計(jì)規(guī)格說(shuō)明書(shū) 為提高測(cè)試效率，軟件測(cè)試 應(yīng) 大力發(fā)展自動(dòng)測(cè)試。自動(dòng)測(cè)試的中心任務(wù)是編寫(xiě)測(cè)試腳本。如果說(shuō)軟件工程中軟件編程必須有設(shè)計(jì)規(guī)格說(shuō)明書(shū)，那么測(cè)試腳本的設(shè)計(jì)規(guī)格說(shuō)明書(shū)就是測(cè)試用例。 期貨交易所系統(tǒng)招標(biāo)項(xiàng)目投標(biāo)書(shū) 股份有限公司 13 （ 4） 評(píng)估測(cè)試結(jié)果的度量基準(zhǔn) 完成測(cè)試實(shí)施后需要對(duì)測(cè)試結(jié)果進(jìn)行評(píng)估，并且編制測(cè)試報(bào)告。判斷軟件測(cè)試是否完成、衡量測(cè)試質(zhì)量需要一些量化的 指標(biāo) 。例：測(cè)試覆蓋率是多少、測(cè)試合格率是多少、重要測(cè)試合格率是多少，等等。以前統(tǒng)計(jì)基準(zhǔn)是軟件模塊或功能點(diǎn)，顯得過(guò)于粗糙。采用測(cè)試用例作度量基準(zhǔn)更加準(zhǔn)確、有效。 （ 5） 分析缺陷的標(biāo)準(zhǔn) 通 過(guò)收集缺陷，對(duì)比測(cè)試用例和缺陷數(shù)據(jù)庫(kù)，分析確 認(rèn) 是漏測(cè)還是缺陷復(fù)現(xiàn)。漏測(cè)反映了測(cè)試用例的不完善，應(yīng)立即補(bǔ)充相應(yīng)測(cè)試用例，最終達(dá)到逐步 保障 軟件質(zhì)量。而已有相應(yīng)測(cè)試用例，則反映測(cè)試實(shí)施或變更處理 過(guò)程中 存在問(wèn)題。 （ 6） 測(cè)試用例的評(píng)審 測(cè)試用例是軟件測(cè)試的準(zhǔn)則，但它并不是一經(jīng)編制完成就成為準(zhǔn)則。測(cè)試用例在設(shè)計(jì)編制過(guò)程中要組織同級(jí)互查。完成編制后應(yīng)組織專家評(píng)審，需獲得通過(guò)才可以使用。評(píng)審委員會(huì)可由項(xiàng)目負(fù)責(zé)人、測(cè)試、編程、分析設(shè)計(jì)等有關(guān)人員組成，也可邀請(qǐng)客戶代表參加。 （ 7） 測(cè)試用例的修改更新 測(cè)試用例在形成文檔后也還需要不斷完善 。主要來(lái)自三方面的緣故：第一、在測(cè)試過(guò)程中發(fā)現(xiàn)設(shè)計(jì)測(cè)試用例時(shí)考慮不周，需要完善；第二、在軟件交付使用后反饋的軟件缺陷，而缺陷又是因測(cè)試用例存在漏洞造成；第三、軟件自身的新增功能以及軟件版本的更新，測(cè)試用例也必須配套修改更新。 一般小的修改完善可在原測(cè)試用例文檔上修改，但文檔要有更改記錄。軟件的版本升級(jí)更新，測(cè)試用例版本一般也應(yīng)隨之編制升級(jí)更新。 測(cè)試用例管理 運(yùn)用測(cè)試用例還需配備測(cè)試用例管理軟件。它的主要功能有三個(gè)：第一、能將測(cè)試用例文檔的關(guān)鍵內(nèi)容，如編號(hào)、名稱等自動(dòng)導(dǎo)入管理數(shù)據(jù)庫(kù)，形成與測(cè)試期貨交易所系統(tǒng)招標(biāo)項(xiàng)目投標(biāo)書(shū) 股份有限公司 14 用例文檔完全對(duì) 應(yīng)的記錄；第二、可供測(cè)試實(shí)施時(shí)及時(shí)輸入測(cè)試情況；第三、最終實(shí)現(xiàn)自動(dòng)生成測(cè)試結(jié)果文檔，包含各測(cè)試度量值 、 測(cè)試覆蓋表和測(cè)試通過(guò)或不通過(guò)的測(cè)試用例清單列表。 有了管理軟件，測(cè)試人員無(wú)論是編寫(xiě)每日的測(cè)試工作日志、還是出軟件測(cè)試報(bào)告，都會(huì)變得輕而易舉。 建議使用 IBM Rational TestManager 管理測(cè)試用例。 測(cè)試工具應(yīng)用 工具應(yīng)用需求 （ 1） 功能測(cè)試需求：能夠進(jìn)行 windows 環(huán)境下的功能測(cè)試，包括： ? 能夠?qū)崿F(xiàn)自動(dòng)化的功能 /回歸測(cè)試； ? 能夠?qū)崿F(xiàn)大批量數(shù)據(jù)驅(qū)動(dòng)情況的自動(dòng)化功能測(cè)試； ? 測(cè)試腳本要易學(xué)易用，便于維護(hù) 。 （ 2） 壓 力測(cè)試需求：能夠進(jìn)行各種負(fù)載環(huán)境下的壓力測(cè)試，包括： ? 測(cè)試不同負(fù)載時(shí)的系統(tǒng)響應(yīng)時(shí)間； ? 測(cè)試不同負(fù)載時(shí)的系統(tǒng)吞吐量； ? 測(cè)試工具要具備提供大數(shù)據(jù)量交易事務(wù)的能力。 （ 3） 測(cè)試管理需求：能夠完成從測(cè)試計(jì)劃、測(cè)試設(shè)計(jì)、測(cè)試實(shí)施、測(cè)試執(zhí)行到測(cè)試結(jié)果分析、測(cè)試報(bào)告的自動(dòng)生成整個(gè)測(cè)試生命周期的管理，包括： ? 能夠完成基于目標(biāo)的測(cè)試用例的層次化的分類管理和組織管理，批量地執(zhí)行一組測(cè)試用例，從而可以有效地進(jìn)行自動(dòng)化的回歸測(cè)試； ? 能夠完成對(duì)自動(dòng)執(zhí)行測(cè)試用例和手工執(zhí)行的測(cè)試用例的管理； ? 能夠根據(jù)實(shí)際測(cè)試執(zhí)行的情況，自動(dòng)的生成各種測(cè) 試分析報(bào)告。 功能測(cè)試自動(dòng)化