【文章內(nèi)容簡介】 每個(gè)階段的問題發(fā)現(xiàn)率由此可見，問題發(fā)現(xiàn)越早，解決問題的代價(jià)就越小，這是軟件開發(fā)過程中的黃金法則。不可能進(jìn)行完全的測試：對一個(gè)程序進(jìn)行完全測試的概念就是整個(gè)測試結(jié)束后不會再發(fā)現(xiàn)其他錯(cuò)誤了。其實(shí)，這是不可能的，因?yàn)榭赡茌斎腠?xiàng)是無窮盡的，不能保證程序?qū)ζ渌械捻憫?yīng)；不可能保證遍歷到程序的每一條可能的執(zhí)行路徑；不可能找出所有的設(shè)計(jì)錯(cuò)誤；測試是項(xiàng)邏輯工作，但不能單靠邏輯來證明程序的正確性。增量測試，由小到大由小到大的增量測試，指的是對軟件測試的粒度的測試由小到打。不僅是傳統(tǒng)的軟件測試還是面向?qū)ο蟮能浖y試都要遵循增量測試這樣的原則。這是因?yàn)閺募蓽y試到系統(tǒng)測試階段，隨著測試的深入擴(kuò)大，測試時(shí)間和測試所用的資源也隨之?dāng)U大。避免測試自己的程序避免程序員測試自己的代碼的主要原因歸納如下：（1）程序員輕易不會承認(rèn)自己寫的程序有錯(cuò)誤。（2）程序員的測試思路有局限性，在做測試時(shí)很容易受到編程思路的影響。（3）多數(shù)程序員沒有嚴(yán)格正規(guī)的職業(yè)訓(xùn)練，缺乏專業(yè)測試人員的意識。（4）程序員沒有養(yǎng)成錯(cuò)誤跟蹤和回歸測試的習(xí)慣。設(shè)計(jì)周密的測試用例測試用例是軟件測試對測試內(nèi)容進(jìn)行測試的一個(gè)重要手段。測試用例基本包括如下幾個(gè)信息：（1）測試前的準(zhǔn)備條件。（2）合理的有計(jì)劃的輸入（3）合理的根據(jù)輸入所得到的預(yù)期輸出軟件測試中也存在著思維的誤區(qū)，比如很多人認(rèn)為調(diào)試和測試是一樣的，其實(shí)不然，調(diào)試是開發(fā)在開發(fā)程序時(shí)所用的一個(gè)手段，而測試是和開發(fā)并列的一個(gè)工作。還有軟件測試的重要性，很多人都認(rèn)為測試工作并不重要，這是非常錯(cuò)誤的想法。另外在測試過程中對Beta測試和自動(dòng)化測試過分依賴，在測試過程中朝著自動(dòng)化的方向發(fā)展是正確的，但是現(xiàn)在的實(shí)際情況并不能滿足這樣的要求，并且現(xiàn)今的自動(dòng)化測試工作和Beta測試工具也并不完善，過分依賴只能說是偷懶的行為。還有人認(rèn)為測試是有盡頭的，這也是個(gè)誤區(qū)，測試是無窮無盡的，根據(jù)規(guī)律，發(fā)現(xiàn)的問題越多說明潛在的問題也越多。測試是證明軟件的正確性是個(gè)觀念上的錯(cuò)誤，測試是保證軟件質(zhì)量的一個(gè)手段。同樣測試也需要設(shè)計(jì)，并不能忽略測試的設(shè)計(jì)工作。 對網(wǎng)絡(luò)協(xié)議測試特性的個(gè)人理解我是在一家通信公司的軟件部做的實(shí)習(xí)，具體的工作就是對通信設(shè)備上公司自主研發(fā)的軟件平臺進(jìn)行系統(tǒng)測試，負(fù)責(zé)的模塊是組播。組播是個(gè)很大的協(xié)議體系，獨(dú)立于路由、MPLS、二層協(xié)議而自成為一個(gè)測試小組。在公司導(dǎo)師的指導(dǎo)下，我接觸了組播內(nèi)大大小小的協(xié)議，如IGMP、MLDVMLDVPIM SM、PIM DM、組播VPN、IGMP SNOOPING等等，對網(wǎng)絡(luò)協(xié)議的測試也有了一定的了解。網(wǎng)絡(luò)協(xié)議測試和一般的軟件測試一樣，在軟件需求階段就已經(jīng)開始了，之后是測試設(shè)計(jì)，單元測試，代碼鑒定，以及之后的集成測試，系統(tǒng)測試等等。它的工作流程和工作規(guī)范都是非常嚴(yán)謹(jǐn)和科學(xué)的。在系統(tǒng)測試中，網(wǎng)絡(luò)協(xié)議測試的分類會有所不同，它分為配置測試、功能測試、性能測試、壓力測試、協(xié)議一致性測試、組合測試、互通測試等等。其中的配置測試是指對協(xié)議所涵蓋的命令在平臺軟件上能夠buildrun，即能夠配置上去。功能測試是指協(xié)議按照之前所設(shè)計(jì)的要求能夠使能，基本上是按照RFC來執(zhí)行、設(shè)計(jì)測試用例。RFC是網(wǎng)絡(luò)協(xié)議的憲章，幾乎所有的網(wǎng)絡(luò)協(xié)議的實(shí)現(xiàn)都是來自于它，在百度百科上，這樣寫著：Request For Comments (RFC)，是一系列以編號排定的文件。文件收集了有關(guān)因特網(wǎng)相關(guān)資訊，以及UNIX和因特網(wǎng)社群的軟件文件。目前RFC文件是由Internet Society（ISOC）所贊助發(fā)行。而由于很多RFC都是由思科制定，所以在網(wǎng)絡(luò)通信公司有個(gè)不成文的規(guī)定，即如果協(xié)議在設(shè)計(jì)上或者在測試功能上有出入，按照思科設(shè)備為基準(zhǔn)。當(dāng)然不同的公司在協(xié)議實(shí)現(xiàn)設(shè)計(jì)上會有所不同，就會有些公司特定的私有協(xié)議。為了能夠讓設(shè)備在市場上更有競爭力，通常設(shè)備會兼容其他公司的通信設(shè)備，此時(shí)就需要進(jìn)行互通測試。協(xié)議一致性測試是網(wǎng)絡(luò)協(xié)議獨(dú)有的測試，所謂的協(xié)議一致性測試就是指設(shè)備實(shí)現(xiàn)跟RFC所描述的要一致，這種測試極其考量測試人員的知識功底，他需要對RFC中該特性的描述非常熟悉，當(dāng)然在測試用例中也會詳細(xì)指出測試步驟。性能和壓力測試有時(shí)會結(jié)合在一起，比如在組播測試中，通常會要求測試該設(shè)備在最大數(shù)目的組播流下也能正常運(yùn)作，此時(shí)一般的測試步驟就是使用IXIA打入性能規(guī)格所要求的最大組播流數(shù)，同時(shí)對設(shè)備進(jìn)行組播組清除的操作。所謂組播組清除的操作就是使用VTP，敲入“reset multicast routingtable all”，該命令可以清除設(shè)備上平臺軟件和驅(qū)動(dòng)上所有的組播組表項(xiàng)，這樣就可以達(dá)到組播流暫時(shí)消失的情形，當(dāng)然持續(xù)的打流會讓設(shè)備重新建立組播組表項(xiàng)。這樣的測試需要很長的時(shí)間，一般使用測試腳本讓其自動(dòng)運(yùn)行一個(gè)晚上即可。測試腳本是用ATF的TCL語言，使用非常簡單。TCL語言非常類似于C，它唯一的不同就是所有的變量都是字符串形式。所以只要掌握簡單的命令字符，就可以寫出常用的測試腳本了。 本章小結(jié)本章節(jié)詳細(xì)闡述了PIM SNOOPING的由來，軟件測試的工作流程和工作規(guī)范，并通過此來引出網(wǎng)絡(luò)協(xié)議測試的不同。作者詳細(xì)講述了自己對網(wǎng)絡(luò)協(xié)議測試工作的理解和想法。61 浙江大學(xué)碩士學(xué)位論文 第3章 PIMSNOOPING的測試第3章 PIMSNOOPING的測試 PIMSNOOPING的測試PIMSNOOPING的測試也是根據(jù)上一章節(jié)的工作流程和規(guī)范進(jìn)行測試的。本人進(jìn)行的是驗(yàn)收測試工作。驗(yàn)收測試工作是一項(xiàng)極其需要時(shí)間緊迫性和發(fā)散性的測試工作。公司在測試工作中大致分為這么幾項(xiàng)，主線測試，作為平臺軟件的長期和定期的測試，用來對平臺軟件加載或者升級后的版本進(jìn)行模塊測試，至于是哪個(gè)模塊要視自己的工作領(lǐng)域分配。系統(tǒng)測試，協(xié)同開發(fā)人員進(jìn)行的測試，在驗(yàn)收測試之前，對開發(fā)后的新產(chǎn)品或者新特性進(jìn)行的測試，一般不在實(shí)際產(chǎn)品上進(jìn)行，適用于在虛擬軟件平臺上，對其進(jìn)行基礎(chǔ)的模塊測試，一般發(fā)現(xiàn)問題較多，且質(zhì)量也較高。一般沒有規(guī)定的測試用例，且沒有組網(wǎng)環(huán)境。按照測試人員對主線測試的經(jīng)驗(yàn)和對該模塊知識的了解進(jìn)行基礎(chǔ)測試。驗(yàn)收測試，指在系統(tǒng)測試過后，開發(fā)人員將產(chǎn)品交由測試部門，由相關(guān)測試經(jīng)理安排測試人員進(jìn)行對應(yīng)的測試，一般是在實(shí)際產(chǎn)品上，并且需要聯(lián)合其他模塊，搭建網(wǎng)絡(luò)環(huán)境，按照指定的測試用例進(jìn)行測試，并且在時(shí)間上會比較緊，比如PIM SNOOPING的驗(yàn)收測試就是只有3天，但期數(shù)比較多，這要視前期的驗(yàn)收測試的結(jié)果報(bào)告而定，如果未達(dá)到某一定標(biāo)準(zhǔn)，就要進(jìn)行下一輪的驗(yàn)收測試。 如果在測試過程中發(fā)現(xiàn)問題，就要提交問題單。按照模塊區(qū)分，屬于驗(yàn)收項(xiàng)目模塊的就是項(xiàng)目問題，非的就屬于周邊問題，比如在驗(yàn)收測試PIM SNOOPING的過程中發(fā)現(xiàn)產(chǎn)品上有關(guān)PIM SNOOPING新增命令的問題，就屬于項(xiàng)目問題，如果是發(fā)現(xiàn)IGMPSNOOPNG的問題，那就屬于周邊問題，對問題的判定一般由測試人員和開發(fā)人員共同定位。同時(shí)尋找特定的開發(fā)人員也是關(guān)鍵，因?yàn)樵跍y試過程中發(fā)現(xiàn)的問題一般都只是現(xiàn)象，無法判斷，所以在尋找特定的開發(fā)人員時(shí)，一般過程是如下：首先自己進(jìn)行初步定位，若無法定位，則上報(bào)測試經(jīng)理，由測試經(jīng)理一起定位，同時(shí)尋找該驗(yàn)收項(xiàng)目的開發(fā)負(fù)責(zé)人，與其商討，一般開發(fā)人員會比較容易識別這是否屬于項(xiàng)目問題，若不是項(xiàng)目問題，則會告訴測試人員屬于哪個(gè)模塊并尋找相關(guān)開發(fā)人員。若是，則開發(fā)人員會讓測試人員給出具體信息，或者按照其要求顯示具體信息，這個(gè)過程就是問題的定位。一般定位問題后，開發(fā)人員會告訴測試人員提交問題單，但特殊情況下，開發(fā)人員可能無法給出具體定位，此時(shí)測試人員仍然可以提交問題單，讓此問題單交由仲裁小組進(jìn)行評定。在定位問題過程中，測試人員一定要保護(hù)好問題環(huán)境，以確保該問題能得到定位，開發(fā)人員在定位問題過程中，一般會要求測試人員進(jìn)行問題復(fù)現(xiàn)。此時(shí)，測試人員要注意，一定要開發(fā)人員給出初步定位后，并且能確保該問題現(xiàn)象能夠復(fù)現(xiàn)的條件下進(jìn)行，否則，可以要求拒絕復(fù)現(xiàn)。理由是如果處理不當(dāng)，問題不能復(fù)現(xiàn)，則開發(fā)會要求該問題只是偶然現(xiàn)象，并非問題。問題單的評定細(xì)則可按照上一章節(jié)所描述的規(guī)范那樣。在公司中有致命、嚴(yán)重、一般、提示四個(gè)標(biāo)準(zhǔn)。測試過程中的難點(diǎn)一般在于測試中如何發(fā)現(xiàn)問題以及如何與開發(fā)人員溝通將問題進(jìn)行定位，成功提交問題單。可以說這兩點(diǎn)是測試工作的基本重心。 PIMSNOOPING驗(yàn)收測試的具體過程驗(yàn)收測試是在系統(tǒng)測試之后進(jìn)行的版本驗(yàn)證測試，本人接到驗(yàn)收測試的時(shí)候，系統(tǒng)測試已經(jīng)做完。驗(yàn)收測試是測試經(jīng)理下發(fā)，要求我配合北京方的測試經(jīng)理協(xié)助測試?？梢哉f，在杭州部，該項(xiàng)驗(yàn)收測試由我負(fù)責(zé)。拿到驗(yàn)收測試項(xiàng)目后，首先要了解有關(guān)PIMSNOOPING的學(xué)習(xí)資料，對其內(nèi)部原理能夠了熟于心，其內(nèi)部資料如第3章節(jié)所述，要了解它的配增命令，還有對設(shè)備的影響，以及還有測試拓?fù)鋱D。測試用例會在驗(yàn)收測試正式啟動(dòng)后拿到。 協(xié)調(diào)及熟悉測試設(shè)備和工具在對驗(yàn)收項(xiàng)目了解一周后，驗(yàn)收項(xiàng)目就會進(jìn)行。或者這么說，熟悉驗(yàn)收項(xiàng)目會在驗(yàn)收項(xiàng)目正式進(jìn)行一周前開始。之后就是開始協(xié)調(diào)設(shè)備。協(xié)調(diào)的設(shè)備一般都是公司本部的測試設(shè)備，如路由器，交換機(jī)。并且具體的測試項(xiàng)目會有具體的設(shè)備型號。低端路由器和交換機(jī)一般在測試拓?fù)鋱D中用來當(dāng)連接設(shè)備。在測試中，一定會有被測設(shè)備和測試工具。被測設(shè)備會被當(dāng)做這次測試的主力，所有的測試用例和測試結(jié)果都是圍繞它來進(jìn)行，當(dāng)然如果其他測試設(shè)備上出現(xiàn)現(xiàn)象也會根據(jù)是否是跟項(xiàng)目有關(guān)而被判定為項(xiàng)目問題或者項(xiàng)目周邊問題。PIMSNOOPING的項(xiàng)目驗(yàn)收測試需要用到三臺測試設(shè)備和一臺測試工具。當(dāng)時(shí)我們選用了中端交換機(jī)DUT作為被測設(shè)備，另外兩臺分別是高端的路由器SW1和低端的交換機(jī)SW2。測試工具是IXIA。這里簡單介紹下IXIA，IXIA是一款很經(jīng)典的測試工具，可以按照測試人員根據(jù)測試要求控制數(shù)據(jù)的流量大小、流量數(shù)量以及對流量的監(jiān)控觀察。在設(shè)備上可以根據(jù)槽口插入相應(yīng)的接口板，接口板上每個(gè)端口都有一個(gè)以太網(wǎng)端口和光口對應(yīng)，也就是說如果使用PC機(jī)使用IxNetwork軟件來控制IXIA設(shè)備，那么它既可以使用普通網(wǎng)線來連接設(shè)備，也可以使用光纖來連接設(shè)備，這兩種方式可以根據(jù)實(shí)際設(shè)備上的接口類型決定。IXIA設(shè)備會跟一臺服務(wù)器相連，而PC機(jī)是通過連接這臺服務(wù)器來控制IXIA的端口的。一般一個(gè)測試人員只要使用IXIA上的兩個(gè)端口就可以了，一個(gè)用來接收，一個(gè)用來發(fā)送。由于IXIA是公用設(shè)備，所以在登陸服務(wù)器時(shí)要注意盡量不要使用別人已經(jīng)在使用的設(shè)備端口。： IXIA機(jī)圖與其相應(yīng)的是IxNetwork軟件，它是Ixia 23 層測試工具，集成控制層面和轉(zhuǎn)發(fā)平面特性，提供功能、可擴(kuò)展性和性能測試，IxNetwork 支持路由、交換、接入、認(rèn)證、三重播放、電信級以太網(wǎng)和FCoE 等多種協(xié)議，提供“向?qū)А狈绞降目焖偃腴T與手工設(shè)置的細(xì)節(jié)設(shè)置相結(jié)合方式，并提供圖形化的結(jié)果統(tǒng)計(jì)和實(shí)時(shí)顯示。PC機(jī)上需要安裝IxNetwork軟件，在連接好網(wǎng)線后，打開這個(gè)軟件，就可以找到剛才選定的端口進(jìn)行流量測試。對于組播來說，流量測試是該模塊很重要的一個(gè)測試部分。在本論文中也提到組播的優(yōu)勢就是可以減少帶寬，達(dá)到有效的指定傳播數(shù)據(jù)，減少冗余。但是如果組播傳播時(shí)出現(xiàn)流量的波動(dòng)或者報(bào)文的丟失，那么說明該設(shè)備就出現(xiàn)問題了，此時(shí)一般會跟設(shè)備的軟件平臺和驅(qū)動(dòng)方面相關(guān)，此時(shí)要跟開發(fā)人員進(jìn)行討論確定，這個(gè)會在之后詳細(xì)展開。測試前的準(zhǔn)備工作大致就是如此，之后測試經(jīng)理會給你發(fā)放測試用例和拓?fù)鋱D。測試用例是跟測試拓?fù)鋱D相對應(yīng)的，所以我們在選擇測試設(shè)備的時(shí)候就要盡量根據(jù)測試拓?fù)鋱D來搭建測試環(huán)境。 如何搭建測試環(huán)境搭建測試環(huán)境的要訣：一定要盡量根據(jù)測試拓?fù)鋱D來搭建，最好是跟拓?fù)鋱D一致，以便于能更好的使用測試用例，達(dá)到最好的測試效果。一定要將網(wǎng)線的搭建和設(shè)備之間的物理位置恰到好處，因?yàn)橥負(fù)鋱D是邏輯上的，在物理上的話，最好要將測試設(shè)備放在一起，以便連接網(wǎng)線。連接網(wǎng)線的時(shí)候一定要確定網(wǎng)線已經(jīng)接好，這個(gè)的測試方式是端口的燈會亮（如果該端口初始狀態(tài)是UP），或者在VTP上將該端口UP后，該端口的燈會亮。搭建環(huán)境的時(shí)候要記錄網(wǎng)線連接的端口號，最好記錄在拓?fù)鋱D上，方便測試時(shí)的記錄。對于要測試的設(shè)備，其AUX或者COM端口號要連接在服務(wù)器上，PC機(jī)可以通過VTP軟件登陸服務(wù)器來控制這些設(shè)備。 如何配置環(huán)境配置環(huán)境要訣：按照測試用例對測試設(shè)備上端口進(jìn)行配置。此時(shí)拓?fù)鋱D需要從測試模板上重新記錄端口號，新的一張拓?fù)鋱D就是根據(jù)實(shí)際情況和測試拓?fù)鋱D結(jié)合構(gòu)成的實(shí)際網(wǎng)絡(luò)拓?fù)鋱D。在測試過程中，我們需要按照這張拓?fù)鋱D進(jìn)行測試，同時(shí)如果測試用例用到的拓?fù)鋱D更換了，那么測試設(shè)備上的拓?fù)渚W(wǎng)線和端口號也會跟著更換，那么新的實(shí)際拓?fù)鋱D也會更換。常常在上述這種情況下，我們都會將測試設(shè)備上的命令和環(huán)境配置全部清零。配置環(huán)境的很重要一條就是要將測試環(huán)境盡量的干凈化、簡潔化，這樣就可以達(dá)到更好的測試效果。配置好環(huán)境后就是按照測試用例測試。測試用例一般是先前測試人員的智慧結(jié)晶。測試用例一般跟都有相應(yīng)的模板。： 測試用例模板表測試目的遵循標(biāo)準(zhǔn)測試設(shè)計(jì)測試配置及連接關(guān)系測試步驟Step1.Step2……預(yù)期結(jié)果1.2.……“測試目的”中填寫的是該測試用例的名稱，基本上會涵蓋到該測試用例的測試目標(biāo)，比如測試目的是“配置測試”，那么該測試用例就是用來測試設(shè)備平臺軟件上是否可以正確使用配置命令配置環(huán)境?！白裱瓨?biāo)準(zhǔn)”一般就是該測試用例預(yù)期結(jié)果所遵循的基本原理，比如說，IGMPV2組成員離開時(shí)的，遵循IGMP組成員PC機(jī)發(fā)送leave報(bào)文上送給查詢器（也就是配置了使能IGMPv2的端口），查詢器會連續(xù)發(fā)送兩次最后查詢報(bào)文給該P(yáng)C機(jī)，如果沒有相應(yīng)的話，那么該P(yáng)C機(jī)的組成員表項(xiàng)就正式刪除了。基本上遵循的標(biāo)準(zhǔn)都是來自于RFC。“測試設(shè)計(jì)”指的是撰寫測試用例的人員按照遵循的標(biāo)準(zhǔn)結(jié)合實(shí)際想出的合理的測試方案初稿，它是測試步驟和測試配置的基礎(chǔ)?！皽y試配置及連接關(guān)系”中一般會給