【正文】 測試程序的加強。TPCC于1992年初產(chǎn)生，它能夠模仿一個復雜的訪問環(huán)境。TPCH模型特別的是支持了決策——與過去無關的訪問不能夠用來優(yōu)化將來的訪問，結果是執(zhí)行時間非常的長。TPCR模仿一個商業(yè)決策支持系統(tǒng)，在這個系統(tǒng)上用戶可以運行一組訪問查詢。在TPCR中，在查詢之前應當對其有所了解，DBMS系統(tǒng)可以優(yōu)化運行這些查詢。TPCW是一個基于網(wǎng)絡的事務處理基準程序。它能夠模擬一個面向商業(yè)的事務處理網(wǎng)絡服務器的活動。 所有的TPC基準程序都是描述每秒鐘事務運行的性能的。此外，它們對響應時間也有要求，所以只有當響應時間符合要求時才會測量吞吐性能。為了模仿現(xiàn)實世界，高的事務處理比率是和大的系統(tǒng)相聯(lián)系的，這對用戶和數(shù)據(jù)庫來說都是如此。最后，基準程序系統(tǒng)運行的消耗也要包括進來，這樣能夠達到對性能的更準確的比較。 嵌入式基準程序 嵌入式系統(tǒng)的基準程序相對于桌面電腦和服務器環(huán)境下的測試程序來說相當?shù)脑?。事實上，很多制造商在使用一個10多年前曾用在桌面電腦系統(tǒng)但因被批評而淘汰的程序。就像上面所說的，嵌入式應用的多種多樣和性能需求的多種多樣（硬實時、軟實時或是整體的性能開銷）使得無論對內(nèi)核還是一個完整的應用程序使用簡單的基準程序集是不切實際的。 對于那些能夠很好表現(xiàn)出內(nèi)核性能的嵌入式應用程序來說，最好的標準基準程序集是一個新的基準程序集：EDN嵌入式微處理器基準程序聯(lián)盟（EEMBC，讀作“embassy”）。EEMBC基準程序分為5類，自動/工業(yè)、消費者、網(wǎng)絡、辦公自動化和無線通訊。，一共包括34個基準程序。 盡管很多嵌入式應用對小內(nèi)核的性能很敏感，但是請記住往往整個應用程序（通常都是上千行）的性能更為關鍵。因此，對于大部分嵌入式系統(tǒng)來說，EMBCC基準程序僅能用來評估一部分的性能?；鶞食绦蝾愋突鶞食绦騻€數(shù)舉例自動/工業(yè)166種微測試程序（算法操作，指針，記憶性能，矩陣算法，查表法，字節(jié)操作），5個自動控制基準程序，5個濾波或FFT基準程序消費者55個多媒體基準程序（JPEG壓縮/解壓縮，濾波，RGB變換）網(wǎng)絡3最短路計算，IP路由選擇，封裝流操作辦公自動化4圖形和文本基準程序（Bezier曲線計算，抖動，圖像旋轉，文本處理）無線電訊6濾波和DSP基準程序（自動校正，F(xiàn)FT，解碼器，譯碼器） EEMBC基準程序，包括5類不同的應用的34個基準程序。性能評價報告書寫性能評價報告的指導原則是可重現(xiàn)性——列出另一個試驗人員若想得到同一試驗結果所需的所有資料。一份SPEC基準測試報告需要對機器、編譯標志作相當詳盡的說明，而且應當公布優(yōu)化結果和基準性能結果。舉例來說， Precision Workstation 410 的SPECCINT2000測試報告的一部分。除硬件、軟件、基本調(diào)試參數(shù)的設置外，一份SPEC還應當以表格和圖示的方式給出實際性能時間。一個TPC的基準測試報告更加復雜，因為它必須包括市場審計和費用信息。一個系統(tǒng)的軟件構造對它的基準測試報告的性能有著非常重要的影響。就比如說在服務器的基準測試軟件中，其操作系統(tǒng)的性能和支持尤其重要。出于這個原因，通常把這些基準測試軟件放在單用戶模式下運行，從而降低費用。另外，在TPC測試軟件中，通常通過升級操作系統(tǒng)來提高軟件自身的性能。同樣，編譯器技術在面向計算機的基準測試軟件的性能方面也有著舉足輕重的作用，尤其是當機器的源代碼允許修改或測試軟件對優(yōu)化很敏感的情況下，它的作用就顯得更為突出。綜上原因可以看出，精確的描述一個軟件系統(tǒng)和是否做過某種非標準的修改都同等重要。另一個增強基準測試程序性能的方法是增加了許多基準測試程序專用的標志。這些標志在其他許多程序中可能是非法的或降低程序的性能。為限制這種行為并提高SPEC評價結果的權威性，SPEC組織在優(yōu)化性能的基礎上增加了基準性能評價標準?；鶞市阅芟拗茝S商在一種編程語言（C或FORTRAN）中只能使用同一種編譯器和同一套標志。，我們將看到在同一機型上優(yōu)化性能可以使用哪些參數(shù)。硬件軟件型號Precision WorkStation410操作系統(tǒng)及其版本W(wǎng)indows CPU700MHz， PentiumIII編譯器及其版本IntelC/C++ Compiler 其它軟件如下所示CPU的個數(shù)1文件系統(tǒng)NTFS一級高速緩存16KBI+16KBD芯片上系統(tǒng)狀態(tài)默認二級高速緩存256KB(I+D)芯片上其它高速緩存無主存256MB ECC PC100SDRAM磁盤子系統(tǒng)SCSI其它硬件無SPEC CINT2000 調(diào)試參數(shù)/說明/變化總結：+FDO：PASS1=Qprof_gen PASS2=Qprof_use 調(diào)試參數(shù)：QxK –Qipo_wp +FDO 。 標志位： : Dalloca=_alloca/F10000000 Op : DNT_i386 : DSPEC_CPU2000_NTOS –DPERLDLL /MT : DSYS_HAS_CALLOC_PROTO –DSYS_HAS_MALLOC_PROTO 在Dell Precision WorkStation 410 上運行SPEC CINT2000 測試程序的機型、軟件和參數(shù)設置。上面這些是CINT2000的測試報告數(shù)據(jù)。除了標志優(yōu)化的問題外，還有一個重要的問題就是機器的源代碼是否允許修改或者能否手動生成匯編語言。下面有四種不同的方法解釋這個問題：1． 不允許對源代碼進行修改。SPEC基準測試軟件就屬于這一類，正如大多數(shù)標準PC基準測試軟件那樣。2． 允許對源代碼進行修改，但事實本質(zhì)上很難或幾乎不可能。如基于Oracle或Microsoft SQL服務器等數(shù)據(jù)庫的TPCC等基準測試程序。盡管這些第三方銷售商對他們重要的工業(yè)標準基準測試程序系統(tǒng)的性能非常感興趣，但是他們絕對不可能為某個特別的用戶提高性能而改變他們的銷售策略。TPCC也非常依賴于操作系統(tǒng)，這一點可以改變。3． 允許對源代碼進行修改。部分超級計算機基準測試軟件允許修改源代碼。比如說，NAS超級計算機基準測試軟件致力于輸入輸出，提供一個源碼的版本，但是銷售商可以重寫這些源碼，包括修改它的算法，只要修改后的版本有同樣的輸出。EEMBC也允許對它的基準測試軟件進行源碼級的改變。4． 允許手寫代碼。EEMBC基準測試軟件允許使用匯編語言代碼。盡管實際中除非小的循環(huán)可以被使用，而那些大的嵌入式應用程序幾乎不可能被使用，但是基準測試軟件核心的小規(guī)模性仍然使得這種方法非常吸引人?；鶞食绦虻脑O計者在決定是否允許修改源代碼時遇到的最大的問題就是，這種修改能否反映真實的性能并給用戶提供有用的信息，還是像性能預測家那樣簡單的降低了測試程序的準確性。性能的比較和總結比較計算機的性能幾乎從來就不是一件枯燥無味的事，特別是當計算機的設計者也被包括在內(nèi)時。指控和反駁在Internet上隨處可見。有人以戰(zhàn)術狡詐為由被指控，對方則因使用誤導的言辭而被起訴。由于這種性能比較常常關系到一個人事業(yè)的成敗，所以只能偶爾描述一下真實情況。但在更多的情況下，異議通常源于人們作了不同的假定或缺乏彼此間信息的溝通。我們可能會認為如果我們對測試用的程序、實驗環(huán)境以及“快”的含義有了統(tǒng)一的認識，那么誤解就會消除。不幸的是，事實并非如此。當我們對上述基本問題取得一致意見后，又會在怎樣根據(jù)一組程序的運行結果綜合評價計算機的性能才算公平的問題上產(chǎn)生分歧。例如，同一本雜志上的兩篇文章對如何綜合評價計算機的性能提出了相反的觀點。 計算機A計算機B計算機C程序P1（秒）11020程序P2（秒）100010020總 計（秒）100111040 兩個程序在三臺機器上的執(zhí)行時間。數(shù)據(jù)來源于Smith[1988]的圖1。如果按我們定義的“快”的含義，那么下列判定是成立的： 運行程序P1時，A的速度是B的10倍； 運行程序P2時，B的速度是A的10倍； 運行程序P1時，A的速度是C的20倍； 運行程序P2時，C的速度是A的50倍； 運行程序P1時，B的速度是C的2倍； 運行程序P2時，C的速度是B的5倍； 單個看來，以上每一個判斷都是有意義的。但綜合起來看，結果就有些自相矛盾――計算機A、B、C的相對性能好壞很難判斷?？偟膱?zhí)行時間：一致的綜合度量標準最簡單的綜合評價相對性能的方法就是使用兩個程序的總執(zhí)行時間。這樣就有：對程序P1和P2而言。對程序P1和P2而言，C的速度是A的25倍。對程序P1和P2而言。這一綜合評價方法相當于對執(zhí)行時間進行了跟蹤，這就是我們最終的性能評價。如果每臺機器的工作負載由相同執(zhí)行次數(shù)的程序P1和P2組成，那么上述綜合評價就是對機器相對性能的真實反映。對能夠跟蹤的總和的執(zhí)行時間取算術平均值，就得到算術平均值：其中Timei是第i個程序的執(zhí)行時間，總的工作負載由n個程序組成加權平均執(zhí)行時間現(xiàn)在的問題是工作負載的實際程序是怎樣組合的。程序P1和P2真的象上述算法中假定的那樣在整個工作負載中所占的比例相同嗎？如果它們所占的比例不同，那么可以嘗試用以下兩種算法近似估算機器的綜合性能。第一種方法是當兩個程序所占比例不同時，對每一個程序賦予一個權值Wi以指明這一程序在總工作量中所占的比例。例如，如果總工作量的80％是程序P1，其余20％是程序P2，（權值相加的和為1）。將各程序的權值與執(zhí)行時間的乘積再加總，就可以得到一副清晰的工作負載的性能。這種評價指標被稱為加權的算術平均值：其中Weighti是第i個程序在整個工作負載中的頻度，而Timei則是第i個程序的執(zhí)行時間。，其中每個程序的權值與該程序在總工作負載中的執(zhí)行時間成正比。程序權重ABCW(1)W(2)W(3)程序P1（秒）程序P2（秒）平均執(zhí)行時間：W（1）平均執(zhí)行時間：W（2）平均執(zhí)行時間：W（3） 在三種不同權重下的加權算術平均執(zhí)行時間。W（1）給出的兩個程序的權重相同，其加權算術平均值顯示在第三行，與不加權時結果相同。W（2）給出的權重與兩個程序在機器B上的執(zhí)行時間成反比，其加權算術平均值顯示在第四行。W（3）給出的權重與兩個程序在機器A上的執(zhí)行時間成反比， 其加權平均值顯示在第五行。第2種和第3種加權的凈效果是“正交化”在某臺機器上運行的程序的執(zhí)行時間，使每個程序在該機器上的總執(zhí)行時間相同。假定有幾個程序每一個程序在同一臺機器上的執(zhí)行時間是Ti，那么該機器的等時（equaltime）加權為：正交化執(zhí)行時間和幾何平均值的優(yōu)劣負載中各種程序所占比例不同時，第二種方法是將執(zhí)行時間對一臺參考機器正交化，然后取正交化執(zhí)行時間的平均值。這就是SPEC基準測試程序所用的方法，它以在SPARC station上的基準運行時間作為參考時間。這種評價方法很容易給人混亂的感覺，因為它意味著只要把這個數(shù)乘以在參考機器上的性能參數(shù)就可以預測出新機器的性能。平均正交化執(zhí)行時間既可以表示成算術平均值，也可以表示成幾何平均值。幾何平均值的定義為：其中ExecutionTimeRatioi是工作負載n個程序中的第i個程序對參考機器規(guī)格化后的執(zhí)行時間。兩組樣本的幾何平均值有一個很好的性質(zhì)：其意義為，不管是取平均的比率，或者是取比率的平均，其結果都一樣。與算術平均值不同的是正交化執(zhí)行時間的幾何平均值與參考機器無關。所以，求正交化時間的平均值時不應當用算術平均值，而應當用幾何平均值。與A正交與B正交與C正交ABCABCABC程序P1程序P2算術平均值幾何平均值總時間 。算術平均值因參考機器不同而異——在第二列中，B的執(zhí)行時間是A的5倍；而在第四列中，A的執(zhí)行時間是B的5倍。在第三列中，C是最慢的；而在第九列中，C是最快的。幾何平均值就不隨著參考機器的變化而變化——A和B的性能相同，（1/）。不幸的是，A的總執(zhí)行時間幾乎是B的10倍，而B的總執(zhí)行時間幾乎是C的3倍。有趣的是，同一組數(shù)的平均值之間總有下列關系成立：調(diào)和平均值=幾何平均值=算術平均值。 因為算術平均值的權重與特定程序在特定機器上的執(zhí)行時間成正比，所以權重不僅與該程序在整個工作負載中的執(zhí)行頻度有關，而且與運行程序的機器的特性以及程序輸入數(shù)據(jù)的多少有關。正交化執(zhí)行時間的幾何平均值與單個程序的運行時間以及正交化的參考機器無關。如果在比較性能中，出現(xiàn)了程序固定但輸入?yún)s不定的情況，競爭者可能會把自己機器上運行最快的程序的輸入量增到最大，以提高該程序在求算術平均值時的權重，從而得到對自己有利的結果。幾何平均值就比算術平均值不易誤導了。 正交化執(zhí)行時間的幾何平均值的一個最大缺陷是它違反了有關性能的基本規(guī)則——它不能反映預測的執(zhí)行時間。，機器A和B的性能相同，但這只在每運行一次P2就運行一百次P1的情況下才成立（）。在這種負載情況下，總的執(zhí)行時間會使人以為機器A和B比機器C快50％，而不是像幾何平均值顯示的那樣C比A和B還快！總的來說，當機器的數(shù)量在三臺或三臺以上時，沒有一種工作負載能夠符合正交化的執(zhí)行時間的幾何平均值所預測的性能。我們引入幾何平均值是為了避免對工作負載中的程序給予相同的權重，但這種解決方法能不能算得上是一種真正的改進呢？ 用一組基準測試軟件評價機器的綜合性能時，使用幾何平均值的另一個缺點是它使軟件和硬件設計者傾向于集中精力提高最易提高速度的軟件的性能，而不是提高速度最慢的軟件的性能。例如，從對幾何平均值的影響來看，設計者把一個程序的執(zhí)行時