【正文】 例如，從對幾何平均值的影響來看，設計者把一個程序的執(zhí)行時間從2。在這種負載情況下，總的執(zhí)行時間會使人以為機器A和B比機器C快50％，而不是像幾何平均值顯示的那樣C比A和B還快！總的來說，當機器的數(shù)量在三臺或三臺以上時，沒有一種工作負載能夠符合正交化的執(zhí)行時間的幾何平均值所預測的性能。 正交化執(zhí)行時間的幾何平均值的一個最大缺陷是它違反了有關性能的基本規(guī)則——它不能反映預測的執(zhí)行時間。如果在比較性能中，出現(xiàn)了程序固定但輸入?yún)s不定的情況，競爭者可能會把自己機器上運行最快的程序的輸入量增到最大，以提高該程序在求算術平均值時的權重，從而得到對自己有利的結果。 因為算術平均值的權重與特定程序在特定機器上的執(zhí)行時間成正比，所以權重不僅與該程序在整個工作負載中的執(zhí)行頻度有關，而且與運行程序的機器的特性以及程序輸入數(shù)據(jù)的多少有關。不幸的是，A的總執(zhí)行時間幾乎是B的10倍，而B的總執(zhí)行時間幾乎是C的3倍。在第三列中，C是最慢的；而在第九列中，C是最快的。與A正交與B正交與C正交ABCABCABC程序P1程序P2算術平均值幾何平均值總時間 。與算術平均值不同的是正交化執(zhí)行時間的幾何平均值與參考機器無關。幾何平均值的定義為：其中ExecutionTimeRatioi是工作負載n個程序中的第i個程序對參考機器規(guī)格化后的執(zhí)行時間。這種評價方法很容易給人混亂的感覺，因為它意味著只要把這個數(shù)乘以在參考機器上的性能參數(shù)就可以預測出新機器的性能。假定有幾個程序每一個程序在同一臺機器上的執(zhí)行時間是Ti，那么該機器的等時（equaltime）加權為：正交化執(zhí)行時間和幾何平均值的優(yōu)劣負載中各種程序所占比例不同時，第二種方法是將執(zhí)行時間對一臺參考機器正交化，然后取正交化執(zhí)行時間的平均值。W（3）給出的權重與兩個程序在機器A上的執(zhí)行時間成反比， 其加權平均值顯示在第五行。W（1）給出的兩個程序的權重相同，其加權算術平均值顯示在第三行，與不加權時結果相同。其中每個程序的權值與該程序在總工作負載中的執(zhí)行時間成正比。將各程序的權值與執(zhí)行時間的乘積再加總，就可以得到一副清晰的工作負載的性能。第一種方法是當兩個程序所占比例不同時，對每一個程序賦予一個權值Wi以指明這一程序在總工作量中所占的比例。對能夠跟蹤的總和的執(zhí)行時間取算術平均值，就得到算術平均值：其中Timei是第i個程序的執(zhí)行時間，總的工作負載由n個程序組成加權平均執(zhí)行時間現(xiàn)在的問題是工作負載的實際程序是怎樣組合的。這一綜合評價方法相當于對執(zhí)行時間進行了跟蹤，這就是我們最終的性能評價。對程序P1和P2而言，C的速度是A的25倍?？偟膱?zhí)行時間：一致的綜合度量標準最簡單的綜合評價相對性能的方法就是使用兩個程序的總執(zhí)行時間。如果按我們定義的“快”的含義，那么下列判定是成立的： 運行程序P1時，A的速度是B的10倍； 運行程序P2時，B的速度是A的10倍； 運行程序P1時，A的速度是C的20倍； 運行程序P2時，C的速度是A的50倍； 運行程序P1時，B的速度是C的2倍； 運行程序P2時，C的速度是B的5倍； 單個看來，以上每一個判斷都是有意義的。 計算機A計算機B計算機C程序P1（秒）11020程序P2（秒）100010020總 計（秒）100111040 兩個程序在三臺機器上的執(zhí)行時間。當我們對上述基本問題取得一致意見后，又會在怎樣根據(jù)一組程序的運行結果綜合評價計算機的性能才算公平的問題上產生分歧。我們可能會認為如果我們對測試用的程序、實驗環(huán)境以及“快”的含義有了統(tǒng)一的認識，那么誤解就會消除。由于這種性能比較常常關系到一個人事業(yè)的成敗，所以只能偶爾描述一下真實情況。指控和反駁在Internet上隨處可見?；鶞食绦虻脑O計者在決定是否允許修改源代碼時遇到的最大的問題就是，這種修改能否反映真實的性能并給用戶提供有用的信息，還是像性能預測家那樣簡單的降低了測試程序的準確性。EEMBC基準測試軟件允許使用匯編語言代碼。EEMBC也允許對它的基準測試軟件進行源碼級的改變。部分超級計算機基準測試軟件允許修改源代碼。TPCC也非常依賴于操作系統(tǒng)，這一點可以改變。如基于Oracle或Microsoft SQL服務器等數(shù)據(jù)庫的TPCC等基準測試程序。SPEC基準測試軟件就屬于這一類，正如大多數(shù)標準PC基準測試軟件那樣。除了標志優(yōu)化的問題外，還有一個重要的問題就是機器的源代碼是否允許修改或者能否手動生成匯編語言。 標志位： : Dalloca=_alloca/F10000000 Op : DNT_i386 : DSPEC_CPU2000_NTOS –DPERLDLL /MT : DSYS_HAS_CALLOC_PROTO –DSYS_HAS_MALLOC_PROTO 在Dell Precision WorkStation 410 上運行SPEC CINT2000 測試程序的機型、軟件和參數(shù)設置。我們將看到在同一機型上優(yōu)化性能可以使用哪些參數(shù)。為限制這種行為并提高SPEC評價結果的權威性，SPEC組織在優(yōu)化性能的基礎上增加了基準性能評價標準。另一個增強基準測試程序性能的方法是增加了許多基準測試程序專用的標志。同樣，編譯器技術在面向計算機的基準測試軟件的性能方面也有著舉足輕重的作用，尤其是當機器的源代碼允許修改或測試軟件對優(yōu)化很敏感的情況下，它的作用就顯得更為突出。出于這個原因，通常把這些基準測試軟件放在單用戶模式下運行，從而降低費用。一個系統(tǒng)的軟件構造對它的基準測試報告的性能有著非常重要的影響。除硬件、軟件、基本調試參數(shù)的設置外，一份SPEC還應當以表格和圖示的方式給出實際性能時間。一份SPEC基準測試報告需要對機器、編譯標志作相當詳盡的說明，而且應當公布優(yōu)化結果和基準性能結果?；鶞食绦蝾愋突鶞食绦騻€數(shù)舉例自動/工業(yè)166種微測試程序（算法操作，指針，記憶性能，矩陣算法，查表法，字節(jié)操作），5個自動控制基準程序，5個濾波或FFT基準程序消費者55個多媒體基準程序（JPEG壓縮/解壓縮，濾波，RGB變換）網(wǎng)絡3最短路計算，IP路由選擇，封裝流操作辦公自動化4圖形和文本基準程序（Bezier曲線計算，抖動，圖像旋轉，文本處理）無線電訊6濾波和DSP基準程序（自動校正，F(xiàn)FT，解碼器，譯碼器） EEMBC基準程序，包括5類不同的應用的34個基準程序。 盡管很多嵌入式應用對小內核的性能很敏感，但是請記住往往整個應用程序（通常都是上千行）的性能更為關鍵。EEMBC基準程序分為5類，自動/工業(yè)、消費者、網(wǎng)絡、辦公自動化和無線通訊。就像上面所說的，嵌入式應用的多種多樣和性能需求的多種多樣（硬實時、軟實時或是整體的性能開銷）使得無論對內核還是一個完整的應用程序使用簡單的基準程序集是不切實際的。 嵌入式基準程序 嵌入式系統(tǒng)的基準程序相對于桌面電腦和服務器環(huán)境下的測試程序來說相當?shù)脑肌榱四７卢F(xiàn)實世界，高的事務處理比率是和大的系統(tǒng)相聯(lián)系的，這對用戶和數(shù)據(jù)庫來說都是如此。 所有的TPC基準程序都是描述每秒鐘事務運行的性能的。TPCW是一個基于網(wǎng)絡的事務處理基準程序。TPCR模仿一個商業(yè)決策支持系統(tǒng)，在這個系統(tǒng)上用戶可以運行一組訪問查詢。TPCC于1992年初產生，它能夠模仿一個復雜的訪問環(huán)境。在80年代中期，一些相關的工程師組成了獨立于提供商的事務處理委員會（TPC）來創(chuàng)造一組事務處理中理想和公正的基準程序。航線預定系統(tǒng)以及銀行的ATM機是典型而且簡單的TP系統(tǒng)。SPECWeb是一個網(wǎng)絡服務器基準程序，它能夠模仿多客戶端對動態(tài)和靜態(tài)網(wǎng)頁的請求以及客戶端向服務器傳輸?shù)臄?shù)據(jù)。SPECSFS（參見：）是一個通過使用文件服務器請求來測量NFS（網(wǎng)絡文件系統(tǒng)）性能的基準程序，它能夠測量I/O系統(tǒng)（包括磁盤和網(wǎng)絡I/O）性能和CPU的性能。 除了SPEC比率法，大部分服務器應用程序和基準程序因為有磁盤和網(wǎng)絡訪問而導致顯著的I/O活動，這些基準程序針對文件服務器系統(tǒng)、網(wǎng)絡服務器、和數(shù)據(jù)庫系統(tǒng)以及事務處理系統(tǒng)。SPEC CPU 2000使用SPEC CPU基準程序構建了一個簡單的基準程序，這個程序能夠運行多份SPEC CPU測試程序并將CPU時間轉換成處理器的處理比率。服務器基準程序 正是因為服務器有多種功能，所以存在很多種基準程序。14個浮點程序（6個用Fortran77實現(xiàn)，5個用C實現(xiàn)，3個用Fortran90實現(xiàn)）在CFP2000中。基準測試程序類型源代碼所用編程語言說明gzipintegerCLempelZiv壓縮算法vprintegerCFPGA電路的布局和布線gccintegerC包含了一個可以生成優(yōu)化機器代碼的GNU C編譯器mcfintegerC公共傳輸時序的組合優(yōu)化craftyintegerC象棋對攻程序parserintegerC英語語法分析器eonintegerC++使用蓋然論光線跟蹤的圖形顯示perlmbkintegerC有4個輸入腳本Perl（一種字符串處理解釋語言）gapintegerC一組原理程序包vortexintegerC面向對象的數(shù)據(jù)庫系統(tǒng)bzip2integerC塊排序壓縮算法twolfintegerCTimberwolf：VLSI布局布線中用到的一種模擬退火算法wupwiseFPF77量子色動力學格子度量模型swimFPF77利用不同的有限方程解決水影方程mgridFPF77三維范圍內的多網(wǎng)格處理器applyFPF77部分拋物、橢圓方程解算器mesaFPC三維圖形庫galgelFPF90計算流體動力學artFPC通過神經網(wǎng)絡的熱成像圖像識別equakeFPC地震波傳播模擬facerecFPC通過小波圖像匹配來識別人臉ammpFPC在水中的蛋白分子動態(tài)模擬lucasFPF90完成對Mersenne素數(shù)的原始測試fma3dFPF90有限元素模型的碰撞模擬sixtrackFPF77高能量物理加速設計模擬apsiFPF77污染分布的氣象模擬 SPEC CPU2000基準程序中的程序。3． Unigraphics V15 —— 基于飛機模型和單一圖畫光譜功能，包括裝配，數(shù)字控制機，固體模型和優(yōu)化。輸入腳本是一個包括370000個三角形的影印機模型；2． SolidWorks2001 —— 一個運行從I/O密集型到CPU密集型等5個測試程序的3D CAD/CAM設計工具。SPECviewperf用于測量在OpenGL下使用3D模型和一些列OpenGL調用時系統(tǒng)中3D透視圖的性能。我們將描述一些出現(xiàn)在SPEC基準程發(fā)展中的缺陷和維持一個有用的和有前兆的測試程序所面臨的挑戰(zhàn)。在本書中，我們將看到很多數(shù)據(jù)都是基于這些程序的。浮點基準程序包括量子色動力學，有限元模型和流體力學。SPEC基準程序是真正的程序，經過精簡并且最小化程序的I/O，使其在總性能中不占主要作用。SPEC最初針對CPU性能做出了一個基準程序（最開始叫SPEC89），現(xiàn)在已經發(fā)展到第四版：SPEC2000，中間版本有SPEC95，SPEC92。如果要想更加詳細的了解這些測試軟件的有關內容，可以參考：。前兩欄是用真實的軟件寫的腳本程序，最后一欄是小型基準程序和合成基準程序共同組成。測試軟件名稱測試軟件說明商用Winstone運行一個包含Netscape Navigator和幾種成套office（Microsoft、Corel，WordPerfect）產品軟件的腳本。隨著計算機工業(yè)的長足發(fā)展，對用于不同目的成套測試軟件的需求也是在不斷增加，目前SPEC和基于它開發(fā)出來的成套測試軟件基本覆蓋了不同的應用領域，甚至其它基于SPEC的測試套件。在本節(jié)接下來的內容中，我們將討論各種性能評價方法的優(yōu)點和缺點。如果用運行成套的基準測試軟件的時間作為機器性能的衡量標準，這一優(yōu)點就更加明顯了。當然，這種成套的基準測試軟件的功能與單個基準測試軟件差不多。稍后我們將會看到，這種情況帶來的結果之一就是一些測試程序提供者為編譯器提出了若干必須遵守的規(guī)則。這種壓力可能會扭曲軟件和硬件工程技術人員的努力，為機器增加了各種旨在提高基準合成測試程序、核心測試程序、以至個別真實程序性能的優(yōu)化措施。合成基準測試程序的結果與真實情況的差距更遠，因為核心程序是從真實程序中抽取出來的，而合成基準測試程序是為了模擬其它程序的平均執(zhí)行情況人工拼湊出來的，它甚至不如核心程序，因為至少后者是真實程序的片段。Whetstone和Dhrystone是最著名的合成基準測試程序。這些程序最適宜的應用場合就是作為初學編程時的課外練習。4. 小型基準程序——它們通常只有10到100行代碼，運行結果用戶在測試前已經知道。與真實程序不同的是，用戶絕不會真的運行核心程序，運行它們只是為了評測機器的性能。3. 核心程序――人們曾嘗試從真實的程序中提取出一些小而關鍵的程序片段來評價程序的性能。舉個例子，為了實現(xiàn)一個面向CPU的基準程序，需要通過改變I/O來使它對執(zhí)行時間的影響最小。2. 修改的（或腳本）程序——在很多情況下，真實的程序通過修改或是使用腳本用來構造基準程序的模塊。在使用真實的程序時存在這樣一個重要的問題，即經常碰到一些由于依靠操作系統(tǒng)或是編譯器而引起的可移植性問題