【正文】 （PC計(jì)算機(jī)業(yè)務(wù)）到12%（高端產(chǎn)品業(yè)務(wù)）感到驚異，而且這筆費(fèi)用包括除制造和領(lǐng)域工程外的所有工程研發(fā)費(fèi)用。事實(shí)上經(jīng)驗(yàn)顯示，一個(gè)研發(fā)費(fèi)用僅占其收入的15%20％的計(jì)算機(jī)公司是不可能長期盈利的。換一個(gè)角度來看，如果把研發(fā)費(fèi)用也看作一項(xiàng)投資，這樣收入的4%到12%用于研發(fā)就意味著每花1美元的研發(fā)費(fèi)用必須帶來8到25美元的銷售額。 大型昂貴的機(jī)器通常開發(fā)費(fèi)用較高——一臺(tái)制造成本貴10倍的機(jī)器，研發(fā)費(fèi)用通常要貴數(shù)十倍，這是因?yàn)榇笮桶嘿F的機(jī)器通常銷量比較小，因此大型機(jī)器必須附加較大的額外費(fèi)用才能給公司帶來期望的投資回報(bào)。 成本和成本性能比的關(guān)系是一個(gè)復(fù)雜的問題，對(duì)計(jì)算機(jī)設(shè)計(jì)者而言并沒有統(tǒng)一的答案。傳統(tǒng)的超級(jí)計(jì)算機(jī)就屬于這種情況，但是這些只關(guān)系機(jī)器性能的公司在市場上只占一小部分。一些嵌入式市場，如手機(jī)里的微處理器就屬于這種情況。在這種情況下，由設(shè)計(jì)者平衡性能和成本孰輕孰重，做出決策。在過去十年中，由于計(jì)算機(jī)的體積不斷變小，最低成本設(shè)計(jì)和性能價(jià)格比最優(yōu)設(shè)計(jì)都變得更加重要。 評(píng)價(jià)和報(bào)告計(jì)算機(jī)的性能當(dāng)我們說一臺(tái)機(jī)器比另一臺(tái)機(jī)器快時(shí)，我們到底是指什么呢？對(duì)于計(jì)算機(jī)使用者來說，當(dāng)同一個(gè)程序在一臺(tái)機(jī)器上運(yùn)行比在其它機(jī)器上運(yùn)行用的時(shí)間短時(shí)，用戶就認(rèn)為這臺(tái)計(jì)算機(jī)比較快。計(jì)算機(jī)使用者關(guān)心的是如何減小響應(yīng)時(shí)間（也稱為執(zhí)行時(shí)間）— 一個(gè)事件從開始到結(jié)束所用的時(shí)間。在比較各設(shè)計(jì)方案時(shí)，我們經(jīng)常希望比較兩臺(tái)機(jī)器（設(shè)為“X”和“Y”）的性能。特別地，“X的速度是Y的n倍”是指：由于執(zhí)行時(shí)間與性能成反比，所以下述關(guān)系成立：“”。為了避免混淆增大和減小的含義，我們通常說“提高性能”或“縮短執(zhí)行時(shí)間”來代替增大性能和減少執(zhí)行時(shí)間。不幸的是在比較機(jī)器性能時(shí)并不總是用時(shí)間做標(biāo)準(zhǔn)。結(jié)果，幾個(gè)無害的術(shù)語脫離了原先明確定義的語境，被用來表達(dá)最初從未想要它們表達(dá)的含義。任何反對(duì)以時(shí)間做標(biāo)準(zhǔn)或反對(duì)用真實(shí)程序進(jìn)行測試的建議都會(huì)引起誤解甚至造成計(jì)算機(jī)設(shè)計(jì)的失誤。時(shí)間的最直接定義也稱為外部時(shí)鐘、響應(yīng)時(shí)間或共用時(shí)間，指的是完成一項(xiàng)任務(wù)所需的延遲，包括磁盤訪問時(shí)間、內(nèi)存訪問時(shí)間、輸入/輸出操作時(shí)間、操作系統(tǒng)開銷——總之所有的時(shí)間都包括在內(nèi)。這樣，我們就需要另一個(gè)術(shù)語將這種情況考慮在內(nèi)。（很明顯，用戶感受到的響應(yīng)時(shí)間是程序從開始執(zhí)行到結(jié)束的全過程時(shí)間，而不是CPU時(shí)間。這些區(qū)別可以從UNIX的時(shí)間命令的返回結(jié)果反映出來，下面是一個(gè)程序執(zhí)行返回的四個(gè)參數(shù)： 2:39 65%， ， 執(zhí)行程序消耗的總時(shí)間為2分39秒（即159秒），CPU時(shí)間占總執(zhí)行時(shí)間的比例為（+）/159，結(jié)果為65%。很多衡量標(biāo)準(zhǔn)忽略系統(tǒng)CPU時(shí)間，因?yàn)橄到y(tǒng)CPU時(shí)間很難準(zhǔn)確測量，此外，如果兩臺(tái)機(jī)器的操作系統(tǒng)代碼不同，包括系統(tǒng)CPU時(shí)間在內(nèi)的比較將是不公平的。所以在有些情況下使用用戶CPU時(shí)間與系統(tǒng)CPU時(shí)間之和（即總的CPU時(shí)間）較為合適。系統(tǒng)性能指的是程序在無負(fù)載系統(tǒng)中的共用時(shí)間，而CPU性能指的是程序在無負(fù)載系統(tǒng)中的用戶CPU時(shí)間。選擇程序評(píng)價(jià)機(jī)器性能Dhrystone不用浮點(diǎn)。如果這個(gè)程序在某臺(tái)機(jī)器上運(yùn)行較好，可以預(yù)測其它典型的 Fortran程序在同一臺(tái)機(jī)器上也會(huì)運(yùn)行得較好。―― Benchmark上的評(píng)論（1976）一個(gè)整天運(yùn)行同一個(gè)程序的用戶大概就是最適合替一臺(tái)新機(jī)器評(píng)分的人選了。不幸的是這種情形是很少見的。下面列出了五種評(píng)價(jià)程序，它們預(yù)測的準(zhǔn)確程度依次遞減：1. 真實(shí)的程序――盡管購買機(jī)器的人并不知道他將花多少時(shí)間運(yùn)行這些程序，但他可以確信有一些用戶用這些程序完成真實(shí)的工作。真實(shí)的程序有輸入、輸出和運(yùn)行時(shí)用戶可以控制的選項(xiàng)。增強(qiáng)可移植性通常意味著修改源程序和消除一些重要的東西，如交互式圖形，這將使得整個(gè)系統(tǒng)更加獨(dú)立。一般修改程序都是為了兩個(gè)主要的原因：要么是增強(qiáng)可移植性，要么就是為了滿足某種特殊的系統(tǒng)性能。用腳本語言來模擬應(yīng)用程序從而重新產(chǎn)生交互式動(dòng)作，這種方法通常用在桌面型電腦系統(tǒng)，或者是在服務(wù)器系統(tǒng)中來模擬復(fù)雜的交互式界面。Livermore Loops和Linpack是最著名的例子。核心程序最大的用途就是將機(jī)器中各項(xiàng)特性的性能分離出來，以解釋運(yùn)行真實(shí)程序時(shí)性能有差異的原因。象Erastosthenes的Sieve、Puzzle、快速排序之類的程序之所以得到如此廣泛的應(yīng)用就是因?yàn)樗鼈兌己苄　⑷菀纵敵鼋Y(jié)果而且?guī)缀跄茉谒械挠?jì)算機(jī)上運(yùn)行。5. 合成基準(zhǔn)程序——與核心測試程序的想法相似，合成基準(zhǔn)程序取大量程序的指令和操作數(shù)出現(xiàn)頻率的平均值。不會(huì)有用戶運(yùn)行合成基準(zhǔn)測試程序，因?yàn)樗鼈儾粫?huì)產(chǎn)生任何用戶需要的結(jié)果。因?yàn)闄C(jī)器的性價(jià)比直接關(guān)系到計(jì)算機(jī)企業(yè)的興衰，所以各企業(yè)都不遺余力地提高廣泛使用的測試軟件在其機(jī)器上運(yùn)行的性能?？墒?，針對(duì)每個(gè)真實(shí)程序增加優(yōu)化措施雖然并不是不可能的，卻是不太現(xiàn)實(shí)的?；鶞?zhǔn)測試程序套件最近，把一些基準(zhǔn)測試軟件集中在一起來評(píng)測處理器處理各種應(yīng)用的性能的做法十分流行。不過，成套的基準(zhǔn)測試軟件一個(gè)很重要的優(yōu)點(diǎn)就是單獨(dú)某一種基準(zhǔn)測試軟件的弱點(diǎn)會(huì)被另一種基準(zhǔn)測試軟件掩蓋。因?yàn)檫@樣一來，專門針對(duì)某一個(gè)基準(zhǔn)測試軟件所作的優(yōu)化效果就不明顯了。SPEC（標(biāo)準(zhǔn)性能評(píng)估公司）是最成功的研發(fā)標(biāo)準(zhǔn)成套測試軟件的公司之一，它是在80年代末期為了用于評(píng)估工作站而產(chǎn)生的。盡管在接下來的許多章節(jié)我們都將著重討論SPEC測試軟件，但目前已經(jīng)有很多公司正在努力研究開發(fā)一些用來評(píng)估在Windows操作系統(tǒng)的PC機(jī)的測試軟件，這些研究覆蓋來各種不同的應(yīng)用領(lǐng)域（）。這種腳本可以模擬使用者在不同應(yīng)用程序間的切換CC Winstone模擬多個(gè)應(yīng)用程序，主要針對(duì)內(nèi)容的創(chuàng)建，如Photoshop，Premiere，Navigator和各種音頻編輯程序Winbench 通過每個(gè)子系統(tǒng)上的核心程序來運(yùn)行各種腳本，從而測試CPU、視頻系統(tǒng)和磁盤的性能 一個(gè)PC測試軟件的實(shí)例。目前這些都是由一個(gè)叫Ziff Davis的發(fā)行人維護(hù)的，同時(shí)Ziff Davis還提供獨(dú)立的測試服務(wù)。桌面基準(zhǔn)程序 桌面基準(zhǔn)程序分為兩大類：CPU密集的基準(zhǔn)程序和圖形密集的基準(zhǔn)程序（大多數(shù)圖形密集的基準(zhǔn)程序包含CPU密集的行為）。（）SPEC CPU2000，包括11個(gè)整數(shù)基準(zhǔn)程序集（CINT2000）和14個(gè)浮點(diǎn)基準(zhǔn)程序集（CFP2000）。整數(shù)基準(zhǔn)程序從C編譯器的一部分到針對(duì)圖像應(yīng)用的VLSI布圖布線，范圍廣泛。SPEC CPU基準(zhǔn)程序?qū)ψ烂嫦到y(tǒng)和單處理器的服務(wù)器性能的測試都是很有用處的。 在下一小節(jié)里，我們將看到SPEC2000的報(bào)告是如何描述機(jī)器、編譯器和操作系統(tǒng)的配置的。 盡管SPEC CPU 2000是針對(duì)CPU性能的，但是SPEC同時(shí)也開發(fā)了兩類不同的圖形基準(zhǔn)程序：SPECviewperf （）用于測試支持OpenGL圖形庫的系統(tǒng)，而SPECapc則包括一些大量使用圖形的應(yīng)用程序。SPECapc包括幾個(gè)可運(yùn)行的大規(guī)模應(yīng)用程序，包括：1． Pro/Engineer —— 一個(gè)擴(kuò)展3D透視圖的可靠的模型應(yīng)用程序。最大輸入可以在模型的流水線里包括276000個(gè)三角形。所有的輸入都是飛機(jī)設(shè)計(jì)中的組成部分。11個(gè)整數(shù)程序（除1個(gè)用C++實(shí)現(xiàn)，其余都用C實(shí)現(xiàn)）在CINT2000中。關(guān)于這些基準(zhǔn)程序。最簡單的基準(zhǔn)程序也許是全部面向CPU的基準(zhǔn)程序了。這種測試方法叫做SPEC比率法。SPEC提供文件服務(wù)器基準(zhǔn)程序（SPECSFS）和網(wǎng)絡(luò)服務(wù)器基準(zhǔn)程序（SPECWeb）。SPECSFS是一個(gè)面向吞吐量的基準(zhǔn)程序，但是對(duì)時(shí)間響應(yīng)有嚴(yán)格要求（第7章將具體討論一些文件和I/O系統(tǒng)基準(zhǔn)程序）。 事務(wù)處理（TP）基準(zhǔn)程序測量一個(gè)系統(tǒng)處理事務(wù)的能力，它包括數(shù)據(jù)庫訪問和升級(jí)。更復(fù)雜的TP系統(tǒng)包括復(fù)雜的數(shù)據(jù)庫和決策機(jī)制。第一個(gè)TPC基準(zhǔn)程序，TPCA，于1985年出版并且經(jīng)過了4次不同測試程序的加強(qiáng)。TPCH模型特別的是支持了決策——與過去無關(guān)的訪問不能夠用來優(yōu)化將來的訪問，結(jié)果是執(zhí)行時(shí)間非常的長。在TPCR中，在查詢之前應(yīng)當(dāng)對(duì)其有所了解，DBMS系統(tǒng)可以優(yōu)化運(yùn)行這些查詢。它能夠模擬一個(gè)面向商業(yè)的事務(wù)處理網(wǎng)絡(luò)服務(wù)器的活動(dòng)。此外，它們對(duì)響應(yīng)時(shí)間也有要求，所以只有當(dāng)響應(yīng)時(shí)間符合要求時(shí)才會(huì)測量吞吐性能。最后，基準(zhǔn)程序系統(tǒng)運(yùn)行的消耗也要包括進(jìn)來，這樣能夠達(dá)到對(duì)性能的更準(zhǔn)確的比較。事實(shí)上，很多制造商在使用一個(gè)10多年前曾用在桌面電腦系統(tǒng)但因被批評(píng)而淘汰的程序。 對(duì)于那些能夠很好表現(xiàn)出內(nèi)核性能的嵌入式應(yīng)用程序來說，最好的標(biāo)準(zhǔn)基準(zhǔn)程序集是一個(gè)新的基準(zhǔn)程序集：EDN嵌入式微處理器基準(zhǔn)程序聯(lián)盟（EEMBC，讀作“embassy”）。一共包括34個(gè)基準(zhǔn)程序。因此，對(duì)于大部分嵌入式系統(tǒng)來說，EMBCC基準(zhǔn)程序僅能用來評(píng)估一部分的性能。性能評(píng)價(jià)報(bào)告書寫性能評(píng)價(jià)報(bào)告的指導(dǎo)原則是可重現(xiàn)性——列出另一個(gè)試驗(yàn)人員若想得到同一試驗(yàn)結(jié)果所需的所有資料。舉例來說， Precision Workstation 410 的SPECCINT2000測試報(bào)告的一部分。一個(gè)TPC的基準(zhǔn)測試報(bào)告更加復(fù)雜，因?yàn)樗仨毎ㄊ袌鰧徲?jì)和費(fèi)用信息。就比如說在服務(wù)器的基準(zhǔn)測試軟件中，其操作系統(tǒng)的性能和支持尤其重要。另外，在TPC測試軟件中，通常通過升級(jí)操作系統(tǒng)來提高軟件自身的性能。綜上原因可以看出，精確的描述一個(gè)軟件系統(tǒng)和是否做過某種非標(biāo)準(zhǔn)的修改都同等重要。這些標(biāo)志在其他許多程序中可能是非法的或降低程序的性能。基準(zhǔn)性能限制廠商在一種編程語言（C或FORTRAN）中只能使用同一種編譯器和同一套標(biāo)志。硬件軟件型號(hào)Precision WorkStation410操作系統(tǒng)及其版本W(wǎng)indows CPU700MHz， PentiumIII編譯器及其版本IntelC/C++ Compiler 其它軟件如下所示CPU的個(gè)數(shù)1文件系統(tǒng)NTFS一級(jí)高速緩存16KBI+16KBD芯片上系統(tǒng)狀態(tài)默認(rèn)二級(jí)高速緩存256KB(I+D)芯片上其它高速緩存無主存256MB ECC PC100SDRAM磁盤子系統(tǒng)SCSI其它硬件無SPEC CINT2000 調(diào)試參數(shù)/說明/變化總結(jié)：+FDO：PASS1=Qprof_gen PASS2=Qprof_use 調(diào)試參數(shù)：QxK –Qipo_wp +FDO 。上面這些是CINT2000的測試報(bào)告數(shù)據(jù)。下面有四種不同的方法解釋這個(gè)問題：1． 不允許對(duì)源代碼進(jìn)行修改。2． 允許對(duì)源代碼進(jìn)行修改，但事實(shí)本質(zhì)上很難或幾乎不可能。盡管這些第三方銷售商對(duì)他們重要的工業(yè)標(biāo)準(zhǔn)基準(zhǔn)測試程序系統(tǒng)的性能非常感興趣，但是他們絕對(duì)不可能為某個(gè)特別的用戶提高性能而改變他們的銷售策略。3． 允許對(duì)源代碼進(jìn)行修改。比如說，NAS超級(jí)計(jì)算機(jī)基準(zhǔn)測試軟件致力于輸入輸出，提供一個(gè)源碼的版本，但是銷售商可以重寫這些源碼，包括修改它的算法，只要修改后的版本有同樣的輸出。4． 允許手寫代碼。盡管實(shí)際中除非小的循環(huán)可以被使用，而那些大的嵌入式應(yīng)用程序幾乎不可能被使用，但是基準(zhǔn)測試軟件核心的小規(guī)模性仍然使得這種方法非常吸引人。性能的比較和總結(jié)比較計(jì)算機(jī)的性能幾乎從來就不是一件枯燥無味的事，特別是當(dāng)計(jì)算機(jī)的設(shè)計(jì)者也被包括在內(nèi)時(shí)。有人以戰(zhàn)術(shù)狡詐為由被指控，對(duì)方則因使用誤導(dǎo)的言辭而被起訴。但在更多的情況下，異議通常源于人們作了不同的假定或缺乏彼此間信息的溝通。不幸的是，事實(shí)并非如此。例如，同一本雜志上的兩篇文章對(duì)如何綜合評(píng)價(jià)計(jì)算機(jī)的性能提出了相反的觀點(diǎn)。數(shù)據(jù)來源于Smith[1988]的圖1。但綜合起來看，結(jié)果就有些自相矛盾――計(jì)算機(jī)A、B、C的相對(duì)性能好壞很難判斷。這樣就有：對(duì)程序P1和P2而言。對(duì)程序P1和P2而言。如果每臺(tái)機(jī)器的工作負(fù)載由相同執(zhí)行次數(shù)的程序P1和P2組成，那么上述綜合評(píng)價(jià)就是對(duì)機(jī)器相對(duì)性能的真實(shí)反映。程序P1和P2真的象上述算法中假定的那樣在整個(gè)工作負(fù)載中所占的比例相同嗎？如果它們所占的比例不同，那么可以嘗試用以下兩種算法近似估算機(jī)器的綜合性能。例如，如果總工作量的80％是程序P1，其余20％是程序P2，（權(quán)值相加的和為1）。這種評(píng)價(jià)指標(biāo)被稱為加權(quán)的算術(shù)平均值：其中Weighti是第i個(gè)程序在整個(gè)工作負(fù)載中的頻度，而Timei則是第i個(gè)程序的執(zhí)行時(shí)間。程序權(quán)重ABCW(1)W(2)W(3)程序P1（秒）程序P2（秒）平均執(zhí)行時(shí)間：W（1）平均執(zhí)行時(shí)間：W（2）平均執(zhí)行時(shí)間：W（3） 在三種不同權(quán)重下的加權(quán)算術(shù)平均執(zhí)行時(shí)間。W（2）給出的權(quán)重與兩個(gè)程序在機(jī)器B上的執(zhí)行時(shí)間成反比，其加權(quán)算術(shù)平均值顯示在第四行。第2種和第3種加權(quán)的凈效果是“正交化”在某臺(tái)機(jī)器上運(yùn)行的程序的執(zhí)行時(shí)間，使每個(gè)程序在該機(jī)器上的總執(zhí)行時(shí)間相同。這就是SPEC基準(zhǔn)測試程序所用的方法，它以在SPARC station上的基準(zhǔn)運(yùn)行時(shí)間作為參考時(shí)間。平均正交化執(zhí)行時(shí)間既可以表示成算術(shù)平均值，也可以表示成幾何平均值。兩組樣本的幾何平均值有一個(gè)很好的性質(zhì)：其意義為，不管是取平均的比率，或者是取比率的平均，其結(jié)果都一樣。所以，求正交化時(shí)間的平均值時(shí)不應(yīng)當(dāng)用算術(shù)平均值，而應(yīng)當(dāng)用幾何平均值。算術(shù)平均值因參考機(jī)器不同而異——在第二列中，B的執(zhí)行時(shí)間是A的5倍；而在第四列中，A的執(zhí)行時(shí)間是B的5倍。幾何平均值就不隨著參考機(jī)器的變化而變化——A和B的性能相同，（1/）。有趣的是，同一組數(shù)的平均值之間總有下列關(guān)系成立：調(diào)和平均值=幾何平均值=算術(shù)平均值。正交化執(zhí)行時(shí)間的幾何平均值與單個(gè)程序的運(yùn)行時(shí)間以及正交化的參考機(jī)器無關(guān)。幾何平均值就比算術(shù)平均值不易誤導(dǎo)了。機(jī)器A和B的性能相同，但這只在每運(yùn)行一次P2就運(yùn)行一百次P1的情況下才成立（）。我們引入幾何平均值是為了避免對(duì)工作負(fù)載中的程序給予相同的權(quán)重，但這種解決方法能不能算得上是一種真正的改進(jìn)呢？ 用一組基準(zhǔn)測試軟件評(píng)價(jià)機(jī)器的綜合性能時(shí)，使用幾何平均值的另一個(gè)缺點(diǎn)是它使軟件和硬件設(shè)計(jì)者傾向于集中精力提高最易提高速度的軟件的性能，而不是提高速度最慢的軟件