【正文】 的基本特點(diǎn)是內(nèi)存占用多、磁盤(pán)IO大、進(jìn)程通信量大，因此，隱式解法要求系統(tǒng)的內(nèi)存容量大、訪存帶寬高、磁盤(pán)IO速度快、通信延遲低；相對(duì)而言，顯式解法對(duì)內(nèi)存、磁盤(pán)IO和通信延遲的要求要低一些。從軟件的擴(kuò)展性上來(lái)說(shuō)，隱式算法和顯式算法有明顯的區(qū)別。采用隱式算法的軟件，擴(kuò)展性相對(duì)較差，計(jì)算性能在816 CPU以上就很難獲得進(jìn)一步的提升。而采用顯式算法的軟件，擴(kuò)展性就要好得多，在64128 CPU以內(nèi)都能獲得較好的并行性能。下表給出了常用的CAE軟件，并列出這些軟件的特點(diǎn)，包括并行方式和可擴(kuò)展性。常用分析軟件CAE應(yīng)用軟件分類應(yīng)用軟件并行方式擴(kuò)展性靜態(tài)隱式有限元分析（IFEA Statics）ABAQUSpthreads低高ANSYSOpenMP,MPIpthreads,MPI動(dòng)態(tài)隱式有限元分析（IFEA Dynamics）ABAQUSpthreadsANSYSOpenMP,MPIpthreads,MPI顯式有限元分析（EFEA）LSDYNAOpenMP,MPIPAMCRASHOpenMP,MPIRADIOSSOpenMP,MPI計(jì)算流體動(dòng)力學(xué)（CFD）FLUENTMPISTARCCMPIPowerFLOWOpenMP,MPI 從上表中我們可以了解到CAE應(yīng)用軟件具有以下特點(diǎn)： （1）IFEA類應(yīng)用軟件（如ABAQUS、ANSYS和MSC Nastran）硬件平臺(tái)支持的可擴(kuò)展性不是很好。Nastran對(duì)內(nèi)存，I/O性能要求高； （2）IFEA類應(yīng)用軟件通常使用共享內(nèi)存方式（pthreads或OpenMP），進(jìn)行并行處理，其中ABAQUS不支持消息傳遞方式（MPI）的并行； （3）EFEA類應(yīng)用軟件（如RADIOSS、LSDYNA和PAMCRASH）和計(jì)算流體動(dòng)力學(xué)軟件（如FLUENT、STARCD和PowerFlow）的硬件平臺(tái)支持的擴(kuò)展性相對(duì)較好。RADIOSSS/LSDYNA對(duì)CPU，I/O性能要求高； （4）EFEA類應(yīng)用軟件和CFD軟件以采用消息傳遞并行方式（MPI）為主。高性能計(jì)算（HPC）服務(wù)器體系結(jié)構(gòu)分類及特點(diǎn) 目前市場(chǎng)上常用的高性能計(jì)算服務(wù)器大致可以分為以下3種體系結(jié)構(gòu)，即： 1．并行向量處理機(jī)（PVP） PVP系統(tǒng)含有為數(shù)不多、功能強(qiáng)大的定制向量處理器（VP），以及定制的高帶寬縱橫交叉開(kāi)關(guān)和高速數(shù)據(jù)訪問(wèn)。由于這類系統(tǒng)對(duì)程序編制的要求較高，價(jià)格很昂貴且難于管理，因此，這種類型計(jì)算機(jī)主要集中在一些大型國(guó)家關(guān)鍵部門(mén)，在這里不再贅述。 2．對(duì)稱多處理機(jī)（SMP） SMP系統(tǒng)采用商品化的處理器，這些處理器通過(guò)總線或交叉開(kāi)關(guān)連接到共享存儲(chǔ)器。今天市場(chǎng)上常見(jiàn)的機(jī)型有IBM p系列服務(wù)器、HPQ的SuperDome、Alpha的ES、GS系列及SGI公司的Altix系列。SMP系統(tǒng)通常具有以下特點(diǎn)： （1）系統(tǒng)內(nèi)的CPU共享并可以直接訪問(wèn)所有的內(nèi)存； （2）由一個(gè)操作系統(tǒng)管理整個(gè)系統(tǒng)； （3）支持共享內(nèi)存方式的并行模式，如OpenMP、pthreads等； （4）支持消息傳遞方式的并行模式，如MPI、PVM等 （5）系統(tǒng)的價(jià)格相對(duì)較高； （6）為提高系統(tǒng)的使用效率，需要有功能強(qiáng)大的資源管理軟件和作業(yè)調(diào)度軟件配合進(jìn)行系統(tǒng)管理。如LSF、PBS及IBM的WLM和Tivoli Workload Scheduler Loadleveler等。 3．工作站集群（COW，Cluster Of Workstation,簡(jiǎn)稱Cluster） Cluster結(jié)構(gòu)是近年來(lái)發(fā)展勢(shì)頭很好的一種體系結(jié)構(gòu)。這類機(jī)型的技術(shù)起點(diǎn)比較低，用戶甚至可以自己將一些服務(wù)器或微機(jī)通過(guò)以太網(wǎng)連接起來(lái)，配以相應(yīng)的 管理、通訊軟件來(lái)搭建Cluster。但是如果要構(gòu)造高性能、結(jié)構(gòu)合理并具有好的RAS特性的Cluster卻不是一件容易的事情。幾乎所有的國(guó)內(nèi)、外計(jì) 算機(jī)廠商都有自己的Cluster集群產(chǎn)品，如IBM的Cluster1350、聯(lián)想的深騰系列及曙光的天潮系列等。Cluster系統(tǒng)通常具有以下特 點(diǎn)： （1）系統(tǒng)由多個(gè)獨(dú)立的服務(wù)器（在Cluster概念下稱為節(jié)點(diǎn)）通過(guò)交換機(jī)連接在一起。每個(gè)節(jié)點(diǎn)擁有各自的內(nèi)存，某個(gè)節(jié)點(diǎn)的CPU不能直接訪問(wèn)另外一個(gè)節(jié)點(diǎn)的內(nèi)存； （2）每個(gè)節(jié)點(diǎn)擁有獨(dú)立的操作系統(tǒng)； （3）需要一系列的集群軟件來(lái)完成整個(gè)系統(tǒng)的管理與運(yùn)行，包括： Cluster系統(tǒng)管理軟件，如IBM的CSM、xCat等； 消息傳遞庫(kù)，如MPI、PVM等； 作業(yè)管理與調(diào)度系統(tǒng)，如LSF、PBS，IBM 的Tivoli Workload Scheduler Loadleveler等； 并行文件系統(tǒng)，如PVFS、IBM的GPFS等； （4）支持消息傳遞方式的并行模式，如MPI、PVM等； （5）只能在單個(gè)節(jié)點(diǎn)內(nèi)部支持共享內(nèi)存方式的并行模式，如OpenMP、pthreads等； （6）性能價(jià)格比好。 CAE硬件平臺(tái)的選擇 CAE在制造企業(yè)中承擔(dān)著關(guān)鍵的業(yè)務(wù)，所以其高性能平臺(tái)的選擇非常重要，這個(gè)平臺(tái)直接影響CAE的運(yùn)行性能表現(xiàn)、整體成本和系統(tǒng)維護(hù)等方面問(wèn)題。想讓CAE能實(shí)現(xiàn)“隨需應(yīng)變”，在高性能計(jì)算平臺(tái)的選擇上就需要進(jìn)行全面的考慮。 1．CAE軟件使用SMP系統(tǒng)存在的問(wèn)題 理論上講，SMP系統(tǒng)可以勝任CAE應(yīng)用程序的運(yùn)行，但是不可避免地存在一些問(wèn)題。首先是SMP系統(tǒng)價(jià)格相對(duì)較高。而且CAE的某些應(yīng)用軟件的擴(kuò)展性不好，如隱式有限元分析（IFEA）類軟件通常只能用到最多8個(gè)CPU。這個(gè)特點(diǎn)決定了配置超過(guò)8CPU的大SMP服務(wù)器沒(méi)有太大的必要，反而會(huì)造成投資的浪費(fèi)。 此外，SMP系統(tǒng)由一個(gè)操作系統(tǒng)管理，如果沒(méi)有強(qiáng)大的資源管理軟件和作業(yè)調(diào)度軟件配合，很容易造成CPU分時(shí)處理多個(gè)任務(wù)的現(xiàn)象，即在一個(gè)CPU上同時(shí)運(yùn) 行多個(gè)進(jìn)程，從而影響整個(gè)系統(tǒng)的使用效率，同時(shí)難于保證關(guān)鍵任務(wù)的按時(shí)完成。常用的作業(yè)調(diào)度軟件有PBSpro、LSF和OpenPBS，其中開(kāi)放源代碼 的OpenPBS很難勝任復(fù)雜的CAE應(yīng)用軟件的管理，尤其是對(duì)共享內(nèi)存方式并行模式（OpenMP，pthreads）的管理。而LSF和PBSpro 的價(jià)格比較高，同樣會(huì)增加用戶的投資。 2．CAE軟件使用Cluster系統(tǒng)存在的問(wèn)題 目前市場(chǎng)上的Cluster系統(tǒng)通常是用PC服務(wù)器作為節(jié)點(diǎn)構(gòu)建的，每個(gè)PC服務(wù)器內(nèi)部一般配置2個(gè)CPU。這種類型的Cluster系統(tǒng)在承擔(dān)CAE應(yīng) 用軟件運(yùn)行任務(wù)時(shí)也存在一些問(wèn)題，比如共享內(nèi)存方式的并行模式只能運(yùn)行在一個(gè)節(jié)點(diǎn)內(nèi)部，也就是說(shuō)，最多只能用2個(gè)CPU去處理 OpenMP/threads類型的CAE任務(wù)，很難滿足應(yīng)用的時(shí)效性要求。又因?yàn)閱蜟PU的處理能力限制，需要更多的CPU來(lái)完成一個(gè)計(jì)算任務(wù)，這樣就需要購(gòu)買(mǎi)較多CPU的軟件許可證，增加了用戶的投資。 3．SMPCluster混合架構(gòu)：CAE應(yīng)用平臺(tái)的最佳選擇 如上所述，不同CAE軟件對(duì)計(jì)算機(jī)系統(tǒng)的需求差異很大，例如NASTRAN應(yīng)用對(duì)內(nèi)存和I/O的要求很高；而CFD類的應(yīng)用對(duì)CPU速度及網(wǎng)絡(luò)連接有較高的要求。為此，該計(jì)算機(jī)系統(tǒng)必須是一個(gè)平衡的系統(tǒng)，在CPU速度、內(nèi)存容量與帶寬、存儲(chǔ)容量與帶寬及網(wǎng)絡(luò)連接等各個(gè)方面都不應(yīng)該存在性能瓶頸。當(dāng)設(shè)計(jì)CAE高性能計(jì)算整體解決方案時(shí)，要充分考慮用戶需求，比如資金預(yù)算、問(wèn)題類型、分析規(guī)模、用戶數(shù)量、軟件License個(gè)數(shù)等，以此來(lái)確定最終的硬件選型。根據(jù)客戶以上各方面需求的綜合分析，可采用以下三種方案：1）以隱式分析為主的解決方案常用的隱式有限元軟件有ABAQUS/Standard、ANSYS、。根據(jù)隱式有限元分析要求內(nèi)存容量大、磁盤(pán)IO快、通信延遲低的特點(diǎn)，推薦采用基于SMP架構(gòu)的IBM Power 產(chǎn)品，小規(guī)模的隱式分析也可采用x3850 X5或x3755。2) 以顯式分析為主的解決方案 常用的顯式有限元軟件有ABAQUS/Explicit、LSDYNA、PAMCRASH等。相比而言，顯式有限元軟件對(duì)系統(tǒng)硬件的要求略低一些，從性價(jià)比以及軟件的擴(kuò)展性出發(fā)，推薦采用由2路的IBM System X作為計(jì)算節(jié)點(diǎn)的集群系統(tǒng)。采用集群系統(tǒng)進(jìn)行顯式有限元分析具有以下優(yōu)點(diǎn)：1）采用集群系統(tǒng)，節(jié)點(diǎn)硬件配置可以略低一些，節(jié)省投資。 集群節(jié)點(diǎn)采用XXX系列處理器，系統(tǒng)內(nèi)存的配置推薦XGB/Core，配置硬盤(pán)。2）采用集群系統(tǒng)，可以為用戶提供更多的CPU資源。 在同等價(jià)格的情況下，集群系統(tǒng)可以為用戶提供更多的CPU資源。可以同時(shí)滿足多個(gè)用戶、多個(gè)計(jì)算任務(wù)的需求。同時(shí)集群的各個(gè)節(jié)點(diǎn)也可獨(dú)立進(jìn)行運(yùn)算。3）采用集群系統(tǒng)，各個(gè)節(jié)點(diǎn)可以協(xié)同工作。 集群系統(tǒng)的特點(diǎn)在于雖然各個(gè)節(jié)點(diǎn)的計(jì)算性能有限，但是多個(gè)節(jié)點(diǎn)可以通過(guò)高性能網(wǎng)絡(luò)進(jìn)行協(xié)同工作，共同完成大規(guī)模問(wèn)題的求解。目前主流的計(jì)算軟件也都支持集群并行計(jì)算。4）采用集群系統(tǒng)，進(jìn)行擴(kuò)展非常方便。 當(dāng)需求增加時(shí)，通過(guò)增加節(jié)點(diǎn)數(shù)量，可以立即提升系統(tǒng)的整體運(yùn)算能力，用戶以前的投資不會(huì)浪費(fèi)。 在集群系統(tǒng)中，網(wǎng)絡(luò)的性能直接影響整個(gè)系統(tǒng)的實(shí)際運(yùn)算能力。目前市場(chǎng)上主要有三種高性能計(jì)算網(wǎng)絡(luò)：千兆以太網(wǎng)、萬(wàn)兆以太網(wǎng)和Infiniband。應(yīng)該根據(jù)用戶的預(yù)算和系統(tǒng)規(guī)模進(jìn)行選擇。5）兼顧隱式和顯式分析的解決方案：SMPCluster混合架構(gòu)針對(duì)SMP系統(tǒng)和Cluster系統(tǒng)在處理CAE應(yīng)用時(shí)存在的問(wèn)題，我們可以考慮一種綜合這兩類體系結(jié)構(gòu)優(yōu)勢(shì)的高性能計(jì)算機(jī)系統(tǒng)——SMP Cluster。如圖2所示。圖2 SMP Cluster和OpenSMP、Cluster的比較 IBM Cluster 1350 Linux集群系統(tǒng)（IBM刀片中心）：IBM將目前最緊湊的刀片式服務(wù)器加入到Cluster1350集群產(chǎn)品中，使集群系統(tǒng)的集成度提高了一倍，即在一個(gè)7U高的刀片抽屜中可以放置14個(gè)刀片服務(wù)器。該產(chǎn)品不僅集成了IBM在x系列服務(wù)器、p系列服務(wù)器方面的多種技術(shù)和特點(diǎn)，而且是開(kāi)放的技術(shù)標(biāo)準(zhǔn)，在系統(tǒng)的結(jié)構(gòu)和散熱方面都有許多的獨(dú)到之處，其關(guān)鍵的中間板的冗余設(shè)計(jì)，大大提高了整個(gè)系統(tǒng)的可靠性，連接線纜的減少使集群系統(tǒng)的可維護(hù)大大提高。IBM刀片中心BladeCenter可以安裝四種類型的刀片式服務(wù)器，一種是采用Intel Xeon芯片的HS22刀片式服務(wù)器，一種是采用AMD 芯片的LS22/LS42刀片式服務(wù)器，一種是采用IBM Power 6 芯片的JS22刀片式服務(wù)器，一種是采用IBM Power架構(gòu)CELL芯片的QS20刀片式服務(wù)器。使用IBM刀片中心作為節(jié)點(diǎn)來(lái)構(gòu)成Cluster1350系統(tǒng)具有以下特點(diǎn)：（1）采用刀片服務(wù)器作為節(jié)點(diǎn)，使傳統(tǒng)Cluster系統(tǒng)具有更高的集成度，更加省電，穩(wěn)定性更高；（2）刀片中心可以在7U高度中安裝14片刀片服務(wù)器共28顆CPU的集群系統(tǒng)。刀片之間操作系統(tǒng)獨(dú)立；（3）節(jié)點(diǎn)間連接采用IBM為HPC專門(mén)設(shè)計(jì)的高性能交換機(jī)，其單通道帶寬達(dá)到10Gb/s，并且每個(gè)節(jié)點(diǎn)都配置了雙通道作為冗余配置。這樣在保證跨節(jié)點(diǎn)通信的優(yōu)越性能的同時(shí)，提供了較高的穩(wěn)定性；（4）整個(gè)系統(tǒng)節(jié)點(diǎn)間使用消息傳遞方式的并行任務(wù)（MPI或PVM）。（5）完善的集群管理環(huán)境，統(tǒng)一進(jìn)行資源管理和作業(yè)調(diào)度。管理軟件包括：l xCAT集群系統(tǒng)管理軟件，可以同時(shí)管理多個(gè)集群, 包括UNIX集群和Linux集群；l Tivoli Workload Scheduler Loadleveler作業(yè)調(diào)度軟件，具有強(qiáng)大的作業(yè)調(diào)度、記帳及斷點(diǎn)/續(xù)算功能；l 充分優(yōu)化的并行使用與開(kāi)發(fā)環(huán)境IBM PE，提供高性能的、完善的并行作業(yè)運(yùn)行與管理；l 高性能的并行文件系統(tǒng)GPFS，為整個(gè)集群提供穩(wěn)定的共享文件系統(tǒng)。GPFS是一種高性能共享磁盤(pán)文件系統(tǒng)，可提供對(duì)集群中所有節(jié)點(diǎn)的快速數(shù)據(jù)訪問(wèn)。單節(jié)點(diǎn)最高帶寬15GB/s，I/O平衡調(diào)度改善吞吐性能，已安裝的美國(guó)ASCI Purple 實(shí)測(cè)達(dá)到102GB/s；（6）高性能價(jià)格比。IBM優(yōu)勢(shì)IBM，即國(guó)際商業(yè)機(jī)器全球服務(wù)公司，1911 年創(chuàng)立于美國(guó)，是全球最大的信息技術(shù)和業(yè)務(wù)解決方案公司，目前擁有全球雇員 31 萬(wàn)多人，業(yè)務(wù)遍及 160 多個(gè)國(guó)家和地區(qū)。在過(guò)去的九十多年里，世界經(jīng)濟(jì)不斷發(fā)展，現(xiàn)代科學(xué)日新月異，IBM 始終以超前的技術(shù)、出色的管理和獨(dú)樹(shù)一幟的產(chǎn)品領(lǐng)導(dǎo)著全球信息工業(yè)的發(fā)展，保證了世界范圍內(nèi)幾乎所有行業(yè)用戶對(duì)信息處理的全方位需求。眾所周知，早在 1969 年，阿波羅宇宙飛船載著三名宇航員，肩負(fù)著人類的使命，首次登上了月球；1981 年哥倫比亞號(hào)航天飛機(jī)又成功地飛上了太空。這兩次歷史性的太空飛行都凝聚著 IBM 無(wú)與倫比的智慧。IBM在產(chǎn)品技術(shù)發(fā)展路線上始終保持清晰穩(wěn)定的發(fā)展方向，產(chǎn)品設(shè)計(jì)生產(chǎn)上全面保護(hù)用戶的已有投資。IBM是唯一一家在高端服務(wù)器行業(yè)有能力自己設(shè)計(jì)、研發(fā)和制造的廠家。IBM設(shè)計(jì)和制造CPU的成就是非凡的。從我們目前所熟知的銅芯片、絕緣硅技術(shù)，到后繼的lowK dielectric和silicon strainin等新技術(shù)已一一被發(fā)明出來(lái)?？傮w而言，IBM 有很強(qiáng)的技術(shù)實(shí)力，在高性能服務(wù)器中引進(jìn)了大量的主機(jī)上的先進(jìn)技術(shù)，依靠“整體”的系統(tǒng)解決方案保證系統(tǒng)的可用性和可靠性，將高性能計(jì)算推廣應(yīng)用到“實(shí)際生產(chǎn)處理”系統(tǒng)中。IBM 多年在世界最快500套超級(jí)計(jì)算機(jī)中(TOP600)排名第一。截止到2006年11月，其中前5套IBM占據(jù)前4套，前50套IBM占有46%，全部500套中IBM占48%。IBM不僅在硬件技術(shù)上處于領(lǐng)先地位，在高性能計(jì)算軟件方案上也有著獨(dú)到之處。對(duì)于高性能計(jì)算機(jī)復(fù)雜的管理難點(diǎn)IBM有同時(shí)支持Unix/Linux平臺(tái)的高效管理軟件（IBM xCAT）。對(duì)于影響大型高性能集群性能的I/O難點(diǎn)IBM有性能領(lǐng)先的通用并行文件系統(tǒng)（IBM GPFS）,GPFS可以根據(jù)用戶系統(tǒng)規(guī)模的不斷擴(kuò)展線性提升系統(tǒng)I/O帶寬。對(duì)于提高系統(tǒng)效率的作業(yè)管理軟件，IBM有積累了長(zhǎng)期大規(guī)模高性能計(jì)算經(jīng)驗(yàn)的IBM Tivoli Wor