【正文】 Xeon E5630 CPU(四核至強處理器 12MB三級緩存，最高支持 1066MHz 內(nèi)存頻率， GT/s QPI，支持超線程、 TurboBoost 功能 ) RAM： 16GB HDD： 2 塊 146GB ‖ SAS 熱插拔的 硬盤 集成 2 個千兆以太網(wǎng)卡 1 個雙口獨立千兆以太網(wǎng)卡 三年免費維護 4） I/O 節(jié)點 ： 2 臺 IBM x3650 M3 CPU： 2 顆 Xeon E5630 CPU(四核至強處理器 12MB三級緩存，最高支持 1066MHz 內(nèi)存頻率， GT/s QPI，支持超線程、 TurboBoost 功能 ) RAM： 16GB HDD： 2 塊 146GB ‖ SAS 熱插拔的 硬盤 集成 2 個千兆以太網(wǎng)卡 1 個雙口 光纖通道 卡 萬兆 以太網(wǎng) 卡 遠程控制卡 三年免費維護 5）存儲設備 IBM DS5300 高性能磁盤陣列 雙控制單元 12 塊 300GB， FC 磁盤 6）機柜套件 1 個 42U， 19 英寸標準機柜 1 套 15 英寸液晶顯示套件 1 套 NetBAY Console Switch (KVM)，含鍵盤，鼠標 4 個 PDU 含配套電源線 7）軟件部分 1．操作系統(tǒng) ： Linux 2．集群管理系統(tǒng) ： IBM xCAT 本系統(tǒng)集群管理軟件采用 xCAT 完成集群管理功能，本方案建議選擇主管理節(jié)點作為 xCAT的管理服務器，安裝 xCAT 服務器端軟件。 總體方案描述 根據(jù)客戶需求 ,一期采用刀片集群方案，二期擴展 SMP 小型機，具體方案描述如下： 使用一套刀片中心， 8 片刀片，內(nèi)置萬兆交換機為各刀片之間提供 10Gb/s 帶寬。 同時高性價比原則也不能僅理解成硬件系統(tǒng)的性價比，而應該將所需軟件的費用一并納入考慮內(nèi)容；也不應只是考慮系統(tǒng)在采購時的性價比，而應考慮系統(tǒng)故障造成的時間損失和信譽損失、維修備件成本、維修人員成本、能源費用等。 高性價比原則 只遵循上面的原則會造成系統(tǒng)購置成本不受限制地增加，所以需要在高性價比原則給以制約。也就是說，由 8 個相對性能為一的處理器構造的高性能計算系統(tǒng)不如使用由 4 個相對性能為 2 的處理器組成的高性能計算系統(tǒng)的使用效果好，理想狀態(tài)下對兩個 4 CPU 的作業(yè)它們的性能是一樣的，而對于一個作業(yè)來講后者只需前者一半的時間就可完成作業(yè)。而 ANSYS 多處理器并行的效率更差。下面分別列出了 ANSYS 和 ABAQUS 在典型高性能計算機上不同個數(shù)處理器上運行標準測試所花費的時間。 為此，我們推薦采用更穩(wěn)定的 Power 服務器和可靠性很高的刀片系統(tǒng)作為計算節(jié)點，輔之以成熟的軟件系統(tǒng)和關鍵部件的冗余化設計，從而建立高可用的高性能計算系統(tǒng)。 IBM Power 575 服 務 器 2way Nehalem 服 務 器 性能比 理論峰值速度 (GFlops) 601 倍 緩存容量 (MB) 640 18 倍 內(nèi)存帶寬 (GB/s) 273 32 倍 I/O 帶寬 (GB/s) 94 倍 系統(tǒng)高可用性原則 建設大規(guī)模的高性能計算機系統(tǒng)將面臨眾多的技術難題，其中系統(tǒng)的穩(wěn)定性、安全性及易管理性是該計算機系統(tǒng)應具有的基本特征。用來構建該計算機系統(tǒng)的計算服務器必須具有強大的處理能力，并配合以高性能的網(wǎng)絡連接。 系統(tǒng)高擴展性原則 CAE 高性能計算系統(tǒng)在提升作業(yè)吞吐能力（支持多用戶、多作業(yè)）的同時，還有一個重要的目標是用來支持中、小規(guī)模計算機系統(tǒng)無法解決的特殊業(yè)務問題。因此設計一個有具有不同特點的多個子系統(tǒng)構成的高性能計算系統(tǒng)也是一個對 CAE 應用非常適合的做法。 半導體技術和計算機技術的飛速發(fā)展，使得不停地有新技術出現(xiàn)以提高某一方面的能力，因此綜合優(yōu)化利用所有在某一時刻最新最先進最成熟的技術才能建立一個全方面均衡的系統(tǒng)，任何一個主要部件的先進不代表整個系統(tǒng)的先進，任何一個主要部件的落后也會導致整個系統(tǒng)的落后。 第 4 章 CAE 高性能計算系統(tǒng)設計原則 應用通用性原則 如上所述，不同 CAE 軟件對計算機系統(tǒng)的需求差異很大，例如 NASTRAN應用對內(nèi)存和 I/O 的要求很高；而 CFD 類的應用對 CPU 速度及網(wǎng)絡連接有較高的要求。 正是由于 IBM 在高性能計算方面長期以來的不懈努力，使 IBM 在 ―大規(guī)模 ‖高性能計算方面擁有大量用戶 （安裝并已進入實際生產(chǎn)運行）。 最后，廠家長期、穩(wěn)定的產(chǎn)品售后服務和技術支持體系也是保證一個生產(chǎn)處理系統(tǒng)正常運行的因素。 在高性能計算方面， IBM 有一批資深的技術專家，他們不僅了解 IBM 的產(chǎn)品和技術，而且了解行業(yè)的應用，熟悉行業(yè)的應用軟件，這些專家負責與應用軟件商和客戶應用的密切技術合作和支持，經(jīng)常地與應用軟件開發(fā)商一起研究和優(yōu)化應用軟件，使應用軟件在 IBM 的計算機體系結構上運行得更好。 其次， IBM 在系統(tǒng)層面保證（大型）高性能計算系統(tǒng)的可用和可靠性，除上述系統(tǒng)連接、監(jiān)控和系統(tǒng)管理功能外， IBM 的優(yōu)勢在于 IBM 全球服務部以其在高性能計算上多年的經(jīng)驗和積累，將根據(jù) ―應用 ‖和 ―客戶 ‖的具體需求對整個系統(tǒng)運行環(huán)境的客戶化，包括 IP 地址規(guī)劃、主機名規(guī)劃、操作系統(tǒng)包規(guī)劃、各種服務規(guī)劃以及集群系統(tǒng)本身的安裝、維護、客戶化、集群作業(yè)的分發(fā)、集群資源的分配、并行軟件編譯環(huán)境等等。對于影響高性能計算程序的編程環(huán)境IBM 有歷經(jīng)幾十年的強大編譯器（ 最優(yōu)的 SPEC OMP2020 性能）和優(yōu)秀的數(shù)學與科學函數(shù)庫 ESSL, PESSL。對于影響大型高性能集群性能的 I/O 難點 IBM 有性能領先的通用并行文件系統(tǒng)（ IBM GPFS） ,GPFS 可以根據(jù)用戶系統(tǒng)規(guī)模的不斷擴展線性提升系統(tǒng) I/O 帶寬。 IBM 不僅在硬件技術上處于領先地位，在高性能計算軟件方案上也有著獨到之處。 IBM 多年在世界最快 500 套超級計算機中 (TOP600)排名第一。從我們目前所熟知的銅芯片、絕緣硅技術，到后繼的 lowK dielectric 和 silicon strainin 等新技術已一一被發(fā)明出來。 IBM 是唯一一家在高端服務器行業(yè)有能力自己設計、研發(fā)和制造的廠家。這兩次歷史性的太空飛行都凝聚著 IBM 無與倫比的智慧。 在過去的九十多年里，世界經(jīng)濟不斷發(fā)展，現(xiàn)代科學日新月異， IBM 始終以超前的技術、出色的管理和獨樹一幟的產(chǎn)品領導著全球信息工業(yè)的發(fā)展，保證了世界范圍內(nèi)幾乎所有行業(yè)用戶對信息處理的全方位需求。單節(jié)點最高帶寬 15GB/s， I/O 平衡調(diào)度改善吞吐性能，已安裝的美國 ASCI Purple 實測達到 102GB/s； （ 6）高性能價格比。管理軟件包括： ?? xCAT 集群系統(tǒng)管理軟件，可以同時管理多個集群 , 包括 UNIX 集群和 Linux 集群； ?? Tivoli Workload Scheduler Loadleveler 作業(yè)調(diào)度軟件，具有強大的作業(yè)調(diào)度、記帳及斷點 /續(xù)算功能； ?? 充分優(yōu)化的并行使用與開發(fā)環(huán)境 IBM PE，提供高性能的、完善的并行作業(yè)運行與管理； ?? 高性能的并行文件系統(tǒng) GPFS，為整個集群提供穩(wěn)定的共享文件系統(tǒng)。這樣在保證跨節(jié)點通信的優(yōu)越性能的同時，提供了較高的穩(wěn)定性； （ 4）整個系統(tǒng)節(jié)點間使用消息傳遞方式 的并行任務（ MPI 或 PVM）。使用 IBM 刀片中心作為節(jié)點來構成 Cluster1350 系統(tǒng)具有以下特點： （ 1）采用刀片服務器作為節(jié)點，使傳統(tǒng) Cluster 系統(tǒng)具有更高的集成度，更加省電，穩(wěn)定性更高； （ 2）刀片中心可以在 7U 高度中安裝 14 片刀片服務器共 28 顆 CPU 的集群系統(tǒng)。該產(chǎn)品不僅集成了 IBM 在 x 系列服務器、 p 系列服務器方面的多種技術和特點，而且是開放的技術標準，在系統(tǒng)的結構和散熱方面都有許多的獨到之處，其關鍵的中間板的冗余設計，大大提高了整個系統(tǒng)的可靠性，連接線纜的減少使集群系統(tǒng)的可維護大大提高。如圖 2所示。應該根據(jù)用戶的預算和系統(tǒng)規(guī)模進行選擇。 在集群系統(tǒng)中，網(wǎng)絡的性能直接影響整個系統(tǒng)的實際運算能力。 4）采用集群系統(tǒng)，進行擴展非常方便。 集群系統(tǒng)的特點在于雖然各個節(jié)點的計算性能有限，但是多個節(jié)點可以通過高性能網(wǎng)絡進行協(xié)同工作，共同完成大規(guī)模問題的求解。同時集群的各個節(jié)點也可獨立進行運算。 在同等價格的情況下，集群系統(tǒng)可以為用戶提供更多的 CPU 資源。 集群節(jié)點采用 XXX 系列處理器，系統(tǒng)內(nèi)存的配置推薦 XGB/Core，配置硬盤。相比而言，顯式有限元軟件對系統(tǒng)硬件的要求略低一些，從性價比以及軟件的擴展 性出發(fā)，推薦采用由 2 路的 IBM System X 作為計算節(jié)點的集群系統(tǒng)。根據(jù)隱式有限元分析要求內(nèi)存容量大、磁盤 IO 快、通信延遲低的特點，推薦采用基于 SMP 架構的 IBM Power 產(chǎn)品，小規(guī)模的隱式分析也可采用 x3850 X5 或x3755。 當設計 CAE 高性能計算整體解決方案時，要充分考慮用戶需求，比如資金預算、問題類型、分析規(guī)模、用戶數(shù)量、軟件 License 個數(shù)等，以此來確定最終的硬件選型。 3． SMPCluster 混合架構： CAE 應用平臺的最佳選擇 如上所述，不同 CAE 軟件對計算機系統(tǒng)的需求差異很大，例如 NASTRAN應用對內(nèi)存和 I/O 的要求很高；而 CFD 類的應用對 CPU 速度及網(wǎng)絡連接有較高的要求。這種類型的 Cluster 系統(tǒng)在承擔 CAE 應 用軟件運行任務時也存在一些問題，比如共享內(nèi)存方式的并行模式只能運行在一個節(jié)點內(nèi)部，也就是說，最多只能用 2 個 CPU 去處理 OpenMP/threads 類型的 CAE任務，很難滿足應用的時效性要求。而 LSF 和 PBSpro 的價格比較高，同樣會增加用戶的投資。 此外， SMP 系統(tǒng)由一個操作系統(tǒng)管理，如果沒有強大的資源管理軟件和作業(yè)調(diào)度軟件配合，很容易造成 CPU 分時處理多個任務的現(xiàn)象，即在一個 CPU上同時運 行多個進程，從而影響整個系統(tǒng)的使用效率，同時難于保證關鍵任務的按時完成。而且 CAE 的某些應用軟件的擴展性不好，如隱式有限元分析（ IFEA）類軟件通常只能用到最多 8 個 CPU。 1． CAE 軟件使用 SMP 系統(tǒng)存在的問題 理論上講， SMP 系統(tǒng)可以勝任 CAE 應用程序的運行，但是不可避免地存在一些問題。 CAE 硬件平臺的選擇 CAE 在制造企業(yè)中承擔著關鍵的業(yè)務，所以其高性能平臺的選擇非常重要，這個平臺直接影響 CAE 的運行性能表現(xiàn)、整體成本和系統(tǒng)維護等方面問題。 Cluster 系統(tǒng)通常具有以下特 點： （ 1）系統(tǒng)由多個獨立的服務器（在 Cluster 概念下稱為節(jié)點）通過交換機連接在一起。但是如果要構造高性能、結構合理并具有好的 RAS 特性的 Cluster 卻不是一件容易的事情。 3．工作站集群（ COW， Cluster Of Workstation,簡稱 Cluster） Cluster 結構是近年來發(fā)展勢頭很好的一種體系結構。 SMP 系統(tǒng)通常具有以下特點： （ 1）系統(tǒng)內(nèi)的 CPU 共享并可以直接訪問所有的內(nèi)存； （ 2）由一個操作系統(tǒng)管理整個系統(tǒng)； （ 3）支持共享內(nèi)存方式的并行模式，如 OpenMP、 pthreads 等； （ 4）支持消息傳遞方式的并行模式，如 MPI、 PVM 等 （ 5）系統(tǒng)的價格相對較高； （ 6）為提高系統(tǒng)的使用效率，需要有功能強大的資源管理軟件和作業(yè)調(diào)度軟件配合進行系統(tǒng)管理。 2．對稱多處理機（ SMP） SMP 系統(tǒng)采用商品化的處理器，這些處理器通過總線或交叉開關連接到共享存儲器。 高性能計算（ HPC）服務器體系結構分類及特點 目前市場上常用的高性能計算服務器大致可以分為以下 3 種體系結構，即： 1．并行向量處理機（ PVP） PVP 系統(tǒng)含有為數(shù)不多、功能強大的定制向量處理器（ VP），以及定制的高帶寬縱橫交叉開關和高速數(shù)據(jù)訪問。 Nastran 對內(nèi)存， I/O 性能要求高； （ 2） IFEA 類應用軟件通常使用共享內(nèi)存方式（ pthreads 或 OpenMP），進行并行處理，其中 ABAQUS 不支持消息傳遞方式（ MPI）的并行； （ 3） EFEA 類應用軟件（如 RADIOSS、 LSDYNA 和 PAMCRASH）和計算流體動力學軟件（如 FLUENT、 STARCD 和 PowerFlow）的硬件平臺支持的擴展性相對較好。 下表給出了常用的 CAE 軟件，并列出這些軟件的特點，包括并行方式和可擴展性。采用隱式算法的軟件，擴展性相對較差，計算性能在 816 CPU 以上就很難獲得進一步的提升。 從對計算資源的需求來說，隱式解法的基本特點是內(nèi)存占 用多、磁盤 IO 大、進程通信量大，因此，隱式解法要求系統(tǒng)的內(nèi)存容量大、訪存帶寬高、磁盤 IO速度快、通信延遲低；相對而言，顯式解法對內(nèi)存、磁盤 IO 和通信延遲的要求要低一些。因此制造行業(yè)用戶在購買硬件 平臺的同時通常會購買相應的科學計算軟件產(chǎn)品。采用隱式算法