【正文】 兼顧可靠性，后期可平滑擴展； ?? 考慮到碰撞等應用對時間延遲的敏感性，建議采用 InfiniBand 等高速網(wǎng)絡連接，并制訂后期擴展計劃 ?? 作業(yè)調(diào)度方面，一期可考慮開源軟件，后期可選擇 LSF,PBS Pro， LoadLeveler 等商業(yè)版作業(yè)調(diào)度系統(tǒng)。 對于這類應用，高性能的 Power 處理器是比較理想的選擇，選擇性能盡可能高的 Power 處理器還有另一個好處，就是在得到同樣的運行效率的前提下，在應用軟件許可證上的花費更少。 加速比 1 CPU 2 CPU 4 CPU ABAQUS, 7 Standard Benchmarks 1 ANSYS, 12 Standard Benchmarks 1 ABAQUS 是典型的非線性有限元分析程序，從上表可以看出，即使使用 4個 CPU，也無法將計算時間縮短至只使用一個 CPU 時的 50%。最終用戶不應該在系統(tǒng)管理和維護上投入過多的人力與物力，而是將精力集中于相應的科研工作。為此，該計算機系統(tǒng)不應該是眾多低端服務器的簡單堆疊。 但毋庸置疑，一個全面實現(xiàn)均衡設計的先進系統(tǒng)必然是一個成本較高的系統(tǒng)，最先采用新技術 通常都會帶來一些額外的代價。并且， IBM 公司與業(yè)內(nèi)多家應用軟件提供商和服務商有大量的合作和成功案例， IBM 的高性能計算解決方案能在硬件和系統(tǒng)的層面滿足應用的需要， IBM 中國公司在此提供建議書，其目的在于根據(jù) IBM 在并行計算項目方面的多年經(jīng)驗，為用戶提供一個技術上的參考意見，并通過 IBM 的服務支持，協(xié)助用戶以最高的性價比獲得穩(wěn)定、可靠的運行。有了這些專家的支持，可以使大量的應用軟件可以平滑地在 IBM 的平臺上運行，幫助用戶更好地使用 IBM 的技術和產(chǎn)品，協(xié)助用戶調(diào)試和優(yōu)化相應的應用軟件。 IBM 更有經(jīng)過充分優(yōu)化的并行運行環(huán)境 IBM PE及調(diào)試工具。對于高性能計算機復雜的管理難點 IBM 有同時支持 Unix/Linux 平臺的高效管理軟件（ IBM xCAT）。 總體而言， IBM 有很強的技術實力，在高性能服務器中引進了大量的主機上的先進技術，依靠 ―整體 ‖的系統(tǒng)解決方案保證系統(tǒng)的可用性和可靠性，將高性能計算推廣應用到 ―實際生產(chǎn)處理 ‖系統(tǒng)中。 IBM 在產(chǎn)品技術發(fā)展路線上始終保持清晰穩(wěn)定的發(fā)展方向，產(chǎn)品設計生產(chǎn)上全面保護用戶的已有投資。 IBM 優(yōu)勢 IBM，即國際商業(yè)機器全球服務公司， 1911 年創(chuàng)立于美國，是全球最大的信息技術和業(yè)務解決方案公司，目前擁有全球雇員 31 萬多人，業(yè)務遍及 160 多個國家和地區(qū)。 （ 5）完善的集群管理環(huán)境，統(tǒng)一進行資源管理和作業(yè)調(diào)度。 IBM 刀片中心 BladeCenter 可以安裝四種類型的刀片式服務器，一種是采用Intel Xeon 芯片的 HS22 刀片式服務器，一種是采用 AMD 芯片的 LS22/LS42 刀片式服務器，一種是采用 IBM Power 6 芯片的 JS22 刀片式服務器，一種是采用IBM Power 架構 CELL 芯片的 QS20 刀片式服務器。 5） 兼顧隱式和顯式分析的解決方案 ： SMPCluster 混合架構 針對 SMP 系統(tǒng)和 Cluster 系統(tǒng)在處理 CAE 應用時存在的問題，我們可以考慮一種綜合這兩類體系結(jié)構優(yōu)勢的高性能計算機系統(tǒng) ——SMP Cluster。 當需求增加時，通過增加節(jié)點數(shù)量，可以立即提升系統(tǒng)的整體運算能力，用戶以前的投資不會浪費。 3）采用集群系統(tǒng)，各個節(jié)點可以協(xié)同工作。 2）采用集群系統(tǒng)，可以為用戶提供更多的 CPU 資源。 2) 以顯式分析為主的解決方案 常用的顯式有限元軟件有 ABAQUS/Explicit、 LSDYNA、 PAMCRASH 等。為此，該計算機系統(tǒng)必須是一個平衡的系統(tǒng)，在 CPU 速度、內(nèi)存容量與帶寬、存儲容量與帶寬及網(wǎng)絡連接等各個方面都不應該存在性能瓶頸。 2． CAE 軟件使用 Cluster 系統(tǒng)存在 的問題 目前市場上的 Cluster 系統(tǒng)通常是用 PC 服務器作為節(jié)點構建的，每個PC 服務器內(nèi)部一般配置 2 個 CPU。這個特點決定了配置超過 8CPU 的大 SMP 服務器沒有太大的必要，反而會造成投資的浪費。想讓 CAE 能實現(xiàn) ―隨需應變 ‖，在高性能計算平臺的選擇上就需要進行全面的考慮。幾乎所有的國內(nèi)、外計 算機廠商都有自己的 Cluster 集群產(chǎn)品，如 IBM 的 Cluster1350、聯(lián)想的深騰系列及曙光的天潮系列等。如 LSF、 PBS 及 IBM 的 WLM 和 Tivoli Workload Scheduler Loadleveler 等。由于這類系統(tǒng)對程序編制的要求較高，價格很昂貴且難于管理，因此，這種類型計算機主要集中在一些大型國家關鍵部門，在這里不再贅述。 常用分析軟件 CAE 應用軟件分類 應用軟件 并行方式 擴展性 靜態(tài)隱式有限元分析 （ IFEA Statics） ABAQUS pthreads 低 高 ANSYS OpenMP,MPI pthreads,MPI 動態(tài)隱式有限元分析（ IFEA Dynamics） ABAQUS pthreads ANSYS OpenMP,MPI pthreads,MPI 顯式有限元分析（ EFEA） LSDYNA OpenMP,MPI PAMCRASH OpenMP,MPI RADIOSS OpenMP,MPI 計算流體動力學（ CFD） FLUENT MPI STARCC MPI PowerFLOW OpenMP,MPI 從上表中我們可以了解到 CAE 應用軟件具有以下特點： （ 1） IFEA 類應用軟件（如 ABAQUS、 ANSYS 和 MSC Nastran）硬件平臺支持的可擴展性不是很好。 從軟件的擴展性上來說，隱式算法和顯式算法有明顯的區(qū)別。 幾乎所有的制造企業(yè)的高性 能計算都依賴于獨立軟件開發(fā)商（ ISV）提供的商業(yè)軟件，只有流體動力學算題中結(jié)構網(wǎng)格計算類型的部分軟件是用戶自己開發(fā)的。其中高性能計算主要應用于計算分析部分，統(tǒng)稱為計算機輔助工程（ CAE）。 為了更好地提供高性能計算應用支持， IBM 和許多全球領先的高性能計算應用軟件提供商進行了緊密合作。 也正因為如此， IBM 的 Linux 集群解決方案越來越受到眾多的用戶群的關注，其中包括著名的藍色基因 (Blue Gene)以及目前在全球高性能計算集群中排名第一的 ―走鵑 ‖（ RoadRunner）。 眾所周知， IBM 公司長期以來在高性能運算方面投入了大量的精力，并取得了很好的成績。 并且 IBM 還承諾，通過利用和增強基于開放資源技術與工業(yè)標準服務器的 Linux 集群，來提供給客戶更多的機會。過去 15 年以來， IBM 的專利數(shù)量都一直居于所有美國公司的首位。主導世界制造業(yè)方向的大集團公司目前都擁有大量的超級計算機用于產(chǎn)品設計和數(shù)據(jù)處理，制造業(yè)信息化是知識經(jīng)濟時代企業(yè)核心競爭的必要組成環(huán)節(jié)。而其中的半導體和制造業(yè)用戶所占的比例相當可觀。隨著現(xiàn)代汽車技術的發(fā)展，特別是與其它學科如數(shù)學、物理、化學、材料科學的結(jié)合，汽車應用所需處理的數(shù)據(jù)信息量不斷增加，對運算能力的需求也越來越大，由于并行計算技術的飛速發(fā)展，汽車 CAE 模擬的應用平臺也逐漸從巨型機過渡到高性能計算機系統(tǒng)，這也為用戶提供了一個具有更高性價比的選擇。 近年來，高性能計算作為大規(guī)模 CAE 應用的基石，在工業(yè)和制造業(yè)領域的應用越來越普遍和廣泛。其中美國半導體公司大約有 70 臺。 第 2 章 關于 IBM 高性能計算的簡介 高性能計算多年來一直是科技綜合實力競爭的制高點，也在一定程度上反映了各大公司在系統(tǒng)研發(fā)方面的實力。 IBM 長期以來致力于高性能計算領域的技術發(fā)展和應用完善，當其它 IT 廠商由于機會或者財務限制，在這種科學計算市場中進進出出時， IBM 就從每年50 億美金的研發(fā)經(jīng)費中按比例、持續(xù)地投入高性能計算領域。 IBM 將會成為這種方案的領先提供商，我們在世界各地成立了專門的隊伍，為 Linux 的發(fā)展貢獻力量，幫助客戶或合作伙伴將應用移植到 Linux 平臺，開發(fā)更多的新技術和應用。在高性能運算 TOP 500 名中， IBM 公司占有很大的份額。 圖 1：藍色基因系統(tǒng)示意圖 在 2020 年 6 月最新公布的全球 500 強超級計算機中， 188 套來自 IBM，其中 5 套位于前 10 名， 35 套位于前 100 名，其每秒鐘的 運算能力總和達到了 8903萬億次，是 500 強所有系統(tǒng)運算能力總和的 %，占絕對主導地位。在 CAE 領域，長期以來 IBM 的行業(yè)專家在CAE 代碼并行化和優(yōu)化方面有著有豐富的經(jīng)驗。圖 1 是 CAE 的分析過程。因此制造行業(yè)用戶在購買硬件 平臺的同時通常會購買相應的科學計算軟件產(chǎn)品。采用隱式算法的軟件，擴展性相對較差，計算性能在 816 CPU 以上就很難獲得進一步的提升。 Nastran 對內(nèi)存， I/O 性能要求高； （ 2） IFEA 類應用軟件通常使用共享內(nèi)存方式（ pthreads 或 OpenMP），進行并行處理，其中 ABAQUS 不支持消息傳遞方式（ MPI）的并行； （ 3） EFEA 類應用軟件（如 RADIOSS、 LSDYNA 和 PAMCRASH）和計算流體動力學軟件（如 FLUENT、 STARCD 和 PowerFlow）的硬件平臺支持的擴展性相對較好。 2．對稱多處理機（ SMP） SMP 系統(tǒng)采用商品化的處理器，這些處理器通過總線或交叉開關連接到共享存儲器。 3．工作站集群（ COW， Cluster Of Workstation,簡稱 Cluster） Cluster 結(jié)構是近年來發(fā)展勢頭很好的一種體系結(jié)構。 Cluster 系統(tǒng)通常具有以下特 點： （ 1）系統(tǒng)由多個獨立的服務器（在 Cluster 概念下稱為節(jié)點）通過交換機連接在一起。 1． CAE 軟件使用 SMP 系統(tǒng)存在的問題 理論上講， SMP 系統(tǒng)可以勝任 CAE 應用程序的運行，但是不可避免地存在一些問題。 此外， SMP 系統(tǒng)由一個操作系統(tǒng)管理，如果沒有強大的資源管理軟件和作業(yè)調(diào)度軟件配合，很容易造成 CPU 分時處理多個任務的現(xiàn)象，即在一個 CPU上同時運 行多個進程，從而影響整個系統(tǒng)的使用效率，同時難于保證關鍵任務的按時完成。這種類型的 Cluster 系統(tǒng)在承擔 CAE 應 用軟件運行任務時也存在一些問題，比如共享內(nèi)存方式的并行模式只能運行在一個節(jié)點內(nèi)部，也就是說，最多只能用 2 個 CPU 去處理 OpenMP/threads 類型的 CAE任務，很難滿足應用的時效性要求。 當設計 CAE 高性能計算整體解決方案時，要充分考慮用戶需求，比如資金預算、問題類型、分析規(guī)模、用戶數(shù)量、軟件 License 個數(shù)等，以此來確定最終的硬件選型。相比而言，顯式有限元軟件對系統(tǒng)硬件的要求略低一些，從性價比以及軟件的擴展 性出發(fā)，推薦采用由 2 路的 IBM System X 作為計算節(jié)點的集群系統(tǒng)。 在同等價格的情況下，集群系統(tǒng)可以為用戶提供更多的 CPU 資源。 集群系統(tǒng)的特點在于雖然各個節(jié)點的計算性能有限，但是多個節(jié)點可以通過高性能網(wǎng)絡進行協(xié)同工作，共同完成大規(guī)模問題的求解。 在集群系統(tǒng)中，網(wǎng)絡的性能直接影響整個系統(tǒng)的實際運算能力。如圖 2所示。使用 IBM 刀片中心作為節(jié)點來構成 Cluster1350 系統(tǒng)具有以下特點： （ 1）采用刀片服務器作為節(jié)點，使傳統(tǒng) Cluster 系統(tǒng)具有更高的集成度，更加省電，穩(wěn)定性更高； （ 2）刀片中心可以在 7U 高度中安裝 14 片刀片服務器共 28 顆 CPU 的集群系統(tǒng)。管理軟件包括： ?? xCAT 集群系統(tǒng)管理軟件，可以同時管理多個集群 , 包括 UNIX 集群和 Linux 集群； ?? Tivoli Workload Scheduler Loadleveler 作業(yè)調(diào)度軟件，具有強大的作業(yè)調(diào)度、記帳及斷點 /續(xù)算功能； ?? 充分優(yōu)化的并行使用與開發(fā)環(huán)境 IBM PE，提供高性能的、完善的并行作業(yè)運行與管理； ?? 高性能的并行文件系統(tǒng) GPFS，為整個集群提供穩(wěn)定的共享文件系統(tǒng)。 在過去的九十多年里，世界經(jīng)濟不斷發(fā)展，現(xiàn)代科學日新月異， IBM 始終以超前的技術、出色的管理和獨樹一幟的產(chǎn)品領導著全球信息工業(yè)的發(fā)展，保證了世界范圍內(nèi)幾乎所有行業(yè)用戶對信息處理的全方位需求。 IBM 是唯一一家在高端服務器行業(yè)有能力自己設計、研發(fā)和制造的廠家。 IBM 多年在世界最快 500 套超級計算機中 (TOP600)排名第一。對于影響大型高性能集群性能的 I/O 難點 IBM 有性能領先的通用并行文件系統(tǒng)（ IBM GPFS） ,GPFS 可以根據(jù)用戶系統(tǒng)規(guī)模的不斷擴展線性提升系統(tǒng) I/O 帶寬。 其次， IBM 在系統(tǒng)層面保證（大型）高性能計算系統(tǒng)的可用和可靠性，除上述系統(tǒng)連接、監(jiān)控和系統(tǒng)管理功能外， IBM 的優(yōu)勢在于 IBM 全球服務部以其在高性能計算上多年的經(jīng)驗和積累，將根據(jù) ―應用 ‖和 ―客戶 ‖的具體需求對整個系統(tǒng)運行環(huán)境的客戶化，包括 IP 地址規(guī)劃、主機名規(guī)劃、