【文章內(nèi)容簡介】 應(yīng)的應(yīng)用軟件。 最后，廠家長期、穩(wěn)定的產(chǎn)品售后服務(wù)和技術(shù)支持體系也是保證一個生產(chǎn)處理系統(tǒng)正常運行的因素。 IBM 中國公司在 1998 年就投資 1500 萬美元成立了國內(nèi)最大的技術(shù)支持中心－ IBM 中國技術(shù)支持中心（ IBM China Technical Support Center，即 TSC），為國內(nèi)的用戶、代理商及 IBM 內(nèi)部提供技術(shù)支持服務(wù)。 正是由于 IBM 在高性能計算方面長期以來的不懈努力，使 IBM 在 ―大規(guī)模 ‖高性能計算方面擁有大量用戶 （安裝并已進入實際生產(chǎn)運行）。并且， IBM 公司與業(yè)內(nèi)多家應(yīng)用軟件提供商和服務(wù)商有大量的合作和成功案例， IBM 的高性能計算解決方案能在硬件和系統(tǒng)的層面滿足應(yīng)用的需要， IBM 中國公司在此提供建議書，其目的在于根據(jù) IBM 在并行計算項目方面的多年經(jīng)驗，為用戶提供一個技術(shù)上的參考意見，并通過 IBM 的服務(wù)支持，協(xié)助用戶以最高的性價比獲得穩(wěn)定、可靠的運行。 第 4 章 CAE 高性能計算系統(tǒng)設(shè)計原則 應(yīng)用通用性原則 如上所述，不同 CAE 軟件對計算機系統(tǒng)的需求差異很大，例如 NASTRAN應(yīng)用對內(nèi)存和 I/O 的要求很高；而 CFD 類的應(yīng)用對 CPU 速度及網(wǎng)絡(luò)連接有較高的要求。為此，該計算機系統(tǒng)必須是一個平衡的系統(tǒng)，在 CPU 速度、內(nèi)存容量與帶寬、存儲容量與帶寬及網(wǎng)絡(luò)連接等各個方面都不應(yīng)該存在性能瓶頸。 半導(dǎo)體技術(shù)和計算機技術(shù)的飛速發(fā)展，使得不停地有新技術(shù)出現(xiàn)以提高某一方面的能力，因此綜合優(yōu)化利用所有在某一時刻最新最先進最成熟的技術(shù)才能建立一個全方面均衡的系統(tǒng)，任何一個主要部件的先進不代表整個系統(tǒng)的先進，任何一個主要部件的落后也會導(dǎo)致整個系統(tǒng)的落后。 但毋庸置疑，一個全面實現(xiàn)均衡設(shè)計的先進系統(tǒng)必然是一個成本較高的系統(tǒng)，最先采用新技術(shù) 通常都會帶來一些額外的代價。因此設(shè)計一個有具有不同特點的多個子系統(tǒng)構(gòu)成的高性能計算系統(tǒng)也是一個對 CAE 應(yīng)用非常適合的做法。但這類系統(tǒng)應(yīng)該具有一個較好的管理機制，能夠?qū)⒉煌攸c的作業(yè)分發(fā)到最適合的子系統(tǒng)上進行運算，以獲得總體上均衡的效果。 系統(tǒng)高擴展性原則 CAE 高性能計算系統(tǒng)在提升作業(yè)吞吐能力（支持多用戶、多作業(yè)）的同時，還有一個重要的目標是用來支持中、小規(guī)模計算機系統(tǒng)無法解決的特殊業(yè)務(wù)問題。為此，該計算機系統(tǒng)不應(yīng)該是眾多低端服務(wù)器的簡單堆疊。用來構(gòu)建該計算機系統(tǒng)的計算服務(wù)器必須具有強大的處理能力，并配合以高性能的網(wǎng)絡(luò)連接。 下表列出了 Power575 服務(wù)器與 Intel 最新的發(fā)布的、采用兩路 Nehalem 芯片（ 8 核）的服務(wù)器的一些指標對比，從中可以看出 Power575 服務(wù)器出了具有強大的計算性能優(yōu)勢外，更是一臺性能平衡的系統(tǒng)，在內(nèi)存及 I/O 等各方面均有優(yōu)異的性能。 IBM Power 575 服 務(wù) 器 2way Nehalem 服 務(wù) 器 性能比 理論峰值速度 (GFlops) 601 倍 緩存容量 (MB) 640 18 倍 內(nèi)存帶寬 (GB/s) 273 32 倍 I/O 帶寬 (GB/s) 94 倍 系統(tǒng)高可用性原則 建設(shè)大規(guī)模的高性能計算機系統(tǒng)將面臨眾多的技術(shù)難題，其中系統(tǒng)的穩(wěn)定性、安全性及易管理性是該計算機系統(tǒng)應(yīng)具有的基本特征。最終用戶不應(yīng)該在系統(tǒng)管理和維護上投入過多的人力與物力，而是將精力集中于相應(yīng)的科研工作。 為此，我們推薦采用更穩(wěn)定的 Power 服務(wù)器和可靠性很高的刀片系統(tǒng)作為計算節(jié)點，輔之以成熟的軟件系統(tǒng)和關(guān)鍵部件的冗余化設(shè)計，從而建立高可用的高性能計算系統(tǒng)。 處理器 性能最大化原則 在 CAE 用戶所處的應(yīng)用領(lǐng)域存在一個現(xiàn)象，即作業(yè)的運行時間很難通過增加所使用的處理器數(shù)量來減少。下面分別列出了 ANSYS 和 ABAQUS 在典型高性能計算機上不同個數(shù)處理器上運行標準測試所花費的時間。 加速比 1 CPU 2 CPU 4 CPU ABAQUS, 7 Standard Benchmarks 1 ANSYS, 12 Standard Benchmarks 1 ABAQUS 是典型的非線性有限元分析程序，從上表可以看出，即使使用 4個 CPU，也無法將計算時間縮短至只使用一個 CPU 時的 50%。而 ANSYS 多處理器并行的效率更差。 分析以上數(shù)據(jù)我們可以得出結(jié)論，若要提高工作效率，縮短作業(yè)的運行時間或者在一定的時間內(nèi)運行更多的作業(yè)或更復(fù)雜的作業(yè)，只有提高單處理器的性能才能實現(xiàn)。也就是說，由 8 個相對性能為一的處理器構(gòu)造的高性能計算系統(tǒng)不如使用由 4 個相對性能為 2 的處理器組成的高性能計算系統(tǒng)的使用效果好，理想狀態(tài)下對兩個 4 CPU 的作業(yè)它們的性能是一樣的，而對于一個作業(yè)來講后者只需前者一半的時間就可完成作業(yè)。 對于這類應(yīng)用，高性能的 Power 處理器是比較理想的選擇，選擇性能盡可能高的 Power 處理器還有另一個好處，就是在得到同樣的運行效率的前提下，在應(yīng)用軟件許可證上的花費更少。 高性價比原則 只遵循上面的原則會造成系統(tǒng)購置成本不受限制地增加，所以需要在高性價比原則給以制約。對于顯式有限元分析以及流體和碰撞等應(yīng)用，選擇性能價格比更高的刀片式服務(wù)器，無疑是非常理想的選擇。 同時高性價比原則也不能僅理解成硬件系統(tǒng)的性價比，而應(yīng)該將所需軟件的費用一并納入考慮內(nèi)容；也不應(yīng)只是考慮系統(tǒng)在采購時的性價比，而應(yīng)考慮系統(tǒng)故障造成的時間損失和信譽損失、維修備件成本、維修人員成本、能源費用等。 第 5 章 CAE 高性能計算平臺方案 關(guān)于 XX 汽車 CAE 項目投資的幾點建議 ?? 根據(jù)測試結(jié)果及我們以往在汽車行業(yè)的經(jīng)驗，理想的計算環(huán)境應(yīng)該是 SMP 小機+Linux cluster 的混合架構(gòu)； ?? 項目投資應(yīng)有計劃、分步驟地有序進行，一期可先上 cluster 保證碰撞和顯式計算并規(guī)劃好未來擴展的計劃； ?? 保證 ABAQUS、 NASTRAN 等隱式計算可以在 cluster 架構(gòu)下過渡性地運行，明年二期可以平滑地遷移到計劃的 SMP 小型機上，不建議采用 X86 SMP 服務(wù)器 ?? 存儲需要考慮并行文件系統(tǒng)，可以考慮一期用兩個 I/O 節(jié)點保證 I/O 吞吐量并兼顧可靠性，后期可平滑擴展； ?? 考慮到碰撞等應(yīng)用對時間延遲的敏感性，建議采用 InfiniBand 等高速網(wǎng)絡(luò)連接，并制訂后期擴展計劃 ?? 作業(yè)調(diào)度方面，一期可考慮開源軟件，后期可選擇 LSF,PBS Pro， LoadLeveler 等商業(yè)版作業(yè)調(diào)度系統(tǒng)。 總體方案描述 根據(jù)客戶需求 ,一期采用刀片集群方案，二期擴展 SMP 小型機，具體方案描述如下： 使用一套刀片中心， 8 片刀片，內(nèi)置萬兆交換機為各刀片之間提供 10Gb/s 帶寬。隨著用戶需求的增長，該系統(tǒng)可同過增加刀片中心靈活的擴展?；九渲萌缦拢? 1） 計算節(jié)點 : 8 片 HS22 CPU： 2 顆 Xeon X5670 CPU (Intel Xeon 六 核處理器 , , 12M L3緩存 , 總線 ) RAM： 24GB HDD： 2 x 146GB ‖ SAS 熱插拔的 硬盤 集成 2 個千兆以太網(wǎng)卡 萬兆的子卡 三年免費維護 2）用于安裝計算節(jié)點的 BladeCenter H Chassis 1 個 管理模塊 1 個 兩組（ 4 個） 2900W 電源模塊 內(nèi)置千兆以太網(wǎng)交換機 BNT 萬兆交換機 三年免費維護 3）管理節(jié)點 ： 1 臺 IBM x3650 M3 CPU： 2 顆 Xeon E5630 CPU(四核至強處理器 12MB三級緩存，最高支持 1066MHz 內(nèi)存頻率， GT/s QPI，支持超線程、 TurboBoost 功能 ) RAM： 16GB HDD： 2 塊 146GB ‖ SAS 熱插拔的 硬盤 集成 2 個千兆以太網(wǎng)卡 1 個雙口獨立千兆以太網(wǎng)卡 三年免費維護 4） I/O 節(jié)點 ： 2 臺 IBM x3650 M3 CPU： 2 顆 Xeon E5630 CPU(四核至強處理器 12MB三級緩存，最高支持 1066MHz 內(nèi)存頻率， GT/s QPI，支持超線程、 TurboBoost 功能 ) RAM： 16GB HDD： 2 塊 146GB ‖ SAS 熱插拔的 硬盤 集成 2 個千兆以太網(wǎng)卡 1 個雙口 光纖通道 卡 萬兆 以太網(wǎng) 卡 遠程控制卡 三年免費維護 5）存儲設(shè)備 IBM DS5300 高性能磁盤陣列 雙控制單元 12 塊 300GB， FC 磁盤 6）機柜套件 1 個 42U， 19 英寸標準機柜 1 套 15 英寸液晶顯示套件 1 套 NetBAY Console Switch (KVM)，含鍵盤，鼠標 4 個 PDU 含配套電源線 7）軟件部分 1．操作系統(tǒng) ： Linux 2．集群管理系統(tǒng) ： IBM xCAT 本系統(tǒng)集群管理軟件采用 xCAT 完成集群管理功能，本方案建議選擇主管理節(jié)點作為 xCAT的管理服務(wù)器，安裝 xCAT 服務(wù)器端軟件。 xCAT 服務(wù)器端軟件通過 AMM 網(wǎng)絡(luò)與刀片中心的管理模塊通訊，得到刀片的狀態(tài)信息，例如為部署刀片操作系統(tǒng)需要的網(wǎng)卡 MAC 地址。通過軟件分發(fā)網(wǎng)絡(luò)，與存儲節(jié)點和登陸節(jié)點通訊，進行硬件管理。 xCAT 管理操作，通過軟件分發(fā)網(wǎng)絡(luò)，與計算節(jié)點，存儲節(jié)點，登陸節(jié)點通訊。 xCAT 工作邏輯如下圖所示： xCAT 能夠通過單點控制來管理基于 Intel 的 Linux 系統(tǒng)群集。這樣便簡化了群集的管理，使其能夠很方便地擴展，有助于提高系統(tǒng)管理員的效率。同時，該軟件還充分利用了 IBM 在硬件上的先進技術(shù)，如集成的系統(tǒng)管理處理器（ Service Processor），使管理軟件能夠以遠程方式管理每一個系統(tǒng)節(jié)點，從而方便系統(tǒng)的管理。 xCAT 包括一種能夠監(jiān)控軟硬件事件的基礎(chǔ)設(shè)施，在適當(dāng)?shù)臅r候可以觸發(fā)自動恢復(fù)操作。CSM 的這種較高可靠性基礎(chǔ)設(shè)施和事件監(jiān)控功能，有助于快速檢查和解決問題，從而增強了群集的可用性。 具體來講， IBM 的集群系統(tǒng)管理軟件可以實現(xiàn)如下的功能： ?? 實現(xiàn)系統(tǒng)的并行安裝和配置； ?? 管理和同步節(jié)點的配置文件； ?? 提供系統(tǒng)遠程運行命令操作，允許以命令或腳本方式運行在集群中的所有節(jié)點上 ?? 支持用戶帳戶統(tǒng)一管理； ?? 提供遠程硬件控制，如：節(jié)點的遠程開機、關(guān)機和重新啟動； ?? 動態(tài)監(jiān)視系統(tǒng)資源使用情況； 3．編譯器： GNU 編譯器： C/C++編譯器， Fortran77/90/95/編譯器 4．并行環(huán)境軟件： IBM Tivoli Workload Scheduler Loadleveler, MPI－ CH, Maui/OpenPBS Tivoli Workload Scheduler Loadleveler——是一種動態(tài)任務(wù)計劃和負載平衡軟件，可在集群的內(nèi)部支持數(shù)以千計的各種任務(wù)； 5．文件系統(tǒng)： IBM GPFS （通用并行文件系統(tǒng)） GPFS——是一種高性能共享磁盤文件系統(tǒng)，可提供對集群中所有節(jié)點的快速數(shù)據(jù)訪問。單節(jié)點最高帶寬 15GB/s， I/O 平衡調(diào)度改善吞吐性能，已安裝的美國 ASCI Purple 實測達到102GB/s； 6．系統(tǒng)監(jiān)控管理軟件： IBM Systems Director 8）技術(shù)集成 IBM 完成硬件系統(tǒng)平臺，操作系統(tǒng)，系統(tǒng)平臺軟件的安裝調(diào)試以及與 LSDYNA,radioss, NASTRAN 等專業(yè)軟件商聯(lián)合安裝與調(diào)試，確保用戶的應(yīng)用軟件的正常運轉(zhuǎn)。 9）日常維護 使用 IBM 提供的高級群集管理軟件 xCAT，能夠通過單點控制來管理基于 AIX/Linux 系統(tǒng)群集。這樣便簡化了群集的管理，使其能夠很方便地擴展，有助于提高系統(tǒng)管理員的效率。同時，該軟件還充分利用了 IBM 在硬件上的先進技術(shù)，如集成的系統(tǒng)管理處理器（ Service Processor），使管理軟件能夠以遠程方式管理每一個系統(tǒng)節(jié)點，從 而方便系統(tǒng)的管理。通過現(xiàn)場培訓(xùn)用戶可以簡便的完成系統(tǒng)管理工作。 二期擴展方案 根據(jù)現(xiàn)有的架構(gòu)，二期可以方便地增加刀片加入現(xiàn)有集群，并通過 xCAT 管理新增加的小型機；同時， GPFS 并行文件系統(tǒng)在線擴展文件系統(tǒng)和添加 I/O 節(jié)點，并支持分級存儲。 方案具有非常好的擴展性。 第 6 章 相關(guān)產(chǎn)品技術(shù)介紹 IBM BladeCenter 要點： ?? 提供業(yè)界最全面的兼容機箱、刀片服務(wù)器、存儲器和聯(lián)網(wǎng)產(chǎn)品的選擇性。 ?? 通過多層冗余提供極為牢靠的可用性。 ?? 端到端的可靠性和最佳業(yè)務(wù)實踐承諾。 ?? 通過創(chuàng)新的冷卻技術(shù)提供卓越的電源效率。 ?? 基于開放技術(shù)提供卓越的 I/O 性能和交換功能。 ?? 高效整合 ： IBM BladeCenter H 將服務(wù)器、存儲、網(wǎng)絡(luò)、 I/O 與應(yīng)用程序緊密地集成在一起，客戶可以使用通用構(gòu)建模塊構(gòu)建強大而靈活的 IT 基礎(chǔ)架構(gòu)。業(yè)務(wù)增長時，只要插入新的刀片即可，非常簡單。模塊化設(shè)計能節(jié)約大量的電纜成本，而且在很大程度上減少了由于