【文章內容簡介】 應的應用軟件。 最后，廠家長期、穩(wěn)定的產品售后服務和技術支持體系也是保證一個生產處理系統(tǒng)正常運行的因素。 IBM 中國公司在 1998 年就投資 1500 萬美元成立了國內最大的技術支持中心－ IBM 中國技術支持中心（ IBM China Technical Support Center，即 TSC），為國內的用戶、代理商及 IBM 內部提供技術支持服務。 正是由于 IBM 在高性能計算方面長期以來的不懈努力，使 IBM 在 ―大規(guī)模 ‖高性能計算方面擁有大量用戶 （安裝并已進入實際生產運行）。并且， IBM 公司與業(yè)內多家應用軟件提供商和服務商有大量的合作和成功案例， IBM 的高性能計算解決方案能在硬件和系統(tǒng)的層面滿足應用的需要， IBM 中國公司在此提供建議書，其目的在于根據(jù) IBM 在并行計算項目方面的多年經驗，為用戶提供一個技術上的參考意見，并通過 IBM 的服務支持，協(xié)助用戶以最高的性價比獲得穩(wěn)定、可靠的運行。 第 4 章 CAE 高性能計算系統(tǒng)設計原則 應用通用性原則 如上所述，不同 CAE 軟件對計算機系統(tǒng)的需求差異很大，例如 NASTRAN應用對內存和 I/O 的要求很高；而 CFD 類的應用對 CPU 速度及網(wǎng)絡連接有較高的要求。為此，該計算機系統(tǒng)必須是一個平衡的系統(tǒng)，在 CPU 速度、內存容量與帶寬、存儲容量與帶寬及網(wǎng)絡連接等各個方面都不應該存在性能瓶頸。 半導體技術和計算機技術的飛速發(fā)展，使得不停地有新技術出現(xiàn)以提高某一方面的能力，因此綜合優(yōu)化利用所有在某一時刻最新最先進最成熟的技術才能建立一個全方面均衡的系統(tǒng)，任何一個主要部件的先進不代表整個系統(tǒng)的先進，任何一個主要部件的落后也會導致整個系統(tǒng)的落后。 但毋庸置疑，一個全面實現(xiàn)均衡設計的先進系統(tǒng)必然是一個成本較高的系統(tǒng)，最先采用新技術 通常都會帶來一些額外的代價。因此設計一個有具有不同特點的多個子系統(tǒng)構成的高性能計算系統(tǒng)也是一個對 CAE 應用非常適合的做法。但這類系統(tǒng)應該具有一個較好的管理機制，能夠將不同特點的作業(yè)分發(fā)到最適合的子系統(tǒng)上進行運算，以獲得總體上均衡的效果。 系統(tǒng)高擴展性原則 CAE 高性能計算系統(tǒng)在提升作業(yè)吞吐能力（支持多用戶、多作業(yè)）的同時，還有一個重要的目標是用來支持中、小規(guī)模計算機系統(tǒng)無法解決的特殊業(yè)務問題。為此，該計算機系統(tǒng)不應該是眾多低端服務器的簡單堆疊。用來構建該計算機系統(tǒng)的計算服務器必須具有強大的處理能力，并配合以高性能的網(wǎng)絡連接。 下表列出了 Power575 服務器與 Intel 最新的發(fā)布的、采用兩路 Nehalem 芯片（ 8 核）的服務器的一些指標對比，從中可以看出 Power575 服務器出了具有強大的計算性能優(yōu)勢外，更是一臺性能平衡的系統(tǒng)，在內存及 I/O 等各方面均有優(yōu)異的性能。 IBM Power 575 服 務 器 2way Nehalem 服 務 器 性能比 理論峰值速度 (GFlops) 601 倍 緩存容量 (MB) 640 18 倍 內存帶寬 (GB/s) 273 32 倍 I/O 帶寬 (GB/s) 94 倍 系統(tǒng)高可用性原則 建設大規(guī)模的高性能計算機系統(tǒng)將面臨眾多的技術難題，其中系統(tǒng)的穩(wěn)定性、安全性及易管理性是該計算機系統(tǒng)應具有的基本特征。最終用戶不應該在系統(tǒng)管理和維護上投入過多的人力與物力，而是將精力集中于相應的科研工作。 為此，我們推薦采用更穩(wěn)定的 Power 服務器和可靠性很高的刀片系統(tǒng)作為計算節(jié)點，輔之以成熟的軟件系統(tǒng)和關鍵部件的冗余化設計，從而建立高可用的高性能計算系統(tǒng)。 處理器 性能最大化原則 在 CAE 用戶所處的應用領域存在一個現(xiàn)象，即作業(yè)的運行時間很難通過增加所使用的處理器數(shù)量來減少。下面分別列出了 ANSYS 和 ABAQUS 在典型高性能計算機上不同個數(shù)處理器上運行標準測試所花費的時間。 加速比 1 CPU 2 CPU 4 CPU ABAQUS, 7 Standard Benchmarks 1 ANSYS, 12 Standard Benchmarks 1 ABAQUS 是典型的非線性有限元分析程序，從上表可以看出，即使使用 4個 CPU，也無法將計算時間縮短至只使用一個 CPU 時的 50%。而 ANSYS 多處理器并行的效率更差。 分析以上數(shù)據(jù)我們可以得出結論，若要提高工作效率，縮短作業(yè)的運行時間或者在一定的時間內運行更多的作業(yè)或更復雜的作業(yè)，只有提高單處理器的性能才能實現(xiàn)。也就是說，由 8 個相對性能為一的處理器構造的高性能計算系統(tǒng)不如使用由 4 個相對性能為 2 的處理器組成的高性能計算系統(tǒng)的使用效果好，理想狀態(tài)下對兩個 4 CPU 的作業(yè)它們的性能是一樣的，而對于一個作業(yè)來講后者只需前者一半的時間就可完成作業(yè)。 對于這類應用，高性能的 Power 處理器是比較理想的選擇，選擇性能盡可能高的 Power 處理器還有另一個好處，就是在得到同樣的運行效率的前提下，在應用軟件許可證上的花費更少。 高性價比原則 只遵循上面的原則會造成系統(tǒng)購置成本不受限制地增加，所以需要在高性價比原則給以制約。對于顯式有限元分析以及流體和碰撞等應用，選擇性能價格比更高的刀片式服務器，無疑是非常理想的選擇。 同時高性價比原則也不能僅理解成硬件系統(tǒng)的性價比，而應該將所需軟件的費用一并納入考慮內容；也不應只是考慮系統(tǒng)在采購時的性價比，而應考慮系統(tǒng)故障造成的時間損失和信譽損失、維修備件成本、維修人員成本、能源費用等。 第 5 章 CAE 高性能計算平臺方案 關于 XX 汽車 CAE 項目投資的幾點建議 ?? 根據(jù)測試結果及我們以往在汽車行業(yè)的經驗，理想的計算環(huán)境應該是 SMP 小機+Linux cluster 的混合架構； ?? 項目投資應有計劃、分步驟地有序進行，一期可先上 cluster 保證碰撞和顯式計算并規(guī)劃好未來擴展的計劃； ?? 保證 ABAQUS、 NASTRAN 等隱式計算可以在 cluster 架構下過渡性地運行，明年二期可以平滑地遷移到計劃的 SMP 小型機上，不建議采用 X86 SMP 服務器 ?? 存儲需要考慮并行文件系統(tǒng)，可以考慮一期用兩個 I/O 節(jié)點保證 I/O 吞吐量并兼顧可靠性，后期可平滑擴展； ?? 考慮到碰撞等應用對時間延遲的敏感性，建議采用 InfiniBand 等高速網(wǎng)絡連接，并制訂后期擴展計劃 ?? 作業(yè)調度方面，一期可考慮開源軟件，后期可選擇 LSF,PBS Pro， LoadLeveler 等商業(yè)版作業(yè)調度系統(tǒng)。 總體方案描述 根據(jù)客戶需求 ,一期采用刀片集群方案，二期擴展 SMP 小型機，具體方案描述如下： 使用一套刀片中心， 8 片刀片，內置萬兆交換機為各刀片之間提供 10Gb/s 帶寬。隨著用戶需求的增長，該系統(tǒng)可同過增加刀片中心靈活的擴展。基本配置如下： 1） 計算節(jié)點 : 8 片 HS22 CPU： 2 顆 Xeon X5670 CPU (Intel Xeon 六 核處理器 , , 12M L3緩存 , 總線 ) RAM： 24GB HDD： 2 x 146GB ‖ SAS 熱插拔的 硬盤 集成 2 個千兆以太網(wǎng)卡 萬兆的子卡 三年免費維護 2）用于安裝計算節(jié)點的 BladeCenter H Chassis 1 個 管理模塊 1 個 兩組（ 4 個） 2900W 電源模塊 內置千兆以太網(wǎng)交換機 BNT 萬兆交換機 三年免費維護 3）管理節(jié)點 ： 1 臺 IBM x3650 M3 CPU： 2 顆 Xeon E5630 CPU(四核至強處理器 12MB三級緩存，最高支持 1066MHz 內存頻率， GT/s QPI，支持超線程、 TurboBoost 功能 ) RAM： 16GB HDD： 2 塊 146GB ‖ SAS 熱插拔的 硬盤 集成 2 個千兆以太網(wǎng)卡 1 個雙口獨立千兆以太網(wǎng)卡 三年免費維護 4） I/O 節(jié)點 ： 2 臺 IBM x3650 M3 CPU： 2 顆 Xeon E5630 CPU(四核至強處理器 12MB三級緩存，最高支持 1066MHz 內存頻率， GT/s QPI，支持超線程、 TurboBoost 功能 ) RAM： 16GB HDD： 2 塊 146GB ‖ SAS 熱插拔的 硬盤 集成 2 個千兆以太網(wǎng)卡 1 個雙口 光纖通道 卡 萬兆 以太網(wǎng) 卡 遠程控制卡 三年免費維護 5）存儲設備 IBM DS5300 高性能磁盤陣列 雙控制單元 12 塊 300GB， FC 磁盤 6）機柜套件 1 個 42U， 19 英寸標準機柜 1 套 15 英寸液晶顯示套件 1 套 NetBAY Console Switch (KVM)，含鍵盤，鼠標 4 個 PDU 含配套電源線 7）軟件部分 1．操作系統(tǒng) ： Linux 2．集群管理系統(tǒng) ： IBM xCAT 本系統(tǒng)集群管理軟件采用 xCAT 完成集群管理功能，本方案建議選擇主管理節(jié)點作為 xCAT的管理服務器，安裝 xCAT 服務器端軟件。 xCAT 服務器端軟件通過 AMM 網(wǎng)絡與刀片中心的管理模塊通訊，得到刀片的狀態(tài)信息，例如為部署刀片操作系統(tǒng)需要的網(wǎng)卡 MAC 地址。通過軟件分發(fā)網(wǎng)絡，與存儲節(jié)點和登陸節(jié)點通訊，進行硬件管理。 xCAT 管理操作，通過軟件分發(fā)網(wǎng)絡，與計算節(jié)點，存儲節(jié)點，登陸節(jié)點通訊。 xCAT 工作邏輯如下圖所示： xCAT 能夠通過單點控制來管理基于 Intel 的 Linux 系統(tǒng)群集。這樣便簡化了群集的管理，使其能夠很方便地擴展，有助于提高系統(tǒng)管理員的效率。同時，該軟件還充分利用了 IBM 在硬件上的先進技術，如集成的系統(tǒng)管理處理器（ Service Processor），使管理軟件能夠以遠程方式管理每一個系統(tǒng)節(jié)點，從而方便系統(tǒng)的管理。 xCAT 包括一種能夠監(jiān)控軟硬件事件的基礎設施，在適當?shù)臅r候可以觸發(fā)自動恢復操作。CSM 的這種較高可靠性基礎設施和事件監(jiān)控功能，有助于快速檢查和解決問題，從而增強了群集的可用性。 具體來講， IBM 的集群系統(tǒng)管理軟件可以實現(xiàn)如下的功能： ?? 實現(xiàn)系統(tǒng)的并行安裝和配置； ?? 管理和同步節(jié)點的配置文件； ?? 提供系統(tǒng)遠程運行命令操作，允許以命令或腳本方式運行在集群中的所有節(jié)點上 ?? 支持用戶帳戶統(tǒng)一管理； ?? 提供遠程硬件控制，如：節(jié)點的遠程開機、關機和重新啟動； ?? 動態(tài)監(jiān)視系統(tǒng)資源使用情況； 3．編譯器： GNU 編譯器： C/C++編譯器， Fortran77/90/95/編譯器 4．并行環(huán)境軟件： IBM Tivoli Workload Scheduler Loadleveler, MPI－ CH, Maui/OpenPBS Tivoli Workload Scheduler Loadleveler——是一種動態(tài)任務計劃和負載平衡軟件，可在集群的內部支持數(shù)以千計的各種任務； 5．文件系統(tǒng)： IBM GPFS （通用并行文件系統(tǒng)） GPFS——是一種高性能共享磁盤文件系統(tǒng)，可提供對集群中所有節(jié)點的快速數(shù)據(jù)訪問。單節(jié)點最高帶寬 15GB/s， I/O 平衡調度改善吞吐性能，已安裝的美國 ASCI Purple 實測達到102GB/s； 6．系統(tǒng)監(jiān)控管理軟件： IBM Systems Director 8）技術集成 IBM 完成硬件系統(tǒng)平臺，操作系統(tǒng)，系統(tǒng)平臺軟件的安裝調試以及與 LSDYNA,radioss, NASTRAN 等專業(yè)軟件商聯(lián)合安裝與調試，確保用戶的應用軟件的正常運轉。 9）日常維護 使用 IBM 提供的高級群集管理軟件 xCAT，能夠通過單點控制來管理基于 AIX/Linux 系統(tǒng)群集。這樣便簡化了群集的管理，使其能夠很方便地擴展，有助于提高系統(tǒng)管理員的效率。同時，該軟件還充分利用了 IBM 在硬件上的先進技術，如集成的系統(tǒng)管理處理器（ Service Processor），使管理軟件能夠以遠程方式管理每一個系統(tǒng)節(jié)點，從 而方便系統(tǒng)的管理。通過現(xiàn)場培訓用戶可以簡便的完成系統(tǒng)管理工作。 二期擴展方案 根據(jù)現(xiàn)有的架構，二期可以方便地增加刀片加入現(xiàn)有集群，并通過 xCAT 管理新增加的小型機；同時， GPFS 并行文件系統(tǒng)在線擴展文件系統(tǒng)和添加 I/O 節(jié)點，并支持分級存儲。 方案具有非常好的擴展性。 第 6 章 相關產品技術介紹 IBM BladeCenter 要點： ?? 提供業(yè)界最全面的兼容機箱、刀片服務器、存儲器和聯(lián)網(wǎng)產品的選擇性。 ?? 通過多層冗余提供極為牢靠的可用性。 ?? 端到端的可靠性和最佳業(yè)務實踐承諾。 ?? 通過創(chuàng)新的冷卻技術提供卓越的電源效率。 ?? 基于開放技術提供卓越的 I/O 性能和交換功能。 ?? 高效整合 ： IBM BladeCenter H 將服務器、存儲、網(wǎng)絡、 I/O 與應用程序緊密地集成在一起，客戶可以使用通用構建模塊構建強大而靈活的 IT 基礎架構。業(yè)務增長時，只要插入新的刀片即可，非常簡單。模塊化設計能節(jié)約大量的電纜成本，而且在很大程度上減少了由于