【文章內(nèi)容簡(jiǎn)介】 kload Scheduler Loadleveler，他可以實(shí)現(xiàn)資源利用率和吞吐量的最大化。對(duì)于影響高性能計(jì)算程序的編程環(huán)境IBM 有歷經(jīng)幾十年的強(qiáng)大編譯器（最優(yōu)的SPEC OMP2001性能）和優(yōu)秀的數(shù)學(xué)與科學(xué)函數(shù)庫(kù)ESSL, PESSL。IBM 更有經(jīng)過(guò)充分優(yōu)化的并行運(yùn)行環(huán)境IBM PE及調(diào)試工具。其次，IBM在系統(tǒng)層面保證（大型）高性能計(jì)算系統(tǒng)的可用和可靠性，除上述系統(tǒng)連接、監(jiān)控和系統(tǒng)管理功能外，IBM的優(yōu)勢(shì)在于IBM全球服務(wù)部以其在高性能計(jì)算上多年的經(jīng)驗(yàn)和積累，將根據(jù)“應(yīng)用”和“客戶”的具體需求對(duì)整個(gè)系統(tǒng)運(yùn)行環(huán)境的客戶化，包括IP地址規(guī)劃、主機(jī)名規(guī)劃、操作系統(tǒng)包規(guī)劃、各種服務(wù)規(guī)劃以及集群系統(tǒng)本身的安裝、維護(hù)、客戶化、集群作業(yè)的分發(fā)、集群資源的分配、并行軟件編譯環(huán)境等等。這點(diǎn)對(duì)于高性能計(jì)算進(jìn)入實(shí)際生產(chǎn)應(yīng)用意義深刻。在高性能計(jì)算方面，IBM有一批資深的技術(shù)專家，他們不僅了解IBM的產(chǎn)品和技術(shù)，而且了解行業(yè)的應(yīng)用，熟悉行業(yè)的應(yīng)用軟件，這些專家負(fù)責(zé)與應(yīng)用軟件商和客戶應(yīng)用的密切技術(shù)合作和支持，經(jīng)常地與應(yīng)用軟件開(kāi)發(fā)商一起研究和優(yōu)化應(yīng)用軟件，使應(yīng)用軟件在IBM的計(jì)算機(jī)體系結(jié)構(gòu)上運(yùn)行得更好。有了這些專家的支持，可以使大量的應(yīng)用軟件可以平滑地在IBM的平臺(tái)上運(yùn)行，幫助用戶更好地使用IBM的技術(shù)和產(chǎn)品，協(xié)助用戶調(diào)試和優(yōu)化相應(yīng)的應(yīng)用軟件。最后，廠家長(zhǎng)期、穩(wěn)定的產(chǎn)品售后服務(wù)和技術(shù)支持體系也是保證一個(gè)生產(chǎn)處理系統(tǒng)正常運(yùn)行的因素。IBM中國(guó)公司在1998年就投資1500萬(wàn)美元成立了國(guó)內(nèi)最大的技術(shù)支持中心－IBM中國(guó)技術(shù)支持中心（IBM China Technical Support Center，即TSC），為國(guó)內(nèi)的用戶、代理商及IBM內(nèi)部提供技術(shù)支持服務(wù)。正是由于 IBM 在高性能計(jì)算方面長(zhǎng)期以來(lái)的不懈努力，使IBM在“大規(guī)?！备咝阅苡?jì)算方面擁有大量用戶（安裝并已進(jìn)入實(shí)際生產(chǎn)運(yùn)行）。并且，IBM公司與業(yè)內(nèi)多家應(yīng)用軟件提供商和服務(wù)商有大量的合作和成功案例， IBM的高性能計(jì)算解決方案能在硬件和系統(tǒng)的層面滿足應(yīng)用的需要，IBM中國(guó)公司在此提供建議書(shū)，其目的在于根據(jù)IBM在并行計(jì)算項(xiàng)目方面的多年經(jīng)驗(yàn)，為用戶提供一個(gè)技術(shù)上的參考意見(jiàn)，并通過(guò)IBM的服務(wù)支持，協(xié)助用戶以最高的性價(jià)比獲得穩(wěn)定、可靠的運(yùn)行。第 4 章 CAE高性能計(jì)算系統(tǒng)設(shè)計(jì)原則應(yīng)用通用性原則如上所述，不同CAE軟件對(duì)計(jì)算機(jī)系統(tǒng)的需求差異很大，例如NASTRAN應(yīng)用對(duì)內(nèi)存和I/O的要求很高；而CFD類的應(yīng)用對(duì)CPU速度及網(wǎng)絡(luò)連接有較高的要求。為此，該計(jì)算機(jī)系統(tǒng)必須是一個(gè)平衡的系統(tǒng)，在CPU速度、內(nèi)存容量與帶寬、存儲(chǔ)容量與帶寬及網(wǎng)絡(luò)連接等各個(gè)方面都不應(yīng)該存在性能瓶頸。半導(dǎo)體技術(shù)和計(jì)算機(jī)技術(shù)的飛速發(fā)展，使得不停地有新技術(shù)出現(xiàn)以提高某一方面的能力，因此綜合優(yōu)化利用所有在某一時(shí)刻最新最先進(jìn)最成熟的技術(shù)才能建立一個(gè)全方面均衡的系統(tǒng)，任何一個(gè)主要部件的先進(jìn)不代表整個(gè)系統(tǒng)的先進(jìn)，任何一個(gè)主要部件的落后也會(huì)導(dǎo)致整個(gè)系統(tǒng)的落后。但毋庸置疑，一個(gè)全面實(shí)現(xiàn)均衡設(shè)計(jì)的先進(jìn)系統(tǒng)必然是一個(gè)成本較高的系統(tǒng)，最先采用新技術(shù)通常都會(huì)帶來(lái)一些額外的代價(jià)。因此設(shè)計(jì)一個(gè)有具有不同特點(diǎn)的多個(gè)子系統(tǒng)構(gòu)成的高性能計(jì)算系統(tǒng)也是一個(gè)對(duì)CAE應(yīng)用非常適合的做法。但這類系統(tǒng)應(yīng)該具有一個(gè)較好的管理機(jī)制，能夠?qū)⒉煌攸c(diǎn)的作業(yè)分發(fā)到最適合的子系統(tǒng)上進(jìn)行運(yùn)算，以獲得總體上均衡的效果。系統(tǒng)高擴(kuò)展性原則CAE高性能計(jì)算系統(tǒng)在提升作業(yè)吞吐能力（支持多用戶、多作業(yè)）的同時(shí)，還有一個(gè)重要的目標(biāo)是用來(lái)支持中、小規(guī)模計(jì)算機(jī)系統(tǒng)無(wú)法解決的特殊業(yè)務(wù)問(wèn)題。為此，該計(jì)算機(jī)系統(tǒng)不應(yīng)該是眾多低端服務(wù)器的簡(jiǎn)單堆疊。用來(lái)構(gòu)建該計(jì)算機(jī)系統(tǒng)的計(jì)算服務(wù)器必須具有強(qiáng)大的處理能力，并配合以高性能的網(wǎng)絡(luò)連接。下表列出了Power575服務(wù)器與Intel最新的發(fā)布的、采用兩路Nehalem芯片（8核）的服務(wù)器的一些指標(biāo)對(duì)比，從中可以看出Power575服務(wù)器出了具有強(qiáng)大的計(jì)算性能優(yōu)勢(shì)外，更是一臺(tái)性能平衡的系統(tǒng)，在內(nèi)存及I/O等各方面均有優(yōu)異的性能。IBM Power 575服務(wù)器2way Nehalem服務(wù)器性能比理論峰值速度 (GFlops)601緩存容量 (MB)64018內(nèi)存帶寬 (GB/s)27332I/O帶寬 (GB/s)94系統(tǒng)高可用性原則建設(shè)大規(guī)模的高性能計(jì)算機(jī)系統(tǒng)將面臨眾多的技術(shù)難題，其中系統(tǒng)的穩(wěn)定性、安全性及易管理性是該計(jì)算機(jī)系統(tǒng)應(yīng)具有的基本特征。最終用戶不應(yīng)該在系統(tǒng)管理和維護(hù)上投入過(guò)多的人力與物力，而是將精力集中于相應(yīng)的科研工作。為此，我們推薦采用更穩(wěn)定的Power服務(wù)器和可靠性很高的刀片系統(tǒng)作為計(jì)算節(jié)點(diǎn)，輔之以成熟的軟件系統(tǒng)和關(guān)鍵部件的冗余化設(shè)計(jì)，從而建立高可用的高性能計(jì)算系統(tǒng)。處理器性能最大化原則在CAE用戶所處的應(yīng)用領(lǐng)域存在一個(gè)現(xiàn)象，即作業(yè)的運(yùn)行時(shí)間很難通過(guò)增加所使用的處理器數(shù)量來(lái)減少。下面分別列出了ANSYS和ABAQUS在典型高性能計(jì)算機(jī)上不同個(gè)數(shù)處理器上運(yùn)行標(biāo)準(zhǔn)測(cè)試所花費(fèi)的時(shí)間。 加速比1 CPU2 CPU4 CPUABAQUS, 7 Standard Benchmarks1ANSYS, 12 Standard Benchmarks1ABAQUS是典型的非線性有限元分析程序，從上表可以看出，即使使用4個(gè)CPU，也無(wú)法將計(jì)算時(shí)間縮短至只使用一個(gè)CPU時(shí)的50%。而ANSYS多處理器并行的效率更差。分析以上數(shù)據(jù)我們可以得出結(jié)論，若要提高工作效率，縮短作業(yè)的運(yùn)行時(shí)間或者在一定的時(shí)間內(nèi)運(yùn)行更多的作業(yè)或更復(fù)雜的作業(yè)，只有提高單處理器的性能才能實(shí)現(xiàn)。也就是說(shuō)，由8個(gè)相對(duì)性能為一的處理器構(gòu)造的高性能計(jì)算系統(tǒng)不如使用由4個(gè)相對(duì)性能為2的處理器組成的高性能計(jì)算系統(tǒng)的使用效果好，理想狀態(tài)下對(duì)兩個(gè)4 CPU的作業(yè)它們的性能是一樣的，而對(duì)于一個(gè)作業(yè)來(lái)講后者只需前者一半的時(shí)間就可完成作業(yè)。對(duì)于這類應(yīng)用，高性能的Power處理器是比較理想的選擇，選擇性能盡可能高的Power處理器還有另一個(gè)好處，就是在得到同樣的運(yùn)行效率的前提下，在應(yīng)用軟件許可證上的花費(fèi)更少。高性價(jià)比原則只遵循上面的原則會(huì)造成系統(tǒng)購(gòu)置成本不受限制地增加，所以需要在高性價(jià)比原則給以制約。對(duì)于顯式有限元分析以及流體和碰撞等應(yīng)用，選擇性能價(jià)格比更高的刀片式服務(wù)器，無(wú)疑是非常理想的選擇。同時(shí)高性價(jià)比原則也不能僅理解成硬件系統(tǒng)的性價(jià)比，而應(yīng)該將所需軟件的費(fèi)用一并納入考慮內(nèi)容；也不應(yīng)只是考慮系統(tǒng)在采購(gòu)時(shí)的性價(jià)比，而應(yīng)考慮系統(tǒng)故障造成的時(shí)間損失和信譽(yù)損失、維修備件成本、維修人員成本、能源費(fèi)用等。第 5 章 CAE高性能計(jì)算平臺(tái)方案關(guān)于XX汽車(chē)CAE項(xiàng)目投資的幾點(diǎn)建議216。 根據(jù)測(cè)試結(jié)果及我們以往在汽車(chē)行業(yè)的經(jīng)驗(yàn)，理想的計(jì)算環(huán)境應(yīng)該是SMP小機(jī)+Linux cluster的混合架構(gòu)；216。 項(xiàng)目投資應(yīng)有計(jì)劃、分步驟地有序進(jìn)行，一期可先上cluster保證碰撞和顯式計(jì)算并規(guī)劃好未來(lái)擴(kuò)展的計(jì)劃；216。 保證ABAQUS、NASTRAN等隱式計(jì)算可以在cluster架構(gòu)下過(guò)渡性地運(yùn)行，明年二期可以平滑地遷移到計(jì)劃的SMP小型機(jī)上，不建議采用X86 SMP服務(wù)器216。 存儲(chǔ)需要考慮并行文件系統(tǒng)，可以考慮一期用兩個(gè)I/O節(jié)點(diǎn)保證I/O吞吐量并兼顧可靠性，后期可平滑擴(kuò)展；216。 考慮到碰撞等應(yīng)用對(duì)時(shí)間延遲的敏感性，建議采用InfiniBand等高速網(wǎng)絡(luò)連接，并制訂后期擴(kuò)展計(jì)劃216。 作業(yè)調(diào)度方面，一期可考慮開(kāi)源軟件，后期可選擇LSF,PBS Pro，LoadLeveler等商業(yè)版作業(yè)調(diào)度系統(tǒng)?？傮w方案描述根據(jù)客戶需求,一期采用刀片集群方案，二期擴(kuò)展SMP小型機(jī)，具體方案描述如下：使用一套刀片中心，8片刀片，內(nèi)置萬(wàn)兆交換機(jī)為各刀片之間提供10Gb/s帶寬。隨著用戶需求的增長(zhǎng)，該系統(tǒng)可同過(guò)增加刀片中心靈活的擴(kuò)展。基本配置如下：1） 計(jì)算節(jié)點(diǎn): 8片HS22CPU：2 顆 Xeon X5670 CPU (Intel Xeon六核處理器, , 12M L3緩存, )RAM：24GB HDD：2 x 146GB ” SAS熱插拔的硬盤(pán)集成2個(gè)千兆以太網(wǎng)卡萬(wàn)兆的子卡三年免費(fèi)維護(hù)2）用于安裝計(jì)算節(jié)點(diǎn)的BladeCenter H Chassis 1個(gè)管理模塊1個(gè)兩組（4個(gè)）2900W電源模塊內(nèi)置千兆以太網(wǎng)交換機(jī)BNT萬(wàn)兆交換機(jī)三年免費(fèi)維護(hù)3）管理節(jié)點(diǎn)：1臺(tái)IBM x3650 M3CPU：2 顆 Xeon E5630 CPU( 12MB三級(jí)緩存，最高支持1066MHz內(nèi)存頻率， GT/s QPI，支持超線程、TurboBoost功能)RAM：16GB HDD：2塊146GB ” SAS熱插拔的硬盤(pán)集成2個(gè)千兆以太網(wǎng)卡1個(gè)雙口獨(dú)立千兆以太網(wǎng)卡三年免費(fèi)維護(hù)4）I/O節(jié)點(diǎn)：2臺(tái)IBM x3650 M3CPU：2 顆 Xeon E5630 CPU( 12MB三級(jí)緩存，最高支持1066MHz內(nèi)存頻率， GT/s QPI，支持超線程、TurboBoost功能)RAM：16GB HDD：2塊146GB ” SAS熱插拔的硬盤(pán)集成2個(gè)千兆以太網(wǎng)卡1個(gè)雙口光纖通道卡萬(wàn)兆以太網(wǎng)卡遠(yuǎn)程控制卡三年免費(fèi)維護(hù)5）存儲(chǔ)設(shè)備IBM DS5300高性能磁盤(pán)陣列雙控制單元12塊300GB，F(xiàn)C磁盤(pán)6）機(jī)柜套件1個(gè)42U，19英寸標(biāo)準(zhǔn)機(jī)柜1套15英寸液晶顯示套件1套NetBAY Console Switch (KVM)，含鍵盤(pán)，鼠標(biāo)4個(gè)PDU 含配套電源線7）軟件部分1．操作系統(tǒng) ： Linux2．集群管理系統(tǒng) ：IBM xCAT本系統(tǒng)集群管理軟件采用xCAT完成集群管理功能，本方案建議選擇主管理節(jié)點(diǎn)作為xCAT的管理服務(wù)器，安裝xCAT服務(wù)器端軟件。xCAT服務(wù)器端軟件通過(guò)AMM網(wǎng)絡(luò)與刀片中心的管理模塊通訊，得到刀片的狀態(tài)信息，例如為部署刀片操作系統(tǒng)需要的網(wǎng)卡MAC地址。通過(guò)軟件分發(fā)網(wǎng)絡(luò)，與存儲(chǔ)節(jié)點(diǎn)和登陸節(jié)點(diǎn)通訊，進(jìn)行硬件管理。xCAT管理操作，通過(guò)軟件分發(fā)網(wǎng)絡(luò)，與計(jì)算節(jié)點(diǎn)，存儲(chǔ)節(jié)點(diǎn)，登陸節(jié)點(diǎn)通訊。xCAT工作邏輯如下圖所示：xCAT能夠通過(guò)單點(diǎn)控制來(lái)管理基于Intel的Linux系統(tǒng)群集。這樣便簡(jiǎn)化了群集的管理，使其能夠很方便地?cái)U(kuò)展，有助于提高系統(tǒng)管理員的效率。同時(shí)，該軟件還充分利用了IBM在硬件上的先進(jìn)技術(shù)，如集成的系統(tǒng)管理處理器（Service Processor），使管理軟件能夠以遠(yuǎn)程方式管理每一個(gè)系統(tǒng)節(jié)點(diǎn)，從而方便系統(tǒng)的管理。xCAT包括一種能夠監(jiān)控軟硬件事件的基礎(chǔ)設(shè)施，在適當(dāng)?shù)臅r(shí)候可以觸發(fā)自動(dòng)恢復(fù)操作。CSM的這種較高可靠性基礎(chǔ)設(shè)施和事件監(jiān)控功能，有助于快速檢查和解決問(wèn)題，從而增強(qiáng)了群集的可用性。具體來(lái)講，IBM的集群系統(tǒng)管理軟件可以實(shí)現(xiàn)如下的功能：l 實(shí)現(xiàn)系統(tǒng)的并行安裝和配置；l 管理和同步節(jié)點(diǎn)的配置文件；l 提供系統(tǒng)遠(yuǎn)程運(yùn)行命令操作，允許以命令或腳本方式運(yùn)行在集群中的所有節(jié)點(diǎn)上l 支持用戶帳戶統(tǒng)一管理；l 提供遠(yuǎn)程硬件控制，如：節(jié)點(diǎn)的遠(yuǎn)程開(kāi)機(jī)、關(guān)機(jī)和重新啟動(dòng)；l 動(dòng)態(tài)監(jiān)視系統(tǒng)資源使用情況；3．編譯器：GNU 編譯器：C/C++編譯器，F(xiàn)ortran77/90/95/編譯器4．并行環(huán)境軟件：IBM Tivoli Workload Scheduler Loadleveler, MPI－CH, Maui/OpenPBSTivoli Workload Scheduler Loadleveler——是一種動(dòng)態(tài)任務(wù)計(jì)劃和負(fù)載平衡軟件，可在集群的內(nèi)部支持?jǐn)?shù)以千計(jì)的各種任務(wù)；5．文件系統(tǒng)：IBM GPFS （通用并行文件系統(tǒng)）GPFS——是一種高性能共享磁盤(pán)文件系統(tǒng)，可提供對(duì)集群中所有節(jié)點(diǎn)的快速數(shù)據(jù)訪問(wèn)。單節(jié)點(diǎn)最高帶寬15GB/s，I/O平衡調(diào)度改善吞吐性能，已安裝的美國(guó)ASCI Purple 實(shí)測(cè)達(dá)到102GB/s；6．系統(tǒng)監(jiān)控管理軟件：IBM Systems Director8）技術(shù)集成IBM完成硬件系統(tǒng)平臺(tái)，操作系統(tǒng)，系統(tǒng)平臺(tái)軟件的安裝調(diào)試以及與LSDYNA,radioss, NASTRAN等專業(yè)軟件商聯(lián)合安裝與調(diào)試，確保用戶的應(yīng)用軟件的正常運(yùn)轉(zhuǎn)。9）日常維護(hù)使用IBM提供的高級(jí)群集管理軟件xCAT，能夠通過(guò)單點(diǎn)控制來(lái)管理基于AIX/Linux系統(tǒng)群集。這樣便簡(jiǎn)化了群集的管理，使其能夠很方便地?cái)U(kuò)展，有助于提高系統(tǒng)管理員的效率。同時(shí)，該軟件還充分利用了IBM在硬件上的先進(jìn)技術(shù)，如集成的系統(tǒng)管理處理器（Service Processor），使管理軟件能夠以遠(yuǎn)程方式管理每一個(gè)系統(tǒng)節(jié)點(diǎn)，從而方便系統(tǒng)的管理。通過(guò)現(xiàn)場(chǎng)培訓(xùn)用戶可以簡(jiǎn)便的完成系統(tǒng)管理工作。二期擴(kuò)展方案根據(jù)現(xiàn)有的架構(gòu)，二期可以方便地增加刀片加入現(xiàn)有集群，并通過(guò)xCAT管理新增加的小型機(jī)；同時(shí)，GPFS并行文件系統(tǒng)在線擴(kuò)展文件系統(tǒng)和添加I/O節(jié)點(diǎn)，并支持分級(jí)存儲(chǔ)。 方案具有非常好的擴(kuò)展性。第 6 章 相關(guān)產(chǎn)品技術(shù)介紹 IBM BladeCenter要點(diǎn)： n 提供業(yè)界最全面的兼容機(jī)箱、刀片服務(wù)器、存儲(chǔ)器和聯(lián)網(wǎng)產(chǎn)品的選擇性。n 通過(guò)多層冗余提供極為牢靠的可用性。n 端到端的可靠性和最佳業(yè)務(wù)實(shí)踐承諾。n 通過(guò)創(chuàng)新的冷卻技術(shù)提供卓越的電源效率。 n 基于開(kāi)放技術(shù)提供卓越的I/O性能和交換功能。l 高效整合：IBM BladeCenter H將服務(wù)器、存儲(chǔ)、網(wǎng)絡(luò)、I/O 與應(yīng)用程序緊密地集成在一起，客戶可以使用通用構(gòu)建模塊構(gòu)建強(qiáng)大而靈活的 IT 基礎(chǔ)架構(gòu)。業(yè)務(wù)增長(zhǎng)時(shí)，只要插入新的刀片即可，非常簡(jiǎn)單。模塊化設(shè)計(jì)能節(jié)約大量的電纜成本，而且在很大程度上減少了由于電纜太多而造成的混亂和路由上的麻煩。由于電纜數(shù)量的減少，能夠大大提高機(jī)架后面的空氣流通自由度。l 刀片中心具有非常高的可靠性及可用性，刀片中心中連接后部共享模塊和前部刀片服務(wù)器的中間背板，其上半部與下半部的功能相同并相互獨(dú)立，從而實(shí)現(xiàn)了背板的冗余配置。所以IBM刀片中心中的所有部件都可以冗余配置，包括風(fēng)扇、電源、交換機(jī)模