【正文】 ...................................................................................19 XXXXXX rx8620 計算服務(wù)器的特點和優(yōu)勢 ......................................................................21 CLUSTER 計算集群方案 ................................................................................................................22 Cluster 計算集群結(jié)構(gòu) ......................................................................................................22 Cluster 節(jié)點系統(tǒng)配置 ......................................................................................................24 節(jié)點互連、管理和用戶網(wǎng)絡(luò) .............................................................................................26 Cluster 計算集群節(jié)點管理 ..............................................................................................28 Cluster 計算集群作業(yè)管理 ..............................................................................................29 XXXXXX Cluster 計算集群的特點和優(yōu)勢 ........................................................................30 高性能計算外接存儲需求分析 ...................................................................................................30 XXXXXX 方案的優(yōu)勢 .................................................................................................................32 ***高性能計算系統(tǒng)方案建議書3第一章 概述XXXXXX 公司非常榮幸能為高性能計算中心系統(tǒng)建設(shè)提出建議。作為全球最大的計算機廠商之一，XXXXXX 公司具有一流的產(chǎn)品、技術(shù)和服務(wù)。XXXXXX 公司憑借先進(jìn)的技術(shù)和出色的支持服務(wù)，相信通過雙方的合作，可使高性能計算中心系統(tǒng)項目順利實施，從而為用戶提供一個健壯、安全、高可用的運行環(huán)境，并進(jìn)一步建立長期的友好合作關(guān)系。它不僅是一個高速處理的計算機系統(tǒng)、更重要的是在其之上運行的各種應(yīng)用對科學(xué)領(lǐng)域產(chǎn)生非常深遠(yuǎn)的影響。另一方面，人們也要求利用工業(yè)標(biāo)準(zhǔn)芯片等開放性的技術(shù)降低投資、加速開發(fā)，在規(guī)定經(jīng)費預(yù)算和時間框架內(nèi)完成規(guī)模越來越大的計算任務(wù)。 高性能計算環(huán)境發(fā)展的趨勢 更高、更全面的性能要求高性能技術(shù)計算是利用數(shù)值模擬和數(shù)字技術(shù)方法探索和預(yù)測未知世界的技術(shù)。近年來，隨著研究的深入和競爭的加劇，各個領(lǐng)域越來越多地使用模擬的方法來解決科研和生產(chǎn)中的實際問題。例如，在一個 3 維模型中，如果把從每個方向取 100 個分點增加取到 1000 個分點，對計算機資源的需求將增加 1000 倍以上。這就對計算機系統(tǒng)的計算能力、系統(tǒng)帶寬、內(nèi)存容量、存儲設(shè)備和 I/O 吞吐能力以及應(yīng)用軟件的開發(fā)技術(shù)都提出了更高、更全面的要求。其中，以信息處理為主的應(yīng)用統(tǒng)稱企業(yè)應(yīng)用，是市場容量最大的應(yīng)用領(lǐng)域。因此，高性能計算應(yīng)用往往使用與企業(yè)應(yīng)用不同的系統(tǒng)，影響了產(chǎn)品批量的擴大。許多新型的企業(yè)應(yīng)用對計算能力、存儲容量和系統(tǒng)帶寬的要求都越來越高、越來越迫切，高性能計算 應(yīng)用和其他類型應(yīng)用的界限也日益淡化。 更加嚴(yán)格的預(yù)算約束隨著競爭的加劇和應(yīng)用的普及，高性能計算不再是一個不惜工本的應(yīng)用領(lǐng)域，許多項目的預(yù)算約束越來越嚴(yán)格。 ***高性能計算系統(tǒng)方案建議書5 使用商品化部件為了促進(jìn)高性能計算廣泛應(yīng)用必須降低成本，否則很難為更多的用戶所接受。早期的超級計算機系統(tǒng)使用專門定制的處理器和互聯(lián)設(shè)備等部件價格非常昂貴。當(dāng)前商品化處理器和服務(wù)器性能日益提高、價格也日趨下降，為利用它們建立高端和超級計算機系統(tǒng)提供了良好的基礎(chǔ)。目前已經(jīng)很少再有廠商使用專門的部件如向量處理器來建立超級計算機系統(tǒng)。人們注意到，基于開放性 IA－32 體系結(jié)構(gòu)的 Xeon 和Pentium 4 處理器的超級計算機已經(jīng)在 TOP500 占有重要地位。我們深信，通過采用 XXXXXX 的高性能計算系統(tǒng) ，必將加速在高性能計算領(lǐng)域取得更加豐碩的科研成果。所有這些因素都是相互關(guān)聯(lián)的。隨著各種模型越來越大，越來越復(fù)雜，數(shù)據(jù)集的規(guī)模 ***高性能計算系統(tǒng)方案建議書6也急劇增長。而超級計算機主要用來處理這樣龐大的工作負(fù)載。同樣這樣的負(fù)載所要求的超級計算機還必須采用多級別并行處理技術(shù)，能夠利用幾十個甚至幾千個處理器來處理一項任務(wù)；這樣的并行處理技術(shù)也需要超級計算機要采用高性能的互連設(shè)備和系統(tǒng)設(shè)計，以較高的成本去換取最高的性能。 過去，人們使用系統(tǒng)能夠達(dá)到的執(zhí)行指令最大速率如每秒執(zhí)行百萬指令數(shù)/浮點操作數(shù)(MIPS/MFLOPS)來量度計算機硬件性能。此外，硬件性能量度和系統(tǒng)體系結(jié)構(gòu)都是非標(biāo)準(zhǔn)的，使得人們很難使用它們作為服務(wù)器選型的性能指標(biāo)。此類程序一般稱為基準(zhǔn)測試程序。目前有許多專門設(shè)計基準(zhǔn)測試程序和管理各種計算機系統(tǒng)基準(zhǔn)測試指標(biāo)的機構(gòu)，其中最著名的是SPEC 和 TPC。例如，在數(shù)據(jù)庫應(yīng)用方面 Oracle、Informix、 Sybase 公司的基準(zhǔn)測試指標(biāo)；在企業(yè)應(yīng)用方面 SAP、SAS、PeopleSoft、Baan 等公司的基準(zhǔn)測試指標(biāo)；在 ***高性能計算系統(tǒng)方案建議書8高性能計算方面運行 Amber、CHARMm、Fluent、LSDYNA、MARC、ANSYS等著名應(yīng)用軟件的指標(biāo)等； 一般地說，系統(tǒng)基準(zhǔn)測試指標(biāo)測試的計算機子系統(tǒng)的性能，而其他兩類基準(zhǔn)測試指標(biāo)則主要測試計算機執(zhí)行某種或某個特殊應(yīng)用的性能。但是“全信書不如無書” 。一方面，雖然基準(zhǔn)測試的環(huán)境和用戶的實際應(yīng)用環(huán)境不完全相同，但是它們畢竟比較客觀地反映了計算機系統(tǒng)某一方面的性能，對性能評估和搞好服務(wù)器選型工作都有相當(dāng)大的參考價值；另一方面，任何基準(zhǔn)測試指標(biāo)都是在人為設(shè)定的特殊條件下得到的?；鶞?zhǔn)測試的條件不可能完全反映實際應(yīng)用的復(fù)雜性，基準(zhǔn)測試指標(biāo)不可避免地具有某種片面性。為了避免片面性，對服務(wù)器系統(tǒng)的性能指標(biāo)、特性和廠商進(jìn)行全面考察，將是搞好服務(wù)器選型工作比較科學(xué)和可靠的方法。XXXXXX 認(rèn)為，高性能計算系統(tǒng)應(yīng)具有處理大規(guī)模的復(fù)雜運算，尤其是浮點運算的能力 。方案設(shè)計以用戶現(xiàn)場測試結(jié)果為基礎(chǔ)，根據(jù)用戶對未來應(yīng)用模式及業(yè)務(wù)量需求預(yù)測為前提，強調(diào)高性能以及可行、合理和低風(fēng)險。這樣有利于提高整個系統(tǒng)的計算與處理能力 。各種復(fù)雜的研究課題在本系統(tǒng)中能夠得到準(zhǔn)確，快速的計算結(jié)果 。 隨著對計算機系統(tǒng)性能的要求不斷提高， 該計算機系統(tǒng)應(yīng)具有擴展能力， 并且容易實現(xiàn) 。這樣，便于和其他平臺上的系統(tǒng)互操作 ***高性能計算系統(tǒng)方案建議書10。XXXXXX 公司與高性能計算方面的獨立軟件開發(fā)商緊密合作，例如：Fluent,ANSYS 等專業(yè)工程軟件商,Red Hat,Etnus,Pallas,Platform 等專業(yè)平臺軟件商, 不僅提供處理節(jié)點間的協(xié)調(diào)和通信的中間件，使整個系統(tǒng)節(jié)點能夠真正實現(xiàn)合作，負(fù)載均衡，還能針對不同應(yīng)用需求，提供一系列并行計算應(yīng)用。 當(dāng)遇到這些問題時能夠得到有效的支持， 使問題得以圓滿的解決 。 本系統(tǒng)在性能價格比方面在同類系統(tǒng)中應(yīng)具有明顯的優(yōu)勢，對于三院三部來說在采購大型系統(tǒng)中應(yīng)該考慮的重要因素。 總體方案結(jié)構(gòu)針對系統(tǒng)高性能計算應(yīng)用的特點,結(jié)合與相關(guān)業(yè)務(wù)處室的溝通。SMP 計算服務(wù)器采用高性能 XXXXXXUX 11i TCOE 高性能計算操作系統(tǒng)環(huán)境，并運行 XXXXXX WorkLoad Manager(WLM)動態(tài)資源管理工具對任務(wù)的資源分配進(jìn)行管理和調(diào)度。高性能計算集群配置 1 個管理節(jié)點及 2 個 I/O 節(jié)點，并通過用戶網(wǎng)絡(luò)和管理網(wǎng)絡(luò)進(jìn)行互聯(lián)。SMP 計算服務(wù)器和 Cluster 管理節(jié)點通過 1000BaseT 千兆以太網(wǎng)連接到三部的骨干網(wǎng)中，各室工作組通過該網(wǎng)絡(luò)申請計算資源和提交任務(wù)。 SMP 計算服務(wù)器方案 CPU 內(nèi)存配置數(shù)量計算根據(jù)以上分析，SMP 計算服務(wù)器主要用于結(jié)構(gòu)類計算任務(wù)，包括結(jié)構(gòu)的設(shè)計、分析和仿真等。從測試結(jié)果上看，ANSYS 類應(yīng)用對系統(tǒng)資源和開銷是最大的，而用戶使用ANSYS 來進(jìn)行部件和系統(tǒng)設(shè)計也是最多的，因此按此類應(yīng)用的峰值性能需求來計算出系統(tǒng)的配置，當(dāng)然還應(yīng)根據(jù)任務(wù)的并發(fā)情況來適當(dāng)調(diào)整。白天考慮 45 個部件級的并發(fā)。如果每個系統(tǒng)級任務(wù)分配 2 個 CPU，共占用 12顆 CPU，只需不到 6 個小時即可完成計算。結(jié)論：對于在 小時內(nèi)完成 5 個系統(tǒng)級任務(wù)，共需 11 個 CPU 即可實現(xiàn)。系統(tǒng)對內(nèi)存的要求如下：我們以 ANSYS 應(yīng)用對內(nèi)存的要求作為估算標(biāo)準(zhǔn)。對于本系統(tǒng)來說，系統(tǒng)最大負(fù)荷時的并發(fā)任務(wù)量總計最大為 6 x 600 萬單元，因此，我們建議本次 SMP 系統(tǒng)內(nèi)存配置為 128GB。XXXXXX Integrity rx8620 具有 、64GB/s 內(nèi)存帶寬和，非常適合做高性能計算服務(wù)器，并最多可支持 32 個CPU 及擴展至 256GB 內(nèi)存。XXXXXX Integrity rx8620 計算服務(wù)器的配置如下：服務(wù)器型號 XXXXXX Integrity rx862032處理器 12*Itanium2 內(nèi)存 128GB HD SyncDRAM 內(nèi)存硬盤 4*146GB 硬盤網(wǎng)絡(luò)接口（內(nèi)置） 1*10/100/1000BaseT，接用戶網(wǎng)絡(luò)1*10/100/1000BaseT，接管理網(wǎng)絡(luò)擴展網(wǎng)卡 1*10/100/1000BaseT，接所骨干網(wǎng)DVDROM 1*DVD+RW ***高性能計算系統(tǒng)方案建議書15機柜 1*Rack System/E 41U，PDU電源風(fēng)扇 N+1 熱拔插電源風(fēng)扇軟件配置 XXXXXXUX 11i v2 TCOE 操作系統(tǒng)（無限用戶許可） XXXXXX WorkLoad Manager(WLM)動態(tài)資源管理器