【正文】 映像： 系統(tǒng)中所有分布的資源被組織成一個統(tǒng)一的整體由用戶管理和使用，用戶感受不到單個節(jié)點(diǎn) 計算機(jī)的存在。從用戶的角度看，一個集群系統(tǒng)就如同一個具有巨大配置的單一計算機(jī)系統(tǒng)。如果構(gòu)成一個集群系統(tǒng)的每個節(jié)點(diǎn)配有 1個 CPU、 512MB 內(nèi)存和 4GB 硬盤，則通過 SSI，由 10個上述節(jié)點(diǎn)構(gòu)成的集群系統(tǒng)呈現(xiàn)給用戶的是一個配有 10個 CPU、 5GB 內(nèi)存和 40GB 硬盤的計算機(jī)系統(tǒng)。SSI 由幾方面的內(nèi)容構(gòu)成，主要包括單一控制點(diǎn)（ Single Control Point）、單一登錄點(diǎn)（ Single Entry Point）、單一文件系統(tǒng)（ Single File System）、單一內(nèi)存空間（ Single Memory Space）和單一作業(yè)管理（ Single Job Management），此外還有單一用戶界面（ Single User Interface）、單一進(jìn)程空間（ Single Process Space）等。 SSI 是曙光 5000A 高性能計算機(jī)中的關(guān)鍵技術(shù)之一。 混和平臺的服務(wù)器聚集技術(shù)： 曙光 5000A 服務(wù)器在多個層次上實現(xiàn)操作平臺的混合支持，可以同時支持 Windows NT/20xx、 LINUX 操作系統(tǒng)，用戶既可以使用熟悉的 Windows 系統(tǒng)進(jìn)行系統(tǒng)監(jiān)控，也可以使用 UNIX 管理控制臺，如 Tel遠(yuǎn)程管理等等。 曙光 5000A 這種混合平臺工作模式對于用戶應(yīng)用具有尤其重要的意義。對于需要多操作系統(tǒng)的用戶，使用曙光 5000A 混合平臺集群服務(wù)器的優(yōu)勢就可以得到充分體現(xiàn)。 高性能并行計算平臺： 高性能計算技術(shù)在大規(guī)模計算任務(wù)和模擬技術(shù)上極具優(yōu)勢，它不但能夠幫助我們對宏觀或微觀世界進(jìn)行深入和全面的理解和探索，而且能夠有效地幫助我們掌握客觀世界的發(fā)展規(guī)律，正確決策。曙光 5000A 集群集成了 MPI/PVM 等國際通用的并行運(yùn)算平臺、搭建了 fortran、 C、 C++編譯環(huán)境，適用于 PGI 編譯器、 intel 編譯器。用戶可以應(yīng)用 vtune、 total view 以及 vmpair等調(diào)試器對數(shù)學(xué)模型進(jìn)行調(diào)優(yōu)， 分時上電、電源管理技術(shù)： 獨(dú)特的電源管理可以令用戶安全上、下電。機(jī)器上電是集群應(yīng)用中很小的一個環(huán)節(jié)，但是當(dāng)用電器通電時，瞬間沖擊電流可以達(dá)到正常工作電流的 3倍之多，當(dāng)大規(guī)模集群上電時所有節(jié)點(diǎn)同時接通電流，如果不對此時的峰值電流進(jìn)行處理，將使當(dāng)?shù)仉娋W(wǎng)內(nèi)設(shè)備受到?jīng)_擊，更甚者會使電網(wǎng)崩潰。人工單臺設(shè)備分別上電還會占用管理員大量的人力和時間。同時在集群中有些設(shè)備之間的上電時有次序的，違反了上電次序可能會造成集群系統(tǒng)部不能夠 7 正常工作。為此，曙光 5000A集群的采用了細(xì)化到節(jié)點(diǎn)的分時上電技術(shù)。根據(jù)集群內(nèi)部節(jié)點(diǎn)的 ID號碼，間隔 50ms 依次上電，這樣就避免了對電網(wǎng)的沖擊，保證了設(shè)備的上電順序。 視頻切換系統(tǒng)： 隨著 Cluster 規(guī)模的不斷擴(kuò)大，對于系統(tǒng)的可管理性也提出了越來越高的要求，很多管理無法通過網(wǎng)絡(luò)實現(xiàn)，也無法通過串口來實現(xiàn)，這時，只有直接連接在節(jié)點(diǎn)上的鍵盤、鼠標(biāo)、顯示器才能實現(xiàn)最佳的管理方式。但在大規(guī)模的 Cluster 中，不可能為每個節(jié)點(diǎn)都配備一套鍵盤、鼠標(biāo)、顯示器，所以需要實現(xiàn)用一套鍵盤、鼠標(biāo)、顯示器實現(xiàn)對所有節(jié)點(diǎn)的控制，曙光大規(guī)模 KVM 系統(tǒng)正是為滿足 這一要求所設(shè)計。 大規(guī)模 KVM 系統(tǒng)技術(shù)指標(biāo)： ? 1個 USTS 最多可連接 99 臺節(jié)點(diǎn)機(jī) ? 節(jié)點(diǎn)與終端之間總線最大長度達(dá)到 100 米 ? 支持 PS/2 鍵盤、鼠標(biāo)、各種 VGA 顯卡和顯示器 ? 提供終端 OSD 菜單切換和 Ctrl+Alt+節(jié)點(diǎn)號切換兩種切換方式 ? 節(jié)點(diǎn)的編碼可通過撥碼盤更改 ? 某一節(jié)點(diǎn)所在主機(jī)關(guān)機(jī)不影響整個系統(tǒng) 系統(tǒng)管理監(jiān)控技術(shù)： 曙光 5000A 系統(tǒng)利用簡單直觀的管理工具來管理整個集群，使得系統(tǒng)管理員可以從多臺服務(wù)器重復(fù)、單調(diào)的管理工作中解放出來，極大地提高了工作效率。曙光 5000A 服務(wù)器的監(jiān)控工具可以監(jiān)控到整個集群的軟硬 件運(yùn)行狀態(tài)，如：整個系統(tǒng)工作環(huán)境，各節(jié)點(diǎn) CPU 和內(nèi)存的使用率，網(wǎng)絡(luò)流量，各節(jié)點(diǎn)硬盤溫度、環(huán)境溫度，機(jī)箱風(fēng)扇轉(zhuǎn)速、電源電壓等等，使系統(tǒng)管理員對各節(jié)點(diǎn)的情況一目了然。監(jiān)控工具同時提供了報警功能，當(dāng)出現(xiàn)故障點(diǎn)時（如溫度異常、風(fēng)扇停止轉(zhuǎn)動等），可以及時提醒系統(tǒng)管理員進(jìn)行處理，避免或減少系統(tǒng)故障和由其引起的用戶損失。系統(tǒng)規(guī)模越大，系統(tǒng)管理和監(jiān)控的效率越高。 曙光 5000A 服務(wù)器上監(jiān)控、管理軟件和硬件設(shè)計吸收了曙光公司開發(fā)曙光4000 超級服務(wù)器成功經(jīng)驗，并廣泛收集用戶反饋意見，根據(jù) 5000A 的具體特點(diǎn)進(jìn)行優(yōu)化和改進(jìn)。其 主要特點(diǎn)是，符合中國用戶的使用習(xí)慣，集成了一批具有中國特色的、自主知識產(chǎn)權(quán)的軟硬件產(chǎn)品。 8 曙光 5000A 服務(wù)器在功能上追求實用性，盡量保證用戶操作的簡單性，用 戶人機(jī)交互接口靈活多樣，全方位滿足用戶使用需求。曙光 5000A 不僅追求功 能上的盡善盡美，而且定位于每一項設(shè)計都要讓用戶“看得到、摸得著”，真正服務(wù)于用戶，受益于用戶。多層次 LCD 顯示和查詢；全方位的管理和監(jiān)控；詳盡的使用文檔和幫助系統(tǒng)；操作界面簡潔、功能清楚； LINUX 操作系統(tǒng)上創(chuàng)造 Windows風(fēng)格等等方便于用戶的設(shè)計都是曙光 5000A 的杰作。 系統(tǒng) 支持動態(tài)擴(kuò)展： 曙光 5000A 的集群式架構(gòu)決定了其具有優(yōu)異的動態(tài)擴(kuò)展性。根據(jù)用戶應(yīng)用需要，可以選擇擴(kuò)展能力很強(qiáng)的通用節(jié)點(diǎn)，節(jié)點(diǎn)總數(shù)可擴(kuò)展到5120 個。尤其需要指出的是， 5000A 的動態(tài)伸縮性非常強(qiáng)。用戶如果需要減 少節(jié)點(diǎn)數(shù)目，可以隨時指定節(jié)點(diǎn)與整個系統(tǒng)隔離；用戶如果需要擴(kuò)展節(jié)點(diǎn)，只需 稍微變更配置文件即可完成。系統(tǒng)更可以支持?jǐn)U展不同操作系統(tǒng)和硬件平臺的節(jié)點(diǎn)，全方位滿足用戶未來應(yīng)用擴(kuò)充的需求。 3. 方案設(shè)計概覽 . 需求分析 作為學(xué)校數(shù)字化校園建設(shè)的重 要組成部分 和學(xué)校戰(zhàn)略性的公共服務(wù)基礎(chǔ)設(shè)施， 中南大學(xué) 高性能網(wǎng)格計算平臺主要 是為學(xué)校需要大規(guī)模高性能科學(xué)和工程計算的領(lǐng)域提供基礎(chǔ)的研發(fā)平臺，在學(xué)校的科研和教學(xué)中發(fā)揮其重要作用。本次招標(biāo)的高性能網(wǎng)格計算平臺主要用于以下兩個方面： 第一是 為全校，特別是學(xué)校各重點(diǎn)學(xué)科提供高性能計算 公共服務(wù) 。 高性能網(wǎng)格計算平臺由學(xué)校各二級學(xué)院和科研院所共同使用，涉及的主要研究領(lǐng)域 包括 有色金屬冶金、材料科學(xué)、遺傳學(xué)、采礦工程、礦物加工工程、地球探測與信息技術(shù)、道路與鐵道工程、 橋梁與隧道工程、 機(jī)械設(shè)計及理論、控制理論與控制工程、計算 物理學(xué)、化學(xué)化工、信息科學(xué)、生物科學(xué)，計算數(shù)學(xué)等。具體應(yīng)用涵蓋材料結(jié)構(gòu)與性能 分析、材料設(shè)計、材料加工過程中的力學(xué)性能仿真，圖像分析與處理、海量數(shù)據(jù)挖掘、制造過程仿真，運(yùn)動動力學(xué)仿真，復(fù)雜系統(tǒng)的機(jī) 電 液聯(lián)合仿真，大型復(fù)雜結(jié)構(gòu)間的設(shè)計、強(qiáng)度分析和有限元計算，實體造型， 9 電子設(shè)計綜合仿真，虛擬現(xiàn)實應(yīng)用以及并行算法的研究等。 第二是使建成的高性能網(wǎng)格計算平臺成為 ChinaGrid 的重要主干節(jié)點(diǎn)之一。 通過 CERNET 和 CERNET2 聯(lián)入 ChinaGrid，支持本校的高性能計算與ChinaGrid 的各大網(wǎng)格應(yīng)用，支持 ChinaGrid 公共支撐平臺軟件 CGSP 的部署與運(yùn)行，使學(xué)校的教師和科研人 員既可方便地使用校內(nèi)的計算資源，又可以共享ChinaGrid 上其他節(jié)點(diǎn)的計算資源，為學(xué)校的教學(xué)和科研提供強(qiáng)有力的 支持。 中南大學(xué)高性能網(wǎng)格計算平臺作為校級平臺，具有多用戶使用、多領(lǐng)域應(yīng)用的特殊需求，硬件平臺也必須能滿足各個領(lǐng)域的應(yīng)用特點(diǎn)，才是最合適的平臺。因此需要對應(yīng)用程序的特點(diǎn)進(jìn)行分析。 按照應(yīng)用程序是否為并行程序，可以分為如下幾類： ? 串行程序 程序運(yùn)行中只有一個進(jìn)程或線程。串行程序不能利用高性能計算機(jī)多個處理器的并行特點(diǎn)，但可以同時運(yùn)行程序的多個任務(wù)或算例。 大部分用戶自行開發(fā)的程序都屬于這一類。 ? 共享內(nèi) 存并行程序 程序運(yùn)行中可以有多個進(jìn)程或多個線程，可以使用多個處理器進(jìn)行并行計算。但這種并行程序不能在分布式內(nèi)存的機(jī)群系統(tǒng)上運(yùn)行。 很多商業(yè)軟件都能支持這種方式的并行，比如： 機(jī)械系統(tǒng)動力學(xué)仿真分析軟件 ADAMS、 三維建模軟件 PRO/E、巖土工程分析軟件 FLAC3D 等。 ? 消息傳遞并行程序 消息傳遞式并行程序可以在所有架構(gòu)的計算機(jī)上運(yùn)行，可以同時使用數(shù)目很多的處理器，以加速程序的運(yùn)行。 比如： 材料設(shè)計軟件 Material Studio、Jmatpro， 第一 性 原理計算軟件 Vasp、 Wien2K，生命科學(xué)類 軟件 GROMACS、MPIBLAST， 通用 CFD 軟件包 Fluent 等。 按照應(yīng)用程序 對硬件資源的需求 ， 也 可以分為如下幾類： ? 計算密集型 軟件對內(nèi)存的需求量和讀寫 帶寬 一般，主要瓶頸在 處理器 上，大部分科學(xué)計算軟件有此特點(diǎn)，通常比較適合大規(guī)模并行計算。 10 ? 訪存密集型 軟件的瓶頸不在 處理器 的浮點(diǎn)或定點(diǎn)的速度，由于應(yīng)用對內(nèi)存需求極大，瓶頸在內(nèi)存的訪問上，這種軟件對內(nèi)存消耗量巨大，頻繁的做數(shù)量最大的內(nèi)存讀寫訪問，這種軟件一般跨節(jié)點(diǎn)計算能力差。例如著名的 CAE 軟件ansys，量化軟件 gaussian 等。 ? IO密集型 軟件在運(yùn)行過程中需要 訪問大量的磁盤數(shù)據(jù)，同時會生成很多臨時文件，處理器的利用率很低，大量的時間花在等待 IO 通信的完成上。比如做石油地震資料處理的 GeoEast、 Omega、 CGG 等。 通過對應(yīng)用程序特點(diǎn)的分析，我們看到，各個學(xué)科領(lǐng)域的需求并不一致，高性能網(wǎng)格計算平臺如何才能更好地滿足這些要求？ . 方案總體設(shè)計 . 設(shè)計原則 本方案 采用曙光 5000A 高性能計算集群系統(tǒng)，和 200 萬億次的“魔方”相比，具體而微。 本方案設(shè)計基于以下的原則： ? 先進(jìn)性 對于大規(guī)模并行系統(tǒng)，我們推薦使用刀片式集群系統(tǒng)，配合 AMD Opteron四核 低功耗 處理器 ，整個系統(tǒng)的架構(gòu)可以滿足未來幾年技術(shù)和應(yīng)用發(fā)展的需要。 刀片集群系統(tǒng)為系統(tǒng)未來的擴(kuò)容升級提供了良好的基礎(chǔ)。同時，刀片式集群系統(tǒng)可以有效降低用戶的運(yùn)營成本和維護(hù)成本。 采用 4路低功耗處理器刀片，可以獲得更高的計算密度、更低的功耗、更好的系統(tǒng)穩(wěn)定性，而且減少了節(jié)點(diǎn)之間的通信，提升了流體分析程序、分子動力學(xué)、氣象等應(yīng)用的整體性能。 考慮到 結(jié)構(gòu)分析、量子化學(xué)、 EDA 設(shè)計等 并行程序 對內(nèi)存容量和磁盤吞 11 吐帶寬 的需要， 也 配置了 4 路胖節(jié)點(diǎn)作為計算節(jié)點(diǎn)，一個節(jié)點(diǎn) 最大 可以達(dá)到16 個處理核心 ， 64GB 內(nèi)存，性能優(yōu)異 。 高性能計算會 占用大量內(nèi)存，同時處理器要不停地訪問內(nèi)存，對內(nèi)存讀寫帶寬的要求非常高。因此我們在內(nèi)存和處理器之間采用直連架構(gòu)，顯著降低了內(nèi)存訪問的延遲和瓶頸。 ? 高性能 所有計算節(jié)點(diǎn)均采用 20Gb Infiniband 互聯(lián)， MPI 通信延遲低于 2 微秒。Infiniband 網(wǎng)絡(luò)的優(yōu)異性能將有效提高并行應(yīng)用的實際效率。 系統(tǒng)的峰值運(yùn)算能力達(dá)到 10TFlops,Linpack 效率達(dá)到 78%以上。 ? 高可擴(kuò)展性 此次方案配置的高計算密度的刀片式集群可以使得系統(tǒng)輕松擴(kuò)展到100Tflops， 光纖 存儲系統(tǒng)可以擴(kuò)展到 100TB。 ? 節(jié)能環(huán) 保 刀片式集群的系統(tǒng)功耗比傳統(tǒng)的機(jī)架式服務(wù)器降低 20%以上，同時也顯著減少了對散熱系統(tǒng)的要求，綠色節(jié)能，更加環(huán)保。 . 方案配置表 中南大學(xué)高性能計算平臺配置參數(shù)清單 組成單元 配置內(nèi)容與參數(shù)細(xì)節(jié) 單位 數(shù)量 品目 1：集群服務(wù)器計算節(jié)點(diǎn)系統(tǒng) (10TFLOTS) Blade Engine（刀片平臺） [曙光TC2600刀片 ] 刀片柜 *1 套 8 千兆交換模塊 *1 管理模塊 :1 散熱模塊 :滿配 電源模塊 :滿配 Infiniband高速交換模塊 *1(全線速交換，對內(nèi) 、外提供 10個 20Gbps的 IB接口） 12 計算刀片 曙光CB85F 4*AMD Opteron 8347HE 四核處理器 ( GHz)； 32 GB DDRII 667MHz ECC Register 內(nèi)存； 1*160GB SATA 硬盤； 2*1000M以太網(wǎng)卡； 片 78 SMP節(jié)點(diǎn) 曙光A850F 5U機(jī)架式； 4*AMD Opteron 8350HE 四核處理器 ()； 32GB DDRII 667MHz ECC Register 內(nèi)存； 1*450GSAS(15000轉(zhuǎn) )硬盤； 3*千兆以太網(wǎng)網(wǎng)卡； 1*20Gb 4xDDR IB 網(wǎng)卡 冗余電源 ,風(fēng)扇 臺 4 品目 2：集群機(jī)柜系統(tǒng) 曙光天潮標(biāo)準(zhǔn)刀片機(jī)柜 標(biāo)配 2個 PDU、雙側(cè)門，無電源箱，無監(jiān)控液晶觸摸一體機(jī) 個 4 曙光機(jī)柜SKVM內(nèi)置控制臺 1U手動伸縮控制臺 (曙光 17液晶顯示器、鼠標(biāo)、鍵盤、1口切換器等 ) 套 1 監(jiān)控中心 機(jī)群控制中心（監(jiān)控液晶觸摸一體機(jī)，含 LCD、觸摸屏、監(jiān)控主機(jī)各 1套，安裝在機(jī)柜前面板門上） 個 1 2U電源箱 與標(biāo)準(zhǔn)機(jī)柜、標(biāo)準(zhǔn)刀片機(jī)柜配合（包含一