【文章內(nèi)容簡介】 個航空 插頭） 套 2 品目 3： I/O節(jié)點系統(tǒng) IO節(jié)點 曙光A620FX 2U機架式 。 2*AMD Opteron 2350HE 四核處理器 ()； 16GB Registered ECC DDRII 667MHz； 2*450GB SAS(15000轉(zhuǎn) )硬盤 2*1000M以太網(wǎng)卡； 1*8Gb 光纖 HBA卡； 1*20Gb 4xDDR IB 網(wǎng)卡； CDRW/DVDROM Combo 冗余電源 ,風扇 片 2 品目 4：登錄、管理系統(tǒng) 管理 /登陸節(jié)點 曙光A620FX 2U機架式 。 2*AMD Opteron 2350HE 四核處理器 ()； 16GB Registered ECC DDRII 667MHz； 4*450GB SAS15000轉(zhuǎn)熱插拔硬盤（其中 1塊裝系統(tǒng)， 3塊 RAID5）； 2*1000M以太網(wǎng)卡； 1*20Gb 4xDDR IB 網(wǎng)卡； CDRW/DVDROM Combo 冗余電源 ,風扇 臺 2 品目 5：網(wǎng)絡系統(tǒng) Infiniband 計算和存儲網(wǎng)絡 Voltair 24 端口 Infiniband交換機 臺 4 管理 /監(jiān)控網(wǎng)絡 H3C 510024PEI交換機， 24端口 10/100/1000baseT銅接口 臺 1 13 Infiniband 連接線纜 Infiniband 銅纜 根 86 品目 6：存儲系統(tǒng) 光纖交換機 BR310， 8Gb,16端口交換機， 8端口激活，含 8個 8Gb/s短波 SFP 臺 1 曙光DS6312FE 磁盤陣列 標準 3U高 19英寸 雙控 數(shù)據(jù) Cache標配 2x512MB，可選 2x1GB、 2x2GB 標配鋰電池（當控制器配置 512MB Cache 時，可以保護 Cache中數(shù)據(jù) 72小時不丟失） RAID級別 : 0， 1， 1E， 5， 6， 50， 60 支持多個全局 /本地熱備份盤后臺同步；重建 ,冗余檢測 ,SMARTconditionpolling；在線擴容； 支持 RAID0、 50、 1E之間互相遷移 4個 4Gb FC 主機通道 2個 SAS 4x 擴展接口 硬盤插槽數(shù)量 16塊 支持 SAS SATA 混插 最大擴展硬盤數(shù) 80(需增加擴展柜 ) 雙冗余電源與風扇 臺 1 曙光JB6310EE擴展柜 3U ,16盤位 ,單擴展模塊， SAS 4X 擴展接口 ,冗余電源； 臺 2 硬盤 450G（ 15000轉(zhuǎn)） SAS硬盤 塊 45 光纖線纜 FC線纜 3M多模光纖線纜 (LCLC) 根 6 品目 7：控制和視頻切換系統(tǒng)（ KVM） SKVM II Over IP 支持 OVERIP 臺 1 CIM KVM節(jié)點控制模塊 個 16 品目 8：集群管理和監(jiān)控軟件系統(tǒng) 集群監(jiān)控軟件系統(tǒng) 作業(yè)調(diào)度軟件 曙光作業(yè)調(diào)度系統(tǒng) DCJM 套 1 曙光大型管理監(jiān)控軟件 曙光大型機管理監(jiān)控軟件 GridView： 狀態(tài)監(jiān)控模塊：支持顯示物理機柜視圖、網(wǎng)絡拓撲視圖、性能分 析視圖、應用監(jiān)控視圖 告警管理模塊：可 以實現(xiàn)實時告警管理、歷史告警管理、告警統(tǒng)計報表、告警關(guān)聯(lián)分析等功能 性能報表模塊：可以實現(xiàn)系統(tǒng)分類報表、自定義報表、圖示化統(tǒng)計分析功能 集群管理模塊：可以實現(xiàn)集群網(wǎng)絡和服務、集群用戶和進程、集群文件和關(guān)機功能 集群部署模塊：可以實現(xiàn)點到點部署、鏡像管理功能 套 1 14 曙光節(jié)能軟件 powerconf，與監(jiān)控系統(tǒng)和調(diào)度系統(tǒng)結(jié)合，探測空閑資源，通過 CPU降頻、關(guān)閉 CPU 核心、休眠節(jié)點等措施降低空閑資源能耗，并具有網(wǎng)絡喚醒功能 套 1 曙光刀片管理軟件 Dawning Blade Full View Manager System，支持節(jié)點資源監(jiān)控，節(jié)點開關(guān)機，節(jié)點系統(tǒng)配置和風扇電源管理 套 1 品目 9：操作系統(tǒng)和開發(fā)環(huán)境 操作系統(tǒng)軟件 操作系統(tǒng) Redhat Enterprise 套 1 系統(tǒng)集成配件 應用開發(fā)環(huán)境 intel編譯器，包括 C、 C++、 F7 F90 套 1 PGI編譯器，包括 C、 C++、 F7 F90 套 1 GNU 編譯器 支持 C/C++ Fortran77/90 套 1 DataDisplay Debugger （適用幾乎所有的mandline debugger） 套 1 CodeAnalyst 系統(tǒng)性能分析工具 套 1 并行環(huán)境 OpenMPI（支持 Infiniband 和以太網(wǎng)的 MPI 環(huán)境） 套 1 Mvapich（支持 Infiniband 的 MPI 環(huán)境） 套 1 MPICH/LamMPI（支持千兆以太網(wǎng)的 MPI 環(huán)境） 套 1 PVM 套 1 數(shù)學庫 BLAS、 GOTO、 LAPACK、 FFTW、 ScaLAPACK 套 1 應用軟件 應用軟件 材料化學類 :ABINIT,CPMD 套 1 生命科學類 :GROMACS,MPIBLAST,VMD 套 1 氣象預報類 :MM5,WRF,NETCDF 套 1 CAE仿真類 :FEAPpv,tochnog 套 1 品目 10：集群安裝調(diào)試服務 集群安裝調(diào)試服務 安裝調(diào)試 符合安裝規(guī)范 ,調(diào)試好整個并行環(huán)境 ,并行軟件測試 套 1 高級服務 用戶應用軟件的安裝調(diào)試及調(diào)優(yōu) 套 1 品目 11：培訓和售后服務 售后服務 提供 5年原廠商免費上門服務 套 1 15 培訓服務 曙光集群系統(tǒng)使用和管理 高性能計算機和曙光集群系統(tǒng) Linux操作系統(tǒng)使用與管理 曙光集群操作系統(tǒng) (DCOS)使用與管理 交換機的原理與使用 存儲系統(tǒng)與高可用 集群作業(yè)調(diào)度系統(tǒng) Linux環(huán)境下程序開發(fā)基礎(chǔ) 并行計算概述 MPI并行程序設計 共享存儲及 OpenMP并行程序設計 并行算法設計 AMD Opteron處理器 套 1 . 系統(tǒng)示意圖 16 17 . 計算系統(tǒng)方案 . 概述 作為高性能計算基礎(chǔ)設施的核心，現(xiàn)代高性能計算機的發(fā)展從 20 世紀 70年代的向量計算機開始，也已經(jīng)有了 30 年的發(fā)展歷程。先后出現(xiàn)了向量機、多處理器并行向量機、 MPP 大規(guī)模并行處理機、 SMP 對稱多處理機、 DSM 分布式共享存儲計算機、 Constellation 星群系統(tǒng)、 Cluster 集群系統(tǒng)、混和系統(tǒng)等多種主體的架構(gòu)，并分別在不同的時期占據(jù)著應用的主流。 開放的 Cluster 集群系統(tǒng)具有較多的優(yōu)勢，已經(jīng)占據(jù)了目前高性能計算機的主流位置，在 TOP500 中占據(jù)了 80%以上的份額，在中小規(guī)模的高性能計算系統(tǒng)中更是占據(jù)統(tǒng)治地位。 基于刀片的曙光 5000A 高性能集群系統(tǒng)，不僅具有 Cluster 架構(gòu)的普適性優(yōu)點，而且更加符合現(xiàn)代高性能計算機對計算密度、能耗、可靠性、易用性等方面的要求，是高性能計算的最佳平臺。 對于峰值性能通常超過 Tflops 的大規(guī)模并行計算機而言，刀 片式集群系統(tǒng)在計算密度、功耗散熱、運營成本、維護成本、可靠性等方面，都明顯優(yōu)于其他系統(tǒng)，且為系統(tǒng)的擴容升級提供了良好的基礎(chǔ)。 本方案使用曙光公司的第三代刀片 TC2600，刀片集群系統(tǒng)包括 8 個刀片柜，共配置 78 個 四 路計算刀片，峰值計算性能達到 Tflops； 同時還配置了 4臺曙光 4 路 A850 服務器，峰值計算性能達到 Tflops。系統(tǒng)總體峰值為 10 Tflops。 18 . 刀片集群系統(tǒng) 計算刀片為 四 路服務器，配置 4 個 AMD Opteron GHz 四核處理器，即每個刀片有 16個處理核心。 計算刀片 配置 32GB 內(nèi)存。刀片配置 1*160G SATA 硬盤， 2 個千兆以太網(wǎng)接口； 刀片服務器是 曙光 5000A 高效能服務器的基礎(chǔ)部件，也是系統(tǒng)中數(shù)量最高的節(jié)點。高效能刀片服務器設計是高效能計算機研制的關(guān)鍵技術(shù)點之一。高效能刀片服務器設計包括架構(gòu)設計、散熱設計、節(jié)能設計、管理功能設計、交換設計、高速互聯(lián)設計、可重構(gòu)計算設計等等。 曙光高效能刀片服務器主要的技術(shù)突破點如下： 復雜系統(tǒng)設計技術(shù)：刀片不同于普通服務器，大量的部件需要協(xié)同工作。系統(tǒng)設計不僅需要設計完成所有部件，還需要保證所有部件能夠正確的協(xié)同工作，是一項 相當復雜的工作； 架構(gòu)的分析技術(shù)：合理的架構(gòu)是計算密度、系統(tǒng)散熱、能否使用工業(yè)標準件、以及系統(tǒng)成本等多種因素的平衡； 散熱設計技術(shù)：為保證在小空間中裝入盡量多的 CPU，需要建立復雜的散熱模型，進行散熱設計和仿真，同時設計出先進的散熱部件，保證系統(tǒng)散熱； 20Gbps 的高速互聯(lián)設計技術(shù)：計算刀片需要 20Gbps 的 DDR InfiniBand互聯(lián)。高速信號處理困難， 10Gbps的 Infiniband在刀片中采用較多， 20Gbps的 19 DDR Infiniband 集成在全球刀片服務器設計中也屬于領(lǐng)先前沿課 題。 標準 PCIE IO擴展卡支持：給信號設計以及機構(gòu)設計提出挑戰(zhàn)，曙光高速率先在刀片服務器產(chǎn)品支持了標準 PCIE卡。 先進的多渠道節(jié)能技術(shù)：系統(tǒng)采用靜態(tài)、動態(tài)功率管理來進行節(jié)能，同時系統(tǒng)采用根據(jù)任務來調(diào)整刀片集群的作業(yè)調(diào)度、降低 CPU 工作頻率、減少工作刀片個數(shù)等手段來實現(xiàn)節(jié)能，同時還通過操作系統(tǒng)內(nèi)核任務調(diào)度來實現(xiàn)節(jié)能； 先進管理技術(shù)，實現(xiàn) USB 共享以及 USB 虛擬技術(shù)，實現(xiàn) KVM over IP 的遠程管理技術(shù)； 下文對曙光高效能刀片服務器重要技術(shù)工作內(nèi)容進行描述： (一 ) 先進的系統(tǒng)架構(gòu) 通過 跟蹤研究業(yè)界各種先進的刀片產(chǎn)品，包括 IBM、 HP 等廠家的產(chǎn)品，對其架構(gòu)的優(yōu)缺點進行分析，進行了詳細的功率計算，對 CPU、硬盤內(nèi)存發(fā)展趨勢進行分析，對目前主流高速互連技術(shù)進行分析，確定的本項目刀片服務器采用7U/10PCS 系統(tǒng)架構(gòu)，并對該架構(gòu)，已經(jīng)遞交發(fā)明專利申請。在后期由 INTEL 公司聯(lián)合全球 200多家廠商發(fā)起的刀片推薦技術(shù)規(guī)格標準 SSI中，兼容了曙光的刀片產(chǎn)品規(guī)格。 曙光公司已經(jīng)開發(fā)完成并規(guī)模生產(chǎn)的產(chǎn)品 TC2600 如圖所示。 20 圖 高效能刀片服務器 (二）優(yōu)化散熱技術(shù) 刀片服務器設計的最大障礙之一 為散熱問題，大部分的刀片服務器項目的失敗主要是由于散熱效果不佳。高效能計算機刀片服務器首先確定科學的系統(tǒng)架構(gòu)（ 7U/10PCS，每個刀片寬度類 1U 服務器），在保證和普通機架式產(chǎn)品關(guān)鍵部件的兼容的同時，也使得系統(tǒng)散熱和計算密度達到平衡。在系統(tǒng)的散熱風道進行研究和設計中，通過軟件模擬散熱仿真進行反饋和修正。軟件模擬仿真完成了 7U 機箱內(nèi)安裝 40 顆低功耗 AMD Opteron CPU 方案。 為降低噪音，并降低風扇能耗，本項目預計采用復雜的風扇控制策略，主要為： a、基于溫度區(qū)域的溫度控制策略 整個刀片系統(tǒng)中的每一個 溫度傳感器采用上行和下行兩套溫度區(qū)間劃分。上行溫度區(qū)間劃分是指溫度在上升過程中的溫度區(qū)間的劃分。上行溫度區(qū)間劃分采用兩級溫度閥值，將上行溫度區(qū)域分為 3 個區(qū)間。這兩個溫度閥限是警告溫度門限和緊急關(guān)機溫度閥限。對應的 3 個溫度等級是：正常工作溫度區(qū)間、報警溫度區(qū)間和緊急關(guān)機溫度區(qū)間。三個溫度等級對應的三個風扇的轉(zhuǎn)速：中速、全速、超速。 下行溫度區(qū)間劃分是指溫度在下降過程中的溫度區(qū)間的劃分。下行溫度區(qū)間劃分采用一級溫度閥值，即警報解除溫度閥限。當溫度降低到該溫度閥值以下，管理子系統(tǒng)發(fā)送警報解除消息給管理模塊，在收到 該消息前系統(tǒng)一直處在上行溫度區(qū)間所設定的狀態(tài)。警報解除溫度閥限小于上行的警報溫度閥值，給系統(tǒng)提供一個穩(wěn)定的溫度控制裕量。 具體示意圖如下圖刀片系統(tǒng)溫度工作區(qū)間所示： 21 圖 刀片系統(tǒng)溫度工作區(qū)間 對于溫度上行而言，每一個溫度傳感器雖然都采用 3 級溫度區(qū)間，但是具體溫度值根據(jù)其在系統(tǒng)中的位置而各不相同： CPU位置的溫度傳感器溫度閥限較高，進風口的溫度閥限較低?？紤]到各個傳感器溫度相關(guān)性，故采用單點最高溫度控制策略，即根據(jù)該系統(tǒng)中最高溫度等級進行風扇控制，采用正常工作溫度區(qū)間對應中速，報警溫度區(qū)間對應全速，緊急關(guān) 機溫度區(qū)間對應超速的方式控制。 對于系統(tǒng)中某一個傳感器的溫度，一旦進入了報警溫度區(qū)域，管理模塊則控制所有的風扇以全速運行，同時發(fā)送報警信息給系統(tǒng)管理員。通過提高風扇轉(zhuǎn)速，當所有溫度傳感器都降低到報警解除溫度閥限以下，則發(fā)出報警解除消息給管理模塊，管理模塊控制風扇降低其轉(zhuǎn)速。 對于系統(tǒng)中某一個傳感器的溫度，一旦進入了緊急關(guān)機溫度區(qū)域，管理模塊控制所有的風扇超速運行，同時發(fā)送錯誤信息給系統(tǒng)管理員。緊急關(guān)機