【文章內(nèi)容簡介】 個(gè)航空 插頭） 套 2 品目 3： I/O節(jié)點(diǎn)系統(tǒng) IO節(jié)點(diǎn) 曙光A620FX 2U機(jī)架式 。 2*AMD Opteron 2350HE 四核處理器 ()； 16GB Registered ECC DDRII 667MHz； 2*450GB SAS(15000轉(zhuǎn) )硬盤 2*1000M以太網(wǎng)卡； 1*8Gb 光纖 HBA卡； 1*20Gb 4xDDR IB 網(wǎng)卡； CDRW/DVDROM Combo 冗余電源 ,風(fēng)扇 片 2 品目 4：登錄、管理系統(tǒng) 管理 /登陸節(jié)點(diǎn) 曙光A620FX 2U機(jī)架式 。 2*AMD Opteron 2350HE 四核處理器 ()； 16GB Registered ECC DDRII 667MHz； 4*450GB SAS15000轉(zhuǎn)熱插拔硬盤（其中 1塊裝系統(tǒng)， 3塊 RAID5）； 2*1000M以太網(wǎng)卡； 1*20Gb 4xDDR IB 網(wǎng)卡； CDRW/DVDROM Combo 冗余電源 ,風(fēng)扇 臺 2 品目 5：網(wǎng)絡(luò)系統(tǒng) Infiniband 計(jì)算和存儲網(wǎng)絡(luò) Voltair 24 端口 Infiniband交換機(jī) 臺 4 管理 /監(jiān)控網(wǎng)絡(luò) H3C 510024PEI交換機(jī)， 24端口 10/100/1000baseT銅接口 臺 1 13 Infiniband 連接線纜 Infiniband 銅纜 根 86 品目 6：存儲系統(tǒng) 光纖交換機(jī) BR310， 8Gb,16端口交換機(jī)， 8端口激活，含 8個(gè) 8Gb/s短波 SFP 臺 1 曙光DS6312FE 磁盤陣列 標(biāo)準(zhǔn) 3U高 19英寸 雙控 數(shù)據(jù) Cache標(biāo)配 2x512MB，可選 2x1GB、 2x2GB 標(biāo)配鋰電池（當(dāng)控制器配置 512MB Cache 時(shí)，可以保護(hù) Cache中數(shù)據(jù) 72小時(shí)不丟失） RAID級別 : 0， 1， 1E， 5， 6， 50， 60 支持多個(gè)全局 /本地?zé)醾浞荼P后臺同步；重建 ,冗余檢測 ,SMARTconditionpolling；在線擴(kuò)容； 支持 RAID0、 50、 1E之間互相遷移 4個(gè) 4Gb FC 主機(jī)通道 2個(gè) SAS 4x 擴(kuò)展接口 硬盤插槽數(shù)量 16塊 支持 SAS SATA 混插 最大擴(kuò)展硬盤數(shù) 80(需增加擴(kuò)展柜 ) 雙冗余電源與風(fēng)扇 臺 1 曙光JB6310EE擴(kuò)展柜 3U ,16盤位 ,單擴(kuò)展模塊， SAS 4X 擴(kuò)展接口 ,冗余電源； 臺 2 硬盤 450G（ 15000轉(zhuǎn)） SAS硬盤 塊 45 光纖線纜 FC線纜 3M多模光纖線纜 (LCLC) 根 6 品目 7：控制和視頻切換系統(tǒng)（ KVM） SKVM II Over IP 支持 OVERIP 臺 1 CIM KVM節(jié)點(diǎn)控制模塊 個(gè) 16 品目 8：集群管理和監(jiān)控軟件系統(tǒng) 集群監(jiān)控軟件系統(tǒng) 作業(yè)調(diào)度軟件 曙光作業(yè)調(diào)度系統(tǒng) DCJM 套 1 曙光大型管理監(jiān)控軟件 曙光大型機(jī)管理監(jiān)控軟件 GridView： 狀態(tài)監(jiān)控模塊：支持顯示物理機(jī)柜視圖、網(wǎng)絡(luò)拓?fù)湟晥D、性能分 析視圖、應(yīng)用監(jiān)控視圖 告警管理模塊：可 以實(shí)現(xiàn)實(shí)時(shí)告警管理、歷史告警管理、告警統(tǒng)計(jì)報(bào)表、告警關(guān)聯(lián)分析等功能 性能報(bào)表模塊：可以實(shí)現(xiàn)系統(tǒng)分類報(bào)表、自定義報(bào)表、圖示化統(tǒng)計(jì)分析功能 集群管理模塊：可以實(shí)現(xiàn)集群網(wǎng)絡(luò)和服務(wù)、集群用戶和進(jìn)程、集群文件和關(guān)機(jī)功能 集群部署模塊：可以實(shí)現(xiàn)點(diǎn)到點(diǎn)部署、鏡像管理功能 套 1 14 曙光節(jié)能軟件 powerconf，與監(jiān)控系統(tǒng)和調(diào)度系統(tǒng)結(jié)合，探測空閑資源，通過 CPU降頻、關(guān)閉 CPU 核心、休眠節(jié)點(diǎn)等措施降低空閑資源能耗，并具有網(wǎng)絡(luò)喚醒功能 套 1 曙光刀片管理軟件 Dawning Blade Full View Manager System，支持節(jié)點(diǎn)資源監(jiān)控，節(jié)點(diǎn)開關(guān)機(jī)，節(jié)點(diǎn)系統(tǒng)配置和風(fēng)扇電源管理 套 1 品目 9：操作系統(tǒng)和開發(fā)環(huán)境 操作系統(tǒng)軟件 操作系統(tǒng) Redhat Enterprise 套 1 系統(tǒng)集成配件 應(yīng)用開發(fā)環(huán)境 intel編譯器，包括 C、 C++、 F7 F90 套 1 PGI編譯器，包括 C、 C++、 F7 F90 套 1 GNU 編譯器 支持 C/C++ Fortran77/90 套 1 DataDisplay Debugger （適用幾乎所有的mandline debugger） 套 1 CodeAnalyst 系統(tǒng)性能分析工具 套 1 并行環(huán)境 OpenMPI（支持 Infiniband 和以太網(wǎng)的 MPI 環(huán)境） 套 1 Mvapich（支持 Infiniband 的 MPI 環(huán)境） 套 1 MPICH/LamMPI（支持千兆以太網(wǎng)的 MPI 環(huán)境） 套 1 PVM 套 1 數(shù)學(xué)庫 BLAS、 GOTO、 LAPACK、 FFTW、 ScaLAPACK 套 1 應(yīng)用軟件 應(yīng)用軟件 材料化學(xué)類 :ABINIT,CPMD 套 1 生命科學(xué)類 :GROMACS,MPIBLAST,VMD 套 1 氣象預(yù)報(bào)類 :MM5,WRF,NETCDF 套 1 CAE仿真類 :FEAPpv,tochnog 套 1 品目 10：集群安裝調(diào)試服務(wù) 集群安裝調(diào)試服務(wù) 安裝調(diào)試 符合安裝規(guī)范 ,調(diào)試好整個(gè)并行環(huán)境 ,并行軟件測試 套 1 高級服務(wù) 用戶應(yīng)用軟件的安裝調(diào)試及調(diào)優(yōu) 套 1 品目 11：培訓(xùn)和售后服務(wù) 售后服務(wù) 提供 5年原廠商免費(fèi)上門服務(wù) 套 1 15 培訓(xùn)服務(wù) 曙光集群系統(tǒng)使用和管理 高性能計(jì)算機(jī)和曙光集群系統(tǒng) Linux操作系統(tǒng)使用與管理 曙光集群操作系統(tǒng) (DCOS)使用與管理 交換機(jī)的原理與使用 存儲系統(tǒng)與高可用 集群作業(yè)調(diào)度系統(tǒng) Linux環(huán)境下程序開發(fā)基礎(chǔ) 并行計(jì)算概述 MPI并行程序設(shè)計(jì) 共享存儲及 OpenMP并行程序設(shè)計(jì) 并行算法設(shè)計(jì) AMD Opteron處理器 套 1 . 系統(tǒng)示意圖 16 17 . 計(jì)算系統(tǒng)方案 . 概述 作為高性能計(jì)算基礎(chǔ)設(shè)施的核心，現(xiàn)代高性能計(jì)算機(jī)的發(fā)展從 20 世紀(jì) 70年代的向量計(jì)算機(jī)開始，也已經(jīng)有了 30 年的發(fā)展歷程。先后出現(xiàn)了向量機(jī)、多處理器并行向量機(jī)、 MPP 大規(guī)模并行處理機(jī)、 SMP 對稱多處理機(jī)、 DSM 分布式共享存儲計(jì)算機(jī)、 Constellation 星群系統(tǒng)、 Cluster 集群系統(tǒng)、混和系統(tǒng)等多種主體的架構(gòu)，并分別在不同的時(shí)期占據(jù)著應(yīng)用的主流。 開放的 Cluster 集群系統(tǒng)具有較多的優(yōu)勢，已經(jīng)占據(jù)了目前高性能計(jì)算機(jī)的主流位置，在 TOP500 中占據(jù)了 80%以上的份額，在中小規(guī)模的高性能計(jì)算系統(tǒng)中更是占據(jù)統(tǒng)治地位。 基于刀片的曙光 5000A 高性能集群系統(tǒng)，不僅具有 Cluster 架構(gòu)的普適性優(yōu)點(diǎn)，而且更加符合現(xiàn)代高性能計(jì)算機(jī)對計(jì)算密度、能耗、可靠性、易用性等方面的要求，是高性能計(jì)算的最佳平臺。 對于峰值性能通常超過 Tflops 的大規(guī)模并行計(jì)算機(jī)而言，刀 片式集群系統(tǒng)在計(jì)算密度、功耗散熱、運(yùn)營成本、維護(hù)成本、可靠性等方面，都明顯優(yōu)于其他系統(tǒng)，且為系統(tǒng)的擴(kuò)容升級提供了良好的基礎(chǔ)。 本方案使用曙光公司的第三代刀片 TC2600，刀片集群系統(tǒng)包括 8 個(gè)刀片柜，共配置 78 個(gè) 四 路計(jì)算刀片，峰值計(jì)算性能達(dá)到 Tflops； 同時(shí)還配置了 4臺曙光 4 路 A850 服務(wù)器，峰值計(jì)算性能達(dá)到 Tflops。系統(tǒng)總體峰值為 10 Tflops。 18 . 刀片集群系統(tǒng) 計(jì)算刀片為 四 路服務(wù)器，配置 4 個(gè) AMD Opteron GHz 四核處理器，即每個(gè)刀片有 16個(gè)處理核心。 計(jì)算刀片 配置 32GB 內(nèi)存。刀片配置 1*160G SATA 硬盤， 2 個(gè)千兆以太網(wǎng)接口； 刀片服務(wù)器是 曙光 5000A 高效能服務(wù)器的基礎(chǔ)部件，也是系統(tǒng)中數(shù)量最高的節(jié)點(diǎn)。高效能刀片服務(wù)器設(shè)計(jì)是高效能計(jì)算機(jī)研制的關(guān)鍵技術(shù)點(diǎn)之一。高效能刀片服務(wù)器設(shè)計(jì)包括架構(gòu)設(shè)計(jì)、散熱設(shè)計(jì)、節(jié)能設(shè)計(jì)、管理功能設(shè)計(jì)、交換設(shè)計(jì)、高速互聯(lián)設(shè)計(jì)、可重構(gòu)計(jì)算設(shè)計(jì)等等。 曙光高效能刀片服務(wù)器主要的技術(shù)突破點(diǎn)如下： 復(fù)雜系統(tǒng)設(shè)計(jì)技術(shù)：刀片不同于普通服務(wù)器，大量的部件需要協(xié)同工作。系統(tǒng)設(shè)計(jì)不僅需要設(shè)計(jì)完成所有部件，還需要保證所有部件能夠正確的協(xié)同工作，是一項(xiàng) 相當(dāng)復(fù)雜的工作； 架構(gòu)的分析技術(shù)：合理的架構(gòu)是計(jì)算密度、系統(tǒng)散熱、能否使用工業(yè)標(biāo)準(zhǔn)件、以及系統(tǒng)成本等多種因素的平衡； 散熱設(shè)計(jì)技術(shù)：為保證在小空間中裝入盡量多的 CPU，需要建立復(fù)雜的散熱模型，進(jìn)行散熱設(shè)計(jì)和仿真，同時(shí)設(shè)計(jì)出先進(jìn)的散熱部件，保證系統(tǒng)散熱； 20Gbps 的高速互聯(lián)設(shè)計(jì)技術(shù)：計(jì)算刀片需要 20Gbps 的 DDR InfiniBand互聯(lián)。高速信號處理困難， 10Gbps的 Infiniband在刀片中采用較多， 20Gbps的 19 DDR Infiniband 集成在全球刀片服務(wù)器設(shè)計(jì)中也屬于領(lǐng)先前沿課 題。 標(biāo)準(zhǔn) PCIE IO擴(kuò)展卡支持：給信號設(shè)計(jì)以及機(jī)構(gòu)設(shè)計(jì)提出挑戰(zhàn)，曙光高速率先在刀片服務(wù)器產(chǎn)品支持了標(biāo)準(zhǔn) PCIE卡。 先進(jìn)的多渠道節(jié)能技術(shù)：系統(tǒng)采用靜態(tài)、動態(tài)功率管理來進(jìn)行節(jié)能，同時(shí)系統(tǒng)采用根據(jù)任務(wù)來調(diào)整刀片集群的作業(yè)調(diào)度、降低 CPU 工作頻率、減少工作刀片個(gè)數(shù)等手段來實(shí)現(xiàn)節(jié)能，同時(shí)還通過操作系統(tǒng)內(nèi)核任務(wù)調(diào)度來實(shí)現(xiàn)節(jié)能； 先進(jìn)管理技術(shù)，實(shí)現(xiàn) USB 共享以及 USB 虛擬技術(shù)，實(shí)現(xiàn) KVM over IP 的遠(yuǎn)程管理技術(shù)； 下文對曙光高效能刀片服務(wù)器重要技術(shù)工作內(nèi)容進(jìn)行描述： (一 ) 先進(jìn)的系統(tǒng)架構(gòu) 通過 跟蹤研究業(yè)界各種先進(jìn)的刀片產(chǎn)品，包括 IBM、 HP 等廠家的產(chǎn)品，對其架構(gòu)的優(yōu)缺點(diǎn)進(jìn)行分析，進(jìn)行了詳細(xì)的功率計(jì)算，對 CPU、硬盤內(nèi)存發(fā)展趨勢進(jìn)行分析，對目前主流高速互連技術(shù)進(jìn)行分析，確定的本項(xiàng)目刀片服務(wù)器采用7U/10PCS 系統(tǒng)架構(gòu)，并對該架構(gòu)，已經(jīng)遞交發(fā)明專利申請。在后期由 INTEL 公司聯(lián)合全球 200多家廠商發(fā)起的刀片推薦技術(shù)規(guī)格標(biāo)準(zhǔn) SSI中，兼容了曙光的刀片產(chǎn)品規(guī)格。 曙光公司已經(jīng)開發(fā)完成并規(guī)模生產(chǎn)的產(chǎn)品 TC2600 如圖所示。 20 圖 高效能刀片服務(wù)器 (二）優(yōu)化散熱技術(shù) 刀片服務(wù)器設(shè)計(jì)的最大障礙之一 為散熱問題，大部分的刀片服務(wù)器項(xiàng)目的失敗主要是由于散熱效果不佳。高效能計(jì)算機(jī)刀片服務(wù)器首先確定科學(xué)的系統(tǒng)架構(gòu)（ 7U/10PCS，每個(gè)刀片寬度類 1U 服務(wù)器），在保證和普通機(jī)架式產(chǎn)品關(guān)鍵部件的兼容的同時(shí)，也使得系統(tǒng)散熱和計(jì)算密度達(dá)到平衡。在系統(tǒng)的散熱風(fēng)道進(jìn)行研究和設(shè)計(jì)中，通過軟件模擬散熱仿真進(jìn)行反饋和修正。軟件模擬仿真完成了 7U 機(jī)箱內(nèi)安裝 40 顆低功耗 AMD Opteron CPU 方案。 為降低噪音，并降低風(fēng)扇能耗，本項(xiàng)目預(yù)計(jì)采用復(fù)雜的風(fēng)扇控制策略，主要為： a、基于溫度區(qū)域的溫度控制策略 整個(gè)刀片系統(tǒng)中的每一個(gè) 溫度傳感器采用上行和下行兩套溫度區(qū)間劃分。上行溫度區(qū)間劃分是指溫度在上升過程中的溫度區(qū)間的劃分。上行溫度區(qū)間劃分采用兩級溫度閥值，將上行溫度區(qū)域分為 3 個(gè)區(qū)間。這兩個(gè)溫度閥限是警告溫度門限和緊急關(guān)機(jī)溫度閥限。對應(yīng)的 3 個(gè)溫度等級是：正常工作溫度區(qū)間、報(bào)警溫度區(qū)間和緊急關(guān)機(jī)溫度區(qū)間。三個(gè)溫度等級對應(yīng)的三個(gè)風(fēng)扇的轉(zhuǎn)速：中速、全速、超速。 下行溫度區(qū)間劃分是指溫度在下降過程中的溫度區(qū)間的劃分。下行溫度區(qū)間劃分采用一級溫度閥值，即警報(bào)解除溫度閥限。當(dāng)溫度降低到該溫度閥值以下，管理子系統(tǒng)發(fā)送警報(bào)解除消息給管理模塊，在收到 該消息前系統(tǒng)一直處在上行溫度區(qū)間所設(shè)定的狀態(tài)。警報(bào)解除溫度閥限小于上行的警報(bào)溫度閥值，給系統(tǒng)提供一個(gè)穩(wěn)定的溫度控制裕量。 具體示意圖如下圖刀片系統(tǒng)溫度工作區(qū)間所示： 21 圖 刀片系統(tǒng)溫度工作區(qū)間 對于溫度上行而言，每一個(gè)溫度傳感器雖然都采用 3 級溫度區(qū)間，但是具體溫度值根據(jù)其在系統(tǒng)中的位置而各不相同： CPU位置的溫度傳感器溫度閥限較高，進(jìn)風(fēng)口的溫度閥限較低?？紤]到各個(gè)傳感器溫度相關(guān)性，故采用單點(diǎn)最高溫度控制策略，即根據(jù)該系統(tǒng)中最高溫度等級進(jìn)行風(fēng)扇控制，采用正常工作溫度區(qū)間對應(yīng)中速，報(bào)警溫度區(qū)間對應(yīng)全速，緊急關(guān) 機(jī)溫度區(qū)間對應(yīng)超速的方式控制。 對于系統(tǒng)中某一個(gè)傳感器的溫度，一旦進(jìn)入了報(bào)警溫度區(qū)域，管理模塊則控制所有的風(fēng)扇以全速運(yùn)行，同時(shí)發(fā)送報(bào)警信息給系統(tǒng)管理員。通過提高風(fēng)扇轉(zhuǎn)速，當(dāng)所有溫度傳感器都降低到報(bào)警解除溫度閥限以下，則發(fā)出報(bào)警解除消息給管理模塊，管理模塊控制風(fēng)扇降低其轉(zhuǎn)速。 對于系統(tǒng)中某一個(gè)傳感器的溫度，一旦進(jìn)入了緊急關(guān)機(jī)溫度區(qū)域，管理模塊控制所有的風(fēng)扇超速運(yùn)行，同時(shí)發(fā)送錯(cuò)誤信息給系統(tǒng)管理員。緊急關(guān)機(jī)