【正文】 光GHPC1000高性能計(jì)算機(jī)使用GPU作為主體計(jì)算資源，將圖形處理器引入到高性能計(jì)算領(lǐng)域。自主創(chuàng)新的管理軟件l 自主開發(fā)的Gridview監(jiān)控管理系統(tǒng)，為集群系統(tǒng)綜合管理提供統(tǒng)一的集中式監(jiān)控平臺(tái)，具備可擴(kuò)展性、集成性、可靠性和易用性，提供對各種商用、自行研發(fā)管理工具的集成接口，從而滿足同時(shí)對分布式廣域\局域網(wǎng)高效能百萬億次可擴(kuò)展計(jì)算機(jī)的環(huán)境、硬件、軟件等各方面進(jìn)行監(jiān)控的需求超廣泛應(yīng)用l 曙光GHPC1000系統(tǒng)引領(lǐng)了HPC新模式，可以廣泛應(yīng)用于科研、教育、石油勘探、氣象預(yù)報(bào)、生物醫(yī)藥等各個(gè)領(lǐng)域. 技術(shù)規(guī)格曙光GHPC1000系統(tǒng)主要包含以下部分：計(jì)算節(jié)點(diǎn)曙光天闊A620rT其它可選節(jié)點(diǎn)曙光全系列機(jī)架式服務(wù)器、刀片服務(wù)器存儲(chǔ)曙光全系列存儲(chǔ)產(chǎn)品網(wǎng)絡(luò)可配置千兆以太網(wǎng)， Infiniband網(wǎng)絡(luò)系統(tǒng)軟件曙光Gridview軟件（曙光大型機(jī)監(jiān)控管理系統(tǒng)）； 機(jī)柜及機(jī)柜內(nèi)部電源系統(tǒng)可選曙光天潮風(fēng)冷機(jī)柜或者水冷機(jī)柜；可選各種高性能計(jì)算相關(guān)軟件可選曙光SKVM系統(tǒng). 計(jì)算系統(tǒng)計(jì)算系統(tǒng)采用曙光天闊A620rT GPU服務(wù)器進(jìn)行構(gòu)建。高速互聯(lián)系統(tǒng)集成2個(gè)高速Infiniband控制器，端口速率高達(dá)20Gbps系統(tǒng)集成4口千兆以太網(wǎng)，RJ45端口，高GPU性能系統(tǒng)每Node支持一塊單或雙GPU核心的GPU加速卡。在保證了系統(tǒng)穩(wěn)定的前提下，使每臺(tái)設(shè)備都能得到最大限度的利用。每個(gè)端口提供全雙向帶寬。概述穩(wěn)定可靠的高可用性設(shè)計(jì)，無單點(diǎn)故障252。技術(shù)特性252。 全面的數(shù)據(jù)管理 基于web的網(wǎng)絡(luò)管理, ,SNMP,WBEM/CIM, SSL；252。l 全方位的機(jī)群總體性能視圖從機(jī)群總體性能視圖中用戶可全方位把握當(dāng)前整個(gè)機(jī)群的使用情況，包括CPU平均使用率、內(nèi)存剩余率、磁盤剩余率等等。 模板方式提交216。 監(jiān)控參數(shù)設(shè)置：包括CPU利用率、內(nèi)存利用率、網(wǎng)絡(luò)流量等參數(shù)252。 定時(shí)任務(wù)功能，為周期性和可預(yù)知負(fù)載提供更合適的功率252。下圖為水冷機(jī)柜系統(tǒng)原理示意圖。此發(fā)熱密度遠(yuǎn)遠(yuǎn)超過傳統(tǒng)精密空調(diào)的制冷能力，最好采用水冷系統(tǒng)方案解決高熱密度制冷問題。 獨(dú)立模塊設(shè)計(jì)在進(jìn)水溫度12176。C； B型： 16臺(tái)水冷機(jī)柜252。C；252。 維修替換下的瑕疵部件歸曙光公司所有，用戶必須保持該瑕疵部件的原始使用狀態(tài)。在節(jié)假日前后，電話調(diào)查機(jī)器工作狀態(tài)，協(xié)助用戶預(yù)查機(jī)器狀態(tài)。 編譯器軟件的遠(yuǎn)程和現(xiàn)場安裝168。 服務(wù)方式178。 使學(xué)員掌握相關(guān)技能，以保障系統(tǒng)的正常運(yùn)行；216。培訓(xùn)完成后，學(xué)員可以掌握相關(guān)設(shè)備的操作，并可以通過仿真教學(xué)，實(shí)現(xiàn)對實(shí)際系統(tǒng)的使用、管理與維護(hù)。. 培訓(xùn)方式培訓(xùn)方式為集中培訓(xùn)，集中培訓(xùn)以課堂講授，然后在服務(wù)器上實(shí)習(xí)的形式。 對項(xiàng)目用戶相關(guān)人員提供高性能計(jì)算機(jī)系統(tǒng)軟硬件設(shè)備的安裝、維護(hù)、系統(tǒng)管理及并行程序開發(fā)專業(yè)培訓(xùn)216。 其他由曙光公司提供的應(yīng)用軟件. 應(yīng)用開發(fā)和移植支持服務(wù)項(xiàng)目168。 硬件升級(jí)：CPU，主板. 系統(tǒng)軟件支持服務(wù)項(xiàng)目168。在每次報(bào)修后24小時(shí)內(nèi)的工作時(shí)間，電話跟蹤故障解決進(jìn)度及服務(wù)滿意度。 產(chǎn)品保修的起始日期為產(chǎn)品到貨日期。 機(jī)組重量： 5300Kg/臺(tái)；252。 機(jī)組外型尺寸：180018002050mm（長寬高）；252。 功 率：252。其外觀圖及外形參數(shù)如下所示：外圍參數(shù)：高度 2000 mm寬度 600 mm深度 1300 mm有效空間 35 U重量 230kg冷凍水重量 9kg水冷機(jī)柜熱流動(dòng)示意：水冷機(jī)柜的水冷換熱模塊在機(jī)柜底部，如右圖所示：水冷機(jī)柜熱分布為機(jī)柜前門底部吹冷風(fēng)、后門吸入熱風(fēng)，通過機(jī)柜底部的水冷模塊進(jìn)行水熱交換。以國內(nèi)的曙光5000A為例，300平米上海超算機(jī)房采用水冷系統(tǒng)較采用風(fēng)冷方式可以使得系統(tǒng)功耗降低約300KW，每年節(jié)約600萬度電。 支持節(jié)點(diǎn)優(yōu)先級(jí)控制252。在服務(wù)器計(jì)算密度提高的同時(shí)，單位面積功耗也會(huì)大幅度提高，這會(huì)帶來散熱和供電方面的一系列問題。l 安裝過程中無需手動(dòng)干預(yù)。Gridview提供簡單靈活的、易用的機(jī)群管理功能，機(jī)群管理功能采用了人性化的界面和功能設(shè)計(jì)，方便用戶對機(jī)群系統(tǒng)的管理、使用。 可根據(jù)應(yīng)用升級(jí)情況和存儲(chǔ)空間需求的變化，擴(kuò)展存儲(chǔ)容量；252。 基于web的管理方式，Email、SNMP、WBEM/CIM、SSL252。SAS技術(shù)融合了SCSI技術(shù)與串行傳輸技術(shù)，擁有非常高的性能、靈活性與穩(wěn)定性，特別是SAS與SATA在物理與軟件上的兼容性，使其可以高效的滿足眾多用戶各種不同的應(yīng)用。作為業(yè)界容量較大的InfiniBand交換解決方案，ISR 9024為高性能計(jì)算集群和網(wǎng)格提供了水平空前的性能和擴(kuò)展性。存放的最大高度應(yīng)對應(yīng)最小壓力70kPa。每Node最大支持2顆AMD Opteron 2200 系列雙核處理器，21MB二級(jí)緩存。存儲(chǔ)系統(tǒng)配合高性能文件系統(tǒng)，從而實(shí)現(xiàn)高性能的系統(tǒng)存儲(chǔ)和I/O訪問；. 特性與優(yōu)勢功能特性優(yōu)勢高性能l 支持CPU和GPU的混合計(jì)算，更有利于GPU計(jì)算性能的發(fā)揮l 系統(tǒng)性能達(dá)到數(shù)百萬億次，可以擴(kuò)展到千萬億次l 高帶寬、低延遲的Infiniband網(wǎng)絡(luò)和高性能存儲(chǔ)系統(tǒng)，保證了系統(tǒng)的高性能和高效率高密度l 可在4個(gè)機(jī)柜內(nèi)聚合200萬億次的計(jì)算能力l 計(jì)算節(jié)點(diǎn)采用Twins結(jié)構(gòu)，可以在2U空間內(nèi)提供4個(gè)AMD 四核高性能處理器、2塊高性能GPU卡、8塊高性能SSD硬盤。u 高性能系統(tǒng)的GPU處理能力應(yīng)達(dá)到100200TFLOPS，同時(shí)CPU的處理能力也要兼顧，節(jié)點(diǎn)之間應(yīng)采用高性能Infiniband連接，以提高并行運(yùn)算的效率。 GPU 的應(yīng)用加速效果GPGPU得到了業(yè)界的廣泛支持，NVIDIA、AMD、INTEL等都對芯片市場的微妙變化和GPGPU的技術(shù)發(fā)展前景都極為關(guān)注，并展開了激烈的技術(shù)競賽。2004年6月，每秒運(yùn)算 11萬億次的超級(jí)計(jì)算機(jī)曙光4000A研制成功，落戶上海超算中心，進(jìn)入全球超級(jí)計(jì)算機(jī)前十名，從而使中國成為繼美國和日本之后，第三個(gè)能研制10萬億次高性能計(jì)算機(jī)的國家。. 采用低延遲Infiniband設(shè)計(jì)采用GPU計(jì)算以后，大幅度的提升了計(jì)算性能，但同時(shí)對于網(wǎng)絡(luò)的壓力也大幅度提升。GHPC 1000的每個(gè)計(jì)算節(jié)點(diǎn)配置1～2顆64位四核心處理器和1塊GPU處理卡。. 配置了豐富的集群軟件GHPC 1000配置了Gridview集群管理系統(tǒng)，通過類Windows的管理模式能輕松監(jiān)控、管理整個(gè)集群系統(tǒng)。3. GPGPU的應(yīng)用及其產(chǎn)品GPGPU（General Purpose GPU）是指利用圖形卡來進(jìn)行一般意義上的計(jì)算，而不是傳統(tǒng)意義上的圖形繪制。CUDA架構(gòu)的成功嘗試，為業(yè)界GPGPU的研發(fā)提供了寶貴的借鑒。GHPC1000高性能計(jì)算機(jī)同時(shí)配置CPU和GPU，系統(tǒng)支持CPU和GPU的混合計(jì)算。. 概述曙光天闊A620rT服務(wù)器是一款性能卓越，穩(wěn)定可靠的GPU計(jì)算節(jié)點(diǎn)，曙光天闊A620rT兼顧了CPU計(jì)算密度和GPU計(jì)算密度的雙高搭配，最大限度地滿足了客戶的應(yīng)用需求。（注：GPU理論峰值會(huì)因GPU加速卡不同而有不同）高可靠性支持電源狀態(tài)記憶功能，當(dāng)外部供電系統(tǒng)出現(xiàn)故障而使服務(wù)器掉電時(shí)，系統(tǒng)將在供電系統(tǒng)恢復(fù)正常以后自動(dòng)開啟，并繼續(xù)提供服務(wù)。本方案的網(wǎng)絡(luò)系統(tǒng)的設(shè)計(jì)從性能和可靠兩個(gè)原則出發(fā)，采用2套網(wǎng)絡(luò)實(shí)現(xiàn)方式。ISR 9024支持24個(gè)InfiniBand 4X(20Gb)端口（或10Gb SDR）。 無線纜全模塊化設(shè)計(jì)，簡化部署，增加可靠性；252。 高可靠性——無單點(diǎn)故障 冗余的控制器，兩控制器Cache互為鏡像，支持負(fù)載均衡與路徑冗余；252。 全面的基于Ethernet的內(nèi)嵌式管理軟件，提供包括簡體中文、繁體中文、英文、法文、日文、意大利文、韓文、德文多種語言界面，方便不同語種用戶的使用；252。l 一目了然的機(jī)群總體IO視圖從機(jī)群總體IO視圖中用戶可以一目了然的查看機(jī)群整體IO運(yùn)行情況，包括總體網(wǎng)絡(luò)發(fā)送速度、網(wǎng)絡(luò)接收速度、磁盤寫入速度、磁盤讀出速度等等。 腳本方式提交216。 節(jié)點(diǎn)負(fù)載監(jiān)控：監(jiān)控節(jié)點(diǎn)處于休眠還是運(yùn)行狀態(tài)252。 完善的查詢功能，保存完備的歷史數(shù)據(jù)252。水冷機(jī)柜系統(tǒng)原理示意圖整個(gè)水冷系統(tǒng)按物理結(jié)構(gòu)可劃分為三個(gè)部分，水冷機(jī)柜設(shè)備、水泵及管路、室外風(fēng)冷機(jī)組；水冷機(jī)柜與室外風(fēng)冷機(jī)組通過管路系統(tǒng)相互交換熱能實(shí)現(xiàn)被冷卻設(shè)備的散熱。l 水冷系統(tǒng)設(shè)計(jì)本方案需要安裝多臺(tái)水冷機(jī)柜，同時(shí)考慮未來系統(tǒng)擴(kuò)容等因素，水冷系統(tǒng)中初級(jí)冷凍水循環(huán)系統(tǒng)中主干管道施工需考慮根據(jù)機(jī)房最大安裝機(jī)柜數(shù)量進(jìn)行管道選擇。C 和運(yùn)轉(zhuǎn)氣流3600立方米/小時(shí)的情況下提供 15KW冷卻能力可以用于冷卻1臺(tái)機(jī)柜。 名義制冷量：463KW/臺(tái)；252。 回水溫度：12176。如果由于用戶自身原因（如科研、保密等）要求保留、拆解或改裝瑕疵部件時(shí)，該瑕疵部件即失去保修資格。218。 PVM，MPI并行編程環(huán)境的現(xiàn)場安裝和維護(hù)168。 電話、傳真、電子郵件及遠(yuǎn)程支持178。 熟悉本次系統(tǒng)建設(shè)中用到的所有服務(wù)器和網(wǎng)絡(luò)設(shè)備；216。. 培訓(xùn)地點(diǎn)培訓(xùn)地點(diǎn)在中國，也可以根據(jù)用戶情況協(xié)商指定地點(diǎn)。. 項(xiàng)目實(shí)施前培訓(xùn)為保證項(xiàng)目順利進(jìn)行，項(xiàng)目實(shí)施前曙光公司提供對用戶相關(guān)人員高性能計(jì)算機(jī)系統(tǒng)軟硬件設(shè)備的安裝、維護(hù)、系統(tǒng)管理及并行程序開發(fā)專業(yè)培訓(xùn)。216。 BBS服務(wù)器168。 擴(kuò)充硬件現(xiàn)場安裝：CPU，內(nèi)存，硬盤，RAID，各種板卡168。218。. 保修期限和服務(wù)方式一、 保修期限和服務(wù)方式部件分類服務(wù)內(nèi)容現(xiàn)場服務(wù)人工部件、材料A 類處理器（CPU）、內(nèi)存（Memory）、以太網(wǎng)卡、SCSI卡、SCSI終結(jié)器、顯卡（限非專業(yè)）、機(jī)箱內(nèi)結(jié)構(gòu)及附件模組、機(jī)箱內(nèi)線纜5年免費(fèi)5年免費(fèi)5年免費(fèi)B 類主板、硬盤、電源、RAID控制器、CRT顯示器、專業(yè)顯卡、其他板卡、磁盤陣列5年免費(fèi)5年免費(fèi)3年免費(fèi)C 類光驅(qū)、軟驅(qū)、磁帶機(jī)、風(fēng)扇、KVM、LCD顯示器、控制臺(tái)、監(jiān)控節(jié)點(diǎn)、交換機(jī)、防火墻5年免費(fèi)5年免費(fèi)1年免費(fèi)注意：表中未列出的部件，保修期請咨詢曙光公司。 機(jī)組輸入功率：113KW/臺(tái)252。 運(yùn)行重量: 1460Kg/臺(tái)；252。 外型尺寸：13006002000mm（深寬高）；252。. 水冷機(jī)柜產(chǎn)品介紹曙光1520KW水冷機(jī)柜產(chǎn)品簡介曙光1520KW水冷機(jī)柜采用底部設(shè)置水冷模塊，后門設(shè)置風(fēng)扇單元的方式。為了解決傳統(tǒng)風(fēng)冷系統(tǒng)的散熱難題，目前大型高性能計(jì)算系統(tǒng)均采用風(fēng)冷和水冷結(jié)合的散熱模式，對高密度的計(jì)算部分采用水冷散熱，效率達(dá)到80%以上；對于網(wǎng)絡(luò)等其他設(shè)備采用傳統(tǒng)的風(fēng)冷散熱方式，這樣可以大大降低對空調(diào)制冷量的需求，從而大幅度降低系統(tǒng)的能量消耗，符合綠色計(jì)算的發(fā)展方向。 支持工作組級(jí)功率控制策略設(shè)置252。. PowerConf服務(wù)器節(jié)能軟件資源緊缺現(xiàn)在已經(jīng)是全世界必須面對的課題，我國正在快速實(shí)現(xiàn)工業(yè)化，面臨的資源和環(huán)境問題更是嚴(yán)峻，國家已經(jīng)把節(jié)能減排確定為經(jīng)濟(jì)發(fā)展中的硬性指標(biāo)，綠色GDP才能實(shí)現(xiàn)可持續(xù)發(fā)展。l 可以同時(shí)針對不同的節(jié)點(diǎn)分發(fā)不同的系統(tǒng)鏡像，極大方便系統(tǒng)的安裝過程。用戶可根據(jù)需要選擇機(jī)群總體報(bào)表、應(yīng)用報(bào)表，服務(wù)器各項(xiàng)性能報(bào)表以及各種告警報(bào)表。 只需增加一個(gè)控制器，無須任何附加操作，即可實(shí)現(xiàn)單控向雙控的升級(jí)，為用戶的升級(jí)提供了極大的便利性和靈活性；252。 最多可連接4個(gè)磁盤擴(kuò)展柜，提供極高的擴(kuò)展性；全面的數(shù)據(jù)管理252。I/O節(jié)點(diǎn)使用A620rH服務(wù)器，AMD Opteron處理器采用直連架構(gòu)，提供了優(yōu)異的內(nèi)存性能和磁盤IO性能，有利于存儲(chǔ)系統(tǒng)性能的提高。利用InfiniBand標(biāo)準(zhǔn)，Voltaire提供了涵蓋計(jì)算集群、存儲(chǔ)和IP網(wǎng)絡(luò)的高性能、低延時(shí)、高擴(kuò)展的解決方案。** 注：95％的最大存放濕度基于最大溫度40℃。功能特性優(yōu) 勢高CPU性能采用NVIDIA MCP55 Pro高性能芯片組，支持Hyper Transport連接。存儲(chǔ)系統(tǒng)方案多樣曙光GHPC1000可以根據(jù)客戶的應(yīng)用需求配備存儲(chǔ)系統(tǒng)；既可以配置簡單易用的DAS存儲(chǔ)，又可以構(gòu)建高性能的FC或Infiniband SAN存儲(chǔ)。4. 曙光百萬億次GPGPU高性能計(jì)算解決方案. 總體設(shè)計(jì)原則u 先進(jìn)性在方案中應(yīng)采用最新的GPU技術(shù)、CPU技術(shù)和服務(wù)器設(shè)計(jì)技術(shù)，使系統(tǒng)的設(shè)計(jì)在整個(gè)行業(yè)內(nèi)具有一定的前瞻性。在上述領(lǐng)域，GPGPU已經(jīng)獲得了成功的應(yīng)用，并取得了令人難以置信的加速效果。曙光高性能計(jì)算機(jī)不僅代表著中國計(jì)算機(jī)最高水平，也為“‘兩彈一星’、載人航天、基因組研究”等其他標(biāo)志性科技成就做出了重要貢獻(xiàn)。 水冷散熱方式在技術(shù)上更為先進(jìn)，是高性能計(jì)算系統(tǒng)和數(shù)據(jù)中心的發(fā)展趨勢同時(shí)，GHPC 1000采用的水冷散熱系統(tǒng)，對機(jī)房建設(shè)并沒有過高的要求，一般的機(jī)房大都能滿足要求。它既可作為GPU高性能計(jì)算平臺(tái)，又可作為通用CPU計(jì)算平臺(tái)，能完成所有的普通集群系統(tǒng)可完成的應(yīng)用。同時(shí)配置為高性能計(jì)算設(shè)計(jì)的PowerConf節(jié)能系統(tǒng)，能大幅降低系統(tǒng)能耗. 專業(yè)的高性能計(jì)算廠商從93年的曙光一號(hào)到今天的曙光5000，曙光一直致力于高性能計(jì)算機(jī)的研發(fā)、生產(chǎn)和銷售。時(shí)至今日，GPU已發(fā)展成為一種高度并行化、多線程、多核的處理器，具有杰出的計(jì)算功率和極高的存儲(chǔ)器帶寬，如圖所示。早在2006年收購ATI之初，AMD就做出了一個(gè)重大舉動(dòng)，這就是它所發(fā)布的GPGPU“Stream