【正文】 溫度控制策略，即根據(jù)該系統(tǒng)中最高溫度等級進(jìn)行風(fēng)扇控制，采用正常工作溫度區(qū)間對應(yīng)中速，報(bào)警溫度區(qū)間對應(yīng)全速，緊急關(guān) 機(jī)溫度區(qū)間對應(yīng)超速的方式控制。這兩個(gè)溫度閥限是警告溫度門限和緊急關(guān)機(jī)溫度閥限。 曙光公司已經(jīng)開發(fā)完成并規(guī)模生產(chǎn)的產(chǎn)品 TC2600 如圖所示。高效能刀片服務(wù)器設(shè)計(jì)是高效能計(jì)算機(jī)研制的關(guān)鍵技術(shù)點(diǎn)之一。 開放的 Cluster 集群系統(tǒng)具有較多的優(yōu)勢，已經(jīng)占據(jù)了目前高性能計(jì)算機(jī)的主流位置，在 TOP500 中占據(jù)了 80%以上的份額，在中小規(guī)模的高性能計(jì)算系統(tǒng)中更是占據(jù)統(tǒng)治地位。Infiniband 網(wǎng)絡(luò)的優(yōu)異性能將有效提高并行應(yīng)用的實(shí)際效率。 本方案設(shè)計(jì)基于以下的原則： ? 先進(jìn)性 對于大規(guī)模并行系統(tǒng)，我們推薦使用刀片式集群系統(tǒng)，配合 AMD Opteron四核 低功耗 處理器 ，整個(gè)系統(tǒng)的架構(gòu)可以滿足未來幾年技術(shù)和應(yīng)用發(fā)展的需要。 ? 消息傳遞并行程序 消息傳遞式并行程序可以在所有架構(gòu)的計(jì)算機(jī)上運(yùn)行，可以同時(shí)使用數(shù)目很多的處理器，以加速程序的運(yùn)行。 中南大學(xué)高性能網(wǎng)格計(jì)算平臺(tái)作為校級平臺(tái)，具有多用戶使用、多領(lǐng)域應(yīng)用的特殊需求，硬件平臺(tái)也必須能滿足各個(gè)領(lǐng)域的應(yīng)用特點(diǎn)，才是最合適的平臺(tái)。用戶如果需要減 少節(jié)點(diǎn)數(shù)目，可以隨時(shí)指定節(jié)點(diǎn)與整個(gè)系統(tǒng)隔離；用戶如果需要擴(kuò)展節(jié)點(diǎn)，只需 稍微變更配置文件即可完成。 曙光 5000A 服務(wù)器上監(jiān)控、管理軟件和硬件設(shè)計(jì)吸收了曙光公司開發(fā)曙光4000 超級服務(wù)器成功經(jīng)驗(yàn)，并廣泛收集用戶反饋意見，根據(jù) 5000A 的具體特點(diǎn)進(jìn)行優(yōu)化和改進(jìn)。為此，曙光 5000A集群的采用了細(xì)化到節(jié)點(diǎn)的分時(shí)上電技術(shù)。 曙光 5000A 這種混合平臺(tái)工作模式對于用戶應(yīng)用具有尤其重要的意義。在信息處理、氣象、石油、軍隊(duì)、生物 基因等多方面廣泛應(yīng)用，得到國內(nèi)外用戶和專家的高度評價(jià)。 胡錦濤總書記在 20xx 年 1 月全國科技大會(huì)上， “ 點(diǎn) ” 出了新中國成立以來特別是改革開放以來，我國廣大科技人員所取得的７大 “ 標(biāo)志性 ” 重大科技成就，在７大標(biāo)志性科技成就中，高性能計(jì)算機(jī)位列第五。它以中科院計(jì)算所、國家智能計(jì)算機(jī)研究開發(fā)中心和國家高性能計(jì)算機(jī)工程中心為技術(shù)依托，擁有強(qiáng)大的技術(shù) 實(shí)力。 曙光 高性能計(jì)算機(jī) 以技術(shù)先進(jìn)、性能卓越、 服務(wù)優(yōu)良見長，曾獲 “ 國家科技進(jìn)步一等獎(jiǎng)、二等獎(jiǎng) ” 、 “ 中科院科技創(chuàng)新特等獎(jiǎng) ” 、 “ 20xx、 20xx、 20xx 中國十大科技進(jìn)展 ” 等多項(xiàng)國家級殊榮。SSI 由幾方面的內(nèi)容構(gòu)成，主要包括單一控制點(diǎn)（ Single Control Point）、單一登錄點(diǎn)（ Single Entry Point）、單一文件系統(tǒng)（ Single File System）、單一內(nèi)存空間（ Single Memory Space）和單一作業(yè)管理（ Single Job Management），此外還有單一用戶界面（ Single User Interface）、單一進(jìn)程空間（ Single Process Space）等。機(jī)器上電是集群應(yīng)用中很小的一個(gè)環(huán)節(jié)，但是當(dāng)用電器通電時(shí)，瞬間沖擊電流可以達(dá)到正常工作電流的 3倍之多，當(dāng)大規(guī)模集群上電時(shí)所有節(jié)點(diǎn)同時(shí)接通電流，如果不對此時(shí)的峰值電流進(jìn)行處理，將使當(dāng)?shù)仉娋W(wǎng)內(nèi)設(shè)備受到?jīng)_擊，更甚者會(huì)使電網(wǎng)崩潰。曙光 5000A 服務(wù)器的監(jiān)控工具可以監(jiān)控到整個(gè)集群的軟硬 件運(yùn)行狀態(tài)，如：整個(gè)系統(tǒng)工作環(huán)境，各節(jié)點(diǎn) CPU 和內(nèi)存的使用率，網(wǎng)絡(luò)流量，各節(jié)點(diǎn)硬盤溫度、環(huán)境溫度，機(jī)箱風(fēng)扇轉(zhuǎn)速、電源電壓等等，使系統(tǒng)管理員對各節(jié)點(diǎn)的情況一目了然。 系統(tǒng) 支持動(dòng)態(tài)擴(kuò)展： 曙光 5000A 的集群式架構(gòu)決定了其具有優(yōu)異的動(dòng)態(tài)擴(kuò)展性。具體應(yīng)用涵蓋材料結(jié)構(gòu)與性能 分析、材料設(shè)計(jì)、材料加工過程中的力學(xué)性能仿真，圖像分析與處理、海量數(shù)據(jù)挖掘、制造過程仿真，運(yùn)動(dòng)動(dòng)力學(xué)仿真，復(fù)雜系統(tǒng)的機(jī) 電 液聯(lián)合仿真，大型復(fù)雜結(jié)構(gòu)間的設(shè)計(jì)、強(qiáng)度分析和有限元計(jì)算，實(shí)體造型， 9 電子設(shè)計(jì)綜合仿真，虛擬現(xiàn)實(shí)應(yīng)用以及并行算法的研究等。 ? 共享內(nèi) 存并行程序 程序運(yùn)行中可以有多個(gè)進(jìn)程或多個(gè)線程，可以使用多個(gè)處理器進(jìn)行并行計(jì)算。 ? IO密集型 軟件在運(yùn)行過程中需要 訪問大量的磁盤數(shù)據(jù)，同時(shí)會(huì)生成很多臨時(shí)文件，處理器的利用率很低，大量的時(shí)間花在等待 IO 通信的完成上。 高性能計(jì)算會(huì) 占用大量內(nèi)存，同時(shí)處理器要不停地訪問內(nèi)存，對內(nèi)存讀寫帶寬的要求非常高。 2*AMD Opteron 2350HE 四核處理器 ()； 16GB Registered ECC DDRII 667MHz； 2*450GB SAS(15000轉(zhuǎn) )硬盤 2*1000M以太網(wǎng)卡； 1*8Gb 光纖 HBA卡； 1*20Gb 4xDDR IB 網(wǎng)卡； CDRW/DVDROM Combo 冗余電源 ,風(fēng)扇 片 2 品目 4：登錄、管理系統(tǒng) 管理 /登陸節(jié)點(diǎn) 曙光A620FX 2U機(jī)架式 。 18 . 刀片集群系統(tǒng) 計(jì)算刀片為 四 路服務(wù)器，配置 4 個(gè) AMD Opteron GHz 四核處理器，即每個(gè)刀片有 16個(gè)處理核心。 標(biāo)準(zhǔn) PCIE IO擴(kuò)展卡支持：給信號(hào)設(shè)計(jì)以及機(jī)構(gòu)設(shè)計(jì)提出挑戰(zhàn)，曙光高速率先在刀片服務(wù)器產(chǎn)品支持了標(biāo)準(zhǔn) PCIE卡。 為降低噪音，并降低風(fēng)扇能耗，本項(xiàng)目預(yù)計(jì)采用復(fù)雜的風(fēng)扇控制策略，主要為： a、基于溫度區(qū)域的溫度控制策略 整個(gè)刀片系統(tǒng)中的每一個(gè) 溫度傳感器采用上行和下行兩套溫度區(qū)間劃分。當(dāng)溫度降低到該溫度閥值以下，管理子系統(tǒng)發(fā)送警報(bào)解除消息給管理模塊，在收到 該消息前系統(tǒng)一直處在上行溫度區(qū)間所設(shè)定的狀態(tài)?？紤]到管理模塊不在線或者管理模塊出現(xiàn)故障的時(shí)候，對于這個(gè)十分緊急的情況，計(jì)算刀片并不需要等到管理模塊的確認(rèn)才能關(guān)閉計(jì)算刀片的 PTM 域，而是直接關(guān)閉再通知管理模塊?；谖锢砜臻g劃分風(fēng)道控制示意圖如圖所示?？紤]到以上兩個(gè)控制策略的優(yōu)點(diǎn)和不足，提出綜合考慮物理風(fēng)道空間和溫度區(qū)間的溫度控制策略。在架構(gòu)設(shè)計(jì)中，創(chuàng)新地把 PCIE總線引入背板。 管理系統(tǒng)整合目前兩大監(jiān)控技術(shù)，即 IPMI 技術(shù)以及 SKVM (支持 KVM Over IP)，真正實(shí)現(xiàn)監(jiān)視控制一體化。透過 Inter環(huán)境，以 TCP/IP網(wǎng)絡(luò)為 接口傳送視頻信息，支持遠(yuǎn)程異地單刀片 BIOS 級 KVM監(jiān)控管理。 (六 ) 自動(dòng)功率管理 高效能刀片式服務(wù)器具備自動(dòng)功率管理功能，主要體現(xiàn)在三個(gè)層面： 根據(jù)實(shí)時(shí)功耗確定工作電源個(gè)數(shù)，使電源工作在最佳效率曲線上。 優(yōu)化操作系統(tǒng)內(nèi)核，通過優(yōu)化程序執(zhí)行隊(duì)列或者根據(jù)負(fù)載情況動(dòng)態(tài)調(diào)整 CPU頻率。為解決存儲(chǔ)設(shè)備的網(wǎng)絡(luò)共享問題，曙光高效能刀片服務(wù)器設(shè)計(jì)支持 USB 共享及虛擬。如圖所示，由各個(gè)企業(yè)聯(lián)盟主導(dǎo)的刀片服務(wù)器規(guī)范。共采用 4臺(tái)曙光 4way A850服務(wù)器、 16 顆 AMD 64 位 Opteron 四核 CPU 構(gòu)建胖計(jì)算節(jié)點(diǎn)，提供 Tflops 的主頻峰值計(jì)算能力。本方案的網(wǎng)絡(luò)系統(tǒng)的設(shè)計(jì)從性能和可靠兩個(gè)原則出發(fā)，采用 2套網(wǎng)絡(luò)實(shí)現(xiàn)方式。不同于 PCI，Infiniband 允許多個(gè) I/O 外設(shè)無延遲、無擁塞地同時(shí)向處理器發(fā)出數(shù)據(jù)請求 。 本方案中采用 1臺(tái) H3C 510024 千兆以太網(wǎng)交換機(jī)，計(jì)算刀片通過千 兆交換模塊連接到交換機(jī)上，可以滿足管理、監(jiān)控的需求。 35 . 系統(tǒng)軟件 方案 最終用戶的各種應(yīng)用的運(yùn)行具有如下的層次視圖，如圖所示。 DCJM 系統(tǒng)使用這些策略檢查校園計(jì)算機(jī)群內(nèi)可用的計(jì)算資源。作業(yè)是指用戶對計(jì)算機(jī)資源的請求。 ? 具有良好的穩(wěn)定性和高可用性，系統(tǒng)發(fā)生故障后可自 動(dòng)恢復(fù)對作業(yè)系統(tǒng)中已運(yùn)行、排隊(duì)作業(yè)的管理，不會(huì)丟失作業(yè)。 它不僅能夠編譯 C、 Objective C 和 C++程序，而且還能編譯 Fortran、 Pascal 等語言寫的程序。 Intel Compiler 提供一系列核心技術(shù)，包括優(yōu)化支持，線程應(yīng)用程序支持，它能充分發(fā)揮超線程技術(shù)的優(yōu)勢，兼容主流的工具和標(biāo)準(zhǔn)，為您的程序提供最佳的運(yùn)行表。 ? PGI 編譯器 PGI 是為基于 32 位和 64 位 AMD64 和 IA32/EM64T 處理器的 Linux 或 Win32工作站提供的并行 Fortran， C和 C++編譯器和工具。 ? 準(zhǔn)確的系統(tǒng)記賬功能，自動(dòng)生成用戶賬單，能夠按日、按月提供系統(tǒng)資源（如 CPU 利用率等）使用報(bào)表等。 ? 將作業(yè)從留置區(qū)域發(fā)送到執(zhí)行設(shè)備 。 DCJM 系統(tǒng)是一種批處理作業(yè)和計(jì)算機(jī)系統(tǒng)資源管理軟件包 ，用于管理不同種類的分布式計(jì)算環(huán)境，對共享資源的使用進(jìn)行控制，以最大限度地實(shí)現(xiàn)企業(yè)的計(jì)算目標(biāo)。 并 行 應(yīng) 用編 譯 器 、 數(shù) 學(xué) 庫 、 調(diào) 優(yōu) 及 調(diào) 試 工 具批 處 理 隊(duì) 列 、 調(diào) 度 器 、 監(jiān) 控 管 理 系 統(tǒng)通 信 庫 （ P V M 、 M P I 、 O p e n M P ） 等操 作 系 統(tǒng) 及 管 理 軟 件 （ 運(yùn) 行 在 計(jì) 算 節(jié) 點(diǎn) 及 控 制 節(jié) 點(diǎn)上 ）支 持 節(jié) 點(diǎn) 間 通 信 的 軟 硬 件處 理 器 、 硬 件 構(gòu) 成 、 硬 件 管 理 等應(yīng) 用工 具作 業(yè) 調(diào) 度中 間 件操 作 系 統(tǒng)互 聯(lián)計(jì) 算 節(jié) 點(diǎn) 圖 應(yīng)用運(yùn)行層次 （一）操作系統(tǒng) 所有節(jié)點(diǎn)的操作系統(tǒng)采用 RedHat Enterprise Linux AS ，也可根據(jù)需要采用 Windows 操作系統(tǒng)，比如 Windows HPC Server 20xx。 . 存儲(chǔ)系統(tǒng)方案 本方案存儲(chǔ)系統(tǒng)采用先進(jìn)的 SAN 架構(gòu)。 本方案中采用 4臺(tái) 24端口的 Voltaire ISR9024 交換機(jī)，配合刀片機(jī)箱上的Infiniband 交換模塊，可以提供所有計(jì)算節(jié)點(diǎn)之間 20Gb 的全互聯(lián)無阻塞通信。 33 節(jié)點(diǎn) 配置 2套網(wǎng)絡(luò)， 1 套計(jì)算網(wǎng)絡(luò) 和數(shù)據(jù)網(wǎng)絡(luò)，選用 Infiniband 高速網(wǎng)絡(luò)；1套千兆 管理 監(jiān)控 網(wǎng)。系統(tǒng)采用AMD 4Core Opteron 處理器，可輕松實(shí)現(xiàn)高達(dá) 16Core SMP 擴(kuò)展，系統(tǒng)具有超大內(nèi)存能力支持，最高支持達(dá) 128G 內(nèi)存。 圖 刀片服務(wù)器的各項(xiàng)技術(shù)標(biāo)準(zhǔn) 當(dāng)前刀片服務(wù)器的技術(shù)還屬于封閉狀態(tài)，國外服務(wù)器巨頭都在確定自己的產(chǎn)品標(biāo)準(zhǔn)，而這些企業(yè)聯(lián)盟標(biāo)準(zhǔn)組織在核心技術(shù)部分如背板與控制部分的接 口與規(guī)范是不開放的，基于這些聯(lián)盟的設(shè)計(jì)規(guī)范，只能設(shè)計(jì)包括網(wǎng)絡(luò)應(yīng)用、存儲(chǔ)、交換等類型的刀片，開發(fā)出的產(chǎn)品在刀片規(guī)格、底板規(guī)格、背板規(guī)格以及控制系統(tǒng)方面都互不兼容，當(dāng)前制定中國刀片式服務(wù)器標(biāo)準(zhǔn)意義深遠(yuǎn)。并且可以通過切換，實(shí)現(xiàn) 1個(gè)物理 USB 存儲(chǔ)設(shè)備被多個(gè)節(jié)點(diǎn)所分時(shí)共享。同時(shí)，當(dāng)發(fā)現(xiàn) CPU 任務(wù)隊(duì)列對功耗需求較低，則通過 BIOS 接口進(jìn) 行 CPU 功率的動(dòng)態(tài)調(diào)整，比如一個(gè)刀片，主頻為，在 CPU 任務(wù)隊(duì)列較少的時(shí)候，就可以根據(jù)任務(wù)需要把服務(wù)器的 CPU 從 調(diào)整倒一個(gè)比較低的頻率，這樣就可以使 CPU 的功耗大大降低。例如，根據(jù)不同的配置刀片中可以插入 8 條內(nèi)存、 4 條內(nèi)存、 2 條內(nèi)存或者 2 塊硬盤、 1 塊硬盤，甚至將來的單雙 CPU 的不同，刀 片功耗有明顯差異。 基于 IP 的數(shù)字化 KVM 系統(tǒng)作為向標(biāo)準(zhǔn)化和靈活的集中化邁進(jìn)的一部分，不僅克服了傳統(tǒng)模擬 KVM 系統(tǒng)的局限性，也為管理不同種類的分布式網(wǎng)絡(luò)提供了可能。 為實(shí)現(xiàn)以上管理目標(biāo)，需要強(qiáng)大的管理功能，本項(xiàng)目設(shè)計(jì)的刀片服務(wù)器管理系統(tǒng)，要具備本地和遠(yuǎn)程的靈活管理和控制，具體功能方面，將實(shí)現(xiàn)以下功能： 對各部件的在線檢測，工作狀態(tài)監(jiān)控，通過檢測得知當(dāng)前工作情況； 供電策略，以及功率管理策略； 智能冷卻系統(tǒng)管理策略； 刀片健康信息監(jiān)測，系統(tǒng)資源監(jiān)測； 26 實(shí)現(xiàn)所有本地控制操作，如 KVM、 Share Media、各部 件上下電管理； 實(shí)現(xiàn)所有遠(yuǎn)程控制操作，如 IP KVM、 Virtual Media、部件遠(yuǎn)程上下電控制； 良好的人機(jī)交互界面，實(shí)現(xiàn)多元化報(bào)警、提供日志、數(shù)據(jù)分析、實(shí)現(xiàn)用戶管理策略定制和部件故障預(yù)報(bào)警； 管理系統(tǒng)支持冗余，通過心跳實(shí)現(xiàn)監(jiān)測和切換； 為其它管理軟件提供通訊接口，支持多元化監(jiān)控管理協(xié)議，如圖 所示。在此次 高效能計(jì)算機(jī) 中，外接的 PCIE 插槽可以很好地支 持專用的 ASIC 硬件加速卡，使得很多商業(yè)應(yīng)用可以通過硬件加速獲得幾倍到幾十倍的性能提升，最大限度滿足 24 了用戶的需求。首先對刀片系統(tǒng)進(jìn)行風(fēng)道物理劃分，然后再根據(jù)每個(gè)風(fēng)道空間采用局部的基于溫度區(qū)域的溫度控制策略。對于風(fēng)扇轉(zhuǎn)速而言 ，相對于上一種控制策略，每個(gè)風(fēng)扇就有兩種狀態(tài)，不轉(zhuǎn)和全速，而不是三種模式?；趨^(qū)域劃分的溫度曲線圖如圖所示。 具體示意圖如下圖刀片系統(tǒng)溫度工作區(qū)間所示： 21 圖 刀片系統(tǒng)溫度工作區(qū)間 對于溫度上行而言，每一個(gè)溫度傳感器雖然都采用 3 級溫度區(qū)間，但是具體溫度值根據(jù)其在系統(tǒng)中的位置而各不相同： CPU位置的溫度傳感器溫度閥限較高，進(jìn)風(fēng)口的溫度閥限較低。上行溫度區(qū)間劃分采用兩級溫度閥值，將上行溫度區(qū)域分為 3 個(gè)區(qū)間。在后期由 INTEL 公司聯(lián)合全球 200多家廠商發(fā)起的刀片推薦技術(shù)規(guī)格標(biāo)準(zhǔn) SSI中，兼容了曙光的刀片產(chǎn)品規(guī)格。刀片配置 1*160G SATA 硬盤， 2 個(gè)千兆以太網(wǎng)接口； 刀片