【導(dǎo)讀】.項(xiàng)目實(shí)施前培訓(xùn).........

　　

【正文】 圖所示，由各個(gè)企業(yè)聯(lián)盟主導(dǎo)的刀片服務(wù)器規(guī)范。但由于企業(yè)間在利益上的沖突，難以實(shí)現(xiàn)各個(gè)標(biāo)準(zhǔn)之間的融合與統(tǒng)一，另一方面也會(huì)造成對(duì)后來(lái)者的限制與障礙，這將給刀片服務(wù)器企業(yè)和用戶帶來(lái)很大的風(fēng)險(xiǎn)，也給整個(gè)行業(yè)的發(fā)展帶來(lái)不利。 圖 刀片服務(wù)器的各項(xiàng)技術(shù)標(biāo)準(zhǔn) 當(dāng)前刀片服務(wù)器的技術(shù)還屬于封閉狀態(tài)，國(guó)外服務(wù)器巨頭都在確定自己的產(chǎn)品標(biāo)準(zhǔn)，而這些企業(yè)聯(lián)盟標(biāo)準(zhǔn)組織在核心技術(shù)部分如背板與控制部分的接 口與規(guī)范是不開(kāi)放的，基于這些聯(lián)盟的設(shè)計(jì)規(guī)范，只能設(shè)計(jì)包括網(wǎng)絡(luò)應(yīng)用、存儲(chǔ)、交換等類型的刀片，開(kāi)發(fā)出的產(chǎn)品在刀片規(guī)格、底板規(guī)格、背板規(guī)格以及控制系統(tǒng)方面都互不兼容，當(dāng)前制定中國(guó)刀片式服務(wù)器標(biāo)準(zhǔn)意義深遠(yuǎn)。 中國(guó)高性能計(jì)算機(jī)標(biāo)準(zhǔn)工作委員會(huì)邁出的第一步就是擬定中國(guó)刀片服務(wù)器標(biāo)準(zhǔn)和機(jī)群遠(yuǎn)程監(jiān)控管理標(biāo)準(zhǔn)。中國(guó)刀片式服務(wù)器標(biāo)準(zhǔn)擬從刀片式服務(wù)器基礎(chǔ)架構(gòu)、刀片式服務(wù)器監(jiān)控管理、計(jì)算刀片、刀片式服務(wù)器交換模塊、刀片式服務(wù)器存儲(chǔ)模塊等幾方面展開(kāi)。 20xx 年四月，信息產(chǎn)業(yè)部科技司正式批復(fù)了由高性能計(jì)算機(jī)標(biāo)準(zhǔn)工作委員會(huì)申報(bào)的《機(jī)群操作 系統(tǒng)遠(yuǎn)程監(jiān)控技術(shù)要求》和《 刀片式服務(wù)器 管理模塊技術(shù)要求》兩項(xiàng)電子行業(yè)標(biāo)準(zhǔn)草案立項(xiàng)審議，項(xiàng)目編號(hào)分別為： S07018T和 S07019T。 31 曙光公司做為中國(guó)高性能計(jì)算機(jī)標(biāo)準(zhǔn)工作委員會(huì)的發(fā)起單位和掛靠單位，中國(guó)刀片式服務(wù)器標(biāo)準(zhǔn)將以曙光新一代代高效能刀片式服務(wù)器相關(guān)技術(shù)為基礎(chǔ)開(kāi)展工作。 . 胖節(jié)點(diǎn) 中南大學(xué)網(wǎng)格高性能平臺(tái) 選用曙光 4way 64位服務(wù)器 A850系統(tǒng)作為胖計(jì)算節(jié)點(diǎn)。共采用 4臺(tái)曙光 4way A850服務(wù)器、 16 顆 AMD 64 位 Opteron 四核 CPU 構(gòu)建胖計(jì)算節(jié)點(diǎn)，提供 Tflops 的主頻峰值計(jì)算能力。 曙光可擴(kuò)展高性能 四 路 64 位服務(wù)器 A850 采用先進(jìn)的 SMP 架構(gòu)。系統(tǒng)采用AMD 4Core Opteron 處理器，可輕松實(shí)現(xiàn)高達(dá) 16Core SMP 擴(kuò)展，系統(tǒng)具有超大內(nèi)存能力支持，最高支持達(dá) 128G 內(nèi)存。 曙光 四 路 64位 A850服務(wù)器具有如下特性： (一 ) 高效能 ? 支持最高達(dá) 4顆 AMD Opteron 8000 系列處理器，輕松構(gòu)建最高達(dá) 16Core CPU 的強(qiáng)大處理能力； ? 采用 HyperTransport 直連架構(gòu)，消除系統(tǒng)總線瓶頸； ? 支持 128GB DDR2 ECC Registered 內(nèi)存，大規(guī)模事務(wù)處理不再受內(nèi)存容量局限； ? 提供高速 PCIE x16 和 PCIX 插槽 ,支持高速擴(kuò)展設(shè)備； (二 ) 高可靠性 高性能 BIOS，提供病毒保護(hù)和恢復(fù)功能； 高級(jí)內(nèi)存容錯(cuò)功能； 支持多網(wǎng)卡冗余，系統(tǒng)正常時(shí)分?jǐn)偩W(wǎng)絡(luò)流量，當(dāng)其中一塊網(wǎng)卡出現(xiàn)問(wèn)題時(shí)，可將其負(fù)擔(dān)的工作切換到其他網(wǎng)卡； 采用曙光 “ 靈動(dòng) ” 散熱技術(shù)，保證了系統(tǒng)散熱良好，并可控制風(fēng)扇根據(jù)負(fù)載大小而 自動(dòng)調(diào)節(jié)轉(zhuǎn)速； 32 采用 3+1 冗余電源，保證系統(tǒng)不因單個(gè)電源模塊損壞而停機(jī)。 (三 ) 高擴(kuò)展性 ? 支持 AMD Opteron 四核處理器； ? 16 條 DIMM 插槽，可擴(kuò)展至 128GB 內(nèi)存； ? 支持 8 塊熱插拔硬盤，構(gòu)造大規(guī)模存儲(chǔ)； ? 系統(tǒng)配置 1350W 3+1冗余電源，也可根據(jù)實(shí)際配置選擇不同數(shù)量的電源模塊而提供不同功率輸出。 (四 ) 高可管理性 ? 支持電源狀態(tài)記憶功能，供電系統(tǒng)故障掉電，系統(tǒng)支持供電系統(tǒng)恢復(fù)正常以后自動(dòng)開(kāi)啟功能； ? 支持網(wǎng)絡(luò)喚醒（ WOL－ Wake On Lan）功能。 曙光 四 路 64位 A850服務(wù)器其 外觀如圖所示： 圖 曙光 四 路 64 位服務(wù)器外觀 . 網(wǎng)絡(luò) 系統(tǒng)方案 本方案充分考慮到了計(jì)算節(jié)點(diǎn)、 存儲(chǔ) 節(jié)點(diǎn)、以及網(wǎng)絡(luò)交換機(jī)的性能參數(shù)。在保證了系統(tǒng)穩(wěn)定的前提下，使每臺(tái)設(shè)備都能得到最大限度的利用。本方案的網(wǎng)絡(luò)系統(tǒng)的設(shè)計(jì)從性能和可靠?jī)蓚€(gè)原則出發(fā)，采用 2套網(wǎng)絡(luò)實(shí)現(xiàn)方式。實(shí)現(xiàn) 雙 網(wǎng)分離、專網(wǎng)專用。 33 節(jié)點(diǎn) 配置 2套網(wǎng)絡(luò)， 1 套計(jì)算網(wǎng)絡(luò) 和數(shù)據(jù)網(wǎng)絡(luò)，選用 Infiniband 高速網(wǎng)絡(luò)；1套千兆 管理 監(jiān)控 網(wǎng)。高速計(jì)算網(wǎng)、數(shù)據(jù)傳輸網(wǎng)和管理網(wǎng)實(shí)現(xiàn)專網(wǎng)專用，提高了整體性能 ，也達(dá)到了備份的目的 。 ? 計(jì)算 和存儲(chǔ) 網(wǎng)采用 Infiniband 高速網(wǎng)絡(luò)，用 于并行計(jì)算時(shí)的數(shù)據(jù)交換和計(jì)算通訊 、 IO 讀寫等。 Infiniband 是一種新型的總線結(jié)構(gòu)，它可以消除目前阻礙服務(wù)器和存儲(chǔ)系統(tǒng)的瓶頸問(wèn)題，是一種將服務(wù)器、網(wǎng)絡(luò)設(shè)備和存儲(chǔ)設(shè)備連接在一起的交換結(jié)構(gòu)的I/O 技術(shù)。它是一種致力于服務(wù)器端而不是 PC 端的高性能 I/O 技術(shù)。 Infiniband 技術(shù)通過(guò)一種交換式通信組織（ Switched Communications Fabric）提供了較局部總線技術(shù)更高的性能，它通過(guò)硬件提供了可靠的傳輸層級(jí)的點(diǎn)到點(diǎn)連接，并在線路上支持消息傳遞和內(nèi)存映像技術(shù)。不同于 PCI，Infiniband 允許多個(gè) I/O 外設(shè)無(wú)延遲、無(wú)擁塞地同時(shí)向處理器發(fā)出數(shù)據(jù)請(qǐng)求 。 目前， Infiniband 已經(jīng)成為高性能集群的首選計(jì)算網(wǎng)路，在 Top 500 中也表現(xiàn)出了快速增長(zhǎng)的勢(shì)頭，而傳統(tǒng)的 Myri 的正在走向沒(méi)落。 本方案中采用 4臺(tái) 24端口的 Voltaire ISR9024 交換機(jī)，配合刀片機(jī)箱上的Infiniband 交換模塊，可以提供所有計(jì)算節(jié)點(diǎn)之間 20Gb 的全互聯(lián)無(wú)阻塞通信。每箱刀片上的 IB交換模塊向這 4臺(tái)交換機(jī)上分別連 2根、 2 根、 3根、 3根線纜，每個(gè) 交換機(jī)上的連接線纜分別是 16 根、 16 根、 24 根、 24 根線纜。第一個(gè)交換機(jī)空余端口用來(lái)連接 4 臺(tái) A850，第二個(gè)交換機(jī)的空余端口用來(lái)連接 2 臺(tái) IO 節(jié)點(diǎn)和 2 臺(tái)管理節(jié)點(diǎn)。采用這種連接方式的優(yōu)點(diǎn)是擴(kuò)展性好，性價(jià)比高，僅僅通過(guò)增加低成本的 24 端口交換機(jī)和相應(yīng)線纜，就可以可以保證最多 240 個(gè)刀片的線速無(wú)阻塞通信。 34 ? 管理網(wǎng)采用千兆以太網(wǎng)，用于系統(tǒng)管理控制、系統(tǒng)監(jiān)控、作業(yè)的遞交、作業(yè)監(jiān)控等監(jiān)控管理方面的數(shù)據(jù)通訊。同時(shí)，管理網(wǎng)又 可 作為數(shù)據(jù)傳輸網(wǎng)的備份。 本方案中采用 1臺(tái) H3C 510024 千兆以太網(wǎng)交換機(jī)，計(jì)算刀片通過(guò)千 兆交換模塊連接到交換機(jī)上，可以滿足管理、監(jiān)控的需求。 產(chǎn)品具體參數(shù)見(jiàn)技術(shù)白皮書。 . 存儲(chǔ)系統(tǒng)方案 本方案存儲(chǔ)系統(tǒng)采用先進(jìn)的 SAN 架構(gòu)。包括 1 臺(tái) 16 端口光纖交換機(jī)、 1 套磁盤陣列、 2 個(gè) IO 節(jié)點(diǎn)。 光纖交換機(jī)采用 16 端口 的博科 BR310， 16個(gè) 8Gb 端口，其中 8 端口激活，留下了充足的擴(kuò)展余地。 本方案配備的磁盤陣列的為曙光 DS6312FE， 45 塊 450GB SAS 15K 硬盤，總?cè)萘繛? TB，可在線擴(kuò)容至 80 塊硬盤，性價(jià)比非常高。 I/O 節(jié)點(diǎn)使用 2 臺(tái) A620rF 服務(wù)器， AMD Opteron 處理器提供 了優(yōu)異的內(nèi)存性能和磁盤 IO 性能，有利于存儲(chǔ)系統(tǒng)性能的提高。 產(chǎn)品具體參數(shù)見(jiàn)技術(shù)白皮書。 35 . 系統(tǒng)軟件 方案 最終用戶的各種應(yīng)用的運(yùn)行具有如下的層次視圖，如圖所示。開(kāi)發(fā)環(huán)境主要涉及中間件層和工具層。 并 行 應(yīng) 用編 譯 器 、 數(shù) 學(xué) 庫(kù) 、 調(diào) 優(yōu) 及 調(diào) 試 工 具批 處 理 隊(duì) 列 、 調(diào) 度 器 、 監(jiān) 控 管 理 系 統(tǒng)通 信 庫(kù) （ P V M 、 M P I 、 O p e n M P ） 等操 作 系 統(tǒng) 及 管 理 軟 件 （ 運(yùn) 行 在 計(jì) 算 節(jié) 點(diǎn) 及 控 制 節(jié) 點(diǎn)上 ）支 持 節(jié) 點(diǎn) 間 通 信 的 軟 硬 件處 理 器 、 硬 件 構(gòu) 成 、 硬 件 管 理 等應(yīng) 用工 具作 業(yè) 調(diào) 度中 間 件操 作 系 統(tǒng)互 聯(lián)計(jì) 算 節(jié) 點(diǎn) 圖 應(yīng)用運(yùn)行層次 （一）操作系統(tǒng) 所有節(jié)點(diǎn)的操作系統(tǒng)采用 RedHat Enterprise Linux AS ，也可根據(jù)需要采用 Windows 操作系統(tǒng)，比如 Windows HPC Server 20xx。 36 （二） 作業(yè)調(diào)度 作業(yè)調(diào)度系統(tǒng)采用曙光公司最新研發(fā)的 DCJM（ Dawning Cluster Job Manager）。 DCJM 是是專門針對(duì)高性能計(jì)算領(lǐng)域而開(kāi)發(fā)的高級(jí)功能。在 DCJM 中，集成了 Torque、 Maui 等業(yè)界成熟的資源管理器和調(diào)度器。 DCJM 軟件是曙光最新的資源管理解決方案，可以用于建設(shè)校園計(jì)算機(jī)群。DCJM 軟件在企業(yè)技術(shù)和管理人員設(shè)定的企業(yè)資源策略基礎(chǔ)上組織計(jì)算資源的分發(fā)。 DCJM 系統(tǒng)使用這些策略檢查校園計(jì)算機(jī)群內(nèi)可用的計(jì)算資源。系統(tǒng)自動(dòng)收集、分配和分發(fā)這些資源，使計(jì)算資源的使用實(shí)現(xiàn)最優(yōu)化。 DCJM 系統(tǒng)是一種批處理作業(yè)和計(jì)算機(jī)系統(tǒng)資源管理軟件包 ，用于管理不同種類的分布式計(jì)算環(huán)境，對(duì)共享資源的使用進(jìn)行控制，以最大限度地實(shí)現(xiàn)企業(yè)的計(jì)算目標(biāo)。站點(diǎn)配置確保系統(tǒng)實(shí)現(xiàn)使用率和生產(chǎn)量的最大化，同時(shí)使系統(tǒng)支持不同的時(shí)間限制和重要級(jí)別。作業(yè)的限期是時(shí)間限制的實(shí)例。作業(yè)的優(yōu)先級(jí)和用戶份額是重要程度的實(shí)例。 它可以接受批處理作業(yè)、 shell 腳本和控制屬性，作業(yè)運(yùn)行前對(duì)其儲(chǔ)存并保護(hù)，然后運(yùn)行作業(yè)，并且把輸出轉(zhuǎn)發(fā)回提交者。 DCJM 系統(tǒng)執(zhí)行以下全部任務(wù)： 37 ? 接受外來(lái)作業(yè)。作業(yè)是指用戶對(duì)計(jì)算機(jī)資源的請(qǐng)求。 ? 將工作放入留置區(qū)域直到可以運(yùn)行該作業(yè)。 ? 將作業(yè)從留置區(qū)域發(fā)送到執(zhí)行設(shè)備 。 ? 管理正在運(yùn)行的作業(yè)。 ? 作業(yè)完成時(shí)，將作業(yè)執(zhí)行記錄寫入日志。 DCJM 可以被安裝并配置運(yùn)行在單機(jī)系統(tǒng)或多個(gè)系統(tǒng)組來(lái)支持作業(yè)處理，它具有以下特點(diǎn)： ? 基于 Web 瀏覽器的圖形化管理界面，模塊化設(shè)計(jì) ? 支持系統(tǒng)自動(dòng)部署和備份 ? 實(shí)現(xiàn)對(duì)整機(jī)計(jì)算資源、任務(wù)調(diào)度和用戶的高效管理 ? 可有效統(tǒng)計(jì)系統(tǒng)運(yùn)行、用戶機(jī)時(shí)使用情況，生成計(jì)費(fèi)報(bào)告。 ? 支持多種調(diào)度策略，保證大作業(yè)能夠得到調(diào)度。 ? 支持交互式作業(yè)，支持多隊(duì)列管理，各個(gè)隊(duì)列可設(shè)置不同管理策略，根據(jù)用戶作業(yè)的運(yùn)行情況動(dòng)態(tài)調(diào)整用戶優(yōu)先級(jí)。 ? 具有良好的穩(wěn)定性和高可用性，系統(tǒng)發(fā)生故障后可自 動(dòng)恢復(fù)對(duì)作業(yè)系統(tǒng)中已運(yùn)行、排隊(duì)作業(yè)的管理，不會(huì)丟失作業(yè)。 ? 單一系統(tǒng)內(nèi)支持異構(gòu)環(huán)境，可統(tǒng)一管理刀片節(jié)點(diǎn)與胖節(jié)點(diǎn)，并可對(duì)多個(gè)機(jī)群系統(tǒng)提供統(tǒng)一的系統(tǒng)級(jí)管理。 ? 準(zhǔn)確的系統(tǒng)記賬功能，自動(dòng)生成用戶賬單，能夠按日、按月提供系統(tǒng)資源（如 CPU 利用率等）使用報(bào)表等。 ? 支持網(wǎng)格計(jì)算，支持遠(yuǎn)程管理方式，具有可擴(kuò)展性。 ? 支持多種硬、軟件平臺(tái)。 （ 三 ）編程 環(huán)境 支持 C、 C++、 Fortran、 Java，編譯器支持 GNU 開(kāi)源的編譯器 、 Intel 編譯器、 PGI 編譯器 。 ? GNU C/C++、 GNU Fortran編譯器 GNU CC（ GNU Compiler Collection）是一個(gè)編譯器套件， 是 GNU 推出的功 38 能強(qiáng)大、性能優(yōu)越的多平臺(tái)編譯器，是 GNU 的代表作品之一。 gcc 是可以在多種硬 件 平臺(tái)上編譯出可執(zhí)行程序的超級(jí)編譯器，其執(zhí)行效率與一般的編譯器相比平均效率要高 20%~30%。 它不僅能夠編譯 C、 Objective C 和 C++程序，而且還能編譯 Fortran、 Pascal 等語(yǔ)言寫的程序。單就編譯器而言，它是目前公認(rèn)編譯最快、效率最高的編譯器。 ? PGI 編譯器 PGI 是為基于 32 位和 64 位 AMD64 和 IA32/EM64T 處理器的 Linux 或 Win32工作站提供的并行 Fortran， C和 C++編譯器和工具。 PGI 工作站級(jí)的編譯器和工具適用于基于下列處理器的工作站： 32 位 x86(AMD* Athlon* XP/MP， Intel* Pentium* 4, Intel Xeon*), 64 位 AMD64 技術(shù) (AMD Athlon 64 和 Opteron*) 以及 64 位 IA32 技術(shù) (Intel Pentium 和 Xeon with EM64T)，可支持多達(dá) 4個(gè)運(yùn)行在 Linux/x86 或 Win32(20xx/XP/Server 20xx)操作系統(tǒng)上的 CPU。 卓著的單處理器性能，罕見(jiàn)的可靠性，支持幾乎所有常用的擴(kuò)展名，對(duì)附加到編譯器（服務(wù)于將 RISC/UNIX 工作站和服務(wù)器移植到基于 32 位 x86 或 64 位AMD64 或 IA32/EM64T 處理器系統(tǒng)的用戶）的共享存儲(chǔ)器并行系統(tǒng)進(jìn)行自動(dòng)或用戶定向并行處理。 PGI 工作站編譯器連同 OpenMP 圖像調(diào)試器 PGDBG 和 PGPROF 繪圖性能分析器允許單個(gè)用戶在安裝了 PGI 編譯器的工作站上進(jìn)行編譯，調(diào)試和分析。所有的執(zhí)行操作僅限于使用不超過(guò) 4 個(gè)處理器，并能在任何兼容系統(tǒng)上執(zhí)行，不論是否安裝了 PGI 編譯器。 ? INTEL 編譯器 Intel Compiler 使你的程序輕松在 Intel 32/64 位處理器上獲得更卓越的表現(xiàn)。 Intel Compiler 提供一系列核心技術(shù)，包括優(yōu)化支持，線程應(yīng)用程序支持，它能充分發(fā)揮超線程技術(shù)的優(yōu)勢(shì)，兼容主流的工具和標(biāo)準(zhǔn)，為您的程序提供最佳的運(yùn)行表