【導(dǎo)讀】.項(xiàng)目實(shí)施前培訓(xùn).........

　　

【正文】 圖所示，由各個(gè)企業(yè)聯(lián)盟主導(dǎo)的刀片服務(wù)器規(guī)范。但由于企業(yè)間在利益上的沖突，難以實(shí)現(xiàn)各個(gè)標(biāo)準(zhǔn)之間的融合與統(tǒng)一，另一方面也會造成對后來者的限制與障礙，這將給刀片服務(wù)器企業(yè)和用戶帶來很大的風(fēng)險(xiǎn)，也給整個(gè)行業(yè)的發(fā)展帶來不利。 圖 刀片服務(wù)器的各項(xiàng)技術(shù)標(biāo)準(zhǔn) 當(dāng)前刀片服務(wù)器的技術(shù)還屬于封閉狀態(tài)，國外服務(wù)器巨頭都在確定自己的產(chǎn)品標(biāo)準(zhǔn)，而這些企業(yè)聯(lián)盟標(biāo)準(zhǔn)組織在核心技術(shù)部分如背板與控制部分的接 口與規(guī)范是不開放的，基于這些聯(lián)盟的設(shè)計(jì)規(guī)范，只能設(shè)計(jì)包括網(wǎng)絡(luò)應(yīng)用、存儲、交換等類型的刀片，開發(fā)出的產(chǎn)品在刀片規(guī)格、底板規(guī)格、背板規(guī)格以及控制系統(tǒng)方面都互不兼容，當(dāng)前制定中國刀片式服務(wù)器標(biāo)準(zhǔn)意義深遠(yuǎn)。 中國高性能計(jì)算機(jī)標(biāo)準(zhǔn)工作委員會邁出的第一步就是擬定中國刀片服務(wù)器標(biāo)準(zhǔn)和機(jī)群遠(yuǎn)程監(jiān)控管理標(biāo)準(zhǔn)。中國刀片式服務(wù)器標(biāo)準(zhǔn)擬從刀片式服務(wù)器基礎(chǔ)架構(gòu)、刀片式服務(wù)器監(jiān)控管理、計(jì)算刀片、刀片式服務(wù)器交換模塊、刀片式服務(wù)器存儲模塊等幾方面展開。 20xx 年四月，信息產(chǎn)業(yè)部科技司正式批復(fù)了由高性能計(jì)算機(jī)標(biāo)準(zhǔn)工作委員會申報(bào)的《機(jī)群操作 系統(tǒng)遠(yuǎn)程監(jiān)控技術(shù)要求》和《 刀片式服務(wù)器 管理模塊技術(shù)要求》兩項(xiàng)電子行業(yè)標(biāo)準(zhǔn)草案立項(xiàng)審議，項(xiàng)目編號分別為： S07018T和 S07019T。 31 曙光公司做為中國高性能計(jì)算機(jī)標(biāo)準(zhǔn)工作委員會的發(fā)起單位和掛靠單位，中國刀片式服務(wù)器標(biāo)準(zhǔn)將以曙光新一代代高效能刀片式服務(wù)器相關(guān)技術(shù)為基礎(chǔ)開展工作。 . 胖節(jié)點(diǎn) 中南大學(xué)網(wǎng)格高性能平臺 選用曙光 4way 64位服務(wù)器 A850系統(tǒng)作為胖計(jì)算節(jié)點(diǎn)。共采用 4臺曙光 4way A850服務(wù)器、 16 顆 AMD 64 位 Opteron 四核 CPU 構(gòu)建胖計(jì)算節(jié)點(diǎn)，提供 Tflops 的主頻峰值計(jì)算能力。 曙光可擴(kuò)展高性能 四 路 64 位服務(wù)器 A850 采用先進(jìn)的 SMP 架構(gòu)。系統(tǒng)采用AMD 4Core Opteron 處理器，可輕松實(shí)現(xiàn)高達(dá) 16Core SMP 擴(kuò)展，系統(tǒng)具有超大內(nèi)存能力支持，最高支持達(dá) 128G 內(nèi)存。 曙光 四 路 64位 A850服務(wù)器具有如下特性： (一 ) 高效能 ? 支持最高達(dá) 4顆 AMD Opteron 8000 系列處理器，輕松構(gòu)建最高達(dá) 16Core CPU 的強(qiáng)大處理能力； ? 采用 HyperTransport 直連架構(gòu)，消除系統(tǒng)總線瓶頸； ? 支持 128GB DDR2 ECC Registered 內(nèi)存，大規(guī)模事務(wù)處理不再受內(nèi)存容量局限； ? 提供高速 PCIE x16 和 PCIX 插槽 ,支持高速擴(kuò)展設(shè)備； (二 ) 高可靠性 高性能 BIOS，提供病毒保護(hù)和恢復(fù)功能； 高級內(nèi)存容錯(cuò)功能； 支持多網(wǎng)卡冗余，系統(tǒng)正常時(shí)分?jǐn)偩W(wǎng)絡(luò)流量，當(dāng)其中一塊網(wǎng)卡出現(xiàn)問題時(shí)，可將其負(fù)擔(dān)的工作切換到其他網(wǎng)卡； 采用曙光 “ 靈動(dòng) ” 散熱技術(shù)，保證了系統(tǒng)散熱良好，并可控制風(fēng)扇根據(jù)負(fù)載大小而 自動(dòng)調(diào)節(jié)轉(zhuǎn)速； 32 采用 3+1 冗余電源，保證系統(tǒng)不因單個(gè)電源模塊損壞而停機(jī)。 (三 ) 高擴(kuò)展性 ? 支持 AMD Opteron 四核處理器； ? 16 條 DIMM 插槽，可擴(kuò)展至 128GB 內(nèi)存； ? 支持 8 塊熱插拔硬盤，構(gòu)造大規(guī)模存儲； ? 系統(tǒng)配置 1350W 3+1冗余電源，也可根據(jù)實(shí)際配置選擇不同數(shù)量的電源模塊而提供不同功率輸出。 (四 ) 高可管理性 ? 支持電源狀態(tài)記憶功能，供電系統(tǒng)故障掉電，系統(tǒng)支持供電系統(tǒng)恢復(fù)正常以后自動(dòng)開啟功能； ? 支持網(wǎng)絡(luò)喚醒（ WOL－ Wake On Lan）功能。 曙光 四 路 64位 A850服務(wù)器其 外觀如圖所示： 圖 曙光 四 路 64 位服務(wù)器外觀 . 網(wǎng)絡(luò) 系統(tǒng)方案 本方案充分考慮到了計(jì)算節(jié)點(diǎn)、 存儲 節(jié)點(diǎn)、以及網(wǎng)絡(luò)交換機(jī)的性能參數(shù)。在保證了系統(tǒng)穩(wěn)定的前提下，使每臺設(shè)備都能得到最大限度的利用。本方案的網(wǎng)絡(luò)系統(tǒng)的設(shè)計(jì)從性能和可靠兩個(gè)原則出發(fā)，采用 2套網(wǎng)絡(luò)實(shí)現(xiàn)方式。實(shí)現(xiàn) 雙 網(wǎng)分離、專網(wǎng)專用。 33 節(jié)點(diǎn) 配置 2套網(wǎng)絡(luò)， 1 套計(jì)算網(wǎng)絡(luò) 和數(shù)據(jù)網(wǎng)絡(luò)，選用 Infiniband 高速網(wǎng)絡(luò)；1套千兆 管理 監(jiān)控 網(wǎng)。高速計(jì)算網(wǎng)、數(shù)據(jù)傳輸網(wǎng)和管理網(wǎng)實(shí)現(xiàn)專網(wǎng)專用，提高了整體性能 ，也達(dá)到了備份的目的 。 ? 計(jì)算 和存儲 網(wǎng)采用 Infiniband 高速網(wǎng)絡(luò)，用 于并行計(jì)算時(shí)的數(shù)據(jù)交換和計(jì)算通訊 、 IO 讀寫等。 Infiniband 是一種新型的總線結(jié)構(gòu)，它可以消除目前阻礙服務(wù)器和存儲系統(tǒng)的瓶頸問題，是一種將服務(wù)器、網(wǎng)絡(luò)設(shè)備和存儲設(shè)備連接在一起的交換結(jié)構(gòu)的I/O 技術(shù)。它是一種致力于服務(wù)器端而不是 PC 端的高性能 I/O 技術(shù)。 Infiniband 技術(shù)通過一種交換式通信組織（ Switched Communications Fabric）提供了較局部總線技術(shù)更高的性能，它通過硬件提供了可靠的傳輸層級的點(diǎn)到點(diǎn)連接，并在線路上支持消息傳遞和內(nèi)存映像技術(shù)。不同于 PCI，Infiniband 允許多個(gè) I/O 外設(shè)無延遲、無擁塞地同時(shí)向處理器發(fā)出數(shù)據(jù)請求 。 目前， Infiniband 已經(jīng)成為高性能集群的首選計(jì)算網(wǎng)路，在 Top 500 中也表現(xiàn)出了快速增長的勢頭，而傳統(tǒng)的 Myri 的正在走向沒落。 本方案中采用 4臺 24端口的 Voltaire ISR9024 交換機(jī)，配合刀片機(jī)箱上的Infiniband 交換模塊，可以提供所有計(jì)算節(jié)點(diǎn)之間 20Gb 的全互聯(lián)無阻塞通信。每箱刀片上的 IB交換模塊向這 4臺交換機(jī)上分別連 2根、 2 根、 3根、 3根線纜，每個(gè) 交換機(jī)上的連接線纜分別是 16 根、 16 根、 24 根、 24 根線纜。第一個(gè)交換機(jī)空余端口用來連接 4 臺 A850，第二個(gè)交換機(jī)的空余端口用來連接 2 臺 IO 節(jié)點(diǎn)和 2 臺管理節(jié)點(diǎn)。采用這種連接方式的優(yōu)點(diǎn)是擴(kuò)展性好，性價(jià)比高，僅僅通過增加低成本的 24 端口交換機(jī)和相應(yīng)線纜，就可以可以保證最多 240 個(gè)刀片的線速無阻塞通信。 34 ? 管理網(wǎng)采用千兆以太網(wǎng)，用于系統(tǒng)管理控制、系統(tǒng)監(jiān)控、作業(yè)的遞交、作業(yè)監(jiān)控等監(jiān)控管理方面的數(shù)據(jù)通訊。同時(shí)，管理網(wǎng)又 可 作為數(shù)據(jù)傳輸網(wǎng)的備份。 本方案中采用 1臺 H3C 510024 千兆以太網(wǎng)交換機(jī)，計(jì)算刀片通過千 兆交換模塊連接到交換機(jī)上，可以滿足管理、監(jiān)控的需求。 產(chǎn)品具體參數(shù)見技術(shù)白皮書。 . 存儲系統(tǒng)方案 本方案存儲系統(tǒng)采用先進(jìn)的 SAN 架構(gòu)。包括 1 臺 16 端口光纖交換機(jī)、 1 套磁盤陣列、 2 個(gè) IO 節(jié)點(diǎn)。 光纖交換機(jī)采用 16 端口 的博科 BR310， 16個(gè) 8Gb 端口，其中 8 端口激活，留下了充足的擴(kuò)展余地。 本方案配備的磁盤陣列的為曙光 DS6312FE， 45 塊 450GB SAS 15K 硬盤，總?cè)萘繛? TB，可在線擴(kuò)容至 80 塊硬盤，性價(jià)比非常高。 I/O 節(jié)點(diǎn)使用 2 臺 A620rF 服務(wù)器， AMD Opteron 處理器提供 了優(yōu)異的內(nèi)存性能和磁盤 IO 性能，有利于存儲系統(tǒng)性能的提高。 產(chǎn)品具體參數(shù)見技術(shù)白皮書。 35 . 系統(tǒng)軟件 方案 最終用戶的各種應(yīng)用的運(yùn)行具有如下的層次視圖，如圖所示。開發(fā)環(huán)境主要涉及中間件層和工具層。 并 行 應(yīng) 用編 譯 器 、 數(shù) 學(xué) 庫 、 調(diào) 優(yōu) 及 調(diào) 試 工 具批 處 理 隊(duì) 列 、 調(diào) 度 器 、 監(jiān) 控 管 理 系 統(tǒng)通 信 庫 （ P V M 、 M P I 、 O p e n M P ） 等操 作 系 統(tǒng) 及 管 理 軟 件 （ 運(yùn) 行 在 計(jì) 算 節(jié) 點(diǎn) 及 控 制 節(jié) 點(diǎn)上 ）支 持 節(jié) 點(diǎn) 間 通 信 的 軟 硬 件處 理 器 、 硬 件 構(gòu) 成 、 硬 件 管 理 等應(yīng) 用工 具作 業(yè) 調(diào) 度中 間 件操 作 系 統(tǒng)互 聯(lián)計(jì) 算 節(jié) 點(diǎn) 圖 應(yīng)用運(yùn)行層次 （一）操作系統(tǒng) 所有節(jié)點(diǎn)的操作系統(tǒng)采用 RedHat Enterprise Linux AS ，也可根據(jù)需要采用 Windows 操作系統(tǒng)，比如 Windows HPC Server 20xx。 36 （二） 作業(yè)調(diào)度 作業(yè)調(diào)度系統(tǒng)采用曙光公司最新研發(fā)的 DCJM（ Dawning Cluster Job Manager）。 DCJM 是是專門針對高性能計(jì)算領(lǐng)域而開發(fā)的高級功能。在 DCJM 中，集成了 Torque、 Maui 等業(yè)界成熟的資源管理器和調(diào)度器。 DCJM 軟件是曙光最新的資源管理解決方案，可以用于建設(shè)校園計(jì)算機(jī)群。DCJM 軟件在企業(yè)技術(shù)和管理人員設(shè)定的企業(yè)資源策略基礎(chǔ)上組織計(jì)算資源的分發(fā)。 DCJM 系統(tǒng)使用這些策略檢查校園計(jì)算機(jī)群內(nèi)可用的計(jì)算資源。系統(tǒng)自動(dòng)收集、分配和分發(fā)這些資源，使計(jì)算資源的使用實(shí)現(xiàn)最優(yōu)化。 DCJM 系統(tǒng)是一種批處理作業(yè)和計(jì)算機(jī)系統(tǒng)資源管理軟件包 ，用于管理不同種類的分布式計(jì)算環(huán)境，對共享資源的使用進(jìn)行控制，以最大限度地實(shí)現(xiàn)企業(yè)的計(jì)算目標(biāo)。站點(diǎn)配置確保系統(tǒng)實(shí)現(xiàn)使用率和生產(chǎn)量的最大化，同時(shí)使系統(tǒng)支持不同的時(shí)間限制和重要級別。作業(yè)的限期是時(shí)間限制的實(shí)例。作業(yè)的優(yōu)先級和用戶份額是重要程度的實(shí)例。 它可以接受批處理作業(yè)、 shell 腳本和控制屬性，作業(yè)運(yùn)行前對其儲存并保護(hù)，然后運(yùn)行作業(yè)，并且把輸出轉(zhuǎn)發(fā)回提交者。 DCJM 系統(tǒng)執(zhí)行以下全部任務(wù)： 37 ? 接受外來作業(yè)。作業(yè)是指用戶對計(jì)算機(jī)資源的請求。 ? 將工作放入留置區(qū)域直到可以運(yùn)行該作業(yè)。 ? 將作業(yè)從留置區(qū)域發(fā)送到執(zhí)行設(shè)備 。 ? 管理正在運(yùn)行的作業(yè)。 ? 作業(yè)完成時(shí)，將作業(yè)執(zhí)行記錄寫入日志。 DCJM 可以被安裝并配置運(yùn)行在單機(jī)系統(tǒng)或多個(gè)系統(tǒng)組來支持作業(yè)處理，它具有以下特點(diǎn)： ? 基于 Web 瀏覽器的圖形化管理界面，模塊化設(shè)計(jì) ? 支持系統(tǒng)自動(dòng)部署和備份 ? 實(shí)現(xiàn)對整機(jī)計(jì)算資源、任務(wù)調(diào)度和用戶的高效管理 ? 可有效統(tǒng)計(jì)系統(tǒng)運(yùn)行、用戶機(jī)時(shí)使用情況，生成計(jì)費(fèi)報(bào)告。 ? 支持多種調(diào)度策略，保證大作業(yè)能夠得到調(diào)度。 ? 支持交互式作業(yè)，支持多隊(duì)列管理，各個(gè)隊(duì)列可設(shè)置不同管理策略，根據(jù)用戶作業(yè)的運(yùn)行情況動(dòng)態(tài)調(diào)整用戶優(yōu)先級。 ? 具有良好的穩(wěn)定性和高可用性，系統(tǒng)發(fā)生故障后可自 動(dòng)恢復(fù)對作業(yè)系統(tǒng)中已運(yùn)行、排隊(duì)作業(yè)的管理，不會丟失作業(yè)。 ? 單一系統(tǒng)內(nèi)支持異構(gòu)環(huán)境，可統(tǒng)一管理刀片節(jié)點(diǎn)與胖節(jié)點(diǎn)，并可對多個(gè)機(jī)群系統(tǒng)提供統(tǒng)一的系統(tǒng)級管理。 ? 準(zhǔn)確的系統(tǒng)記賬功能，自動(dòng)生成用戶賬單，能夠按日、按月提供系統(tǒng)資源（如 CPU 利用率等）使用報(bào)表等。 ? 支持網(wǎng)格計(jì)算，支持遠(yuǎn)程管理方式，具有可擴(kuò)展性。 ? 支持多種硬、軟件平臺。 （ 三 ）編程 環(huán)境 支持 C、 C++、 Fortran、 Java，編譯器支持 GNU 開源的編譯器 、 Intel 編譯器、 PGI 編譯器 。 ? GNU C/C++、 GNU Fortran編譯器 GNU CC（ GNU Compiler Collection）是一個(gè)編譯器套件， 是 GNU 推出的功 38 能強(qiáng)大、性能優(yōu)越的多平臺編譯器，是 GNU 的代表作品之一。 gcc 是可以在多種硬 件 平臺上編譯出可執(zhí)行程序的超級編譯器，其執(zhí)行效率與一般的編譯器相比平均效率要高 20%~30%。 它不僅能夠編譯 C、 Objective C 和 C++程序，而且還能編譯 Fortran、 Pascal 等語言寫的程序。單就編譯器而言，它是目前公認(rèn)編譯最快、效率最高的編譯器。 ? PGI 編譯器 PGI 是為基于 32 位和 64 位 AMD64 和 IA32/EM64T 處理器的 Linux 或 Win32工作站提供的并行 Fortran， C和 C++編譯器和工具。 PGI 工作站級的編譯器和工具適用于基于下列處理器的工作站： 32 位 x86(AMD* Athlon* XP/MP， Intel* Pentium* 4, Intel Xeon*), 64 位 AMD64 技術(shù) (AMD Athlon 64 和 Opteron*) 以及 64 位 IA32 技術(shù) (Intel Pentium 和 Xeon with EM64T)，可支持多達(dá) 4個(gè)運(yùn)行在 Linux/x86 或 Win32(20xx/XP/Server 20xx)操作系統(tǒng)上的 CPU。 卓著的單處理器性能，罕見的可靠性，支持幾乎所有常用的擴(kuò)展名，對附加到編譯器（服務(wù)于將 RISC/UNIX 工作站和服務(wù)器移植到基于 32 位 x86 或 64 位AMD64 或 IA32/EM64T 處理器系統(tǒng)的用戶）的共享存儲器并行系統(tǒng)進(jìn)行自動(dòng)或用戶定向并行處理。 PGI 工作站編譯器連同 OpenMP 圖像調(diào)試器 PGDBG 和 PGPROF 繪圖性能分析器允許單個(gè)用戶在安裝了 PGI 編譯器的工作站上進(jìn)行編譯，調(diào)試和分析。所有的執(zhí)行操作僅限于使用不超過 4 個(gè)處理器，并能在任何兼容系統(tǒng)上執(zhí)行，不論是否安裝了 PGI 編譯器。 ? INTEL 編譯器 Intel Compiler 使你的程序輕松在 Intel 32/64 位處理器上獲得更卓越的表現(xiàn)。 Intel Compiler 提供一系列核心技術(shù)，包括優(yōu)化支持，線程應(yīng)用程序支持，它能充分發(fā)揮超線程技術(shù)的優(yōu)勢，兼容主流的工具和標(biāo)準(zhǔn)，為您的程序提供最佳的運(yùn)行表