【正文】 Intel Compiler 提供一系列核心技術(shù)，包括優(yōu)化支持，線程應(yīng)用程序支持，它能充分發(fā)揮超線程技術(shù)的優(yōu)勢，兼容主流的工具和標準，為您的程序提供最佳的運行表。所有的執(zhí)行操作僅限于使用不超過 4 個處理器，并能在任何兼容系統(tǒng)上執(zhí)行，不論是否安裝了 PGI 編譯器。 卓著的單處理器性能，罕見的可靠性，支持幾乎所有常用的擴展名，對附加到編譯器（服務(wù)于將 RISC/UNIX 工作站和服務(wù)器移植到基于 32 位 x86 或 64 位AMD64 或 IA32/EM64T 處理器系統(tǒng)的用戶）的共享存儲器并行系統(tǒng)進行自動或用戶定向并行處理。 ? PGI 編譯器 PGI 是為基于 32 位和 64 位 AMD64 和 IA32/EM64T 處理器的 Linux 或 Win32工作站提供的并行 Fortran， C和 C++編譯器和工具。 它不僅能夠編譯 C、 Objective C 和 C++程序，而且還能編譯 Fortran、 Pascal 等語言寫的程序。 ? GNU C/C++、 GNU Fortran編譯器 GNU CC（ GNU Compiler Collection）是一個編譯器套件， 是 GNU 推出的功 38 能強大、性能優(yōu)越的多平臺編譯器，是 GNU 的代表作品之一。 ? 支持多種硬、軟件平臺。 ? 準確的系統(tǒng)記賬功能，自動生成用戶賬單，能夠按日、按月提供系統(tǒng)資源（如 CPU 利用率等）使用報表等。 ? 具有良好的穩(wěn)定性和高可用性，系統(tǒng)發(fā)生故障后可自 動恢復(fù)對作業(yè)系統(tǒng)中已運行、排隊作業(yè)的管理，不會丟失作業(yè)。 ? 支持多種調(diào)度策略，保證大作業(yè)能夠得到調(diào)度。 ? 作業(yè)完成時，將作業(yè)執(zhí)行記錄寫入日志。 ? 將作業(yè)從留置區(qū)域發(fā)送到執(zhí)行設(shè)備 。作業(yè)是指用戶對計算機資源的請求。 它可以接受批處理作業(yè)、 shell 腳本和控制屬性，作業(yè)運行前對其儲存并保護，然后運行作業(yè)，并且把輸出轉(zhuǎn)發(fā)回提交者。作業(yè)的限期是時間限制的實例。 DCJM 系統(tǒng)是一種批處理作業(yè)和計算機系統(tǒng)資源管理軟件包 ，用于管理不同種類的分布式計算環(huán)境，對共享資源的使用進行控制，以最大限度地實現(xiàn)企業(yè)的計算目標。 DCJM 系統(tǒng)使用這些策略檢查校園計算機群內(nèi)可用的計算資源。 DCJM 軟件是曙光最新的資源管理解決方案，可以用于建設(shè)校園計算機群。 DCJM 是是專門針對高性能計算領(lǐng)域而開發(fā)的高級功能。 并 行 應(yīng) 用編 譯 器 、 數(shù) 學(xué) 庫 、 調(diào) 優(yōu) 及 調(diào) 試 工 具批 處 理 隊 列 、 調(diào) 度 器 、 監(jiān) 控 管 理 系 統(tǒng)通 信 庫 （ P V M 、 M P I 、 O p e n M P ） 等操 作 系 統(tǒng) 及 管 理 軟 件 （ 運 行 在 計 算 節(jié) 點 及 控 制 節(jié) 點上 ）支 持 節(jié) 點 間 通 信 的 軟 硬 件處 理 器 、 硬 件 構(gòu) 成 、 硬 件 管 理 等應(yīng) 用工 具作 業(yè) 調(diào) 度中 間 件操 作 系 統(tǒng)互 聯(lián)計 算 節(jié) 點 圖 應(yīng)用運行層次 （一）操作系統(tǒng) 所有節(jié)點的操作系統(tǒng)采用 RedHat Enterprise Linux AS ，也可根據(jù)需要采用 Windows 操作系統(tǒng)，比如 Windows HPC Server 20xx。 35 . 系統(tǒng)軟件 方案 最終用戶的各種應(yīng)用的運行具有如下的層次視圖，如圖所示。 I/O 節(jié)點使用 2 臺 A620rF 服務(wù)器， AMD Opteron 處理器提供 了優(yōu)異的內(nèi)存性能和磁盤 IO 性能，有利于存儲系統(tǒng)性能的提高。 光纖交換機采用 16 端口 的博科 BR310， 16個 8Gb 端口，其中 8 端口激活，留下了充足的擴展余地。 . 存儲系統(tǒng)方案 本方案存儲系統(tǒng)采用先進的 SAN 架構(gòu)。 本方案中采用 1臺 H3C 510024 千兆以太網(wǎng)交換機，計算刀片通過千 兆交換模塊連接到交換機上，可以滿足管理、監(jiān)控的需求。 34 ? 管理網(wǎng)采用千兆以太網(wǎng)，用于系統(tǒng)管理控制、系統(tǒng)監(jiān)控、作業(yè)的遞交、作業(yè)監(jiān)控等監(jiān)控管理方面的數(shù)據(jù)通訊。第一個交換機空余端口用來連接 4 臺 A850，第二個交換機的空余端口用來連接 2 臺 IO 節(jié)點和 2 臺管理節(jié)點。 本方案中采用 4臺 24端口的 Voltaire ISR9024 交換機，配合刀片機箱上的Infiniband 交換模塊，可以提供所有計算節(jié)點之間 20Gb 的全互聯(lián)無阻塞通信。不同于 PCI，Infiniband 允許多個 I/O 外設(shè)無延遲、無擁塞地同時向處理器發(fā)出數(shù)據(jù)請求 。它是一種致力于服務(wù)器端而不是 PC 端的高性能 I/O 技術(shù)。 ? 計算 和存儲 網(wǎng)采用 Infiniband 高速網(wǎng)絡(luò)，用 于并行計算時的數(shù)據(jù)交換和計算通訊 、 IO 讀寫等。 33 節(jié)點 配置 2套網(wǎng)絡(luò)， 1 套計算網(wǎng)絡(luò) 和數(shù)據(jù)網(wǎng)絡(luò)，選用 Infiniband 高速網(wǎng)絡(luò)；1套千兆 管理 監(jiān)控 網(wǎng)。本方案的網(wǎng)絡(luò)系統(tǒng)的設(shè)計從性能和可靠兩個原則出發(fā)，采用 2套網(wǎng)絡(luò)實現(xiàn)方式。 曙光 四 路 64位 A850服務(wù)器其 外觀如圖所示： 圖 曙光 四 路 64 位服務(wù)器外觀 . 網(wǎng)絡(luò) 系統(tǒng)方案 本方案充分考慮到了計算節(jié)點、 存儲 節(jié)點、以及網(wǎng)絡(luò)交換機的性能參數(shù)。 (三 ) 高擴展性 ? 支持 AMD Opteron 四核處理器； ? 16 條 DIMM 插槽，可擴展至 128GB 內(nèi)存； ? 支持 8 塊熱插拔硬盤，構(gòu)造大規(guī)模存儲； ? 系統(tǒng)配置 1350W 3+1冗余電源，也可根據(jù)實際配置選擇不同數(shù)量的電源模塊而提供不同功率輸出。系統(tǒng)采用AMD 4Core Opteron 處理器，可輕松實現(xiàn)高達 16Core SMP 擴展，系統(tǒng)具有超大內(nèi)存能力支持，最高支持達 128G 內(nèi)存。共采用 4臺曙光 4way A850服務(wù)器、 16 顆 AMD 64 位 Opteron 四核 CPU 構(gòu)建胖計算節(jié)點，提供 Tflops 的主頻峰值計算能力。 31 曙光公司做為中國高性能計算機標準工作委員會的發(fā)起單位和掛靠單位，中國刀片式服務(wù)器標準將以曙光新一代代高效能刀片式服務(wù)器相關(guān)技術(shù)為基礎(chǔ)開展工作。中國刀片式服務(wù)器標準擬從刀片式服務(wù)器基礎(chǔ)架構(gòu)、刀片式服務(wù)器監(jiān)控管理、計算刀片、刀片式服務(wù)器交換模塊、刀片式服務(wù)器存儲模塊等幾方面展開。 圖 刀片服務(wù)器的各項技術(shù)標準 當(dāng)前刀片服務(wù)器的技術(shù)還屬于封閉狀態(tài)，國外服務(wù)器巨頭都在確定自己的產(chǎn)品標準，而這些企業(yè)聯(lián)盟標準組織在核心技術(shù)部分如背板與控制部分的接 口與規(guī)范是不開放的，基于這些聯(lián)盟的設(shè)計規(guī)范，只能設(shè)計包括網(wǎng)絡(luò)應(yīng)用、存儲、交換等類型的刀片，開發(fā)出的產(chǎn)品在刀片規(guī)格、底板規(guī)格、背板規(guī)格以及控制系統(tǒng)方面都互不兼容，當(dāng)前制定中國刀片式服務(wù)器標準意義深遠。如圖所示，由各個企業(yè)聯(lián)盟主導(dǎo)的刀片服務(wù)器規(guī)范。各個 30 企業(yè)或行業(yè)標準組織在刀片服務(wù)器領(lǐng)域制定的各類規(guī)范都還未形成全面推廣的局面。 4 8 5 B u sN o d e 1N o d e NU S B B u sU S B B u sU S B B u sC I （ C l i e n t I n t e r f a c e ）C I （ C l i e n t I n t e r f a c e ）S I （ S e r v e r I n t e r f a c e ）M a s s S t o r a g e D e v i c e 圖 本地 USB存儲設(shè)備的遠端共享 在刀片服務(wù)器特有的環(huán)境下，本地 USB 存儲設(shè)備共享技術(shù)被簡化為 下 圖 所示 的情況，直接將計算刀片節(jié)點的 USB 總線連接到管理模塊上，由管理模塊控制 USB 存儲設(shè)備的切換，以達到共享的目的。并且可以通過切換，實現(xiàn) 1個物理 USB 存儲設(shè)備被多個節(jié)點所分時共享。為解決存儲設(shè)備的網(wǎng)絡(luò)共享問題，曙光高效能刀片服務(wù)器設(shè)計支持 USB 共享及虛擬。例如，一個計算任務(wù) 分在60 刀片上部署進行，一旦管理軟件探測到實際負載很輕，則把作業(yè)遷移刀片其中 50 個計算刀片上，休眠余下的計算刀片，實現(xiàn)系統(tǒng)功耗減少，從而完成節(jié)能。 AMD Bacelona CPU 已經(jīng)內(nèi)置了 CPU 內(nèi)核負荷不均時自動休眠或降低內(nèi)核性能的功能，但在現(xiàn)在的 Intel Xeon 中，只支持 CPU 整體降頻，不支持單個 CPU 內(nèi)核降頻。同時，當(dāng)發(fā)現(xiàn) CPU 任務(wù)隊列對功耗需求較低，則通過 BIOS 接口進 行 CPU 功率的動態(tài)調(diào)整，比如一個刀片，主頻為，在 CPU 任務(wù)隊列較少的時候，就可以根據(jù)任務(wù)需要把服務(wù)器的 CPU 從 調(diào)整倒一個比較低的頻率，這樣就可以使 CPU 的功耗大大降低。 優(yōu)化操作系統(tǒng)內(nèi)核，通過優(yōu)化程序執(zhí)行隊列或者根據(jù)負載情況動態(tài)調(diào)整 CPU頻率。在系統(tǒng)工作的某個時刻，經(jīng)過監(jiān)控系統(tǒng)測出實際功耗為 ，這樣就可以關(guān)閉 3顆電源，實現(xiàn)電源轉(zhuǎn)換效率為 86%，如 果不采用任何手段時，其效率僅僅為 70%，系統(tǒng)實現(xiàn)節(jié)能 20%左右，同時減少熱量排放，降低冷卻成本。 高效能刀片服務(wù)器采用 6顆電源，每顆電源額定功率為 1KW，在管理系統(tǒng)確定功耗后，進行最佳電源效率判斷，然后確定是否需要關(guān)閉或者打開電源。例如，根據(jù)不同的配置刀片中可以插入 8 條內(nèi)存、 4 條內(nèi)存、 2 條內(nèi)存或者 2 塊硬盤、 1 塊硬盤，甚至將來的單雙 CPU 的不同，刀 片功耗有明顯差異。 (六 ) 自動功率管理 高效能刀片式服務(wù)器具備自動功率管理功能，主要體現(xiàn)在三個層面： 根據(jù)實時功耗確定工作電源個數(shù)，使電源工作在最佳效率曲線上。 Share Media 以及 Virtual Media 技術(shù) 該技術(shù)實現(xiàn)了 USB 共享及遠程化，即在遠程通過一臺主機連接到管理系統(tǒng)的網(wǎng)絡(luò)，而不是計算刀片的網(wǎng)絡(luò)，把遠程機器的存儲介質(zhì)通過管理網(wǎng)絡(luò)映射成計算刀片的 USB 設(shè)備，實現(xiàn)遠程的系統(tǒng)安裝，軟件拷貝等。為確保路由能力， KVM 系統(tǒng)必須使用真正的 IP 協(xié)議，而不是僅僅將 IP 網(wǎng)絡(luò)用來傳輸專用模擬信號。 基于 IP 的數(shù)字化 KVM 系統(tǒng)作為向標準化和靈活的集中化邁進的一部分，不僅克服了傳統(tǒng)模擬 KVM 系統(tǒng)的局限性，也為管理不同種類的分布式網(wǎng)絡(luò)提供了可能。透過 Inter環(huán)境，以 TCP/IP網(wǎng)絡(luò)為 接口傳送視頻信息，支持遠程異地單刀片 BIOS 級 KVM監(jiān)控管理。但是，其擴展距離有限，一般的距離局限在 50 米以內(nèi)，使用還不足夠方便。 KVM over IP 技術(shù) 傳統(tǒng)的鍵盤、鼠標、顯示器和存儲設(shè) 備需要一對一的物理連接在計算機上，隨著數(shù)據(jù)中心的不斷擴大，龐大的節(jié)點數(shù)目使得在每臺計算機上配備一套鍵盤、鼠標和顯示器變得非常困難。 為實現(xiàn)以上管理目標，需要強大的管理功能，本項目設(shè)計的刀片服務(wù)器管理系統(tǒng)，要具備本地和遠程的靈活管理和控制，具體功能方面，將實現(xiàn)以下功能： 對各部件的在線檢測，工作狀態(tài)監(jiān)控，通過檢測得知當(dāng)前工作情況； 供電策略，以及功率管理策略； 智能冷卻系統(tǒng)管理策略； 刀片健康信息監(jiān)測，系統(tǒng)資源監(jiān)測； 26 實現(xiàn)所有本地控制操作，如 KVM、 Share Media、各部 件上下電管理； 實現(xiàn)所有遠程控制操作，如 IP KVM、 Virtual Media、部件遠程上下電控制； 良好的人機交互界面，實現(xiàn)多元化報警、提供日志、數(shù)據(jù)分析、實現(xiàn)用戶管理策略定制和部件故障預(yù)報警； 管理系統(tǒng)支持冗余，通過心跳實現(xiàn)監(jiān)測和切換； 為其它管理軟件提供通訊接口，支持多元化監(jiān)控管理協(xié)議，如圖 所示。 管理系統(tǒng)整合目前兩大監(jiān)控技術(shù)，即 IPMI 技術(shù)以及 SKVM (支持 KVM Over IP)，真正實現(xiàn)監(jiān)視控制一體化。刀片服務(wù)器背板互連情況如圖所示： 圖 刀片服務(wù)器背板互連情況 (四）復(fù)雜系統(tǒng)設(shè)計能力 下 圖為高效能刀片服務(wù)器計算刀片架構(gòu)圖，采用 4way AMD 最新 4 Core 64位 CPU，單刀片最大支持 16 core，整個刀片服務(wù)器支持 160 核的計算能力。高效能刀片服務(wù)器采用先進的信號仿真技術(shù)來保證系統(tǒng)的信號完整性。在此次 高效能計算機 中，外接的 PCIE 插槽可以很好地支 持專用的 ASIC 硬件加速卡，使得很多商業(yè)應(yīng)用可以通過硬件加速獲得幾倍到幾十倍的性能提升，最大限度滿足 24 了用戶的需求。在架構(gòu)設(shè)計中，創(chuàng)新地把 PCIE總線引入背板。 (三）高速信號設(shè)計能力，高帶寬低延遲的背板技術(shù) 刀片服務(wù)器中的背板帶寬和延遲是其性能瓶頸。此外當(dāng)某組風(fēng)道中沒有刀片時，該組的風(fēng)扇建議仍然采用不工作停轉(zhuǎn)的模式，當(dāng)然也可以根據(jù)實際情況進行調(diào)整。首先對刀片系統(tǒng)進行風(fēng)道物理劃分，然后再根據(jù)每個風(fēng)道空間采用局部的基于溫度區(qū)域的溫度控制策略?？紤]到以上兩個控制策略的優(yōu)點和不足，提出綜合考慮物理風(fēng)道空間和溫度區(qū)間的溫度控制策略。最糟糕的情況是，只要在 4和 7位置插上兩個刀片，那么整個 3 組風(fēng)扇就要以全速工作。 基于物理空間劃分的溫度控制方法基于這樣一種假設(shè)，即風(fēng)扇在全速工作模式下能夠支持刀片最惡劣的情況，如果溫度還是不能降低，則由 CPU的 Tcase來控制溫度門限，選擇關(guān)機。對于風(fēng)扇轉(zhuǎn)速而言 ，相對于上一種控制策略，每個風(fēng)扇就有兩種狀態(tài)，不轉(zhuǎn)和全速，而不是三種模式?；谖锢砜臻g劃分風(fēng)道控制示意圖如圖所示。根據(jù)三組風(fēng)扇的物理擺放位置將整