【正文】 ll (KB/second) 全對稱帶寬 在這個程序中又有七個子程式來完成不同的功能，以下我們就介紹以下這七個程式的功能： Bandwidth 這個程式主要通過一個 timer 計數(shù)器和不停發(fā)送大小不同的包來測試我們的帶寬。 NB: 對于數(shù)據(jù)分配和計算粒度， HPL 使用的塊尺度 NB。如 10個 Pentium III CPU 的 Rpeak 值。對于最好的系統(tǒng)性能，目標是使用能與內存匹配的最大的問題規(guī)模。為了運行 HPL，需要MPI 和基本線性代數(shù)子方 程 (BLAS)或矢量圖形信號處理庫 (VSIPL)兩者之一。 Linpack 的結果按每秒浮點運算次數(shù)表示。 知道集群理論峰值是不夠的，我們還需要得到集群的實際峰值。 LinPack 的介紹 我們之所以要建立集群，主要原因是我們需要解決大規(guī)模的運算，而大多數(shù)的運算都可以歸結為浮點運算，所以一個集群的浮點運算能力是一個集群性能的主要體現(xiàn)。 10 / 23 四 集群性能測試 集群測試主要的任務是對建立后的集群進行一系列的初步測試，以便對我們集群性能有一定的了解。 計算節(jié)點的安裝： 在主節(jié)點載入系統(tǒng)后，啟動節(jié)點安裝偵聽程序。 ROCKS CLUSTERS 的安裝 ROCKS CLUSTERS 給 CLUSTER 的管理人員提供了一種相當輕松的安裝方式。 可選設備： 當集群系統(tǒng)有大量計算數(shù)據(jù)或結果數(shù)據(jù)需有效保存時，陣列柜是最有效的解決方案，可在主節(jié)點服務器上外接一臺陣列柜。 中山大學物理系理工學院集群硬件介紹 本集群系統(tǒng)中涉及的硬件設備主要有主節(jié)點服務器、從節(jié)點服務器、千兆網(wǎng)絡交換機、陣列柜、機柜等。其次有性能最為優(yōu)秀的 GOTO 數(shù)學函數(shù)庫；最后有大量的科學計算方面的開源軟件。 計算任務的提交與管理 ROCKS CLUSTERS 系統(tǒng)提供了一整套基于 WEB 的組件用于監(jiān)控自身的活動及配置狀況，如處理器使用數(shù)量、內存及交換分區(qū)使用情況、網(wǎng)絡負載、節(jié)點狀態(tài)和當前計算任務的進 展。在軟件方面也是由 FRONTEND(管理節(jié)點 )加 NODE(計算節(jié)點 )組成。一方面，機柜的前門及側板都建議使用蜂窩式設計的產品，有利于冷空氣的充分浸入；另一方面，空調的制冷功率也要充分考慮。 首先，供電設施，后備電源和自動發(fā)電機組是必然的選擇。整個系統(tǒng)由 8 個節(jié)點， 4＊ 8 個處理器核心組成。 ROCKS CLUSTERS 是 NPACI（美國高級計算基礎設施合作委員會）負責研發(fā)的，目前最為專業(yè)的集群操作系統(tǒng)。 全自動的多主機切換系統(tǒng)（ KVM），包括顯示系統(tǒng)。 統(tǒng)計物理及大分子生物物理計算等。 中山大學物理系理工學院集群系統(tǒng)介紹 系統(tǒng)建設背景： 中山大學物理系理工學院是集科研教育性質一體的國學教育單位。 在方案中，我們使用主流的 SMP 系統(tǒng)作為集群的節(jié)點，互連網(wǎng)絡也使用類似 Myri 的高速網(wǎng)，我們把這種系統(tǒng)叫作 SMP 集群。 DM 系統(tǒng)具有很多優(yōu)秀的特點： 系統(tǒng)的可拓展性強。 但是業(yè)界為了彌補這種不足，又推出了另外一種系統(tǒng)――分布式內存存取系統(tǒng)。 SMP 系統(tǒng)的最大特點是：一方面，系統(tǒng)架 構及共享內存的編程模式的相對簡單，所以制造和應用成本很少，為廣大中小企業(yè)所喜愛。 目前，主流的 PC 服務器一般含有一到四個處理器，在一個操作系統(tǒng)的控制下，共同存取一個唯一的內存地址空間。高性能計算主要應用于如下兩類問題的研究。 2. 高可用性：集群中的一個節(jié)點失效，它的任務可以傳遞給其他節(jié)點 ， 可以有效防止單點失效。主要瓶頸在于 CPU 訪問內存的帶寬并不能隨著 CPU個數(shù)的增加而有效增長。提高 CPU 主頻和總線帶寬是最初提供計算機性能的主要手段。 集群并不是一個全新的概念，其實早在七十年代計算機廠商和研究機構就開始了對集群系統(tǒng)的研究和開發(fā)。 4 / 23 二 系統(tǒng)方案描述 集群簡介 簡單的說，集群（ cluster）就是一組計算機，它們作為一個整體向用戶提供一組網(wǎng)絡資源。 五舟服務器現(xiàn)有兩大系列近 40款機型，分為基于 Intel處理器的 5000系列和基于 AMD處理器的 4000系列，主流機型有 1U 機架式（ 5100、 51 1100、 4100、 4110）、 2U 機架式（ 5200、 52 4200、 4210）、4U 機架式（ 54 4400、 44 4350）和塔式（ 5000、 50 4000、 4010）， 以及最新的雙核機型均可在現(xiàn)有機型上升級。 我們擁有專業(yè)的方案解決能力和技術支持能力，能提供面向不同應用領域的 IA 服務器硬件方案及大容量數(shù)據(jù)存儲解決方案。 1 / 23 中大理工學院 HPC集群方案 2 / 23 方 案 目 錄 一、 公司簡介 二、 集群系統(tǒng)方案簡介 集群簡介 高性能計算機集群簡介 中山大學物理系理工學院集群 系統(tǒng) 介紹 中山大學物理系理工學院集群 軟件 介紹 中山大學物理系理工學院集群 硬件 介紹 三、 ROCKS CLUSTERS 集群的建立 ROCKS CLUSTERS 的獲得 ROCKS CLUSTERS 的安裝 系統(tǒng) 檢查 四、 集群性能測試 LinPack 的介紹 MPBench 介紹 MPBench 測試功能介紹 CacheBench 介紹 BLASBench 介紹 測試結果 五、 產品配置和報價 六、 售后服務 七、 綜述 3 / 23 一 公司簡介 因為專業(yè) 所以信賴 廣州市正特電子科技有限公司始創(chuàng)于 1992年，前身是五舟科技為國內知名的 SCSI產品專業(yè)供應商。我們與業(yè)內頂尖的軟硬件廠商（如： Supermicro、 Intel、 MSI、 TYAN、 Adaptec、LSI Logic、 Promise、 IBM、 Seagate、 3Dlabs、 ELSA、清華同方等）緊密合作，竭誠為客戶提供最優(yōu)性價比的產品和最專業(yè)完善的服務。還有功能應用型服務器，如防火墻、網(wǎng)絡行為管理系統(tǒng) N100；大容量數(shù)據(jù)存儲服務器 D20 D212 和 D216； HPC 專用機型 5 5 4 420。這些單個的計算機系統(tǒng)就是集群的節(jié)點（ node）。由于主要用于科學工程計算，所以這些系統(tǒng)并不為大家所熟知。但是這一手段對系統(tǒng)性能的提供是有限的。與 SMP 相反，集群系統(tǒng)的性能隨著 CPU 個數(shù)的增加幾乎是線性變化 的。 3. 高性能：負載平衡集群允許系統(tǒng)同時接入更多 的用戶。 ＊大規(guī)模科學問題，像天氣預報、地形分析和生物制藥等 ＊存儲和處理海量數(shù)據(jù)，像數(shù)據(jù)挖掘、圖象處理和基因測序 顧名思義，高性能集群就是采用集群技術來研究高性能計算。各處理器在內存的存取上是平等的，存取代價是相同的。這是我們用于構建集群節(jié)點的主要原因。它較之 SMP 系統(tǒng)的最大特點是沒有一個統(tǒng)一的內存空間。拓展成本低，無需使用專用的計算機及定制的網(wǎng)絡設備；各個節(jié)點可采用通用的 LAN 或 ATM 網(wǎng)絡連接，技術難度低。這種集群可以使用 MPI＋ OPENMP 的混合編程模式。并于 20xx 年建成了一個 40 節(jié)點的大規(guī)模并行計算系統(tǒng)。 由于現(xiàn) 有系統(tǒng)的計算能力已經越來越不能滿足日益增長的教學科研等計算需求，并出于提高單位科研能力的考慮，所以決定對原有系統(tǒng)進行擴充建設。 6 / 23 基于 LINUX 的并行操作系統(tǒng)，并安裝維護的自動化特性。它以性能優(yōu)秀、成熟和穩(wěn)定的 REDHAT ADVANSCE SERVER 為基礎，按照分布式架構開發(fā)。 網(wǎng)絡系統(tǒng)： 在網(wǎng)絡連接方面， 鑒于節(jié)點間的連接網(wǎng)絡是非定制的，為保證系統(tǒng)獲得最大的集群性能，我們建議必須采用千 兆 以太網(wǎng)。 基于切換時間的考慮，后備電源必須是在線式的；基于 整個系統(tǒng)中各用電設備對功率的要求，其功率必須大于總功耗之和；在供電時間方面它必須持續(xù)工作至規(guī)定的后備發(fā)電機組正常供電時間為止。 最后，機房的氣溫及濕度監(jiān)測設備以及除濕機的準備。作為業(yè)界最出色的集群操作系統(tǒng)，具有相當多的優(yōu)點： 在系統(tǒng)的安裝、維護方面 ROCKS CLUSTERS 在系統(tǒng)內集成大量的自動化腳本，并由于以 REDHAT ADVANSCE SERVER 為基礎開發(fā)的，所以它在安裝的時候會自動設置好 NFS 文件服務器、 NIS 服務、 MPI 并行環(huán)境及數(shù)學函數(shù)庫，計算節(jié)點全部通過 PXE 網(wǎng)絡系統(tǒng)從主節(jié)點下載文件并自動完成所有的安裝與設置。當然也有第三方廠商為 ROCKS 開發(fā)的任務管理系統(tǒng)如 SGE(SUN GRID ENGINE)。所有這些優(yōu)秀的軟件都采用了簡單安裝方式 用戶 只會感覺到在一臺機器上處理它們。 主節(jié)點和從節(jié)點服務器建議采用 IA 架構服務器，可以擁有非常高的性價比?；陉嚵泄駭?shù)據(jù)讀寫的性能要求，建議采用 SCSISCSI 接口，主機通道為 320M/S接口，硬盤同樣為 320M/S 接口，硬盤位可根據(jù)數(shù)據(jù)量的大小選擇，一般可選 10 盤位或是 16 盤 位。 ROCKS CLUSTERS 包括了必需的 BASE ROLLS、 OS DISK1 OS DISK SGE 及其它數(shù)以千計非必需的用于擴展的功能 ROLLS。 計算節(jié)點全部通過 PXE 網(wǎng)絡系統(tǒng)從主節(jié)點下載文件并自動完成所有的安裝與設置。測試主要從幾個方面來完成，這就包括 :集群浮點運算能力、集群網(wǎng)絡帶寬、集群網(wǎng)絡延遲、集群I/O 測試、集群 Cache 測試等等。我們知道在理論上一個集群的理論 峰值是我們所有節(jié)點運算能力的總和，但是實際上得到峰值卻是不可能的?，F(xiàn)在最流行的集群測試軟件