【正文】 lltoAll (KB/second) 全對稱帶寬 在這個程序中又有七個子程式來完成不同的功能，以下我們就介紹以下這七個程式的功能： Bandwidth 這個程式主要通過一個 timer計數(shù)器和不停發(fā)送大小不同的包來測試我們的帶寬。 NB: 對于數(shù)據(jù)分配和計算粒度， HPL使用的塊尺度 NB。如 10個 Pentium III CPU 的 Rpeak值。對于最好的系統(tǒng)性能，目標(biāo)是使用能與內(nèi)存匹配的最大的問題規(guī)模。為了運行 HPL，需要MPI和基本線性代數(shù)子方 程 (BLAS)或矢量圖形信號處理庫 (VSIPL)兩者之一。 Linpack的結(jié)果按每秒浮點運算次數(shù)表示。 知道集群理論峰值是不夠的，我們還需要得到集群的實際峰值。 LinPack 的介紹 我們之所以要建立集群，主要原因是我們需要解決大規(guī)模的運算，而大多數(shù)的運算都可以歸結(jié)為浮點運算，所以一個集群的浮點運算能力是一個集群性能的主要體現(xiàn)。 10 / 23 四 集群性能測試 集群測試主要的任務(wù)是對建立后的集群進(jìn)行一系列的初步測試，以便對我們集群性能有一定的了解。 計算節(jié)點的安裝： 在主節(jié)點載入系統(tǒng)后，啟動節(jié)點安裝偵聽程序。 ROCKS CLUSTERS 的安裝 ROCKS CLUSTERS 給 CLUSTER 的管理人員提供了一種相當(dāng)輕松的安裝方式。 可選設(shè)備： 當(dāng)集群系統(tǒng)有大量計算數(shù)據(jù)或結(jié)果數(shù)據(jù)需有效保存時，陣列柜是最有效的解決方案，可在主節(jié)點服務(wù)器上外接一臺陣列柜。 中山大學(xué)物理系理工學(xué)院集群硬件介紹 本集群系統(tǒng)中涉及的硬件設(shè)備主要有主節(jié)點服務(wù)器、從節(jié)點服務(wù)器、千兆網(wǎng)絡(luò)交換機、陣列柜、機柜等。其次有性能最為優(yōu)秀的 GOTO數(shù)學(xué)函數(shù)庫；最后有大量的科學(xué)計算方面的開源軟件。 計算任務(wù)的提交與管理 ROCKS CLUSTERS 系統(tǒng)提供了一整套基于 WEB 的組件用于監(jiān)控自身的活動及配置狀況，如處理器使用數(shù)量、內(nèi)存及交換分區(qū)使用情況、網(wǎng)絡(luò)負(fù)載、節(jié)點狀態(tài)和當(dāng)前計算任務(wù)的進(jìn) 展。在軟件方面也是由 FRONTEND(管理節(jié)點 )加 NODE(計算節(jié)點 )組成。一方面，機柜的前門及側(cè)板都建議使用蜂窩式設(shè)計的產(chǎn)品，有利于冷空氣的充分浸入；另一方面，空調(diào)的制冷功率也要充分考慮。 首先，供電設(shè)施，后備電源和自動發(fā)電機組是必然的選擇。整個系統(tǒng)由 8個節(jié)點， 4＊ 8個處理器核心組成。 ROCKS CLUSTERS 是 NPACI（美國高級計算基礎(chǔ)設(shè)施合作委員會）負(fù)責(zé)研發(fā)的，目前最為專業(yè)的集群操作系統(tǒng)。 全自動的多主機切換系統(tǒng)（ KVM），包括顯示系統(tǒng)。 統(tǒng)計物理及大分子生物物理計算等。 中山大學(xué)物理系理工學(xué)院集群系統(tǒng)介紹 系統(tǒng)建設(shè)背景： 中山大學(xué)物理系理工學(xué)院是集科研教育性質(zhì)一體的國學(xué)教育單位。 在方案中，我們使用主流的 SMP系統(tǒng)作為集群的節(jié)點，互連網(wǎng)絡(luò)也使用類似 Myri的高速網(wǎng)，我們把這種系統(tǒng)叫作 SMP集群。 DM系統(tǒng)具有很多優(yōu)秀的特點： 系統(tǒng)的可拓展性強。 但是業(yè)界為了彌補這種不足，又推出了另外一種系統(tǒng)――分布式內(nèi)存存取系統(tǒng)。 SMP 系統(tǒng)的最大特點是：一方面，系統(tǒng)架 構(gòu)及共享內(nèi)存的編程模式的相對簡單，所以制造和應(yīng)用成本很少，為廣大中小企業(yè)所喜愛。 目前，主流的 PC 服務(wù)器一般含有一到四個處理器，在一個操作系統(tǒng)的控制下，共同存取一個唯一的內(nèi)存地址空間。高性能計算主要應(yīng)用于如下兩類問題的研究。 2. 高可用性：集群中的一個節(jié)點失效，它的任務(wù)可以傳遞給其他節(jié)點 ， 可以有效防止單點失效。主要瓶頸在于 CPU訪問內(nèi)存的帶寬并不能隨著 CPU個數(shù)的增加而有效增長。提高 CPU 主頻和總線帶寬是最初提供計算機性能的主要手段。 集群并不是一個全新的概念，其實早在七十年代計算機廠商和研究機構(gòu)就開始了對集群系統(tǒng)的研究和開發(fā)。 4 / 23 二 系統(tǒng)方案描述 集群簡介 簡單的說，集群（ cluster）就是一組計算機，它們作為一個整體向用戶提供一組網(wǎng)絡(luò)資源。 五舟服務(wù)器現(xiàn)有兩大系列近 40款機型，分為基于 Intel處理器的 5000系列和基于 AMD處理器的 4000系列，主流機型有 1U機架式（ 5100、 51 1100、 4100、 4110）、 2U機架式（ 5200、 52 4200、 4210）、4U機架式（ 54 4400、 44 4350）和塔式（ 5000、 50 4000、 4010）， 以及最新的雙核機型均可在現(xiàn)有機型上升級。 我們擁有專業(yè)的方案解決能力和技術(shù)支持能力，能提供面向不同應(yīng)用領(lǐng)域的 IA 服務(wù)器硬件方案及大容量數(shù)據(jù)存儲解決方案。 1 / 23 中大理工學(xué)院 HPC集群方案 2 / 23 方 案 目 錄 一、 公司簡介 二、 集群系統(tǒng)方案簡介 集群簡介 高性能計算機集群簡介 中山大學(xué)物理系理工學(xué)院集群 系統(tǒng) 介紹 中山大學(xué)物理系理工學(xué)院集群 軟件 介紹 中山大學(xué)物理系理工學(xué)院集群 硬件 介紹 三、 ROCKS CLUSTERS 集群的建立 ROCKS CLUSTERS 的獲得 ROCKS CLUSTERS 的安裝 系統(tǒng) 檢查 四、 集群性能測試 LinPack 的介紹 MPBench 介紹 MPBench 測試功能介紹 CacheBench 介紹 BLASBench 介紹 測試結(jié)果 五、 產(chǎn)品配置和報價 六、 售后服務(wù) 七、 綜述 3 / 23 一 公司簡介 因為專業(yè) 所以信賴 廣州市正特電子科技有限公司始創(chuàng)于 1992年，前身是五舟科技為國內(nèi)知名的 SCSI產(chǎn)品專業(yè)供應(yīng)商。我們與業(yè)內(nèi)頂尖的軟硬件廠商（如： Supermicro、 Intel、 MSI、 TYAN、 Adaptec、LSI Logic、 Promise、 IBM、 Seagate、 3Dlabs、 ELSA、清華同方等）緊密合作，竭誠為客戶提供最優(yōu)性價比的產(chǎn)品和最專業(yè)完善的服務(wù)。還有功能應(yīng)用型服務(wù)器，如防火墻、網(wǎng)絡(luò)行為管理系統(tǒng) N100；大容量數(shù)據(jù)存儲服務(wù)器 D20 D212和 D216； HPC專用機型 5 5 4 420。這些單個的計算機系統(tǒng)就是集群的節(jié)點（ node）。由于主要用于科學(xué)工程計算，所以這些系統(tǒng)并不為大家所熟知。但是這一手段對系統(tǒng)性能的提供是有限的。與 SMP相反，集群系統(tǒng)的性能隨著 CPU個數(shù)的增加幾乎是線性變化 的。 3. 高性能：負(fù)載平衡集群允許系統(tǒng)同時接入更多 的用戶。 ＊大規(guī)模科學(xué)問題，像天氣預(yù)報、地形分析和生物制藥等 ＊存儲和處理海量數(shù)據(jù)，像數(shù)據(jù)挖掘、圖象處理和基因測序 顧名思義，高性能集群就是采用集群技術(shù)來研究高性能計算。各處理器在內(nèi)存的存取上是平等的，存取代價是相同的。這是我們用于構(gòu)建集群節(jié)點的主要原因。它較之 SMP系統(tǒng)的最大特點是沒有一個統(tǒng)一的內(nèi)存空間。拓展成本低，無需使用專用的計算機及定制的網(wǎng)絡(luò)設(shè)備；各個節(jié)點可采用通用的 LAN或 ATM網(wǎng)絡(luò)連接，技術(shù)難度低。這種集群可以使用 MPI＋ OPENMP的混合編程模式。并于 2020年建成了一個 40節(jié)點的大規(guī)模并行計算系統(tǒng)。 由于現(xiàn) 有系統(tǒng)的計算能力已經(jīng)越來越不能滿足日益增長的教學(xué)科研等計算需求，并出于提高單位科研能力的考慮，所以決定對原有系統(tǒng)進(jìn)行擴(kuò)充建設(shè)。 6 / 23 基于 LINUX的并行操作系統(tǒng)，并安裝維護(hù)的自動化特性。它以性能優(yōu)秀、成熟和穩(wěn)定的 REDHAT ADVANSCE SERVER 為基礎(chǔ)，按照分布式架構(gòu)開發(fā)。 網(wǎng)絡(luò)系統(tǒng)： 在網(wǎng)絡(luò)連接方面， 鑒于節(jié)點間的連接網(wǎng)絡(luò)是非定制的，為保證系統(tǒng)獲得最大的集群性能，我們建議必須采用千 兆 以太網(wǎng)。 基于切換時間的考慮，后備電源必須是在線式的；基于 整個系統(tǒng)中各用電設(shè)備對功率的要求，其功率必須大于總功耗之和；在供電時間方面它必須持續(xù)工作至規(guī)定的后備發(fā)電機組正常供電時間為止。 最后，機房的氣溫及濕度監(jiān)測設(shè)備以及除濕機的準(zhǔn)備。作為業(yè)界最出色的集群操作系統(tǒng)，具有相當(dāng)多的優(yōu)點： 在系統(tǒng)的安裝、維護(hù)方面 ROCKS CLUSTERS 在系統(tǒng)內(nèi)集成大量的自動化腳本，并由于以 REDHAT ADVANSCE SERVER為基礎(chǔ)開發(fā)的，所以它在安裝的時候會自動設(shè)置好 NFS文件服務(wù)器、 NIS服務(wù)、 MPI并行環(huán)境及數(shù)學(xué)函數(shù)庫，計算節(jié)點全部通過 PXE 網(wǎng)絡(luò)系統(tǒng)從主節(jié)點下載文件并自動完成所有的安裝與設(shè)置。當(dāng)然也有第三方廠商為 ROCKS開發(fā)的任務(wù)管理系統(tǒng)如 SGE(SUN GRID ENGINE)。所有這些優(yōu)秀的軟件都采用了簡單安裝方式 用戶 只會感覺到在一臺機器上處理它們。 主節(jié)點和從節(jié)點服務(wù)器建議采用 IA架構(gòu)服務(wù)器，可以擁有非常高的性價比。基于陣列柜數(shù)據(jù)讀寫的性能要求，建議采用 SCSISCSI接口，主機通道為 320M/S接口，硬盤同樣為 320M/S接口，硬盤位可根據(jù)數(shù)據(jù)量的大小選擇，一般可選 10盤位或是 16 盤 位。 ROCKS CLUSTERS 包括了必需的 BASE ROLLS、 OS DISK1 OS DISK SGE及其它數(shù)以千計非必需的用于擴(kuò)展的功能 ROLLS。 計算節(jié)點全部通過 PXE 網(wǎng)絡(luò)系統(tǒng)從主節(jié)點下載文件并自動完成所有的安裝與設(shè)置。測試主要從幾個方面來完成，這就包括 :集群浮點運算能力、集群網(wǎng)絡(luò)帶寬、集群網(wǎng)絡(luò)延遲、集群I/O 測試、集群 Cache測試等等。我們知道在理論上一個集群的理論 峰值是我們所有節(jié)點運算能力的總和，但是實際上得到峰值卻是不可能的?，F(xiàn)在最流