【正文】 lltoAll (KB/second) 全對(duì)稱帶寬 在這個(gè)程序中又有七個(gè)子程式來完成不同的功能，以下我們就介紹以下這七個(gè)程式的功能： Bandwidth 這個(gè)程式主要通過一個(gè) timer計(jì)數(shù)器和不停發(fā)送大小不同的包來測試我們的帶寬。 NB: 對(duì)于數(shù)據(jù)分配和計(jì)算粒度， HPL使用的塊尺度 NB。如 10個(gè) Pentium III CPU 的 Rpeak值。對(duì)于最好的系統(tǒng)性能，目標(biāo)是使用能與內(nèi)存匹配的最大的問題規(guī)模。為了運(yùn)行 HPL，需要MPI和基本線性代數(shù)子方 程 (BLAS)或矢量圖形信號(hào)處理庫 (VSIPL)兩者之一。 Linpack的結(jié)果按每秒浮點(diǎn)運(yùn)算次數(shù)表示。 知道集群理論峰值是不夠的，我們還需要得到集群的實(shí)際峰值。 LinPack 的介紹 我們之所以要建立集群，主要原因是我們需要解決大規(guī)模的運(yùn)算，而大多數(shù)的運(yùn)算都可以歸結(jié)為浮點(diǎn)運(yùn)算，所以一個(gè)集群的浮點(diǎn)運(yùn)算能力是一個(gè)集群性能的主要體現(xiàn)。 10 / 23 四 集群性能測試 集群測試主要的任務(wù)是對(duì)建立后的集群進(jìn)行一系列的初步測試，以便對(duì)我們集群性能有一定的了解。 計(jì)算節(jié)點(diǎn)的安裝： 在主節(jié)點(diǎn)載入系統(tǒng)后，啟動(dòng)節(jié)點(diǎn)安裝偵聽程序。 ROCKS CLUSTERS 的安裝 ROCKS CLUSTERS 給 CLUSTER 的管理人員提供了一種相當(dāng)輕松的安裝方式。 可選設(shè)備： 當(dāng)集群系統(tǒng)有大量計(jì)算數(shù)據(jù)或結(jié)果數(shù)據(jù)需有效保存時(shí)，陣列柜是最有效的解決方案，可在主節(jié)點(diǎn)服務(wù)器上外接一臺(tái)陣列柜。 中山大學(xué)物理系理工學(xué)院集群硬件介紹 本集群系統(tǒng)中涉及的硬件設(shè)備主要有主節(jié)點(diǎn)服務(wù)器、從節(jié)點(diǎn)服務(wù)器、千兆網(wǎng)絡(luò)交換機(jī)、陣列柜、機(jī)柜等。其次有性能最為優(yōu)秀的 GOTO數(shù)學(xué)函數(shù)庫；最后有大量的科學(xué)計(jì)算方面的開源軟件。 計(jì)算任務(wù)的提交與管理 ROCKS CLUSTERS 系統(tǒng)提供了一整套基于 WEB 的組件用于監(jiān)控自身的活動(dòng)及配置狀況，如處理器使用數(shù)量、內(nèi)存及交換分區(qū)使用情況、網(wǎng)絡(luò)負(fù)載、節(jié)點(diǎn)狀態(tài)和當(dāng)前計(jì)算任務(wù)的進(jìn) 展。在軟件方面也是由 FRONTEND(管理節(jié)點(diǎn) )加 NODE(計(jì)算節(jié)點(diǎn) )組成。一方面，機(jī)柜的前門及側(cè)板都建議使用蜂窩式設(shè)計(jì)的產(chǎn)品，有利于冷空氣的充分浸入；另一方面，空調(diào)的制冷功率也要充分考慮。 首先，供電設(shè)施，后備電源和自動(dòng)發(fā)電機(jī)組是必然的選擇。整個(gè)系統(tǒng)由 8個(gè)節(jié)點(diǎn)， 4＊ 8個(gè)處理器核心組成。 ROCKS CLUSTERS 是 NPACI（美國高級(jí)計(jì)算基礎(chǔ)設(shè)施合作委員會(huì)）負(fù)責(zé)研發(fā)的，目前最為專業(yè)的集群操作系統(tǒng)。 全自動(dòng)的多主機(jī)切換系統(tǒng)（ KVM），包括顯示系統(tǒng)。 統(tǒng)計(jì)物理及大分子生物物理計(jì)算等。 中山大學(xué)物理系理工學(xué)院集群系統(tǒng)介紹 系統(tǒng)建設(shè)背景： 中山大學(xué)物理系理工學(xué)院是集科研教育性質(zhì)一體的國學(xué)教育單位。 在方案中，我們使用主流的 SMP系統(tǒng)作為集群的節(jié)點(diǎn)，互連網(wǎng)絡(luò)也使用類似 Myri的高速網(wǎng)，我們把這種系統(tǒng)叫作 SMP集群。 DM系統(tǒng)具有很多優(yōu)秀的特點(diǎn)： 系統(tǒng)的可拓展性強(qiáng)。 但是業(yè)界為了彌補(bǔ)這種不足，又推出了另外一種系統(tǒng)――分布式內(nèi)存存取系統(tǒng)。 SMP 系統(tǒng)的最大特點(diǎn)是：一方面，系統(tǒng)架 構(gòu)及共享內(nèi)存的編程模式的相對(duì)簡單，所以制造和應(yīng)用成本很少，為廣大中小企業(yè)所喜愛。 目前，主流的 PC 服務(wù)器一般含有一到四個(gè)處理器，在一個(gè)操作系統(tǒng)的控制下，共同存取一個(gè)唯一的內(nèi)存地址空間。高性能計(jì)算主要應(yīng)用于如下兩類問題的研究。 2. 高可用性：集群中的一個(gè)節(jié)點(diǎn)失效，它的任務(wù)可以傳遞給其他節(jié)點(diǎn) ， 可以有效防止單點(diǎn)失效。主要瓶頸在于 CPU訪問內(nèi)存的帶寬并不能隨著 CPU個(gè)數(shù)的增加而有效增長。提高 CPU 主頻和總線帶寬是最初提供計(jì)算機(jī)性能的主要手段。 集群并不是一個(gè)全新的概念，其實(shí)早在七十年代計(jì)算機(jī)廠商和研究機(jī)構(gòu)就開始了對(duì)集群系統(tǒng)的研究和開發(fā)。 4 / 23 二 系統(tǒng)方案描述 集群簡介 簡單的說，集群（ cluster）就是一組計(jì)算機(jī)，它們作為一個(gè)整體向用戶提供一組網(wǎng)絡(luò)資源。 五舟服務(wù)器現(xiàn)有兩大系列近 40款機(jī)型，分為基于 Intel處理器的 5000系列和基于 AMD處理器的 4000系列，主流機(jī)型有 1U機(jī)架式（ 5100、 51 1100、 4100、 4110）、 2U機(jī)架式（ 5200、 52 4200、 4210）、4U機(jī)架式（ 54 4400、 44 4350）和塔式（ 5000、 50 4000、 4010）， 以及最新的雙核機(jī)型均可在現(xiàn)有機(jī)型上升級(jí)。 我們擁有專業(yè)的方案解決能力和技術(shù)支持能力，能提供面向不同應(yīng)用領(lǐng)域的 IA 服務(wù)器硬件方案及大容量數(shù)據(jù)存儲(chǔ)解決方案。 1 / 23 中大理工學(xué)院 HPC集群方案 2 / 23 方 案 目 錄 一、 公司簡介 二、 集群系統(tǒng)方案簡介 集群簡介 高性能計(jì)算機(jī)集群簡介 中山大學(xué)物理系理工學(xué)院集群 系統(tǒng) 介紹 中山大學(xué)物理系理工學(xué)院集群 軟件 介紹 中山大學(xué)物理系理工學(xué)院集群 硬件 介紹 三、 ROCKS CLUSTERS 集群的建立 ROCKS CLUSTERS 的獲得 ROCKS CLUSTERS 的安裝 系統(tǒng) 檢查 四、 集群性能測試 LinPack 的介紹 MPBench 介紹 MPBench 測試功能介紹 CacheBench 介紹 BLASBench 介紹 測試結(jié)果 五、 產(chǎn)品配置和報(bào)價(jià) 六、 售后服務(wù) 七、 綜述 3 / 23 一 公司簡介 因?yàn)閷I(yè) 所以信賴 廣州市正特電子科技有限公司始創(chuàng)于 1992年，前身是五舟科技為國內(nèi)知名的 SCSI產(chǎn)品專業(yè)供應(yīng)商。我們與業(yè)內(nèi)頂尖的軟硬件廠商（如： Supermicro、 Intel、 MSI、 TYAN、 Adaptec、LSI Logic、 Promise、 IBM、 Seagate、 3Dlabs、 ELSA、清華同方等）緊密合作，竭誠為客戶提供最優(yōu)性價(jià)比的產(chǎn)品和最專業(yè)完善的服務(wù)。還有功能應(yīng)用型服務(wù)器，如防火墻、網(wǎng)絡(luò)行為管理系統(tǒng) N100；大容量數(shù)據(jù)存儲(chǔ)服務(wù)器 D20 D212和 D216； HPC專用機(jī)型 5 5 4 420。這些單個(gè)的計(jì)算機(jī)系統(tǒng)就是集群的節(jié)點(diǎn)（ node）。由于主要用于科學(xué)工程計(jì)算，所以這些系統(tǒng)并不為大家所熟知。但是這一手段對(duì)系統(tǒng)性能的提供是有限的。與 SMP相反，集群系統(tǒng)的性能隨著 CPU個(gè)數(shù)的增加幾乎是線性變化 的。 3. 高性能：負(fù)載平衡集群允許系統(tǒng)同時(shí)接入更多 的用戶。 ＊大規(guī)?？茖W(xué)問題，像天氣預(yù)報(bào)、地形分析和生物制藥等 ＊存儲(chǔ)和處理海量數(shù)據(jù)，像數(shù)據(jù)挖掘、圖象處理和基因測序 顧名思義，高性能集群就是采用集群技術(shù)來研究高性能計(jì)算。各處理器在內(nèi)存的存取上是平等的，存取代價(jià)是相同的。這是我們用于構(gòu)建集群節(jié)點(diǎn)的主要原因。它較之 SMP系統(tǒng)的最大特點(diǎn)是沒有一個(gè)統(tǒng)一的內(nèi)存空間。拓展成本低，無需使用專用的計(jì)算機(jī)及定制的網(wǎng)絡(luò)設(shè)備；各個(gè)節(jié)點(diǎn)可采用通用的 LAN或 ATM網(wǎng)絡(luò)連接，技術(shù)難度低。這種集群可以使用 MPI＋ OPENMP的混合編程模式。并于 2020年建成了一個(gè) 40節(jié)點(diǎn)的大規(guī)模并行計(jì)算系統(tǒng)。 由于現(xiàn) 有系統(tǒng)的計(jì)算能力已經(jīng)越來越不能滿足日益增長的教學(xué)科研等計(jì)算需求，并出于提高單位科研能力的考慮，所以決定對(duì)原有系統(tǒng)進(jìn)行擴(kuò)充建設(shè)。 6 / 23 基于 LINUX的并行操作系統(tǒng)，并安裝維護(hù)的自動(dòng)化特性。它以性能優(yōu)秀、成熟和穩(wěn)定的 REDHAT ADVANSCE SERVER 為基礎(chǔ)，按照分布式架構(gòu)開發(fā)。 網(wǎng)絡(luò)系統(tǒng)： 在網(wǎng)絡(luò)連接方面， 鑒于節(jié)點(diǎn)間的連接網(wǎng)絡(luò)是非定制的，為保證系統(tǒng)獲得最大的集群性能，我們建議必須采用千 兆 以太網(wǎng)。 基于切換時(shí)間的考慮，后備電源必須是在線式的；基于 整個(gè)系統(tǒng)中各用電設(shè)備對(duì)功率的要求，其功率必須大于總功耗之和；在供電時(shí)間方面它必須持續(xù)工作至規(guī)定的后備發(fā)電機(jī)組正常供電時(shí)間為止。 最后，機(jī)房的氣溫及濕度監(jiān)測設(shè)備以及除濕機(jī)的準(zhǔn)備。作為業(yè)界最出色的集群操作系統(tǒng)，具有相當(dāng)多的優(yōu)點(diǎn)： 在系統(tǒng)的安裝、維護(hù)方面 ROCKS CLUSTERS 在系統(tǒng)內(nèi)集成大量的自動(dòng)化腳本，并由于以 REDHAT ADVANSCE SERVER為基礎(chǔ)開發(fā)的，所以它在安裝的時(shí)候會(huì)自動(dòng)設(shè)置好 NFS文件服務(wù)器、 NIS服務(wù)、 MPI并行環(huán)境及數(shù)學(xué)函數(shù)庫，計(jì)算節(jié)點(diǎn)全部通過 PXE 網(wǎng)絡(luò)系統(tǒng)從主節(jié)點(diǎn)下載文件并自動(dòng)完成所有的安裝與設(shè)置。當(dāng)然也有第三方廠商為 ROCKS開發(fā)的任務(wù)管理系統(tǒng)如 SGE(SUN GRID ENGINE)。所有這些優(yōu)秀的軟件都采用了簡單安裝方式 用戶 只會(huì)感覺到在一臺(tái)機(jī)器上處理它們。 主節(jié)點(diǎn)和從節(jié)點(diǎn)服務(wù)器建議采用 IA架構(gòu)服務(wù)器，可以擁有非常高的性價(jià)比?；陉嚵泄駭?shù)據(jù)讀寫的性能要求，建議采用 SCSISCSI接口，主機(jī)通道為 320M/S接口，硬盤同樣為 320M/S接口，硬盤位可根據(jù)數(shù)據(jù)量的大小選擇，一般可選 10盤位或是 16 盤 位。 ROCKS CLUSTERS 包括了必需的 BASE ROLLS、 OS DISK1 OS DISK SGE及其它數(shù)以千計(jì)非必需的用于擴(kuò)展的功能 ROLLS。 計(jì)算節(jié)點(diǎn)全部通過 PXE 網(wǎng)絡(luò)系統(tǒng)從主節(jié)點(diǎn)下載文件并自動(dòng)完成所有的安裝與設(shè)置。測試主要從幾個(gè)方面來完成，這就包括 :集群浮點(diǎn)運(yùn)算能力、集群網(wǎng)絡(luò)帶寬、集群網(wǎng)絡(luò)延遲、集群I/O 測試、集群 Cache測試等等。我們知道在理論上一個(gè)集群的理論 峰值是我們所有節(jié)點(diǎn)運(yùn)算能力的總和，但是實(shí)際上得到峰值卻是不可能的?，F(xiàn)在最流