【正文】 1 / 23 中大理工學(xué)院 HPC集群方案 2 / 23 方 案 目 錄 一、 公司簡介 二、 集群系統(tǒng)方案簡介 集群簡介 高性能計算機(jī)集群簡介 中山大學(xué)物理系理工學(xué)院集群 系統(tǒng) 介紹 中山大學(xué)物理系理工學(xué)院集群 軟件 介紹 中山大學(xué)物理系理工學(xué)院集群 硬件 介紹 三、 ROCKS CLUSTERS 集群的建立 ROCKS CLUSTERS 的獲得 ROCKS CLUSTERS 的安裝 系統(tǒng) 檢查 四、 集群性能測試 LinPack 的介紹 MPBench 介紹 MPBench 測試功能介紹 CacheBench 介紹 BLASBench 介紹 測試結(jié)果 五、 產(chǎn)品配置和報價 六、 售后服務(wù) 七、 綜述 3 / 23 一 公司簡介 因為專業(yè) 所以信賴 廣州市正特電子科技有限公司始創(chuàng)于 1992年，前身是五舟科技為國內(nèi)知名的 SCSI產(chǎn)品專業(yè)供應(yīng)商。目前正特科技已發(fā)展為華南地區(qū)知名的服務(wù)器和存儲解決方案供應(yīng)商之一，擁有自主品牌的“五舟”服務(wù)器和存儲產(chǎn)品。 同時我們還是 Intel 華南區(qū)服務(wù)器業(yè)務(wù)核心合作伙伴， Supermicro服務(wù)器產(chǎn)品華南及西南區(qū)總代，微星服務(wù)器產(chǎn)品華南區(qū)總代，清華同方服務(wù)器中南區(qū)核心分銷商、清華同方磁盤陣列柜華南區(qū)獨家分銷商， Arena磁盤陣列柜核心代理商， Adaptec 中國區(qū)核心代理商， Seagate \ Maxtor授權(quán)代理商。 我們擁有專業(yè)的方案解決能力和技術(shù)支持能力，能提供面向不同應(yīng)用領(lǐng)域的 IA 服務(wù)器硬件方案及大容量數(shù)據(jù)存儲解決方案。我們與業(yè)內(nèi)頂尖的軟硬件廠商（如： Supermicro、 Intel、 MSI、 TYAN、 Adaptec、LSI Logic、 Promise、 IBM、 Seagate、 3Dlabs、 ELSA、清華同方等）緊密合作，竭誠為客戶提供最優(yōu)性價比的產(chǎn)品和最專業(yè)完善的服務(wù)。 我們的用戶群遍布各行各業(yè)，如電信（廣州電信、佛山電信）、教育（中山大學(xué)、暨南大學(xué)、華南師范大學(xué)、華工圖書館、荔灣教育局、清遠(yuǎn)教育局）、電視臺（廣東電視臺、廣州電視臺、珠海電視臺、廣州廣播電臺）、醫(yī)院（廣東醫(yī)學(xué)院附屬第二醫(yī)院、中山二院、湛江市農(nóng)墾醫(yī)院）、報社（廣州日報社、羊城晚報）、金融（省人民銀行、省建行）、郵電（省郵政儲匯局、廣州中心郵局、茂名郵局）、交通（省交通 集團(tuán)結(jié)算中心、廣惠公路）、石油（中海油西部）、電力（廣電集團(tuán)）等行業(yè)。 專業(yè)的產(chǎn)品結(jié)構(gòu) 正特科技專注于服務(wù)器和存儲業(yè)務(wù)，為客戶提供最高性價比的服務(wù)器和存儲整體解決方案。 五舟服務(wù)器現(xiàn)有兩大系列近 40款機(jī)型，分為基于 Intel處理器的 5000系列和基于 AMD處理器的 4000系列，主流機(jī)型有 1U機(jī)架式（ 5100、 51 1100、 4100、 4110）、 2U機(jī)架式（ 5200、 52 4200、 4210）、4U機(jī)架式（ 54 4400、 44 4350）和塔式（ 5000、 50 4000、 4010）， 以及最新的雙核機(jī)型均可在現(xiàn)有機(jī)型上升級。還有功能應(yīng)用型服務(wù)器，如防火墻、網(wǎng)絡(luò)行為管理系統(tǒng) N100；大容量數(shù)據(jù)存儲服務(wù)器 D20 D212和 D216； HPC專用機(jī)型 5 5 4 420。 存儲產(chǎn)品有基于 DAS、 NAS、 SAN等不同的技術(shù)的產(chǎn)品線，如磁盤陣列柜、基于 Lunix技術(shù)的 NAS、光纖存儲網(wǎng)絡(luò)架構(gòu)的 SAN。陣列柜產(chǎn)品主流有 SCSISATA、 SCSISCSI、 FCSATA和 FCFC等型號，應(yīng)用較廣的有 SCSISATA、 SCSISCSI，這也是我們構(gòu)建集群系統(tǒng)的所應(yīng)用的主流產(chǎn)品，性價比 相對較高。 4 / 23 二 系統(tǒng)方案描述 集群簡介 簡單的說，集群（ cluster）就是一組計算機(jī)，它們作為一個整體向用戶提供一組網(wǎng)絡(luò)資源。這些單個的計算機(jī)系統(tǒng)就是集群的節(jié)點（ node）。一個理想的集群是，用戶從來不會意識到集群系統(tǒng)底層的節(jié)點，在他 /她們看來，集群是一個系統(tǒng)，而非多個計算機(jī)系統(tǒng)。并且集群系統(tǒng)的管理員可以隨意增加和刪改集群系統(tǒng)的節(jié)點。 集群并不是一個全新的概念，其實早在七十年代計算機(jī)廠商和研究機(jī)構(gòu)就開始了對集群系統(tǒng)的研究和開發(fā)。由于主要用于科學(xué)工程計算，所以這些系統(tǒng)并不為大家所熟知。直到 Linux集群的出現(xiàn)，集群的概念才得以廣為傳播。 對集群的研究起源于集群系統(tǒng)的良好的性能可擴(kuò)展性 (scalability)。提高 CPU 主頻和總線帶寬是最初提供計算機(jī)性能的主要手段。但是這一手段對系統(tǒng)性能的提供是有限的。接著人們通過增加 CPU個數(shù)和內(nèi)存容量來提高性能，于是出現(xiàn)了向量機(jī) 、 對稱多處理機(jī) (SMP)等。但是當(dāng) CPU 的個數(shù)超過某一閾值，象 SMP這些多處理機(jī)系統(tǒng)的可擴(kuò)展性就變 得 極差。主要瓶頸在于 CPU訪問內(nèi)存的帶寬并不能隨著 CPU個數(shù)的增加而有效增長。與 SMP相反，集群系統(tǒng)的性能隨著 CPU個數(shù)的增加幾乎是線性變化 的。圖 1顯示了這 種 情況。 圖 1. 幾種計算機(jī)系統(tǒng)的可擴(kuò)展性 集群系統(tǒng)的優(yōu)點并不僅在于此 ， 下面列舉了集群系統(tǒng)的主要優(yōu)點： 1. 高可擴(kuò)展性：如上所述。 2. 高可用性：集群中的一個節(jié)點失效，它的任務(wù)可以傳遞給其他節(jié)點 ， 可以有效防止單點失效。 3. 高性能：負(fù)載平衡集群允許系統(tǒng)同時接入更多 的用戶。 4. 高性價比：可以采用廉價的符合工業(yè)標(biāo)準(zhǔn)的硬件構(gòu)造高性能的系統(tǒng)。 高性能計算機(jī)集群簡介 簡單的說，高性能計算 (HighPerformance Computing)是計算機(jī)科學(xué)的一個分支，它致力于開發(fā)超級計算機(jī)，研究并行算法和開發(fā)相關(guān)軟件。高性能計算主要應(yīng)用于如下兩類問題的研究。 ＊大規(guī)模科學(xué)問題，像天氣預(yù)報、地形分析和生物制藥等 ＊存儲和處理海量數(shù)據(jù)，像數(shù)據(jù)挖掘、圖象處理和基因測序 顧名思義，高性能集群就是采用集群技術(shù)來研究高性能計算。 5 / 23 影響高性能計算機(jī)系統(tǒng)分類的因素有很多，所以從不 同的分類標(biāo)準(zhǔn)得出的高性能集群計算機(jī)的系統(tǒng)架構(gòu)也各不相同。但如果考慮到采用大規(guī)模生產(chǎn)的商用計算機(jī)和同樣是大規(guī)模生產(chǎn)的商用 LAN及 ATM網(wǎng)絡(luò)來制造的話，主要都是如下兩種架構(gòu)。 目前，主流的 PC 服務(wù)器一般含有一到四個處理器，在一個操作系統(tǒng)的控制下，共同存取一個唯一的內(nèi)存地址空間。各處理器在內(nèi)存的存取上是平等的，存取代價是相同的。所以這種系統(tǒng)叫做一致內(nèi)存存取系統(tǒng)，或叫 SMP（對稱多處理計算機(jī)系統(tǒng)）系統(tǒng)。在這個系統(tǒng)中，處理器是以系統(tǒng)總線、交叉開關(guān)或其它專有網(wǎng)絡(luò)與內(nèi)存連接在一起。 SMP 系統(tǒng)的最大特點是：一方面，系統(tǒng)架 構(gòu)及共享內(nèi)存的編程模式的相對簡單，所以制造和應(yīng)用成本很少，為廣大中小企業(yè)所喜愛。這是我們用于構(gòu)建集群節(jié)點的主要原因。另一方面，它的可拓展性相對較差，一般如果處理器的數(shù)量超過四個，那它的制造成本就會變得相當(dāng)可觀。這就制約了它的進(jìn)一步的發(fā)展。 但是業(yè)界為了彌補(bǔ)這種不足，又推出了另外一種系統(tǒng)――分布式內(nèi)存存取系統(tǒng)。它較之 SMP系統(tǒng)的最大特點是沒有一個統(tǒng)一的內(nèi)存空間。這種系統(tǒng)的每一個處理器和它的內(nèi)存空間構(gòu)成一個獨立的系統(tǒng)，由一個操作系統(tǒng)控制，可以獨立運行。在這里我們叫它作節(jié)點，這些節(jié)點均使用它的網(wǎng)絡(luò)接口連接到互連網(wǎng) 絡(luò)，并通過網(wǎng)絡(luò)通信。 DM系統(tǒng)具有很多優(yōu)秀的特點： 系統(tǒng)的可拓展性強(qiáng)。拓展成本低，無需使用專用的計算機(jī)及定制的網(wǎng)絡(luò)設(shè)備；各個節(jié)點可采用通用的 LAN或 ATM網(wǎng)絡(luò)連接，技術(shù)難度低。 可使用成熟通用的 LINUX操作系統(tǒng)作為軟件平臺。 大量成熟而各具特色的集群軟件，如 ROCKS CLUSTERS、 OPENMOSIX、 OSCAR等。 在方案中，我們使用主流的 SMP系統(tǒng)作為集群的節(jié)點，互連網(wǎng)絡(luò)也使用類似 Myri的高速網(wǎng)，我們把這種系統(tǒng)叫作 SMP集群。這種集群可以使用 MPI＋ OPENMP的混合編程模式。在 這種模式下，節(jié)點內(nèi)的處理器利用共享內(nèi)存進(jìn)行通信，位于不同的節(jié)點的處理器在節(jié)點之間利用信息傳遞機(jī)制進(jìn)行通信。這種混合編程模式充分利用了內(nèi)存共享和信息傳遞機(jī)制的特點，被公認(rèn)為是最有效的編程模式。 中山大學(xué)物理系理工學(xué)院集群系統(tǒng)介紹 系統(tǒng)建設(shè)背景： 中山大學(xué)物理系理工學(xué)院是集科研教育性質(zhì)一體的國學(xué)教育單位。并于 2020年建成了一個 40節(jié)點的大規(guī)模并行計算系統(tǒng)。主要用于以下 3個方面的計算： 粒子物理及規(guī)范場方面的大規(guī)模計算。 光電材料、凝聚態(tài)理論計算。 統(tǒng)計物理及大分子生物物理計算等。 由于現(xiàn) 有系統(tǒng)的計算能力已經(jīng)越來越不能滿足日益增長的教學(xué)科研等計算需求，并出于提高單位科研能力的考慮，所以決定對原有系統(tǒng)進(jìn)行擴(kuò)充建設(shè)。 系統(tǒng)建設(shè)目標(biāo)： 理論浮點計算能力要求達(dá)到 192GFlops。 交換能力達(dá)到 1Gbps的以太網(wǎng)絡(luò)系統(tǒng)。 全自動的多主機(jī)切換系統(tǒng)（ KVM），包括顯示系統(tǒng)。 6 / 23 基于 LINUX的并行操作系統(tǒng)，并安裝維護(hù)的自動化特性。 任用 INTEL的 MPI及 MKL庫。 系統(tǒng)建設(shè)拓?fù)鋱D： 軟件系統(tǒng)： 基于集群架構(gòu)的要求，在軟件系統(tǒng)方面，我們建議以 NPACI ROCKS CLUSTER來組建我們的高性能 計算集群。 ROCKS CLUSTERS 是 NPACI（美國高級計算基礎(chǔ)設(shè)施合作委員會）負(fù)責(zé)研發(fā)的，目前最為專業(yè)的集群操作系統(tǒng)。它以性能優(yōu)秀、成熟和穩(wěn)定的 REDHAT ADVANSCE SERVER 為基礎(chǔ)，按照分布式架構(gòu)