【正文】 1 / 23 中大理工學(xué)院 HPC集群方案 2 / 23 方 案 目 錄 一、 公司簡介 二、 集群系統(tǒng)方案簡介 集群簡介 高性能計(jì)算機(jī)集群簡介 中山大學(xué)物理系理工學(xué)院集群 系統(tǒng) 介紹 中山大學(xué)物理系理工學(xué)院集群 軟件 介紹 中山大學(xué)物理系理工學(xué)院集群 硬件 介紹 三、 ROCKS CLUSTERS 集群的建立 ROCKS CLUSTERS 的獲得 ROCKS CLUSTERS 的安裝 系統(tǒng) 檢查 四、 集群性能測試 LinPack 的介紹 MPBench 介紹 MPBench 測試功能介紹 CacheBench 介紹 BLASBench 介紹 測試結(jié)果 五、 產(chǎn)品配置和報(bào)價(jià) 六、 售后服務(wù) 七、 綜述 3 / 23 一 公司簡介 因?yàn)閷I(yè) 所以信賴 廣州市正特電子科技有限公司始創(chuàng)于 1992年，前身是五舟科技為國內(nèi)知名的 SCSI產(chǎn)品專業(yè)供應(yīng)商。目前正特科技已發(fā)展為華南地區(qū)知名的服務(wù)器和存儲解決方案供應(yīng)商之一，擁有自主品牌的“五舟”服務(wù)器和存儲產(chǎn)品。 同時(shí)我們還是 Intel 華南區(qū)服務(wù)器業(yè)務(wù)核心合作伙伴， Supermicro服務(wù)器產(chǎn)品華南及西南區(qū)總代，微星服務(wù)器產(chǎn)品華南區(qū)總代，清華同方服務(wù)器中南區(qū)核心分銷商、清華同方磁盤陣列柜華南區(qū)獨(dú)家分銷商， Arena磁盤陣列柜核心代理商， Adaptec 中國區(qū)核心代理商， Seagate \ Maxtor授權(quán)代理商。 我們擁有專業(yè)的方案解決能力和技術(shù)支持能力，能提供面向不同應(yīng)用領(lǐng)域的 IA 服務(wù)器硬件方案及大容量數(shù)據(jù)存儲解決方案。我們與業(yè)內(nèi)頂尖的軟硬件廠商（如： Supermicro、 Intel、 MSI、 TYAN、 Adaptec、LSI Logic、 Promise、 IBM、 Seagate、 3Dlabs、 ELSA、清華同方等）緊密合作，竭誠為客戶提供最優(yōu)性價(jià)比的產(chǎn)品和最專業(yè)完善的服務(wù)。 我們的用戶群遍布各行各業(yè)，如電信（廣州電信、佛山電信）、教育（中山大學(xué)、暨南大學(xué)、華南師范大學(xué)、華工圖書館、荔灣教育局、清遠(yuǎn)教育局）、電視臺（廣東電視臺、廣州電視臺、珠海電視臺、廣州廣播電臺）、醫(yī)院（廣東醫(yī)學(xué)院附屬第二醫(yī)院、中山二院、湛江市農(nóng)墾醫(yī)院）、報(bào)社（廣州日報(bào)社、羊城晚報(bào)）、金融（省人民銀行、省建行）、郵電（省郵政儲匯局、廣州中心郵局、茂名郵局）、交通（省交通 集團(tuán)結(jié)算中心、廣惠公路）、石油（中海油西部）、電力（廣電集團(tuán)）等行業(yè)。 專業(yè)的產(chǎn)品結(jié)構(gòu) 正特科技專注于服務(wù)器和存儲業(yè)務(wù)，為客戶提供最高性價(jià)比的服務(wù)器和存儲整體解決方案。 五舟服務(wù)器現(xiàn)有兩大系列近 40款機(jī)型，分為基于 Intel處理器的 5000系列和基于 AMD處理器的 4000系列，主流機(jī)型有 1U機(jī)架式（ 5100、 51 1100、 4100、 4110）、 2U機(jī)架式（ 5200、 52 4200、 4210）、4U機(jī)架式（ 54 4400、 44 4350）和塔式（ 5000、 50 4000、 4010）， 以及最新的雙核機(jī)型均可在現(xiàn)有機(jī)型上升級。還有功能應(yīng)用型服務(wù)器，如防火墻、網(wǎng)絡(luò)行為管理系統(tǒng) N100；大容量數(shù)據(jù)存儲服務(wù)器 D20 D212和 D216； HPC專用機(jī)型 5 5 4 420。 存儲產(chǎn)品有基于 DAS、 NAS、 SAN等不同的技術(shù)的產(chǎn)品線，如磁盤陣列柜、基于 Lunix技術(shù)的 NAS、光纖存儲網(wǎng)絡(luò)架構(gòu)的 SAN。陣列柜產(chǎn)品主流有 SCSISATA、 SCSISCSI、 FCSATA和 FCFC等型號，應(yīng)用較廣的有 SCSISATA、 SCSISCSI，這也是我們構(gòu)建集群系統(tǒng)的所應(yīng)用的主流產(chǎn)品，性價(jià)比 相對較高。 4 / 23 二 系統(tǒng)方案描述 集群簡介 簡單的說，集群（ cluster）就是一組計(jì)算機(jī)，它們作為一個(gè)整體向用戶提供一組網(wǎng)絡(luò)資源。這些單個(gè)的計(jì)算機(jī)系統(tǒng)就是集群的節(jié)點(diǎn)（ node）。一個(gè)理想的集群是，用戶從來不會意識到集群系統(tǒng)底層的節(jié)點(diǎn)，在他 /她們看來，集群是一個(gè)系統(tǒng)，而非多個(gè)計(jì)算機(jī)系統(tǒng)。并且集群系統(tǒng)的管理員可以隨意增加和刪改集群系統(tǒng)的節(jié)點(diǎn)。 集群并不是一個(gè)全新的概念，其實(shí)早在七十年代計(jì)算機(jī)廠商和研究機(jī)構(gòu)就開始了對集群系統(tǒng)的研究和開發(fā)。由于主要用于科學(xué)工程計(jì)算，所以這些系統(tǒng)并不為大家所熟知。直到 Linux集群的出現(xiàn)，集群的概念才得以廣為傳播。 對集群的研究起源于集群系統(tǒng)的良好的性能可擴(kuò)展性 (scalability)。提高 CPU 主頻和總線帶寬是最初提供計(jì)算機(jī)性能的主要手段。但是這一手段對系統(tǒng)性能的提供是有限的。接著人們通過增加 CPU個(gè)數(shù)和內(nèi)存容量來提高性能，于是出現(xiàn)了向量機(jī) 、 對稱多處理機(jī) (SMP)等。但是當(dāng) CPU 的個(gè)數(shù)超過某一閾值，象 SMP這些多處理機(jī)系統(tǒng)的可擴(kuò)展性就變 得 極差。主要瓶頸在于 CPU訪問內(nèi)存的帶寬并不能隨著 CPU個(gè)數(shù)的增加而有效增長。與 SMP相反，集群系統(tǒng)的性能隨著 CPU個(gè)數(shù)的增加幾乎是線性變化 的。圖 1顯示了這 種 情況。 圖 1. 幾種計(jì)算機(jī)系統(tǒng)的可擴(kuò)展性 集群系統(tǒng)的優(yōu)點(diǎn)并不僅在于此 ， 下面列舉了集群系統(tǒng)的主要優(yōu)點(diǎn)： 1. 高可擴(kuò)展性：如上所述。 2. 高可用性：集群中的一個(gè)節(jié)點(diǎn)失效，它的任務(wù)可以傳遞給其他節(jié)點(diǎn) ， 可以有效防止單點(diǎn)失效。 3. 高性能：負(fù)載平衡集群允許系統(tǒng)同時(shí)接入更多 的用戶。 4. 高性價(jià)比：可以采用廉價(jià)的符合工業(yè)標(biāo)準(zhǔn)的硬件構(gòu)造高性能的系統(tǒng)。 高性能計(jì)算機(jī)集群簡介 簡單的說，高性能計(jì)算 (HighPerformance Computing)是計(jì)算機(jī)科學(xué)的一個(gè)分支，它致力于開發(fā)超級計(jì)算機(jī)，研究并行算法和開發(fā)相關(guān)軟件。高性能計(jì)算主要應(yīng)用于如下兩類問題的研究。 ＊大規(guī)?？茖W(xué)問題，像天氣預(yù)報(bào)、地形分析和生物制藥等 ＊存儲和處理海量數(shù)據(jù)，像數(shù)據(jù)挖掘、圖象處理和基因測序 顧名思義，高性能集群就是采用集群技術(shù)來研究高性能計(jì)算。 5 / 23 影響高性能計(jì)算機(jī)系統(tǒng)分類的因素有很多，所以從不 同的分類標(biāo)準(zhǔn)得出的高性能集群計(jì)算機(jī)的系統(tǒng)架構(gòu)也各不相同。但如果考慮到采用大規(guī)模生產(chǎn)的商用計(jì)算機(jī)和同樣是大規(guī)模生產(chǎn)的商用 LAN及 ATM網(wǎng)絡(luò)來制造的話，主要都是如下兩種架構(gòu)。 目前，主流的 PC 服務(wù)器一般含有一到四個(gè)處理器，在一個(gè)操作系統(tǒng)的控制下，共同存取一個(gè)唯一的內(nèi)存地址空間。各處理器在內(nèi)存的存取上是平等的，存取代價(jià)是相同的。所以這種系統(tǒng)叫做一致內(nèi)存存取系統(tǒng)，或叫 SMP（對稱多處理計(jì)算機(jī)系統(tǒng)）系統(tǒng)。在這個(gè)系統(tǒng)中，處理器是以系統(tǒng)總線、交叉開關(guān)或其它專有網(wǎng)絡(luò)與內(nèi)存連接在一起。 SMP 系統(tǒng)的最大特點(diǎn)是：一方面，系統(tǒng)架 構(gòu)及共享內(nèi)存的編程模式的相對簡單，所以制造和應(yīng)用成本很少，為廣大中小企業(yè)所喜愛。這是我們用于構(gòu)建集群節(jié)點(diǎn)的主要原因。另一方面，它的可拓展性相對較差，一般如果處理器的數(shù)量超過四個(gè)，那它的制造成本就會變得相當(dāng)可觀。這就制約了它的進(jìn)一步的發(fā)展。 但是業(yè)界為了彌補(bǔ)這種不足，又推出了另外一種系統(tǒng)――分布式內(nèi)存存取系統(tǒng)。它較之 SMP系統(tǒng)的最大特點(diǎn)是沒有一個(gè)統(tǒng)一的內(nèi)存空間。這種系統(tǒng)的每一個(gè)處理器和它的內(nèi)存空間構(gòu)成一個(gè)獨(dú)立的系統(tǒng)，由一個(gè)操作系統(tǒng)控制，可以獨(dú)立運(yùn)行。在這里我們叫它作節(jié)點(diǎn)，這些節(jié)點(diǎn)均使用它的網(wǎng)絡(luò)接口連接到互連網(wǎng) 絡(luò)，并通過網(wǎng)絡(luò)通信。 DM系統(tǒng)具有很多優(yōu)秀的特點(diǎn)： 系統(tǒng)的可拓展性強(qiáng)。拓展成本低，無需使用專用的計(jì)算機(jī)及定制的網(wǎng)絡(luò)設(shè)備；各個(gè)節(jié)點(diǎn)可采用通用的 LAN或 ATM網(wǎng)絡(luò)連接，技術(shù)難度低。 可使用成熟通用的 LINUX操作系統(tǒng)作為軟件平臺。 大量成熟而各具特色的集群軟件，如 ROCKS CLUSTERS、 OPENMOSIX、 OSCAR等。 在方案中，我們使用主流的 SMP系統(tǒng)作為集群的節(jié)點(diǎn)，互連網(wǎng)絡(luò)也使用類似 Myri的高速網(wǎng)，我們把這種系統(tǒng)叫作 SMP集群。這種集群可以使用 MPI＋ OPENMP的混合編程模式。在 這種模式下，節(jié)點(diǎn)內(nèi)的處理器利用共享內(nèi)存進(jìn)行通信，位于不同的節(jié)點(diǎn)的處理器在節(jié)點(diǎn)之間利用信息傳遞機(jī)制進(jìn)行通信。這種混合編程模式充分利用了內(nèi)存共享和信息傳遞機(jī)制的特點(diǎn)，被公認(rèn)為是最有效的編程模式。 中山大學(xué)物理系理工學(xué)院集群系統(tǒng)介紹 系統(tǒng)建設(shè)背景： 中山大學(xué)物理系理工學(xué)院是集科研教育性質(zhì)一體的國學(xué)教育單位。并于 2020年建成了一個(gè) 40節(jié)點(diǎn)的大規(guī)模并行計(jì)算系統(tǒng)。主要用于以下 3個(gè)方面的計(jì)算： 粒子物理及規(guī)范場方面的大規(guī)模計(jì)算。 光電材料、凝聚態(tài)理論計(jì)算。 統(tǒng)計(jì)物理及大分子生物物理計(jì)算等。 由于現(xiàn) 有系統(tǒng)的計(jì)算能力已經(jīng)越來越不能滿足日益增長的教學(xué)科研等計(jì)算需求，并出于提高單位科研能力的考慮，所以決定對原有系統(tǒng)進(jìn)行擴(kuò)充建設(shè)。 系統(tǒng)建設(shè)目標(biāo)： 理論浮點(diǎn)計(jì)算能力要求達(dá)到 192GFlops。 交換能力達(dá)到 1Gbps的以太網(wǎng)絡(luò)系統(tǒng)。 全自動的多主機(jī)切換系統(tǒng)（ KVM），包括顯示系統(tǒng)。 6 / 23 基于 LINUX的并行操作系統(tǒng)，并安裝維護(hù)的自動化特性。 任用 INTEL的 MPI及 MKL庫。 系統(tǒng)建設(shè)拓?fù)鋱D： 軟件系統(tǒng)： 基于集群架構(gòu)的要求，在軟件系統(tǒng)方面，我們建議以 NPACI ROCKS CLUSTER來組建我們的高性能 計(jì)算集群。 ROCKS CLUSTERS 是 NPACI（美國高級計(jì)算基礎(chǔ)設(shè)施合作委員會）負(fù)責(zé)研發(fā)的，目前最為專業(yè)的集群操作系統(tǒng)。它以性能優(yōu)秀、成熟和穩(wěn)定的 REDHAT ADVANSCE SERVER 為基礎(chǔ)，按照分布式架構(gòu)