【正文】 硬件系統(tǒng)： 在硬件系統(tǒng)方面，主節(jié)點(diǎn)和從節(jié)點(diǎn)均采用五舟 HPC－ 520R 這一專門為 HPC 應(yīng)用設(shè)計(jì)的機(jī)型。整個(gè)運(yùn)算過程中，主控節(jié)點(diǎn)控制整個(gè)系統(tǒng)，負(fù)責(zé)分派任務(wù)，為從節(jié)點(diǎn)機(jī)提供文件服務(wù)和對(duì)外的網(wǎng)絡(luò)連接；同時(shí)也是計(jì)算節(jié)點(diǎn)。整個(gè)系統(tǒng)由 8 個(gè)節(jié)點(diǎn)， 4＊ 8 個(gè)處理器核心組成。 網(wǎng)絡(luò)系統(tǒng)： 在網(wǎng)絡(luò)連接方面， 鑒于節(jié)點(diǎn)間的連接網(wǎng)絡(luò)是非定制的，為保證系統(tǒng)獲得最大的集群性能，我們建議必須采用千 兆 以太網(wǎng)。同時(shí)采用高質(zhì)量的交換機(jī)及雙絞電纜，以保證數(shù)據(jù)交換的低延時(shí)和穩(wěn)定性。 輔助系統(tǒng)： 另外，為保證系統(tǒng)使用壽命、穩(wěn)定性和長(zhǎng)時(shí)間的正常運(yùn)轉(zhuǎn)，以下幾個(gè)方面的設(shè)備也是須謹(jǐn)慎對(duì)待的。 首先，供電設(shè)施，后備電源和自動(dòng)發(fā)電機(jī)組是必然的選擇。 基于切換時(shí)間的考慮，后備電源必須是在線式的；基于 整個(gè)系統(tǒng)中各用電設(shè)備對(duì)功率的要求，其功率必須大于總功耗之和；在供電時(shí)間方面它必須持續(xù)工作至規(guī)定的后備發(fā)電機(jī)組正常供電時(shí)間為止。另外，為防止雷 電對(duì)系統(tǒng)設(shè)備造成的損壞，添加后備電源也是一個(gè)不錯(cuò)的主意。 7 / 23 其次，方案中整體的散熱系統(tǒng)的考慮。一方面，機(jī)柜的前門及側(cè)板都建議使用蜂窩式設(shè)計(jì)的產(chǎn)品，有利于冷空氣的充分浸入；另一方面，空調(diào)的制冷功率也要充分考慮。 最后，機(jī)房的氣溫及濕度監(jiān)測(cè)設(shè)備以及除濕機(jī)的準(zhǔn)備。 中山大學(xué)物理系理工學(xué)院集群軟件介紹 基于分布式運(yùn)算的觀點(diǎn)，在此方案中我們推薦使用 ROCKS CLUSTERS，一個(gè) NPACI(美國(guó)高級(jí)計(jì)算基礎(chǔ)設(shè)施合作委員會(huì) )負(fù)責(zé)開發(fā)的集群系統(tǒng)。 ROCKS CLUSTERS 以性能優(yōu)秀、成熟和穩(wěn)定的 REDHAT ADVANSCE SERVER 為開發(fā)基礎(chǔ)，完全按照我們所介紹的 SMP 集群的分布式架構(gòu)進(jìn)行開發(fā)。在軟件方面也是由 FRONTEND(管理節(jié)點(diǎn) )加 NODE(計(jì)算節(jié)點(diǎn) )組成。作為業(yè)界最出色的集群操作系統(tǒng)，具有相當(dāng)多的優(yōu)點(diǎn)： 在系統(tǒng)的安裝、維護(hù)方面 ROCKS CLUSTERS 在系統(tǒng)內(nèi)集成大量的自動(dòng)化腳本，并由于以 REDHAT ADVANSCE SERVER 為基礎(chǔ)開發(fā)的，所以它在安裝的時(shí)候會(huì)自動(dòng)設(shè)置好 NFS 文件服務(wù)器、 NIS 服務(wù)、 MPI 并行環(huán)境及數(shù)學(xué)函數(shù)庫(kù)，計(jì)算節(jié)點(diǎn)全部通過 PXE 網(wǎng)絡(luò)系統(tǒng)從主節(jié)點(diǎn)下載文件并自動(dòng)完成所有的安裝與設(shè)置。這里體現(xiàn)的不是一個(gè)簡(jiǎn)單的功能整合，而是融合了開發(fā)小組對(duì)于軟件與硬件方面的優(yōu)化。 ROCKS CLUSTERS 對(duì)于故障節(jié)點(diǎn)的管理思想是，在硬件修復(fù)完成后，此節(jié)點(diǎn)只需接入集群網(wǎng)絡(luò)即會(huì)自動(dòng)完成文件的下載與安裝，無(wú)需人為干預(yù)。 計(jì)算任務(wù)的提交與管理 ROCKS CLUSTERS 系統(tǒng)提供了一整套基于 WEB 的組件用于監(jiān)控自身的活動(dòng)及配置狀況，如處理器使用數(shù)量、內(nèi)存及交換分區(qū)使用情況、網(wǎng)絡(luò)負(fù)載、節(jié)點(diǎn)狀態(tài)和當(dāng)前計(jì)算任務(wù)的進(jìn) 展。當(dāng)然也有第三方廠商為 ROCKS 開發(fā)的任務(wù)管理系統(tǒng)如 SGE(SUN GRID ENGINE)。 豐富的應(yīng)用軟件 ROCKS CLUSTERS 的優(yōu)秀也體現(xiàn)在有強(qiáng)大的第三方的軟件支持。首先有來(lái)自最球最大的處理器生產(chǎn)商的大力支持，專為 CLUSTER 高性能計(jì)算開發(fā)的一系列套件： intel mpi 并行環(huán)境、 intel mkl數(shù)學(xué)函數(shù)庫(kù)、 TOTALVIEW、 MPI DEBUG 工具等。其次有性能最為優(yōu)秀的 GOTO 數(shù)學(xué)函數(shù)庫(kù)；最后有大量的科學(xué)計(jì)算方面的開源軟件。所有這些優(yōu)秀的軟件都采用了簡(jiǎn)單安裝方式 用戶 只會(huì)感覺到在一臺(tái)機(jī)器上處理它們。同時(shí)由于 ROCKS CLUSTERS 支持滾動(dòng)升級(jí)的特性，在軟件方面，當(dāng)主節(jié)點(diǎn)完成升級(jí)后，只在主節(jié)點(diǎn)使用相當(dāng)簡(jiǎn)單的指令就可以使計(jì)算節(jié)點(diǎn)在下一次重起后自動(dòng)完成所有的升級(jí)工作；在集群規(guī)模擴(kuò)展方面，所有需要加入的節(jié)點(diǎn)只要接入集群網(wǎng)絡(luò)時(shí)打開 PXE請(qǐng)求即可完成相關(guān)的安裝工作；在系統(tǒng)軟件方面，軟件升級(jí)或功能擴(kuò)展完全可以通過 ROLLS 或CLUSTERFORK 指令來(lái)完成安裝，這些工作則由主節(jié)點(diǎn)集中完成，系統(tǒng)管理員無(wú)需為每一節(jié)點(diǎn)的龐大的配置工作而彼于奔命。 龐大的的開發(fā)團(tuán)隊(duì) ROCKS CLUSTERS 龐大的開發(fā)團(tuán)隊(duì)包括 NPACI 自身、 San Diego Superputer Center,UCSD(加 8 / 23 利福尼亞圣迭戈分校超級(jí)計(jì)算機(jī)中心 )、 Millennium Group at UC Berkeley(位于加利福尼亞伯克利大學(xué)的開發(fā)團(tuán)隊(duì) )、 Scalable SystemsPte Ltd in Singapore(新加坡可升級(jí)系統(tǒng)有限公司以及 OpenSCE in Thailand(泰國(guó)開放式可升級(jí)集群開發(fā)環(huán)境 )等。 中山大學(xué)物理系理工學(xué)院集群硬件介紹 本集群系統(tǒng)中涉及的硬件設(shè)備主要有主節(jié)點(diǎn)服務(wù)器、從節(jié)點(diǎn)服務(wù)器、千兆網(wǎng)絡(luò)交換機(jī)、陣列柜、機(jī)柜等。 主節(jié)點(diǎn)和從節(jié)點(diǎn)服務(wù)器建議采用 IA 架構(gòu)服務(wù)器，可以擁有非常高的性價(jià)比。英特爾最新推出的 64位雙核至強(qiáng) 5160 處理器，系統(tǒng)外頻 1333MHz，主頻高達(dá) 3GHz，其理論浮點(diǎn)性達(dá)到 12GFlops；內(nèi)存方面采用帶奇偶校驗(yàn)功能的 INTEL 新型串行 DDR2 667 內(nèi)存（ FREE BUFFER DIMM 或簡(jiǎn)稱 FBD），單機(jī)容量最大可支持 816GB；集成雙 1000M 網(wǎng)絡(luò)接口，可實(shí)現(xiàn)負(fù)載均衡或是冗余保護(hù)功能；機(jī)型采用 2U 機(jī)架式設(shè) 計(jì)，確保機(jī)器連續(xù)運(yùn)行時(shí)具有很好的散熱性能，同時(shí)最大限度的利用機(jī)柜空間。 交換機(jī)在集群計(jì)算過程中承擔(dān)著重要的數(shù)據(jù)交換功能，是集群計(jì)算性能的重要影響因素，我們建議采用 1000M 交換機(jī)，可選品牌有華為 3Com、 Sisco。 可選設(shè)備： 當(dāng)集群系統(tǒng)有大量計(jì)算數(shù)據(jù)或結(jié)果數(shù)據(jù)需有效保存時(shí)，陣列柜是最有效的解決方案，可在主節(jié)點(diǎn)服務(wù)器上外接一臺(tái)陣列柜?；陉嚵泄駭?shù)據(jù)讀寫的性能要求，建議采用 SCSISCSI 接口，主機(jī)通道為 320M/S接口，硬盤同樣為 320M/S 接口，硬盤位可根據(jù)數(shù)據(jù)量的大小選擇，一般可選 10 盤位或是 16 盤 位。 三 ROCKS CLUSTERS 集群的建立 ROCKS CLUSTERS 的獲得 因?yàn)檫@是 NPACI 負(fù)責(zé)開發(fā)的一個(gè)開源軟件，可以在購(gòu)買了服務(wù)器后向廣州正特申請(qǐng)。在版本方面，視不同的硬件有 i38 X8664 及 IA64 三個(gè)版本；目前總版本號(hào)為 VERSION 。 ROCKS CLUSTERS 的安裝 ROCKS CLUSTERS 給 CLUSTER 的管理人員提供了一種相當(dāng)輕松的安裝方式。 ROCKS CLUSTERS 包括了必需的 BASE ROLLS、 OS DISK1 OS DISK SGE 及其它數(shù)以千計(jì)非必需的用于擴(kuò)展的功能 ROLLS。服務(wù)器端采用無(wú)人值守的安裝方式，在完成安裝后，計(jì)算節(jié)點(diǎn)全部通過 PXE 網(wǎng)絡(luò)系統(tǒng)從主節(jié)點(diǎn)下載文件并自動(dòng)完成所有的安裝與設(shè)置。 服務(wù)器端的安裝： 使用 BASE ROLLS CD 引導(dǎo)系統(tǒng)，在安裝過程中可以設(shè)置集群系統(tǒng)的基本信息如集群名稱、網(wǎng)絡(luò)參數(shù)及分區(qū)大小等，而集群并行環(huán)境、計(jì)算用的數(shù)學(xué)庫(kù)等集群系統(tǒng)參數(shù)則會(huì)通過預(yù)先設(shè)置優(yōu)化好的大量的安裝腳本自動(dòng)完成。 計(jì)算節(jié)點(diǎn)的安裝： 在主節(jié)點(diǎn)載入系統(tǒng)后，啟動(dòng)節(jié)點(diǎn)安裝偵聽程序。 計(jì)算節(jié)點(diǎn)全部通過 PXE 網(wǎng)絡(luò)系統(tǒng)從主節(jié)點(diǎn)下載文件并自動(dòng)完成所有的安裝與設(shè)置。 9 / 23 系統(tǒng)安裝檢查 通常我們?cè)诎惭b完一個(gè) CLUSTER 系統(tǒng)后的工作就是檢查是否每一個(gè)節(jié)點(diǎn)都處于就緒狀態(tài)。那我們可能以通過指令 clusterfork ps – U$USER 完成，系統(tǒng)會(huì)在當(dāng)前節(jié)點(diǎn)順序列出每一個(gè)節(jié)點(diǎn)的節(jié)點(diǎn)名稱及工作狀況。 10 / 23 四 集群性能測(cè)試 集群測(cè)試主要的任務(wù)是對(duì)建立后的集群進(jìn)行一系列的初步測(cè)試，以便對(duì)我們集群性能有一定的了解。測(cè)試主要從幾個(gè)方面來(lái)完成，這就包括 :集群浮點(diǎn)運(yùn)算能力、集群網(wǎng)絡(luò)帶寬、集群網(wǎng)絡(luò)延遲、集群I/O 測(cè)試、集群 Cache 測(cè)試等等。我們對(duì)集群測(cè)試大多使用一些很流行的基準(zhǔn)測(cè)試軟件，這些軟件是得到大家公認(rèn)的。測(cè)試包括 High Performance Linpack (HPL)與 LLCBench(Low Level Architectural Characterization Benchmark Suite)兩個(gè)方面。 LinPack 的介紹 我們之所以要建立集群，主要原因是我們需要解決大規(guī)模的運(yùn)算，而大多數(shù)的運(yùn)算都可以歸結(jié)為浮點(diǎn)運(yùn)算，所以一個(gè)集群的浮點(diǎn)運(yùn)算能力是一個(gè)集群性能的主要體現(xiàn)。我們知道在理論上一個(gè)集群的理論 峰值是我們所有節(jié)點(diǎn)運(yùn)算能力的總和，但是實(shí)際上得到峰值卻是不可能的。造成這種情況的主要原因有很多，主要的是在網(wǎng)絡(luò)延遲，主機(jī)整體性能和異構(gòu)平臺(tái)的不一致性造成的。一般來(lái)說比較合理的實(shí)際峰值都只有理論峰值的百分之四十到五十左右，而且這樣的情況也是在同構(gòu)的平臺(tái)下才能得到這樣的效果。 知道集群理論峰值是不夠的，我們還需要得到集群的實(shí)際峰值?，F(xiàn)在最流行的集群測(cè)試軟件就是 LinPack。由 Jack Dongarra 編寫的 Linpack 是在高性能計(jì)算領(lǐng)域最出名和廣泛使用的基準(zhǔn)測(cè)試。 Linpack 使用幾個(gè)線性代數(shù)方程，使用高 斯消元法在分布式內(nèi)存計(jì)算機(jī)上按雙精度 (64 bits)算法，測(cè)量解線性方程的密集系統(tǒng)所需的時(shí)間。 Linpack 的結(jié)果按每秒浮點(diǎn)運(yùn)算次數(shù)表示。早在 1980 年， Linpack 的原始版本有大約 100100 的規(guī)模，當(dāng)這種規(guī)模在微處理器的緩沖中容易解決時(shí)，此法已經(jīng)不再使用。為了克服此問題，開發(fā)了新的規(guī)模更大的 Linpack，其名稱為 High Performance Linpack (HPL)。 HPL 版 Linpack 一般用于 TOP500 超級(jí)計(jì)算機(jī)站上的并列式超級(jí)計(jì)算機(jī)。為了運(yùn)行 HPL，需要MPI 和基本線性代數(shù)子方 程 (BLAS)或矢量圖形信號(hào)處理庫(kù) (VSIPL)兩者之一。 HPL 可以測(cè)試和記錄解決問