【正文】 開發(fā)。 硬件系統(tǒng)： 在硬件系統(tǒng)方面，主節(jié)點和從節(jié)點均采用五舟 HPC－ 520R這一專門為 HPC應(yīng)用設(shè)計的機型。整個運算過程中，主控節(jié)點控制整個系統(tǒng)，負責分派任務(wù)，為從節(jié)點機提供文件服務(wù)和對外的網(wǎng)絡(luò)連接；同時也是計算節(jié)點。整個系統(tǒng)由 8個節(jié)點， 4＊ 8個處理器核心組成。 網(wǎng)絡(luò)系統(tǒng)： 在網(wǎng)絡(luò)連接方面， 鑒于節(jié)點間的連接網(wǎng)絡(luò)是非定制的，為保證系統(tǒng)獲得最大的集群性能，我們建議必須采用千 兆 以太網(wǎng)。同時采用高質(zhì)量的交換機及雙絞電纜，以保證數(shù)據(jù)交換的低延時和穩(wěn)定性。 輔助系統(tǒng)： 另外，為保證系統(tǒng)使用壽命、穩(wěn)定性和長時間的正常運轉(zhuǎn)，以下幾個方面的設(shè)備也是須謹慎對待的。 首先，供電設(shè)施，后備電源和自動發(fā)電機組是必然的選擇。 基于切換時間的考慮，后備電源必須是在線式的；基于 整個系統(tǒng)中各用電設(shè)備對功率的要求，其功率必須大于總功耗之和；在供電時間方面它必須持續(xù)工作至規(guī)定的后備發(fā)電機組正常供電時間為止。另外，為防止雷 電對系統(tǒng)設(shè)備造成的損壞，添加后備電源也是一個不錯的主意。 7 / 23 其次，方案中整體的散熱系統(tǒng)的考慮。一方面，機柜的前門及側(cè)板都建議使用蜂窩式設(shè)計的產(chǎn)品，有利于冷空氣的充分浸入；另一方面，空調(diào)的制冷功率也要充分考慮。 最后，機房的氣溫及濕度監(jiān)測設(shè)備以及除濕機的準備。 中山大學(xué)物理系理工學(xué)院集群軟件介紹 基于分布式運算的觀點，在此方案中我們推薦使用 ROCKS CLUSTERS，一個 NPACI(美國高級計算基礎(chǔ)設(shè)施合作委員會 )負責開發(fā)的集群系統(tǒng)。 ROCKS CLUSTERS 以性能優(yōu)秀、成熟和穩(wěn)定的 REDHAT ADVANSCE SERVER為開發(fā)基礎(chǔ)，完全按照我們所介紹的 SMP集群的分布式架構(gòu)進行開發(fā)。在軟件方面也是由 FRONTEND(管理節(jié)點 )加 NODE(計算節(jié)點 )組成。作為業(yè)界最出色的集群操作系統(tǒng)，具有相當多的優(yōu)點： 在系統(tǒng)的安裝、維護方面 ROCKS CLUSTERS 在系統(tǒng)內(nèi)集成大量的自動化腳本，并由于以 REDHAT ADVANSCE SERVER為基礎(chǔ)開發(fā)的，所以它在安裝的時候會自動設(shè)置好 NFS文件服務(wù)器、 NIS服務(wù)、 MPI并行環(huán)境及數(shù)學(xué)函數(shù)庫，計算節(jié)點全部通過 PXE 網(wǎng)絡(luò)系統(tǒng)從主節(jié)點下載文件并自動完成所有的安裝與設(shè)置。這里體現(xiàn)的不是一個簡單的功能整合，而是融合了開發(fā)小組對于軟件與硬件方面的優(yōu)化。 ROCKS CLUSTERS 對于故障節(jié)點的管理思想是，在硬件修復(fù)完成后，此節(jié)點只需接入集群網(wǎng)絡(luò)即會自動完成文件的下載與安裝，無需人為干預(yù)。 計算任務(wù)的提交與管理 ROCKS CLUSTERS 系統(tǒng)提供了一整套基于 WEB 的組件用于監(jiān)控自身的活動及配置狀況，如處理器使用數(shù)量、內(nèi)存及交換分區(qū)使用情況、網(wǎng)絡(luò)負載、節(jié)點狀態(tài)和當前計算任務(wù)的進 展。當然也有第三方廠商為 ROCKS開發(fā)的任務(wù)管理系統(tǒng)如 SGE(SUN GRID ENGINE)。 豐富的應(yīng)用軟件 ROCKS CLUSTERS 的優(yōu)秀也體現(xiàn)在有強大的第三方的軟件支持。首先有來自最球最大的處理器生產(chǎn)商的大力支持，專為 CLUSTER高性能計算開發(fā)的一系列套件： intel mpi并行環(huán)境、 intel mkl數(shù)學(xué)函數(shù)庫、 TOTALVIEW、 MPI DEBUG工具等。其次有性能最為優(yōu)秀的 GOTO數(shù)學(xué)函數(shù)庫；最后有大量的科學(xué)計算方面的開源軟件。所有這些優(yōu)秀的軟件都采用了簡單安裝方式 用戶 只會感覺到在一臺機器上處理它們。同時由于 ROCKS CLUSTERS支持滾動升級的特性，在軟件方面，當主節(jié)點完成升級后，只在主節(jié)點使用相當簡單的指令就可以使計算節(jié)點在下一次重起后自動完成所有的升級工作；在集群規(guī)模擴展方面，所有需要加入的節(jié)點只要接入集群網(wǎng)絡(luò)時打開 PXE請求即可完成相關(guān)的安裝工作；在系統(tǒng)軟件方面，軟件升級或功能擴展完全可以通過 ROLLS 或CLUSTERFORK 指令來完成安裝，這些工作則由主節(jié)點集中完成，系統(tǒng)管理員無需為每一節(jié)點的龐大的配置工作而彼于奔命。 龐大的的開發(fā)團隊 ROCKS CLUSTERS 龐大的開發(fā)團隊包括 NPACI 自身、 San Diego Superputer Center,UCSD(加 8 / 23 利福尼亞圣迭戈分校超級計算機中心 )、 Millennium Group at UC Berkeley(位于加利福尼亞伯克利大學(xué)的開發(fā)團隊 )、 Scalable SystemsPte Ltd in Singapore(新加坡可升級系統(tǒng)有限公司以及 OpenSCE in Thailand(泰國開放式可升級集群開發(fā)環(huán)境 )等。 中山大學(xué)物理系理工學(xué)院集群硬件介紹 本集群系統(tǒng)中涉及的硬件設(shè)備主要有主節(jié)點服務(wù)器、從節(jié)點服務(wù)器、千兆網(wǎng)絡(luò)交換機、陣列柜、機柜等。 主節(jié)點和從節(jié)點服務(wù)器建議采用 IA架構(gòu)服務(wù)器，可以擁有非常高的性價比。英特爾最新推出的 64位雙核至強 5160處理器，系統(tǒng)外頻 1333MHz，主頻高達 3GHz，其理論浮點性達到 12GFlops；內(nèi)存方面采用帶奇偶校驗功能的 INTEL 新型串行 DDR2 667內(nèi)存（ FREE BUFFER DIMM或簡稱 FBD），單機容量最大可支持 816GB；集成雙 1000M 網(wǎng)絡(luò)接口，可實現(xiàn)負載均衡或是冗余保護功能；機型采用 2U機架式設(shè) 計，確保機器連續(xù)運行時具有很好的散熱性能，同時最大限度的利用機柜空間。 交換機在集群計算過程中承擔著重要的數(shù)據(jù)交換功能，是集群計算性能的重要影響因素，我們建議采用 1000M交換機，可選品牌有華為 3Com、 Sisco。 可選設(shè)備： 當集群系統(tǒng)有大量計算數(shù)據(jù)或結(jié)果數(shù)據(jù)需有效保存時，陣列柜是最有效的解決方案，可在主節(jié)點服務(wù)器上外接一臺陣列柜?；陉嚵泄駭?shù)據(jù)讀寫的性能要求，建議采用 SCSISCSI接口，主機通道為 320M/S接口，硬盤同樣為 320M/S接口，硬盤位可根據(jù)數(shù)據(jù)量的大小選擇，一般可選 10盤位或是 16 盤 位。 三 ROCKS CLUSTERS 集群的建立 ROCKS CLUSTERS 的獲得 因為這是 NPACI負責開發(fā)的一個開源軟件，可以在購買了服務(wù)器后向廣州正特申請。在版本方面，視不同的硬件有 i38 X8664及 IA64三個版本；目前總版本號為 VERSION 。 ROCKS CLUSTERS 的安裝 ROCKS CLUSTERS 給 CLUSTER 的管理人員提供了一種相當輕松的安裝方式。 ROCKS CLUSTERS 包括了必需的 BASE ROLLS、 OS DISK1 OS DISK SGE及其它數(shù)以千計非必需的用于擴展的功能 ROLLS。服務(wù)器端采用無人值守的安裝方式，在完成安裝后，計算節(jié)點全部通過 PXE網(wǎng)絡(luò)系統(tǒng)從主節(jié)點下載文件并自動完成所有的安裝與設(shè)置。 服務(wù)器端的安裝： 使用 BASE ROLLS CD 引導(dǎo)系統(tǒng)，在安裝過程中可以設(shè)置集群系統(tǒng)的基本信息如集群名稱、網(wǎng)絡(luò)參數(shù)及分區(qū)大小等，而集群并行環(huán)境、計算用的數(shù)學(xué)庫等集群系統(tǒng)參數(shù)則會通過預(yù)先設(shè)置優(yōu)化好的大量的安裝腳本自動完成。 計算節(jié)點的安裝： 在主節(jié)點載入系統(tǒng)后，啟動節(jié)點安裝偵聽程序。 計算節(jié)點全部通過 PXE 網(wǎng)絡(luò)系統(tǒng)從主節(jié)點下載文件并自動完成所有的安裝與設(shè)置。 9 / 23 系統(tǒng)安裝檢查 通常我們在安裝完一個 CLUSTER系統(tǒng)后的工作就是檢查是否每一個節(jié)點都處于就緒狀態(tài)。那我們可能以通過指令 clusterfork ps – U$USER 完成，系統(tǒng)會在當前節(jié)點順序列出每一個節(jié)點的節(jié)點名稱及工作狀況。 10 / 23 四 集群性能測試 集群測試主要的任務(wù)是對建立后的集群進行一系列的初步測試，以便對我們集群性能有一定的了解。測試主要從幾個方面來完成，這就包括 :集群浮點運算能力、集群網(wǎng)絡(luò)帶寬、集群網(wǎng)絡(luò)延遲、集群I/O 測試、集群 Cache測試等等。我們對集群測試大多使用一些很流行的基準測試軟件，這些軟件是得到大家公認的。測試包括 High Performance Linpack (HPL)與 LLCBench(Low Level Architectural Characterization Benchmark Suite)兩個方面。 LinPack 的介紹 我們之所以要建立集群，主要原因是我們需要解決大規(guī)模的運算，而大多數(shù)的運算都可以歸結(jié)為浮點運算，所以一個集群的浮點運算能力是一個集群性能的主要體現(xiàn)。我們知道在理論上一個集群的理論 峰值是我們所有節(jié)點運算能力的總和，但是實際上得到峰值卻是不可能的。造成這種情況的主要原因有很多，主要的是在網(wǎng)絡(luò)延遲，主機整體性能和異構(gòu)平臺的不一致性造成的。一般來說比較合理的實際峰值都只有理論峰值的百分之四十到五十左右，而且這樣的情況也是在同構(gòu)的平臺下才能得到這樣的效果。 知道集群理論峰值是不夠的，我們還需要得到集群的實際峰值。現(xiàn)在最流行的集群測試軟件就是 LinPack。由 Jack Dongarra 編寫的 Linpack是在高性能計算領(lǐng)域最出名和廣泛使用的基準測試。 Linpack使用幾個線性代數(shù)方程，使用高 斯消元法在分布式內(nèi)存計算機上按雙精度 (64 bits)算法，測量解線性方程的密集系統(tǒng)所需的時間。 Linpack的結(jié)果按每秒浮點運算次數(shù)表示。早在 1980年， Linpack 的原始版本有大約 100100的規(guī)模，當這種規(guī)模在微處理器的緩沖中容易解決時，此法已經(jīng)不再使用。為了克服此問題，開發(fā)了新的規(guī)模更大的 Linpack，其名稱為 High Performance Linpack (HPL)。 HPL版 Linpack一般用于 TOP500超級計算機站上的并列式超級計算機。為了運行 HPL，需要MPI和基本線性代數(shù)子方 程 (BLAS)或矢量圖形信號處理庫 (VSIPL)兩者之一。 HPL可以測試和記