xx大學(xué)高性能計(jì)算集群系統(tǒng)方案(編輯修改稿)
2024-12-07 08:57 本頁(yè)面
【文章內(nèi)容簡(jiǎn)介】 系統(tǒng)管理軟件等。它是集群系統(tǒng)投入應(yīng)用的前提，所以集群系統(tǒng)的安裝是一件非常重要的任務(wù)。一般集群系統(tǒng)由幾十臺(tái)，甚至上百上千臺(tái)計(jì)算機(jī)組成，顯然手工安裝系統(tǒng)幾乎是不可能的。集群應(yīng) 用資源項(xiàng)目的成立，就是用來研究集群管理的問題，并提供了一個(gè)解決方案。這個(gè)項(xiàng)目所產(chǎn)生的結(jié)果是 OSCAR 包，它在一個(gè)軟件包中提供了最出色的基于標(biāo)準(zhǔn)的安裝和管理工具。 . 整體架構(gòu)設(shè)計(jì) 整體架構(gòu)設(shè)計(jì)即是通過對(duì) 科大現(xiàn)有 應(yīng)用進(jìn)行詳細(xì)的分析從而獲得 實(shí)施 集群系統(tǒng)的整體連接結(jié)構(gòu)設(shè)計(jì)方案。該設(shè)計(jì)方案主要針對(duì)以下的幾點(diǎn)： 采用何種體系結(jié)構(gòu)的處理器系統(tǒng)。事實(shí)上，目前市場(chǎng)上可以制作 Beowulf 集群系統(tǒng)的處理器主要包括 Intel 的 Xeon、 P4以及 AMD 的 Althon 和 Opteron。這些處理器雖然都符合 X86 標(biāo)準(zhǔn)，但是由于在體系結(jié)構(gòu) 的設(shè)計(jì)上的不同使得這些處理器具有各自的特點(diǎn)。特別是針對(duì)不同的應(yīng)用，這些處理器往往會(huì)體現(xiàn)出截然相反的性能表現(xiàn)。因此根據(jù)用戶應(yīng)用程序的編程特點(diǎn)，選擇合適的CPU 幫助用戶獲得最大程度的性能價(jià)格比將成為該項(xiàng)服務(wù)的一個(gè)重點(diǎn)。 采用何種的網(wǎng)絡(luò)設(shè)計(jì)。目前市面上流行多種傳輸網(wǎng)絡(luò)，有百兆以太網(wǎng)、千兆以太網(wǎng)以及各種專用的高性能網(wǎng)絡(luò)如 Myri、 Infiniband 等，通過這個(gè)階段的設(shè)計(jì)，我們可以幫助用戶選擇一款具有最有性能價(jià)格比的網(wǎng)絡(luò)產(chǎn)品來搭建 Beowulf 集群系統(tǒng)。 節(jié)點(diǎn)功能的分配。在 集群軟件 中，通常會(huì)包含一個(gè)管理節(jié)點(diǎn)和 一些計(jì)算節(jié)點(diǎn)，在一些功能復(fù)雜的集群系統(tǒng)中，甚至還包括登陸節(jié)點(diǎn)、 IO 節(jié)點(diǎn)以及監(jiān)控節(jié)點(diǎn)等，所以利用多種功能的節(jié)點(diǎn)以獲得集群的最佳管理和使用的能力，是需要謹(jǐn)慎的評(píng)估的。 節(jié)點(diǎn)數(shù)量的估計(jì)。事實(shí)上節(jié)點(diǎn)數(shù)量的估計(jì)是一個(gè)復(fù)雜的系統(tǒng)優(yōu)化過程，需要對(duì)用戶的應(yīng)用系統(tǒng)有著非常充分的了解。曙光公司的節(jié)點(diǎn)評(píng)估服務(wù)將包括壓力測(cè)試、功能測(cè)試、系統(tǒng)建模、優(yōu)化評(píng)估和優(yōu)化整合幾個(gè)部分，通過這些專業(yè)的優(yōu)化服務(wù)，可以幫助用戶購(gòu)買一個(gè)性價(jià)比更高同時(shí)兼容性擴(kuò)展性更好的集群系統(tǒng)。 國(guó)防科技大學(xué)理學(xué)院物理系高性能計(jì)算集群系統(tǒng)方案 湖南生力科技有限公司 7 . 集群軟件以及網(wǎng)絡(luò)結(jié)構(gòu) 本項(xiàng)目采用 OSCAR 作為 集成軟件包，它集成了眾多 的高性能計(jì)算相關(guān)的軟件，比如 SIS， C3， OpenPBS， MPI， PVM 等等，下面對(duì)這些軟件包進(jìn)行深入介紹。 . 使用 SIS（ System Installer Suite）安裝和維護(hù)集群系統(tǒng) SIS 是用來安裝 cluster 的工具，說具體點(diǎn)，是用來通過網(wǎng)絡(luò)安裝系統(tǒng)的工具（ linux 系統(tǒng)）。由于多種原因被 OSCAR 使用： ? SIS 是高質(zhì)量的，第三方的，開放的成熟系統(tǒng)，已經(jīng)應(yīng)用于成熟的產(chǎn)品環(huán)境。 ? 不需要 client 安裝系統(tǒng) 。 ? SIS 使用 rpm 作為標(biāo)準(zhǔn)安裝方式。 ? 它支持異構(gòu)的計(jì)算機(jī)和軟件的安裝。 (這點(diǎn)還沒有被 OSCAR 利用 ) 管理員使用 SIS 來引導(dǎo)節(jié)點(diǎn)的安裝 ， 其中包括內(nèi)核引導(dǎo)、磁盤分區(qū)、文件系統(tǒng)格式化和基礎(chǔ)操作系統(tǒng)的安裝。管理員還可以使用安裝映像來維護(hù)集群節(jié)點(diǎn)。更改以前部署的映像就象更改本地的文件系統(tǒng)一樣直接。管理員可以更新映像，然后使用 rsync 來更新集群節(jié)點(diǎn)上的本地文件系統(tǒng)。這種方法可以用來安裝和管理整個(gè)集群。 SIS 由兩個(gè)核心工具組成， Systemimager 和 LUI。其中 Systemimager 是一個(gè)基于鏡像（ Image）的安裝和維護(hù)工具， LUI 是一個(gè)基于資源的集群安裝工具。SIS 具有以下特 性： ? 我們可以在一個(gè) Image server 中存儲(chǔ)很多不同的系統(tǒng)鏡像。 ? 一個(gè)存在的計(jì)算機(jī)可以獲取這些鏡像 。 ? 我們可以直接用一些包在 Image server 上生成鏡像 。 ? 在安裝過程中我們通過 rsync 傳播鏡像 。 ? 由于使用了 rsync，傳播鏡像和維護(hù)鏡像的工作變得更加容易 。 通過運(yùn)用 SIS，我們可以： ? 更快更有效地安裝集群 ? 更有效地維護(hù)集群 國(guó)防科技大學(xué)理學(xué)院物理系高性能計(jì)算集群系統(tǒng)方案 湖南生力科技有限公司 8 ? 甚至可以更改文件系統(tǒng) ? 更加容易地進(jìn)行系統(tǒng)備份。 . 使用 C3 工具方便管理節(jié)點(diǎn) 為了方便地管理集群系統(tǒng)，一些管理者只是簡(jiǎn)單地通過 NFS 把一個(gè)管理節(jié)點(diǎn)的文件系統(tǒng) mount到其余節(jié)點(diǎn) 中。這樣的做法非常缺乏可擴(kuò)展性。 ORNL(Oak Ridge Nation LIB)正在開發(fā)幫助用戶對(duì) PC Cluster 進(jìn)行系統(tǒng)管理的接口。其中 C3（ Cluster Command Control）這個(gè)強(qiáng)大的工具為集群的系統(tǒng)管理提供了一個(gè)命令行界面（ CLI）。它是 ORNL 開發(fā)用來管理和使用自己的 HIGHTORC Cluster 的一套工具。主要代碼利用 Python2 編寫，因此需要 Python 包。它的作用主要包括全 Cluster 范圍內(nèi)的命令執(zhí)行、文件發(fā)布和收集、遠(yuǎn)程關(guān)機(jī)和重起、系統(tǒng)映像的更新等工具。這些工具方 便了在各個(gè)節(jié)點(diǎn)執(zhí)行命令，使用戶可以輸入一個(gè)同時(shí)在所有的集群節(jié)點(diǎn)上運(yùn)行的命令。這些命令包括： ? cexec: 在所有節(jié)點(diǎn)運(yùn)行一些標(biāo)準(zhǔn)命令。 ? cget: 在所有節(jié)點(diǎn)上獲得文件或者文件夾 ? ckill: 結(jié)束一個(gè)用戶指定的進(jìn)程 ? cpush: 向所有節(jié)點(diǎn)分發(fā)文件 ? cpushimage: 用一個(gè) Systemimager 產(chǎn)生的鏡像文件更新系統(tǒng)節(jié)點(diǎn)的鏡像 ? crm: 在各個(gè)節(jié)點(diǎn)上刪除文件 ? cshutdown: 在各個(gè)節(jié)點(diǎn)上關(guān)機(jī)或者重起 ? um: 獲得一個(gè)節(jié)點(diǎn)的排列號(hào)（已知節(jié)點(diǎn)名字） ? ame: 獲得節(jié)點(diǎn)的名字（已知節(jié)點(diǎn)排列號(hào)） ? clist: 得到所有 Cluster 名和 Cluster 的特性。 例如 cexec cluster1:15 cluster2:26 ls – l：在 cluster1 的 1－ 5 節(jié)點(diǎn)和cluster2 的 2－ 6節(jié)點(diǎn)運(yùn)行 l
公司管理相關(guān)推薦
鄂ICP備17016276號(hào)-1