xx大學高性能計算集群系統(tǒng)方案(編輯修改稿)
2024-12-07 08:57 本頁面
【文章內容簡介】 系統(tǒng)管理軟件等。它是集群系統(tǒng)投入應用的前提，所以集群系統(tǒng)的安裝是一件非常重要的任務。一般集群系統(tǒng)由幾十臺，甚至上百上千臺計算機組成，顯然手工安裝系統(tǒng)幾乎是不可能的。集群應 用資源項目的成立，就是用來研究集群管理的問題，并提供了一個解決方案。這個項目所產生的結果是 OSCAR 包，它在一個軟件包中提供了最出色的基于標準的安裝和管理工具。 . 整體架構設計 整體架構設計即是通過對 科大現(xiàn)有 應用進行詳細的分析從而獲得 實施 集群系統(tǒng)的整體連接結構設計方案。該設計方案主要針對以下的幾點： 采用何種體系結構的處理器系統(tǒng)。事實上，目前市場上可以制作 Beowulf 集群系統(tǒng)的處理器主要包括 Intel 的 Xeon、 P4以及 AMD 的 Althon 和 Opteron。這些處理器雖然都符合 X86 標準，但是由于在體系結構 的設計上的不同使得這些處理器具有各自的特點。特別是針對不同的應用，這些處理器往往會體現(xiàn)出截然相反的性能表現(xiàn)。因此根據用戶應用程序的編程特點，選擇合適的CPU 幫助用戶獲得最大程度的性能價格比將成為該項服務的一個重點。 采用何種的網絡設計。目前市面上流行多種傳輸網絡，有百兆以太網、千兆以太網以及各種專用的高性能網絡如 Myri、 Infiniband 等，通過這個階段的設計，我們可以幫助用戶選擇一款具有最有性能價格比的網絡產品來搭建 Beowulf 集群系統(tǒng)。 節(jié)點功能的分配。在 集群軟件 中，通常會包含一個管理節(jié)點和 一些計算節(jié)點，在一些功能復雜的集群系統(tǒng)中，甚至還包括登陸節(jié)點、 IO 節(jié)點以及監(jiān)控節(jié)點等，所以利用多種功能的節(jié)點以獲得集群的最佳管理和使用的能力，是需要謹慎的評估的。 節(jié)點數(shù)量的估計。事實上節(jié)點數(shù)量的估計是一個復雜的系統(tǒng)優(yōu)化過程，需要對用戶的應用系統(tǒng)有著非常充分的了解。曙光公司的節(jié)點評估服務將包括壓力測試、功能測試、系統(tǒng)建模、優(yōu)化評估和優(yōu)化整合幾個部分，通過這些專業(yè)的優(yōu)化服務，可以幫助用戶購買一個性價比更高同時兼容性擴展性更好的集群系統(tǒng)。 國防科技大學理學院物理系高性能計算集群系統(tǒng)方案 湖南生力科技有限公司 7 . 集群軟件以及網絡結構 本項目采用 OSCAR 作為 集成軟件包，它集成了眾多 的高性能計算相關的軟件，比如 SIS， C3， OpenPBS， MPI， PVM 等等，下面對這些軟件包進行深入介紹。 . 使用 SIS（ System Installer Suite）安裝和維護集群系統(tǒng) SIS 是用來安裝 cluster 的工具，說具體點，是用來通過網絡安裝系統(tǒng)的工具（ linux 系統(tǒng)）。由于多種原因被 OSCAR 使用： ? SIS 是高質量的，第三方的，開放的成熟系統(tǒng)，已經應用于成熟的產品環(huán)境。 ? 不需要 client 安裝系統(tǒng) 。 ? SIS 使用 rpm 作為標準安裝方式。 ? 它支持異構的計算機和軟件的安裝。 (這點還沒有被 OSCAR 利用 ) 管理員使用 SIS 來引導節(jié)點的安裝 ， 其中包括內核引導、磁盤分區(qū)、文件系統(tǒng)格式化和基礎操作系統(tǒng)的安裝。管理員還可以使用安裝映像來維護集群節(jié)點。更改以前部署的映像就象更改本地的文件系統(tǒng)一樣直接。管理員可以更新映像，然后使用 rsync 來更新集群節(jié)點上的本地文件系統(tǒng)。這種方法可以用來安裝和管理整個集群。 SIS 由兩個核心工具組成， Systemimager 和 LUI。其中 Systemimager 是一個基于鏡像（ Image）的安裝和維護工具， LUI 是一個基于資源的集群安裝工具。SIS 具有以下特 性： ? 我們可以在一個 Image server 中存儲很多不同的系統(tǒng)鏡像。 ? 一個存在的計算機可以獲取這些鏡像 。 ? 我們可以直接用一些包在 Image server 上生成鏡像 。 ? 在安裝過程中我們通過 rsync 傳播鏡像 。 ? 由于使用了 rsync，傳播鏡像和維護鏡像的工作變得更加容易 。 通過運用 SIS，我們可以： ? 更快更有效地安裝集群 ? 更有效地維護集群 國防科技大學理學院物理系高性能計算集群系統(tǒng)方案 湖南生力科技有限公司 8 ? 甚至可以更改文件系統(tǒng) ? 更加容易地進行系統(tǒng)備份。 . 使用 C3 工具方便管理節(jié)點 為了方便地管理集群系統(tǒng)，一些管理者只是簡單地通過 NFS 把一個管理節(jié)點的文件系統(tǒng) mount到其余節(jié)點 中。這樣的做法非常缺乏可擴展性。 ORNL(Oak Ridge Nation LIB)正在開發(fā)幫助用戶對 PC Cluster 進行系統(tǒng)管理的接口。其中 C3（ Cluster Command Control）這個強大的工具為集群的系統(tǒng)管理提供了一個命令行界面（ CLI）。它是 ORNL 開發(fā)用來管理和使用自己的 HIGHTORC Cluster 的一套工具。主要代碼利用 Python2 編寫，因此需要 Python 包。它的作用主要包括全 Cluster 范圍內的命令執(zhí)行、文件發(fā)布和收集、遠程關機和重起、系統(tǒng)映像的更新等工具。這些工具方 便了在各個節(jié)點執(zhí)行命令，使用戶可以輸入一個同時在所有的集群節(jié)點上運行的命令。這些命令包括： ? cexec: 在所有節(jié)點運行一些標準命令。 ? cget: 在所有節(jié)點上獲得文件或者文件夾 ? ckill: 結束一個用戶指定的進程 ? cpush: 向所有節(jié)點分發(fā)文件 ? cpushimage: 用一個 Systemimager 產生的鏡像文件更新系統(tǒng)節(jié)點的鏡像 ? crm: 在各個節(jié)點上刪除文件 ? cshutdown: 在各個節(jié)點上關機或者重起 ? um: 獲得一個節(jié)點的排列號（已知節(jié)點名字） ? ame: 獲得節(jié)點的名字（已知節(jié)點排列號） ? clist: 得到所有 Cluster 名和 Cluster 的特性。 例如 cexec cluster1:15 cluster2:26 ls – l：在 cluster1 的 1－ 5 節(jié)點和cluster2 的 2－ 6節(jié)點運行 l
公司管理相關推薦
鄂ICP備17016276號-1