xx大學(xué)高性能計(jì)算集群系統(tǒng)方案-資料下載頁
2024-11-01 08:57本頁面
【導(dǎo)讀】方面的科學(xué)計(jì)算，這些服務(wù)器目前由不同的小組或者老師單獨(dú)使用。要是基于MPI框架的Fortran。由于系統(tǒng)環(huán)境不一致，導(dǎo)致應(yīng)用程序開。發(fā)和使用很難做到通用，影響工作效率。集群系統(tǒng)達(dá)到聚合計(jì)算能力、提高作業(yè)運(yùn)算效率、整合開發(fā)環(huán)境的目的。簡(jiǎn)單地說就是把許多計(jì)算機(jī)通過高速網(wǎng)絡(luò)和軟件。買昂貴的專用硬件設(shè)備。目前，越來越多的網(wǎng)站利用Linux操作系統(tǒng)提供郵件、Web、文件存儲(chǔ)、數(shù)據(jù)庫等服務(wù)。隨著人們對(duì)Linux服務(wù)器依賴的加深，對(duì)其可?？啃?、負(fù)載能力和計(jì)算能力也倍加關(guān)注。
【正文】 ）和 MPI 程序的運(yùn)行工具 mpirun。 在 OSCAR 中， MPICH 和 lamMPI 被缺省地安裝到系統(tǒng)中，用戶可以根據(jù)個(gè)人的習(xí)慣去改變系統(tǒng)環(huán)境變量（參見 switcher 部分）來選擇使用哪種 MPI 實(shí)現(xiàn)來完成高性能程序開發(fā)。 . 使用環(huán)境切換器（ Switcher）切換環(huán)境 OSCAR 提供了環(huán)境切換器 (Switcher)包。利用它，用戶可以更加安全地管理環(huán)境如 PATH、 MANPATH 等。用戶不用進(jìn)行系統(tǒng)環(huán)境變量的配置就可以輕松地在MPICH 和 lamMPI 中切換，完全不用去編輯 dot 文件。用戶甚至不用知道這些東西是用來做什么的。 使用 switcher 可以有以下幾個(gè)好處： 1. 用戶不必手工更改 dot 文件（如 .bashrc 文件）就可以更改系統(tǒng)的環(huán)境變量，取而代之的是一個(gè)簡(jiǎn)潔安全的命令行界面（ CLI）。 國防科技大學(xué)理學(xué)院物理系高性能計(jì)算集群系統(tǒng)方案 湖南生力科技有限公司 12 2. 使用命令行界面使得遠(yuǎn)程調(diào)用 shell 如 rsh， ssh 等可以調(diào)用此命令，起到了在遠(yuǎn)程更改 dot 文件內(nèi)容的作用。 3. 這樣做是安全的， 因?yàn)?Switcher 定義了安全的用戶命令，減少因?yàn)橛脩舻腻e(cuò)誤操作使得環(huán)境變得一團(tuán)糟的可能性。 4. 用戶可以選擇在當(dāng)前 shell 下改變環(huán)境還是改變將來 shell 的環(huán)境。 . 使用 OPIUM 同步帳號(hào) OPIUM（ OSCAR Password Installer and User Management）包提供了一個(gè)同步集群帳戶信息的機(jī)制。這個(gè)標(biāo)準(zhǔn)的用戶管理工具簡(jiǎn)化了集群的管理，管理員可以象往常一樣創(chuàng)建帳戶，但在命令完成之后，這個(gè)帳戶將存在于所有的 OPIUM管理的集群節(jié)點(diǎn)中。它還可以幫用戶配置 ssh 使得用戶無需輸入密碼就可 以登陸系統(tǒng)節(jié)點(diǎn)。在更改用戶設(shè)置的時(shí)候我們要在 cluster 的頭節(jié)點(diǎn)更改，這樣才能夠確保用戶信息傳播到各個(gè)節(jié)點(diǎn)。 國防科技大學(xué)理學(xué)院物理系高性能計(jì)算集群系統(tǒng)方案 湖南生力科技有限公司 13 . 系統(tǒng)結(jié)構(gòu) 圖 R計(jì)算節(jié)點(diǎn)－ 1計(jì)算節(jié)點(diǎn)－ 2計(jì)算節(jié)點(diǎn)－ 3……計(jì)算節(jié)點(diǎn)－ 15存儲(chǔ)節(jié)點(diǎn)HA 連接控制節(jié)點(diǎn) S la v e控制節(jié)點(diǎn) M a s t e rRR工作 PC工作 PC工作 PC物理系 H P C C 結(jié)構(gòu)圖 4. 方案關(guān)鍵點(diǎn) . 系統(tǒng)規(guī)模及性能要求 在建立一個(gè)集群系統(tǒng)的時(shí)候您需要考慮 您的系統(tǒng)大概需要多大的規(guī)模，這主要要從以下幾個(gè)方面進(jìn)行考慮和調(diào)研： 您的以往的并行或者串行程序運(yùn)行在什么樣的系統(tǒng)之上？運(yùn)行情況如何？ 這點(diǎn)主要包含您對(duì)以往工作硬件系統(tǒng)的一個(gè)整體的評(píng)估。如原有的計(jì)算機(jī)系統(tǒng)的具體配置、原有程序是否是并行，原有的串行程序在某種規(guī)模下 的運(yùn)行時(shí)間、原有并行程序在您的系統(tǒng)上某種運(yùn)算規(guī)模的運(yùn)行時(shí)間等等。 您希望您的并行或者串行程序的運(yùn)算能力 ？ 您要考慮到在新的系統(tǒng)上，您的程序所應(yīng)該承受的計(jì)算能力，包括新運(yùn)算題國防科技大學(xué)理學(xué)院物理系高性能計(jì)算集群系統(tǒng)方案 湖南生力科技有限公司 14 目的運(yùn)算規(guī)模，新運(yùn)算題目的運(yùn)算時(shí)間上限等等。 您希望多少個(gè)用戶同時(shí)使用 同時(shí)您也要考慮到在新的系統(tǒng)上您的運(yùn)算程序?qū)⒖赡芡瑫r(shí)被拷貝成很多份由多個(gè)用戶非別運(yùn)行，這同樣將影響到系統(tǒng)的規(guī)模。 . 異構(gòu)硬件環(huán)境 通常情況下， HPCC 系統(tǒng)的構(gòu)建是基于統(tǒng)一的硬件平臺(tái)的，這樣在可靠性、可行性以及系統(tǒng)整體運(yùn)算能力上都能有比較好的保障。 目前科大物理系服務(wù)器硬件 情況比較復(fù)雜， 存在 各種 型號(hào)的服務(wù)器，在進(jìn)行集群部署的過程中勢(shì)必需要更多的調(diào)試和配置。 . 集群網(wǎng)絡(luò)結(jié)構(gòu)選擇 由于 HPC 集群在通信機(jī)制上的特點(diǎn)，導(dǎo)致網(wǎng)絡(luò)互連性能對(duì)集群整體性能存在重大的影響。 在互連方案上，商品化、標(biāo)準(zhǔn)化部件得到了廣泛應(yīng)用，使得千兆以太網(wǎng)和 InfiniBand 成為了主流。在早期階段，當(dāng)單核 CPU 還盛行的時(shí)候，千兆以太網(wǎng)主要用于 I/O 非密集型的應(yīng)用， InfiniBand 則主要用于高性能計(jì)算或 I/O密集型的企業(yè)應(yīng)用。而自 2020 年以來，隨著業(yè)界對(duì)增加性能和降低功耗的需求越來越緊迫，多核芯處理器逐漸取代了 單核 CPU。這也意味著，在集群架構(gòu)中，有更多的 CPU 需要共享相同的網(wǎng)絡(luò) I/O 連接，從而使得對(duì)更強(qiáng)大的標(biāo)準(zhǔn)化連接網(wǎng)絡(luò)的需求也越來越強(qiáng)烈。另外，在今天的計(jì)算方案中，如何最大化提升生產(chǎn)效率，同時(shí)降低功耗，成了關(guān)鍵的問題。在 HPC 領(lǐng)域，絕大多數(shù)是計(jì)算密集型應(yīng)用，能夠充分利用全部的計(jì)算資源，因此在集群服務(wù)器節(jié)點(diǎn)之間，需要吞吐率更高、延遲更低的互連。 總之，使用目前通用的千兆以太網(wǎng)結(jié)構(gòu)能最大限度節(jié)省投資，但是受其交換能力的限制，使用以太網(wǎng)結(jié)構(gòu)的 HPC 集群的計(jì)算能力一般只能達(dá)到理論值的40％～ 50％左右。 InfiniBand 結(jié)構(gòu)能使集群整體性能達(dá)到理論值的 70％～ 80％左右，其缺點(diǎn)是費(fèi)用比較昂貴，需要專用的交換設(shè)備，并且每臺(tái)聯(lián)網(wǎng)的服務(wù)器都要加裝專用網(wǎng)國防科技大學(xué)理學(xué)院物理系高性能計(jì)算集群系統(tǒng)方案 湖南生力科技有限公司 15 卡。 . 存儲(chǔ) 節(jié)點(diǎn)的使用 現(xiàn)有服務(wù)器一般每臺(tái)都配置了 1－ 2塊 146G 左右的硬盤，但是加入集群系統(tǒng)后這些存儲(chǔ)能力都分散在各個(gè)計(jì)算節(jié)點(diǎn)上，主要用于保存 運(yùn)算過程中產(chǎn)生的中間結(jié)果 。這種情況下整個(gè)集群沒有一個(gè)獨(dú)立的存儲(chǔ)系統(tǒng)。 基于這種情況，我們建議在集群系統(tǒng)中添加一個(gè)存儲(chǔ)節(jié)點(diǎn)用來為整個(gè)集群系統(tǒng)提供高速和大容量的存儲(chǔ)能力。 存儲(chǔ)節(jié)點(diǎn)的實(shí)現(xiàn)可以采用多種方式，比如存儲(chǔ)服務(wù)器方式、直連存儲(chǔ)方式甚至 是基于網(wǎng)絡(luò)的 SAN 存儲(chǔ)架構(gòu) ，我們推薦使用直連存儲(chǔ)方式 。 . 管理節(jié)點(diǎn)的 HA 配置 管理節(jié)點(diǎn)是用戶登錄點(diǎn)和整個(gè)系統(tǒng)運(yùn)作的中心，為了確保系統(tǒng)提供高可用能力，建議在管理節(jié)點(diǎn)部署 HA 服務(wù)，在主服務(wù)器癱瘓的情況下，系統(tǒng)可以自動(dòng)切換到備用機(jī)上，實(shí)現(xiàn)業(yè)務(wù)的 高可用能力。
公司管理相關(guān)推薦
鄂ICP備17016276號(hào)-1