【正文】 t EL3 U2 X8664 ES管理節(jié)點(diǎn)通過 CMU 管理計(jì)算節(jié)點(diǎn)，并通過 OpenPBS 進(jìn)行作業(yè)的調(diào)度管理。 ***高性能計(jì)算系統(tǒng)方案建議書27 節(jié)點(diǎn)互連、管理和用戶網(wǎng)絡(luò)XXXXXX Cluster 高性能集群系統(tǒng)的計(jì)算節(jié)點(diǎn)通過高速的 Infiniband 互連技術(shù)實(shí)現(xiàn)互聯(lián)，高速的 Infiniband 互連網(wǎng)絡(luò)主要用于計(jì)算節(jié)點(diǎn)之間進(jìn)行 MPI 通訊，交換節(jié)點(diǎn)應(yīng)用進(jìn)程信息和計(jì)算數(shù)據(jù)。Infiniband 互連采用 64 端口的Infiniband 交換機(jī)。整個(gè)高性能集群的每個(gè)節(jié)點(diǎn)連接分別連接到兩個(gè)網(wǎng)絡(luò)，管理網(wǎng)絡(luò)和用戶網(wǎng)絡(luò)。管理網(wǎng)絡(luò)主要用于節(jié)點(diǎn)管理信息的傳輸，用戶網(wǎng)絡(luò)又稱存儲網(wǎng)絡(luò)，主要用于各節(jié)點(diǎn)與 I/O 節(jié)點(diǎn)之間的數(shù)據(jù)傳輸，包括應(yīng)用程序和數(shù)據(jù)的裝載、計(jì)算結(jié)果的保存等等。管理網(wǎng)絡(luò)和用戶網(wǎng)絡(luò)均采用 XXXXXX ProCurve 以太網(wǎng)絡(luò)產(chǎn)品搭建。管理網(wǎng)絡(luò)采用 2 臺 10/100 Mb/s XXXXXX ProCurve 2650 以太網(wǎng)交換機(jī)，用戶網(wǎng)絡(luò)（存儲網(wǎng)絡(luò)）采用 2 臺 1Gb/s XXXXXX ProCurve 2800 系列以太網(wǎng)交換機(jī)。網(wǎng)絡(luò)交換機(jī)配置如下：互連交換機(jī)（Infiniband）64 端口 Infiniband 交換機(jī)，以太網(wǎng)交換機(jī)（用戶網(wǎng)絡(luò)）1*XXXXXX ProCurve Switch 2824 20*10/100/1000BaseT 4*10/100/1000BaseT 或 miniGBIC（雙功能定制端口）1* XXXXXX ProCurve Switch 2848 44*10/100/1000BaseT 4*10/100/1000BaseT 或 miniGBIC（雙功能定制端口） ***高性能計(jì)算系統(tǒng)方案建議書28以太網(wǎng)交換機(jī)（管理網(wǎng)絡(luò)）2*XXXXXX ProCurve Switch 2650 48*10/100BaseT 2*10/100/1000BaseT所有 Cluster 集群計(jì)算節(jié)點(diǎn)、I/O 節(jié)點(diǎn)和管理節(jié)點(diǎn)及上述互連交換機(jī)和以太網(wǎng)交換機(jī)均被分別安裝在 3 個(gè) 2 米高 E42 的機(jī)柜中（含 PDU） ，安裝位置進(jìn)行適當(dāng)調(diào)整，以優(yōu)化機(jī)柜配線。 Cluster 計(jì)算集群節(jié)點(diǎn)管理為了有效的管理 XXXXXX Cluster 計(jì)算集群系統(tǒng)，管理節(jié)點(diǎn)配置了管理能力很強(qiáng)的管理軟件 CMU(Cluster Management Utility)。CMU 是一個(gè)非常出色的Beowulf 集群系統(tǒng)環(huán)境下的管理軟件，它負(fù)責(zé)系統(tǒng)的診斷、軟件安裝、性能監(jiān)控、系統(tǒng)的克隆(Cloning)和事件的分析與管理。通過使用 CMU 友好的用戶界面，集群管理將變得更加高效。CMU 也將通過減少相關(guān)的管理任務(wù)，使 XXXXXX Cluster 計(jì)算集群成為一個(gè)經(jīng)濟(jì)高效的解決方案。CMU 使用了 RILOE 板或集成 iLO 的特性，使得所有計(jì)算節(jié)點(diǎn)的遠(yuǎn)程文本控制臺在服務(wù)器的所有狀態(tài)下（設(shè)置、啟動、OS 或暫停）均可使用。并借助獨(dú)立于 CMU 的 WEB 瀏覽器，遠(yuǎn)程訪問任何活動節(jié)點(diǎn)的圖形控制臺。通過 CMU 管理程序，Cluster 集群系統(tǒng)管理員可以遠(yuǎn)程控制服務(wù)器電源，而無論服務(wù)器處于何種狀態(tài)（即使服務(wù)器關(guān)機(jī)） 。另外，通過 CMU 還可進(jìn)行遠(yuǎn)程BIOS 設(shè)置。CMU 還具有將一個(gè)系統(tǒng)配置向集群中的所有計(jì)算節(jié)點(diǎn)傳播的功能。CMU 可以通過網(wǎng)絡(luò)將一個(gè)映像服務(wù)器的磁盤分區(qū)內(nèi)容克隆到計(jì)算節(jié)點(diǎn)本地磁盤中。這可用于計(jì)算節(jié)點(diǎn)的首次安裝，以及向核心或當(dāng)前系統(tǒng)配置傳播更新內(nèi)容等。在目 ***高性能計(jì)算系統(tǒng)方案建議書29標(biāo)分區(qū)與初始映像不同的情況下，CMU 則會重點(diǎn)考慮目標(biāo)磁盤分區(qū)。CMU 在克隆階段對目標(biāo)磁盤進(jìn)行分區(qū)，避免了在初次安裝期間對各個(gè)計(jì)算節(jié)點(diǎn)進(jìn)行分區(qū)。集群管理實(shí)用程序(CMU)可以有效地管理大量計(jì)算節(jié)點(diǎn)。CMU 帶有圖形用戶界面（GUI） ，可以根據(jù)需要和集群中任意數(shù)量的節(jié)點(diǎn)進(jìn)行定制。借助 CMU，只需在單一顯示屏上單擊鼠標(biāo)即可訪問所有的計(jì)算節(jié)點(diǎn)控制臺。CMU 主窗口可通過訪問配置顯示界面來設(shè)置控制臺服務(wù)器硬件。 通過 CMU，可以監(jiān)控、暫停、啟動、重啟或關(guān)閉選定的任何節(jié)點(diǎn)。還可以連接到集群中的多個(gè)節(jié)點(diǎn)，并通過一次鍵盤輸入以廣播的方式向其發(fā)出命令。CMU 也可以管理來自集群的事件，如節(jié)點(diǎn)的增加或減少等。 Cluster 計(jì)算集群作業(yè)管理高性能計(jì)算用戶通過登錄管理節(jié)點(diǎn)進(jìn)行作業(yè)的提交，作業(yè)提交后，由管理節(jié)點(diǎn)上的 OpenPBS 作業(yè)管理軟件進(jìn)行管理和分發(fā)。OpenPBS 為生產(chǎn)環(huán)境設(shè)計(jì)的，它可提供了圖形和命令行兩種用戶界面來提交批處理、交互式作業(yè)，并提供查詢作業(yè)、隊(duì)列、系統(tǒng)的狀態(tài)和跟蹤作業(yè)的處理。在作業(yè)運(yùn)行之前，用戶可將需要的文件拷貝到執(zhí)行節(jié)點(diǎn)上，和將這些指定的文件在作業(yè)執(zhí)行完之后，拷貝出來。只有在所有的文件成功傳輸之后，作業(yè)將會被列入調(diào)度表。提交任務(wù)的用戶可以指定作業(yè)的優(yōu)先級，可以向隊(duì)列和系統(tǒng)層提供默認(rèn)值。OpenPBS 支持單隊(duì)列或多隊(duì)列方式。并選擇標(biāo)準(zhǔn)的 firstin, first out 調(diào)度，或者改進(jìn)的調(diào)度算法。OpenPBS 可以使用戶定義廣泛的批處理作業(yè)的內(nèi)部相關(guān)性。這些相關(guān)性包括：執(zhí)行順序、同步執(zhí)行和根據(jù)指定作業(yè)的成功或失敗結(jié)果條件執(zhí)行。 ***高性能計(jì)算系統(tǒng)方案建議書30 XXXXXX Cluster 計(jì)算集群的特點(diǎn)和優(yōu)勢XXXXXX Cluster 計(jì)算集群具有以下特點(diǎn)和優(yōu)勢：1) 具有很高的性能價(jià)格比。采用先進(jìn)的 Beowulf 架構(gòu)，擴(kuò)展性好即可擴(kuò)充到幾百上千個(gè)節(jié)點(diǎn)，從而獲得很高的性能和比較低的總體成本。2) 方案采用 XXXXXX 公司的高性能、高可靠性的產(chǎn)品。高節(jié)點(diǎn)內(nèi)存帶寬，高性能的 XXXXXX ProCurve 網(wǎng)絡(luò)交換產(chǎn)品， XXXXXX CMU 集群管理軟件。3) 方案采用工業(yè)標(biāo)準(zhǔn)設(shè)備和順應(yīng)高新技術(shù)發(fā)展的趨勢。如 AMD CPU，Linux 技術(shù)，集群并行計(jì)算技術(shù)，開放代碼程序。4) 由 XXXXXX 亞太地區(qū)高性能計(jì)算顧問提供技術(shù)支持，由 XXXXXX 集群技術(shù)部門進(jìn)行配置清單設(shè)計(jì)和由 XXXXXX 亞太地區(qū)工廠進(jìn)行集成和測試，并提供并行測試報(bào)告。5) 由 XXXXXX 公司提供專業(yè)服務(wù)支持。 高性能計(jì)算外接存儲需求分析本次方案沒有涉及存儲區(qū)域網(wǎng)絡(luò)的設(shè)計(jì)，本方案中給 SMP 計(jì)算服務(wù)器和Cluster I/O 節(jié)點(diǎn)配置的多個(gè) 146GB 硬盤僅考慮臨時(shí)的應(yīng)用需要，但高性能計(jì)算對存儲空間的巨大需求是顯而易見的。在這里，我們根據(jù)現(xiàn)場測試的結(jié)果，簡單分析存儲的容量要求，供三院三部在規(guī)劃存儲區(qū)域網(wǎng)（SAN）設(shè)計(jì)時(shí)參考。經(jīng)多對實(shí)際測試情況的分析及與三部實(shí)際用戶的交流發(fā)現(xiàn)，ANSYS 結(jié)構(gòu)類應(yīng)用每 20 萬單元大約需要差不多 2GB 存儲空間，即每 10 萬單元需 1GB。假設(shè)以三個(gè)月作為用戶的活躍生產(chǎn)數(shù)據(jù)遷移到近線存儲空間（作為非頻繁訪問數(shù)據(jù)）的周期，以一年作為非頻繁訪問數(shù)據(jù)遷移到離線備份設(shè)備（作為離線備份數(shù)據(jù)）的周期，因此用戶的 SAN 總存儲空間需求為高性能磁盤空間加上近線磁盤空間： ***高性能計(jì)算系統(tǒng)方案建議書31高性能磁盤空間 = 生產(chǎn)數(shù)據(jù)空間+20%冗余+預(yù)留 30%近線存儲磁盤空間 = 4x 生產(chǎn)數(shù)據(jù)空間+20%冗余+預(yù)留 15%而生產(chǎn)數(shù)據(jù)空間與計(jì)算任務(wù)量相關(guān)。以 ANSYS 為例，按 SMP 計(jì)算服務(wù)器配置中分析，用戶有 10 人，假設(shè)每月每人要計(jì)算 2 個(gè) 600 萬單元的系統(tǒng)級任務(wù)，5 個(gè) 200 萬單元的部件級任務(wù)。每個(gè)系統(tǒng)級任務(wù)和部件級任務(wù)均產(chǎn)生 3 份計(jì)算結(jié)果（不同的參數(shù)和條件，但不包含中間結(jié)果數(shù)據(jù)） 。因此，所需空間的計(jì)算如下：生產(chǎn)數(shù)據(jù)空間=10 人 x(1x600 萬單元+5x200 萬單元)/10 萬單元 x1GBx3 =考慮預(yù)留空間 30%和 20%的 RAID 冗余，可計(jì)算出所需的高性能磁盤空間約為 。近線存儲磁盤空間約為 。即總的存儲磁盤裸容量應(yīng)為 33TB。上述計(jì)算只針對 ANSYS 應(yīng)用，對于Marc、Nastran、Fastran、Fluent、LSDyna 等其他應(yīng)用，也應(yīng)一一分析其對存儲資源的需求情況，并根據(jù)預(yù)測的用戶數(shù)、任務(wù)量以及數(shù)據(jù)管理遷移策略等具體情況分別進(jìn)行計(jì)算。另外，進(jìn)行實(shí)際的估算時(shí)應(yīng)根據(jù)用戶實(shí)際的工作模式、任務(wù)量預(yù)測、考慮 ***高性能計(jì)算系統(tǒng)方案建議書32的數(shù)據(jù)遷移策略等作相應(yīng)調(diào)整和計(jì)算。 XXXXXX 方案的優(yōu)勢XXXXXX 所提供的上述方案是經(jīng)過深思熟慮的，從架構(gòu)設(shè)計(jì)、選型配置等方面均經(jīng)過專業(yè)的分析并以用戶現(xiàn)場測試結(jié)果為基礎(chǔ)，可行、適當(dāng)、低風(fēng)險(xiǎn)和高性價(jià)比，是三院三部最好的選擇。在以下方面，XXXXXX 具有明顯的優(yōu)勢：1）XXXXXX 提供的方案是真正可行、低風(fēng)險(xiǎn)的XXXXXX 方案提供的計(jì)算環(huán)境系統(tǒng)架構(gòu)與已被證明架構(gòu)可行、對各種應(yīng)用具有良好的適用性、高性能、易管理的現(xiàn)場測試系統(tǒng)方案相一致，不但可以保證用戶可獲得所期望的性能，還避免了由于采用未經(jīng)測試系統(tǒng)架構(gòu)所帶來的風(fēng)險(xiǎn)。XXXXXX 方案采用多種標(biāo)準(zhǔn)的工業(yè)架構(gòu)（Intel 安騰 2 MP 芯片、RedHat 標(biāo)準(zhǔn)版 Linux）及多種高性能計(jì)算應(yīng)用軟件（ANSYS、Nastran 等） 。在用戶現(xiàn)場測試中，分別在該架構(gòu)上測試了用戶樣題和標(biāo)準(zhǔn)題，不但證明了結(jié)果準(zhǔn)確無誤，計(jì)算性能也非常理想，而且測試過程中從未發(fā)生操作系統(tǒng)與應(yīng)用不能匹配而臨時(shí)對操作系統(tǒng)打補(bǔ)丁的問題，或測試題目的運(yùn)算異常的現(xiàn)象。證明了 XXXXXX 方案的架構(gòu)是穩(wěn)定的、對應(yīng)用的支持可靠的。2）XXXXXX 提供的方案具有非常高的性能價(jià)格比本次方案中，整個(gè)計(jì)算環(huán)境配置的計(jì)算 CPU 數(shù)共達(dá) 144 個(gè)（SMP 計(jì)算服務(wù)器共 16 個(gè) CPU，Cluster 計(jì)算節(jié)點(diǎn)共 128 個(gè) CPU） ，內(nèi)存總數(shù)共達(dá) 640GB?？芍С殖^ 3000 萬單元的任務(wù)運(yùn)算，計(jì)算性能非凡。能夠同時(shí)滿足十一五期間流體和結(jié)構(gòu)計(jì)算的最大要求。由于采用了 SMP 和 Cluster 混合的高性能計(jì)算體系架構(gòu)，能充分利用高價(jià)格高性能 SMP 和高性能低成本 Cluster 的優(yōu)勢，使得整體構(gòu)建成本仍較低，而使用戶獲得了非常高性能價(jià)格比的高性能計(jì)算環(huán)境。 ***高性能計(jì)算系統(tǒng)方案建議書333）XXXXXX 提供的方案所采用的架構(gòu)是合理、高性能和高可擴(kuò)展的XXXXXX 方案中采用與用戶現(xiàn)場測試時(shí)一致的 SMP+Cluster 架構(gòu)，針對了不同類型應(yīng)用對不同架構(gòu)計(jì)算平臺具有不同的適應(yīng)性的特點(diǎn)，為各類應(yīng)用任務(wù)的計(jì)算都提供了最優(yōu)的支持和性能表現(xiàn)，同時(shí)也給用戶提供更加靈活的選擇。測試結(jié)果已經(jīng)驗(yàn)證了該架構(gòu)是合理的、高性能的。4）XXXXXX 方案給用戶提供了低成本、易管理的高性能計(jì)算環(huán)境SMP 單機(jī)運(yùn)行結(jié)構(gòu)題目，Cluster 運(yùn)行流體題目，是系統(tǒng)管理簡單而且性能高。另外，用戶可以通過 XXXXXX WLM 和 CMU、 OpenPBS 等管理工具和簡易管理界面即可進(jìn)行計(jì)算節(jié)點(diǎn)的管理及計(jì)算任務(wù)的更為精細(xì)的調(diào)度和資源分配， 大大簡化了任務(wù)管理的復(fù)雜性及降低了管理成本。