【正文】 ............................................................................................ 37 終端用戶(hù)高性能集群使用培訓(xùn) ...................................................................................................... 38 Platform LSF 8 和 Platform Application Center 管理員培訓(xùn) ................................................... 38 5 本方案的優(yōu)勢(shì) ..................................................................................................................................................... 41 附 A PLATFORM 支持集成商用軟件列表 ............................................................................................................... 42 附 B 圖表目錄 ................................................................................................................................................................ 44 航天二院設(shè)計(jì)、仿真和優(yōu)化統(tǒng)一 IT 綜合應(yīng)用服務(wù)平臺(tái) 建設(shè)方案 2020 1 | Page 1 系統(tǒng)需求分析 業(yè)務(wù)需求 航天器數(shù)字化設(shè)計(jì)中的三大關(guān)鍵步驟為： 1) 設(shè)計(jì)： CAD 建模， CAE 有限元網(wǎng)格前后處理； 2) 仿真： CFD（流體類(lèi)仿真）， CAE（結(jié)構(gòu)強(qiáng)度、剛度、穩(wěn)定性、動(dòng)力響應(yīng)、熱傳導(dǎo)、彈塑性等力學(xué)性能類(lèi)仿真），電磁類(lèi)仿真； 3) 優(yōu)化： 流體、結(jié)構(gòu)、電磁等多目標(biāo)、多學(xué)科的迭代優(yōu)化； 將上述三大關(guān)鍵步驟有機(jī)地整合在一起，以服務(wù)器為中心 ， 建設(shè)一個(gè)設(shè)計(jì)、仿真和優(yōu)化統(tǒng)一的 IT 綜合應(yīng)用服務(wù)平臺(tái)；將為設(shè)計(jì)人員提供統(tǒng)一、高效、安全、可靠的大型三維模型設(shè)計(jì)平臺(tái)、高性能仿真計(jì)算平臺(tái)和多學(xué)科優(yōu)化平臺(tái)；從而在實(shí)現(xiàn)軟、硬件資源最大程度的共享的同時(shí)，提供更高的安全性和便利性，最大 程度地提高 IT 投資回報(bào)，提高設(shè)計(jì)人員的工作效率。 2) 航天二院將新引進(jìn)數(shù)十臺(tái)高性能圖形服務(wù)器，以滿(mǎn)足大型 CAD 建模、 CAE前后處理的需求。 航天二院設(shè)計(jì)、仿真和優(yōu)化統(tǒng)一 IT 綜合應(yīng)用服務(wù)平臺(tái) 建設(shè)方案 2020 2 | Page 3) 新引進(jìn)的 GPU 計(jì)算服務(wù)器。 資源 服務(wù) 平臺(tái) 門(mén)戶(hù) 建設(shè) 高性能計(jì)算資源管理與作業(yè)調(diào)度系統(tǒng) 門(mén)戶(hù)，由此用戶(hù)可以在任何網(wǎng)絡(luò)可達(dá)的地方，快捷地訪問(wèn)計(jì)算資源，方便地提交和監(jiān)控計(jì)算密集型作業(yè)，并回收作業(yè)結(jié)果。 用戶(hù)管理包括對(duì) 用戶(hù) 的創(chuàng)建、刪除、修改、查看等功能。其中計(jì)算資源管理能夠?qū)崿F(xiàn)物理計(jì)算資源和虛擬計(jì)算資源的管理 ； 軟件資源管理完成軟件資源的查找、瀏覽、使用的功能； 存儲(chǔ) 資源管理 包括對(duì)平臺(tái)后臺(tái)存儲(chǔ)狀態(tài)的監(jiān)控，分配等功能；軟件許可證 資源管理實(shí)現(xiàn) 軟件許 可證 資源的添加、分配、瀏覽和更新。 3) 作業(yè)在運(yùn)行前，確保該作業(yè)所需的 License/Feature 在許可證服務(wù)器上當(dāng)前空閑可用，才會(huì)將此作業(yè)投入運(yùn)行狀態(tài)； 4) 作業(yè)被搶占時(shí)，多數(shù)商用軟件均可實(shí)現(xiàn)許可證及時(shí)釋放，如不能， 需 尋找可能的解決方式 來(lái) 解決此問(wèn)題； 5) 如果 HPC 計(jì)算軟件許可證和桌面軟件不是通用的，不存在搶占、相互競(jìng)爭(zhēng)的關(guān)系，則可實(shí)現(xiàn)許可證在 HPC 作業(yè)之間穩(wěn)健的搶占，以及基于份額的分配； 6) 如果 HPC 計(jì)算軟件的許可證和桌面軟件通用，則可考慮進(jìn)行實(shí)現(xiàn)靜態(tài)劃分，從而實(shí)現(xiàn)穩(wěn)健的搶占； 7) 可管理 /調(diào)度 Flex、 LUM、 LM 及專(zhuān)用的一些許可證授權(quán)服務(wù)器管理的License 8) 基于 Flex/LM，可幫助用戶(hù)實(shí)現(xiàn) License 訪問(wèn)控制、在個(gè)人 /組之間的分 1 此項(xiàng)要求較為細(xì)節(jié)。 2) 完善的用戶(hù)管理：支持 Linux unix Windows 多種系統(tǒng)用戶(hù)管理；支持 nis系統(tǒng)；能夠 在 portal 頁(yè)面完成用戶(hù)注冊(cè)，刪除，用戶(hù)分組，權(quán)限分配等功能；能夠自定義用戶(hù)和用戶(hù)組的資源配置。 4) 應(yīng)用軟件集成：在 PAC portal 上集成用戶(hù)使用的所有應(yīng)用程序。支持“三員分離”的系統(tǒng)分級(jí)保護(hù)，區(qū)分系統(tǒng)管理員，安全管理員，安全審計(jì)管理員三種類(lèi)型的管理員，并且三種管理員可以通過(guò)登錄統(tǒng)一的門(mén)戶(hù)，實(shí)現(xiàn)不同性質(zhì)的系統(tǒng)管理功能。 三維交互： CAD 設(shè)計(jì)， CAE 前后處理，直接通過(guò)瀏覽器啟動(dòng)和管理。 2) 以服務(wù)器為中心，將航天二院所有的設(shè)計(jì)、仿真和優(yōu)化應(yīng)用集中到服務(wù)器端。 為航天二院 IT 綜合應(yīng)用服務(wù)平臺(tái)的管理建設(shè)一個(gè)良好的、可擴(kuò)展的體系架構(gòu)。 3) 應(yīng)用服務(wù)平臺(tái)對(duì)外將向用戶(hù)提供瀏覽器訪問(wèn)方式，即用戶(hù)可以通過(guò)瀏覽器，訪問(wèn)應(yīng)用服務(wù)平臺(tái)，運(yùn)行相應(yīng)的應(yīng)用程序，操作相關(guān)數(shù)據(jù)。 5) 應(yīng)用服務(wù)平臺(tái)需要配置六臺(tái)服務(wù)器用于平臺(tái)的管理和維護(hù)，它們分別是： 主調(diào)度服務(wù)器，用于計(jì)算服務(wù)器的統(tǒng)一管理和調(diào)度；并提供許可證調(diào)度管理功能和報(bào)表數(shù)據(jù)收集相關(guān)服務(wù)。 Vertica 數(shù)據(jù)庫(kù)服務(wù)器，用于存儲(chǔ)集群系統(tǒng)運(yùn)行和使用數(shù)據(jù)。 7) 對(duì)于存儲(chǔ)系統(tǒng)，建議使用 SAN 架構(gòu)，并配合并行文件系統(tǒng)（或集群文件系統(tǒng)）實(shí)現(xiàn)多臺(tái)機(jī)器同時(shí) 訪問(wèn)同一存儲(chǔ)區(qū)域。 圖 2 調(diào)度系統(tǒng)的架構(gòu) 交互式應(yīng)用程序集成軟件系統(tǒng)架構(gòu) DCV(Desktop Cloud Visualization)使用戶(hù)在瘦客戶(hù)端上就可以享用遠(yuǎn)程的高端圖形工作站 3。 5 因整合工程網(wǎng)站的功能還沒(méi)有細(xì)化，因此此圖不包括整合部分的功能。 統(tǒng)計(jì)報(bào)表和計(jì)費(fèi) 投資回報(bào)分析的核心是將資源的使用過(guò)程從黑箱轉(zhuǎn)變?yōu)榘紫洌瑥亩官Y源的使用情況和人員的工作情況向企業(yè)管理層透明，管理層可以通過(guò)分析結(jié)果找出投資中的不足，為下一步投資提供參考。統(tǒng)計(jì)用戶(hù)和公司 CPU 時(shí)間和許可證時(shí)間，為外部計(jì)費(fèi)和內(nèi)部核算提供有力保證。 報(bào)表系統(tǒng)需 包含統(tǒng)計(jì)分析和 計(jì)費(fèi) 功能， 報(bào)表系統(tǒng)需詳細(xì)記錄高性能計(jì)算系統(tǒng)資源的 使用情況，分析關(guān)鍵指 標(biāo)，如最大用戶(hù) 、 平均吞吐量 、 平均等待時(shí)間 、 最大等待時(shí)間 、 實(shí)時(shí)許可證使用情況等等，從而可優(yōu)化調(diào)度策略，并為軟件采購(gòu)、硬件規(guī)劃提供科學(xué)的可靠的數(shù)據(jù)支持。其中各單位安全管理員負(fù)責(zé)審核和管理各單位用戶(hù)賬戶(hù)（如：開(kāi)戶(hù)、銷(xiāo)戶(hù)、變 更等），并將經(jīng)過(guò)確認(rèn)的用戶(hù)管理信息傳遞給系統(tǒng)管理員；系統(tǒng)管理員只能根據(jù)安全管理員指定的管理信息，進(jìn)行實(shí)際的用戶(hù)管理（如：創(chuàng)建賬戶(hù)、刪除賬戶(hù)、修改賬戶(hù)等）；而安全審計(jì)管理員則負(fù)責(zé)對(duì)整個(gè)用戶(hù)管理流程的審計(jì)，對(duì)及時(shí)發(fā)現(xiàn)非法操作（如：系統(tǒng)管理員直接創(chuàng)建用戶(hù)賬戶(hù)等）。 集群硬件以及許可證資源管理 集群硬件和許可證資源的管理通過(guò)調(diào)度策略來(lái)實(shí)現(xiàn)。 許可證資源與硬件資源的兩層調(diào)度 許可證資源是昂貴的，為了充分的利用許可證資源，防止關(guān)鍵資源的獨(dú)占，在應(yīng)用被派發(fā)之前，需要經(jīng)過(guò)許可證資源與硬件資源的兩層調(diào)度。避免了無(wú)效占用。系統(tǒng)管理員可以配置對(duì)于每種許可證每個(gè)項(xiàng)目的使用份額。 航天二院設(shè)計(jì)、仿真和優(yōu)化統(tǒng)一 IT 綜合應(yīng)用服務(wù)平臺(tái)建設(shè)方案 2020 17 | Page 對(duì)于按部門(mén)來(lái)劃分用戶(hù)的情況， 可以 將部門(mén)映射為項(xiàng)目來(lái)解決。 許可證搶占是保證許可 證所有權(quán)的一種手段， License Scheduler 通過(guò)許可證搶占功能，將正在運(yùn)行的應(yīng)用程序掛起，然后收回其正在使用的許可證，供具有所有權(quán)的項(xiàng)目使用。 支持許可證搶占的部分軟件列表： Vendor Product Product Version Support Avanti Hspice + LP Cadence NCVHDL + LP Cadence NCVerilog + LP Cadence NCSim + LP Denali Software MMAV LP Mentor Graphics ModelSim/ModelTech + CR Mentor Graphics Calibre/Xcalibre LP Nassda HSIM + LP 航天二院設(shè)計(jì)、仿真和優(yōu)化統(tǒng)一 IT 綜合應(yīng)用服務(wù)平臺(tái)建設(shè)方案 2020 18 | Page Synopsys VCS Verilog 2020+ LP Verisity Specman + LP LP = License Preemption. Preempted jobs release license on suspension 表 1 支持許可證搶占的部分軟件列表 基礎(chǔ)調(diào)度策略 Platform LSF 提供通用的基礎(chǔ)調(diào)度策略： 1) 搶占式調(diào)度功能 ：系統(tǒng) 可自定義搶占性調(diào)度時(shí)，所有作業(yè)的搶占調(diào)度等級(jí)，指示系統(tǒng)按照此等級(jí)來(lái)決定作業(yè)所在的等級(jí)，從而進(jìn)行搶占性調(diào)度這樣，在實(shí)際管理中高優(yōu)先級(jí)的項(xiàng)目或用戶(hù)總能迅速地獲得所需要的計(jì)算資源。 4) 先進(jìn)先出：作業(yè)按照被提交的先后順序進(jìn)行排隊(duì)派發(fā)和執(zhí)行。 集群在保持完整性的同時(shí)，航天二院設(shè)計(jì)、仿真和優(yōu)化統(tǒng)一 IT 綜合應(yīng)用服務(wù)平臺(tái)建設(shè)方案 2020 19 | Page 可以按功能劃分為獨(dú)立的工作區(qū)，用戶(hù)可以彼此獨(dú)立地在各個(gè)工作區(qū)運(yùn)行作業(yè)。 基于 網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)的智能 調(diào)度 本方案的硬件架構(gòu)是由 多個(gè)機(jī)架式刀片服務(wù)器組成。 本方案 提供對(duì)并行作業(yè)的智能優(yōu)化放置， 可按照需要對(duì)節(jié)點(diǎn)進(jìn)行全所未有的靈活分組 為許多計(jì)算單元 ，并自動(dòng)根據(jù)節(jié)點(diǎn)當(dāng)前使用狀況和應(yīng)用軟件運(yùn)行性能最優(yōu)化原則，智能地優(yōu)化放置作業(yè)，從而大幅度提高作業(yè)的放置效率和終端用戶(hù)的資源請(qǐng)求靈活性。 Preference：用戶(hù) 可以指定將并行程序部署在空余資源最多或者最少的計(jì)算單元內(nèi)，防止計(jì)算單元不規(guī)則使用帶來(lái)的資源浪費(fèi)。 GPU 被作為 LSF 的自定制資源來(lái)管理，用戶(hù)可以用過(guò) 系統(tǒng)觀察 GPU 資源的使用 狀 態(tài)。 用戶(hù)通過(guò) PAC Web Portal 提交和管理作業(yè)，訪問(wèn)入口示意圖如下： 航天二院設(shè)計(jì)、仿真和優(yōu)化統(tǒng)一 IT 綜合應(yīng)用服務(wù)平臺(tái)建設(shè)方案 2020 21 | Page 圖 7 NASTRAN 作業(yè)提交頁(yè)面 航天二院設(shè)計(jì)、仿真和優(yōu)化統(tǒng)一 IT 綜合應(yīng)用服務(wù)平臺(tái)建設(shè)方案 2020 22 | Page 圖 8 ANSYS 作業(yè)提交頁(yè)面 在整個(gè)計(jì)算過(guò)程中，用戶(hù)可對(duì)作業(yè)進(jìn)行控制，執(zhí)行如掛起、終止等操作，通過(guò)簡(jiǎn)單命令或操作查看作業(yè)執(zhí)行的中間結(jié)果。 3) 許可證請(qǐng)求被滿(mǎn)足后，主調(diào)度服務(wù)器繼續(xù)向圖形服務(wù)器查詢(xún)是否有足夠資源來(lái)運(yùn)行應(yīng)用程序，如果當(dāng)前資源滿(mǎn)足需求，則把合適的圖形服務(wù)器分配給該任務(wù)。 Fluent 基于瀏覽器的圖形交互，數(shù)據(jù)在服務(wù)器上，實(shí)際程序也運(yùn)行在服務(wù)器上，但通過(guò) Web 可以訪問(wèn)數(shù)據(jù)，并可進(jìn)行二維圖形交互，查看圖形輸出。 可支持 Citrix、 Vmware 等應(yīng)用虛擬化軟件，實(shí)現(xiàn)用戶(hù)管理與登錄方式的集成工作。 虛擬桌面應(yīng)用發(fā)布 即 用戶(hù)可以將虛擬桌面中的應(yīng)用程序發(fā)布到本地中，只需在本地中點(diǎn)擊應(yīng)用程序即可打開(kāi)應(yīng)用程序的窗口，如同在本地中安裝了此應(yīng)用程序一般，但又不耗占本地的 CPU 等資源，程序?qū)嶋H還是運(yùn)行在遠(yuǎn)程服務(wù)器中。能夠根據(jù)用戶(hù)提出的協(xié)同設(shè)計(jì)與仿真任務(wù)，動(dòng)態(tài)查找與構(gòu)建系統(tǒng)模型與運(yùn)行環(huán)境，并采用流程管理技術(shù)實(shí)現(xiàn)協(xié)同設(shè)計(jì)過(guò)程，采用時(shí)間管理技術(shù)實(shí)現(xiàn)協(xié)同仿真過(guò)程，以支持集團(tuán)公司各院 /基地復(fù)雜型號(hào)研制中協(xié)同設(shè)計(jì)與仿真的任務(wù)需求。其主要功能如下： 許可證 監(jiān)控、報(bào)表分析 可以對(duì)許可證從如下（并不限于）幾方面進(jìn)行報(bào)表 原始許可證使用報(bào)告 每日平均許可證使用報(bào)告 每日峰值報(bào)告 月度許可證使用報(bào)告 許可證使用月份比較分析 基于用戶(hù)、組、成本中心的報(bào)告 許可證拒絕報(bào)告 實(shí)時(shí)監(jiān)控 實(shí)時(shí)使用報(bào)告 支持多種 License 類(lèi)型， 包括 : 支持冗余 License 支持同一軟件、多個(gè)許可證服務(wù)器，使用數(shù)據(jù)的疊加 航天二院設(shè)計(jì)、仿真和優(yōu)化統(tǒng)一 IT 綜合應(yīng)用服務(wù)平臺(tái)建設(shè)方案 2020 29 | Page 支持基于 FlexNET/FlexLM 或 LUM（未來(lái)支持 LMX）的一切 CAX 軟件 支持許可證數(shù)量隨時(shí)間調(diào)整 用戶(hù)可以： 掌握軟件許可證的歷史和實(shí)時(shí)使用情況 ； 根據(jù)使用情況來(lái)基于項(xiàng)目或部門(mén)或?qū)I(yè)，進(jìn)行費(fèi)用分?jǐn)?； 根據(jù)歷史使用情況調(diào)整軟件許可證數(shù)量，以滿(mǎn)足高峰需求并降低拒絕次數(shù) ； 根據(jù)實(shí) 時(shí)使用狀況，采取措施，降低許可證費(fèi)用 ； 尖峰 ? 采購(gòu)較少許可證，但對(duì)業(yè)務(wù)影響甚少