【正文】 ............................................................................................ 37 終端用戶高性能集群使用培訓(xùn) ...................................................................................................... 38 Platform LSF 8 和 Platform Application Center 管理員培訓(xùn) ................................................... 38 5 本方案的優(yōu)勢 ..................................................................................................................................................... 41 附 A PLATFORM 支持集成商用軟件列表 ............................................................................................................... 42 附 B 圖表目錄 ................................................................................................................................................................ 44 航天二院設(shè)計(jì)、仿真和優(yōu)化統(tǒng)一 IT 綜合應(yīng)用服務(wù)平臺 建設(shè)方案 2020 1 | Page 1 系統(tǒng)需求分析 業(yè)務(wù)需求 航天器數(shù)字化設(shè)計(jì)中的三大關(guān)鍵步驟為： 1) 設(shè)計(jì)： CAD 建模， CAE 有限元網(wǎng)格前后處理； 2) 仿真： CFD（流體類仿真）， CAE（結(jié)構(gòu)強(qiáng)度、剛度、穩(wěn)定性、動力響應(yīng)、熱傳導(dǎo)、彈塑性等力學(xué)性能類仿真），電磁類仿真； 3) 優(yōu)化： 流體、結(jié)構(gòu)、電磁等多目標(biāo)、多學(xué)科的迭代優(yōu)化； 將上述三大關(guān)鍵步驟有機(jī)地整合在一起，以服務(wù)器為中心 ， 建設(shè)一個設(shè)計(jì)、仿真和優(yōu)化統(tǒng)一的 IT 綜合應(yīng)用服務(wù)平臺；將為設(shè)計(jì)人員提供統(tǒng)一、高效、安全、可靠的大型三維模型設(shè)計(jì)平臺、高性能仿真計(jì)算平臺和多學(xué)科優(yōu)化平臺；從而在實(shí)現(xiàn)軟、硬件資源最大程度的共享的同時，提供更高的安全性和便利性，最大 程度地提高 IT 投資回報，提高設(shè)計(jì)人員的工作效率。 2) 航天二院將新引進(jìn)數(shù)十臺高性能圖形服務(wù)器，以滿足大型 CAD 建模、 CAE前后處理的需求。 航天二院設(shè)計(jì)、仿真和優(yōu)化統(tǒng)一 IT 綜合應(yīng)用服務(wù)平臺 建設(shè)方案 2020 2 | Page 3) 新引進(jìn)的 GPU 計(jì)算服務(wù)器。 資源 服務(wù) 平臺 門戶 建設(shè) 高性能計(jì)算資源管理與作業(yè)調(diào)度系統(tǒng) 門戶，由此用戶可以在任何網(wǎng)絡(luò)可達(dá)的地方，快捷地訪問計(jì)算資源，方便地提交和監(jiān)控計(jì)算密集型作業(yè)，并回收作業(yè)結(jié)果。 用戶管理包括對 用戶 的創(chuàng)建、刪除、修改、查看等功能。其中計(jì)算資源管理能夠?qū)崿F(xiàn)物理計(jì)算資源和虛擬計(jì)算資源的管理 ； 軟件資源管理完成軟件資源的查找、瀏覽、使用的功能； 存儲 資源管理 包括對平臺后臺存儲狀態(tài)的監(jiān)控，分配等功能；軟件許可證 資源管理實(shí)現(xiàn) 軟件許 可證 資源的添加、分配、瀏覽和更新。 3) 作業(yè)在運(yùn)行前，確保該作業(yè)所需的 License/Feature 在許可證服務(wù)器上當(dāng)前空閑可用，才會將此作業(yè)投入運(yùn)行狀態(tài)； 4) 作業(yè)被搶占時，多數(shù)商用軟件均可實(shí)現(xiàn)許可證及時釋放，如不能， 需 尋找可能的解決方式 來 解決此問題； 5) 如果 HPC 計(jì)算軟件許可證和桌面軟件不是通用的，不存在搶占、相互競爭的關(guān)系，則可實(shí)現(xiàn)許可證在 HPC 作業(yè)之間穩(wěn)健的搶占，以及基于份額的分配； 6) 如果 HPC 計(jì)算軟件的許可證和桌面軟件通用，則可考慮進(jìn)行實(shí)現(xiàn)靜態(tài)劃分，從而實(shí)現(xiàn)穩(wěn)健的搶占； 7) 可管理 /調(diào)度 Flex、 LUM、 LM 及專用的一些許可證授權(quán)服務(wù)器管理的License 8) 基于 Flex/LM，可幫助用戶實(shí)現(xiàn) License 訪問控制、在個人 /組之間的分 1 此項(xiàng)要求較為細(xì)節(jié)。 2) 完善的用戶管理：支持 Linux unix Windows 多種系統(tǒng)用戶管理；支持 nis系統(tǒng)；能夠 在 portal 頁面完成用戶注冊，刪除，用戶分組，權(quán)限分配等功能；能夠自定義用戶和用戶組的資源配置。 4) 應(yīng)用軟件集成：在 PAC portal 上集成用戶使用的所有應(yīng)用程序。支持“三員分離”的系統(tǒng)分級保護(hù)，區(qū)分系統(tǒng)管理員，安全管理員，安全審計(jì)管理員三種類型的管理員，并且三種管理員可以通過登錄統(tǒng)一的門戶，實(shí)現(xiàn)不同性質(zhì)的系統(tǒng)管理功能。 三維交互： CAD 設(shè)計(jì)， CAE 前后處理，直接通過瀏覽器啟動和管理。 2) 以服務(wù)器為中心，將航天二院所有的設(shè)計(jì)、仿真和優(yōu)化應(yīng)用集中到服務(wù)器端。 為航天二院 IT 綜合應(yīng)用服務(wù)平臺的管理建設(shè)一個良好的、可擴(kuò)展的體系架構(gòu)。 3) 應(yīng)用服務(wù)平臺對外將向用戶提供瀏覽器訪問方式，即用戶可以通過瀏覽器，訪問應(yīng)用服務(wù)平臺，運(yùn)行相應(yīng)的應(yīng)用程序，操作相關(guān)數(shù)據(jù)。 5) 應(yīng)用服務(wù)平臺需要配置六臺服務(wù)器用于平臺的管理和維護(hù)，它們分別是： 主調(diào)度服務(wù)器，用于計(jì)算服務(wù)器的統(tǒng)一管理和調(diào)度；并提供許可證調(diào)度管理功能和報表數(shù)據(jù)收集相關(guān)服務(wù)。 Vertica 數(shù)據(jù)庫服務(wù)器，用于存儲集群系統(tǒng)運(yùn)行和使用數(shù)據(jù)。 7) 對于存儲系統(tǒng)，建議使用 SAN 架構(gòu)，并配合并行文件系統(tǒng)（或集群文件系統(tǒng)）實(shí)現(xiàn)多臺機(jī)器同時 訪問同一存儲區(qū)域。 圖 2 調(diào)度系統(tǒng)的架構(gòu) 交互式應(yīng)用程序集成軟件系統(tǒng)架構(gòu) DCV(Desktop Cloud Visualization)使用戶在瘦客戶端上就可以享用遠(yuǎn)程的高端圖形工作站 3。 5 因整合工程網(wǎng)站的功能還沒有細(xì)化，因此此圖不包括整合部分的功能。 統(tǒng)計(jì)報表和計(jì)費(fèi) 投資回報分析的核心是將資源的使用過程從黑箱轉(zhuǎn)變?yōu)榘紫洌瑥亩官Y源的使用情況和人員的工作情況向企業(yè)管理層透明，管理層可以通過分析結(jié)果找出投資中的不足，為下一步投資提供參考。統(tǒng)計(jì)用戶和公司 CPU 時間和許可證時間，為外部計(jì)費(fèi)和內(nèi)部核算提供有力保證。 報表系統(tǒng)需 包含統(tǒng)計(jì)分析和 計(jì)費(fèi) 功能， 報表系統(tǒng)需詳細(xì)記錄高性能計(jì)算系統(tǒng)資源的 使用情況，分析關(guān)鍵指 標(biāo)，如最大用戶 、 平均吞吐量 、 平均等待時間 、 最大等待時間 、 實(shí)時許可證使用情況等等，從而可優(yōu)化調(diào)度策略，并為軟件采購、硬件規(guī)劃提供科學(xué)的可靠的數(shù)據(jù)支持。其中各單位安全管理員負(fù)責(zé)審核和管理各單位用戶賬戶（如：開戶、銷戶、變 更等），并將經(jīng)過確認(rèn)的用戶管理信息傳遞給系統(tǒng)管理員；系統(tǒng)管理員只能根據(jù)安全管理員指定的管理信息，進(jìn)行實(shí)際的用戶管理（如：創(chuàng)建賬戶、刪除賬戶、修改賬戶等）；而安全審計(jì)管理員則負(fù)責(zé)對整個用戶管理流程的審計(jì)，對及時發(fā)現(xiàn)非法操作（如：系統(tǒng)管理員直接創(chuàng)建用戶賬戶等）。 集群硬件以及許可證資源管理 集群硬件和許可證資源的管理通過調(diào)度策略來實(shí)現(xiàn)。 許可證資源與硬件資源的兩層調(diào)度 許可證資源是昂貴的，為了充分的利用許可證資源，防止關(guān)鍵資源的獨(dú)占，在應(yīng)用被派發(fā)之前，需要經(jīng)過許可證資源與硬件資源的兩層調(diào)度。避免了無效占用。系統(tǒng)管理員可以配置對于每種許可證每個項(xiàng)目的使用份額。 航天二院設(shè)計(jì)、仿真和優(yōu)化統(tǒng)一 IT 綜合應(yīng)用服務(wù)平臺建設(shè)方案 2020 17 | Page 對于按部門來劃分用戶的情況， 可以 將部門映射為項(xiàng)目來解決。 許可證搶占是保證許可 證所有權(quán)的一種手段， License Scheduler 通過許可證搶占功能，將正在運(yùn)行的應(yīng)用程序掛起，然后收回其正在使用的許可證，供具有所有權(quán)的項(xiàng)目使用。 支持許可證搶占的部分軟件列表： Vendor Product Product Version Support Avanti Hspice + LP Cadence NCVHDL + LP Cadence NCVerilog + LP Cadence NCSim + LP Denali Software MMAV LP Mentor Graphics ModelSim/ModelTech + CR Mentor Graphics Calibre/Xcalibre LP Nassda HSIM + LP 航天二院設(shè)計(jì)、仿真和優(yōu)化統(tǒng)一 IT 綜合應(yīng)用服務(wù)平臺建設(shè)方案 2020 18 | Page Synopsys VCS Verilog 2020+ LP Verisity Specman + LP LP = License Preemption. Preempted jobs release license on suspension 表 1 支持許可證搶占的部分軟件列表 基礎(chǔ)調(diào)度策略 Platform LSF 提供通用的基礎(chǔ)調(diào)度策略： 1) 搶占式調(diào)度功能 ：系統(tǒng) 可自定義搶占性調(diào)度時，所有作業(yè)的搶占調(diào)度等級，指示系統(tǒng)按照此等級來決定作業(yè)所在的等級，從而進(jìn)行搶占性調(diào)度這樣，在實(shí)際管理中高優(yōu)先級的項(xiàng)目或用戶總能迅速地獲得所需要的計(jì)算資源。 4) 先進(jìn)先出：作業(yè)按照被提交的先后順序進(jìn)行排隊(duì)派發(fā)和執(zhí)行。 集群在保持完整性的同時，航天二院設(shè)計(jì)、仿真和優(yōu)化統(tǒng)一 IT 綜合應(yīng)用服務(wù)平臺建設(shè)方案 2020 19 | Page 可以按功能劃分為獨(dú)立的工作區(qū)，用戶可以彼此獨(dú)立地在各個工作區(qū)運(yùn)行作業(yè)。 基于 網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)的智能 調(diào)度 本方案的硬件架構(gòu)是由 多個機(jī)架式刀片服務(wù)器組成。 本方案 提供對并行作業(yè)的智能優(yōu)化放置， 可按照需要對節(jié)點(diǎn)進(jìn)行全所未有的靈活分組 為許多計(jì)算單元 ，并自動根據(jù)節(jié)點(diǎn)當(dāng)前使用狀況和應(yīng)用軟件運(yùn)行性能最優(yōu)化原則，智能地優(yōu)化放置作業(yè)，從而大幅度提高作業(yè)的放置效率和終端用戶的資源請求靈活性。 Preference：用戶 可以指定將并行程序部署在空余資源最多或者最少的計(jì)算單元內(nèi)，防止計(jì)算單元不規(guī)則使用帶來的資源浪費(fèi)。 GPU 被作為 LSF 的自定制資源來管理，用戶可以用過 系統(tǒng)觀察 GPU 資源的使用 狀 態(tài)。 用戶通過 PAC Web Portal 提交和管理作業(yè)，訪問入口示意圖如下： 航天二院設(shè)計(jì)、仿真和優(yōu)化統(tǒng)一 IT 綜合應(yīng)用服務(wù)平臺建設(shè)方案 2020 21 | Page 圖 7 NASTRAN 作業(yè)提交頁面 航天二院設(shè)計(jì)、仿真和優(yōu)化統(tǒng)一 IT 綜合應(yīng)用服務(wù)平臺建設(shè)方案 2020 22 | Page 圖 8 ANSYS 作業(yè)提交頁面 在整個計(jì)算過程中，用戶可對作業(yè)進(jìn)行控制，執(zhí)行如掛起、終止等操作，通過簡單命令或操作查看作業(yè)執(zhí)行的中間結(jié)果。 3) 許可證請求被滿足后，主調(diào)度服務(wù)器繼續(xù)向圖形服務(wù)器查詢是否有足夠資源來運(yùn)行應(yīng)用程序，如果當(dāng)前資源滿足需求，則把合適的圖形服務(wù)器分配給該任務(wù)。 Fluent 基于瀏覽器的圖形交互，數(shù)據(jù)在服務(wù)器上，實(shí)際程序也運(yùn)行在服務(wù)器上，但通過 Web 可以訪問數(shù)據(jù)，并可進(jìn)行二維圖形交互，查看圖形輸出。 可支持 Citrix、 Vmware 等應(yīng)用虛擬化軟件，實(shí)現(xiàn)用戶管理與登錄方式的集成工作。 虛擬桌面應(yīng)用發(fā)布 即 用戶可以將虛擬桌面中的應(yīng)用程序發(fā)布到本地中，只需在本地中點(diǎn)擊應(yīng)用程序即可打開應(yīng)用程序的窗口，如同在本地中安裝了此應(yīng)用程序一般，但又不耗占本地的 CPU 等資源，程序?qū)嶋H還是運(yùn)行在遠(yuǎn)程服務(wù)器中。能夠根據(jù)用戶提出的協(xié)同設(shè)計(jì)與仿真任務(wù)，動態(tài)查找與構(gòu)建系統(tǒng)模型與運(yùn)行環(huán)境，并采用流程管理技術(shù)實(shí)現(xiàn)協(xié)同設(shè)計(jì)過程，采用時間管理技術(shù)實(shí)現(xiàn)協(xié)同仿真過程，以支持集團(tuán)公司各院 /基地復(fù)雜型號研制中協(xié)同設(shè)計(jì)與仿真的任務(wù)需求。其主要功能如下： 許可證 監(jiān)控、報表分析 可以對許可證從如下（并不限于）幾方面進(jìn)行報表 原始許可證使用報告 每日平均許可證使用報告 每日峰值報告 月度許可證使用報告 許可證使用月份比較分析 基于用戶、組、成本中心的報告 許可證拒絕報告 實(shí)時監(jiān)控 實(shí)時使用報告 支持多種 License 類型， 包括 : 支持冗余 License 支持同一軟件、多個許可證服務(wù)器，使用數(shù)據(jù)的疊加 航天二院設(shè)計(jì)、仿真和優(yōu)化統(tǒng)一 IT 綜合應(yīng)用服務(wù)平臺建設(shè)方案 2020 29 | Page 支持基于 FlexNET/FlexLM 或 LUM（未來支持 LMX）的一切 CAX 軟件 支持許可證數(shù)量隨時間調(diào)整 用戶可以： 掌握軟件許可證的歷史和實(shí)時使用情況 ； 根據(jù)使用情況來基于項(xiàng)目或部門或?qū)I(yè)，進(jìn)行費(fèi)用分?jǐn)?； 根據(jù)歷史使用情況調(diào)整軟件許可證數(shù)量，以滿足高峰需求并降低拒絕次數(shù) ； 根據(jù)實(shí) 時使用狀況，采取措施，降低許可證費(fèi)用 ； 尖峰 ? 采購較少許可證，但對業(yè)務(wù)影響甚少