【文章內(nèi)容簡(jiǎn)介】 天二院 IT 綜合應(yīng)用服務(wù)平臺(tái)的管理建設(shè)一個(gè)良好的、可擴(kuò)展的體系架構(gòu)。 系統(tǒng)架構(gòu) 硬件的系統(tǒng)結(jié)構(gòu) 二院的硬件結(jié)構(gòu)如下圖所示： 航天二院設(shè)計(jì)、仿真和優(yōu)化統(tǒng)一 IT 綜合應(yīng)用服務(wù)平臺(tái) 建設(shè)方案 2020 7 | Page 圖 1 系統(tǒng)的硬件系統(tǒng)結(jié)構(gòu) 結(jié)構(gòu)分析： 1) 整個(gè)應(yīng)用服務(wù)平臺(tái)可以通過(guò)防火墻進(jìn)行封裝，只在防火墻上開(kāi)放特定服務(wù)端口供用戶(hù)訪問(wèn)，以提高系統(tǒng)的安全性。 2) 整個(gè)系統(tǒng)使用 NIS 進(jìn)行用戶(hù)認(rèn)證，一臺(tái)單獨(dú)的認(rèn)證服務(wù)器作為 NIS Master。其他管理節(jié)點(diǎn)作 為 NIS Slave，提高可靠性。 3) 應(yīng)用服務(wù)平臺(tái)對(duì)外將向用戶(hù)提供瀏覽器訪問(wèn)方式，即用戶(hù)可以通過(guò)瀏覽器，訪問(wèn)應(yīng)用服務(wù)平臺(tái)，運(yùn)行相應(yīng)的應(yīng)用程序，操作相關(guān)數(shù)據(jù)。用戶(hù)需要運(yùn)行仿真或優(yōu)化計(jì)算任務(wù)時(shí)，使用瀏覽器將任務(wù)提交到計(jì)算服務(wù)器上運(yùn)行；用戶(hù)需航天二院設(shè)計(jì)、仿真和優(yōu)化統(tǒng)一 IT 綜合應(yīng)用服務(wù)平臺(tái) 建設(shè)方案 2020 8 | Page 要運(yùn)行三維設(shè)計(jì)任務(wù)時(shí)，通過(guò)瀏覽器在圖形服務(wù)器上運(yùn)行相應(yīng)任務(wù)，并將圖形界面顯示到用戶(hù)桌面機(jī)上，進(jìn)行相關(guān)交互設(shè)計(jì)。 4) 對(duì)于應(yīng)用程序許可證服務(wù)，推薦使用三機(jī)冗余的模式，所有應(yīng)用程序許可證（ Pro/E, Nastran, Ansys, Fluent, Abaqus 等）在申請(qǐng)時(shí)都使用三臺(tái)機(jī) 器的網(wǎng)卡號(hào)，這樣只要有兩臺(tái)服務(wù)器正常，許可證服務(wù)就不會(huì)中斷，保證許可證服務(wù)的可靠性和連續(xù)性。許可證服務(wù)器將不運(yùn)行任何新的服務(wù)，但會(huì)定期被主節(jié)點(diǎn)通過(guò)遠(yuǎn)程命令查詢(xún)狀態(tài)，用于許可證的調(diào)度和管理。 5) 應(yīng)用服務(wù)平臺(tái)需要配置六臺(tái)服務(wù)器用于平臺(tái)的管理和維護(hù)，它們分別是： 主調(diào)度服務(wù)器，用于計(jì)算服務(wù)器的統(tǒng)一管理和調(diào)度；并提供許可證調(diào)度管理功能和報(bào)表數(shù)據(jù)收集相關(guān)服務(wù)。 Web Portal 服務(wù)器，提供基于瀏覽器的用戶(hù)訪問(wèn)；并作為容錯(cuò)服務(wù)器，提供更高的可靠性。 PA Server 服務(wù)器，用于集群系統(tǒng)數(shù)據(jù)采集、轉(zhuǎn)化和加載的統(tǒng)一管理 和調(diào)度。 PA Node 服務(wù)器，用于計(jì)算集群系統(tǒng)各種運(yùn)行數(shù)據(jù)的采集。 Vertica 數(shù)據(jù)庫(kù)服務(wù)器，用于存儲(chǔ)集群系統(tǒng)運(yùn)行和使用數(shù)據(jù)。 Tableau 報(bào)表服務(wù)器，用于報(bào)表分析，并提供計(jì)費(fèi)賬單。 6) 整個(gè)系統(tǒng)部署分為兩部分： 計(jì)算服務(wù)器直接安裝相應(yīng)的操作系統(tǒng)，然后安裝作業(yè)調(diào)度軟件 LSF； 三維圖形服務(wù)器，部署要求的操作系統(tǒng)以及 DCV2+VNC，然后在每種操作系統(tǒng)上安裝作業(yè)調(diào)度軟件 LSF。 用戶(hù)端安裝 DCV Viewer+VNC。 7) 對(duì)于存儲(chǔ)系統(tǒng)，建議使用 SAN 架構(gòu)，并配合并行文件系統(tǒng)（或集群文件系統(tǒng)）實(shí)現(xiàn)多臺(tái)機(jī)器同時(shí) 訪問(wèn)同一存儲(chǔ)區(qū)域。建議將 San 存儲(chǔ)單獨(dú)劃一個(gè)區(qū)域，大小 4TB，用于存放用戶(hù)家目錄、應(yīng)用程序安裝目錄等。 2 Desktop Cloud Virtualization： NICE 公司 2D/3D 圖形工作站共享軟件。 航天二院設(shè)計(jì)、仿真和優(yōu)化統(tǒng)一 IT 綜合應(yīng)用服務(wù)平臺(tái) 建設(shè)方案 2020 9 | Page 管理 軟件 的系統(tǒng)架構(gòu) 整個(gè)方案的系統(tǒng)架構(gòu)如下所示，從系統(tǒng)架構(gòu)圖可以看出，本方案從用戶(hù)訪問(wèn)、資源管理到后端資源使用實(shí)時(shí)監(jiān)控，以及統(tǒng)計(jì)分析和計(jì)費(fèi)，提供了一整套解決方案。 圖 2 調(diào)度系統(tǒng)的架構(gòu) 交互式應(yīng)用程序集成軟件系統(tǒng)架構(gòu) DCV(Desktop Cloud Visualization)使用戶(hù)在瘦客戶(hù)端上就可以享用遠(yuǎn)程的高端圖形工作站 3。 3 此處對(duì)圖形工作站的操作系統(tǒng)要求 為 Windows7，用戶(hù)瀏覽器為 IE8/9， Mozilla Firefox 9, 10 航天二院設(shè)計(jì)、仿真和優(yōu)化統(tǒng)一 IT 綜合應(yīng)用服務(wù)平臺(tái) 建設(shè)方案 2020 10 | Page 圖 3 DCV 的部署結(jié)構(gòu) 航天二院設(shè)計(jì)、仿真和優(yōu)化統(tǒng)一 IT 綜合應(yīng)用服務(wù)平臺(tái) 建設(shè)方案 2020 11 | Page 3 系統(tǒng)詳細(xì)設(shè)計(jì) 資源服務(wù) 平臺(tái) 門(mén)戶(hù)系統(tǒng) 門(mén)戶(hù)系統(tǒng)的整體層次架構(gòu)如下圖所示 ，本節(jié)將分別將如下功能拆解介紹。 圖 4 資源服務(wù)平臺(tái)門(mén)戶(hù) 門(mén)戶(hù)的整體功能架構(gòu) 本方案提供使用瀏覽器通過(guò) Web Portal 服務(wù)器進(jìn)行訪問(wèn)和調(diào)用 4。整個(gè)系統(tǒng)所提供的功能 5如下圖所示： 4 PAC 最新版本支持 IE8/9，如果需要移植到 IE6 支持，需另外增加 Professional Service 工作。 5 因整合工程網(wǎng)站的功能還沒(méi)有細(xì)化，因此此圖不包括整合部分的功能。 航天二院設(shè)計(jì)、仿真和優(yōu)化統(tǒng)一 IT 綜合應(yīng)用服務(wù)平臺(tái) 建設(shè)方案 2020 12 | Page 圖 5 WEB PORTAL 功能航天二院設(shè)計(jì)、仿真和優(yōu)化統(tǒng)一 IT 綜合應(yīng)用服務(wù)平臺(tái)建設(shè)方案 2020 13 | Page 高性能計(jì)算應(yīng)用 在門(mén)戶(hù)中提供了 二院高性 能計(jì)算商業(yè)應(yīng)用與內(nèi)部開(kāi)發(fā)環(huán)境在集群中的整合。集成整合后，用戶(hù)在門(mén)戶(hù)上就可以提交并管理自己的高性能計(jì)算任務(wù)，基于調(diào)度策略的共享高性能計(jì)算的硬件和軟件資源。高性能計(jì)算應(yīng)用涵蓋了批處理式，以及 2D/3D的交互式應(yīng)用。 統(tǒng)計(jì)報(bào)表和計(jì)費(fèi) 投資回報(bào)分析的核心是將資源的使用過(guò)程從黑箱轉(zhuǎn)變?yōu)榘紫?，從而使資源的使用情況和人員的工作情況向企業(yè)管理層透明，管理層可以通過(guò)分析結(jié)果找出投資中的不足，為下一步投資提供參考。一個(gè)企業(yè)最關(guān)心的，應(yīng)該是下面幾種統(tǒng)計(jì)分析結(jié)果： ? 各種資源（ CPU，內(nèi)存，許可證等）的利用率，并通過(guò)分析找出影響系統(tǒng)性能的資源瓶頸，從而為進(jìn)一步的投資提供依據(jù)。 ? 個(gè)人、項(xiàng)目和部門(mén)等工作情況分析，通過(guò)分析找出人員的工作效率和項(xiàng)目和部門(mén)的運(yùn)營(yíng)效率，為進(jìn)一步提高效率提供參考。 ? 記賬。統(tǒng)計(jì)用戶(hù)和公司 CPU 時(shí)間和許可證時(shí)間，為外部計(jì)費(fèi)和內(nèi)部核算提供有力保證。 ? IT 的服務(wù)水平分析，減少因系統(tǒng)不正常工作對(duì)用戶(hù)的影響。 ? 安全審計(jì)分析，減少系統(tǒng)安全漏洞。 基于 Platform Analysis 的報(bào)表系統(tǒng)是針對(duì)企業(yè)的需求，提供了上述的統(tǒng)計(jì)分析功能。 報(bào)表系統(tǒng)需 包含統(tǒng)計(jì)分析和 計(jì)費(fèi) 功能， 報(bào)表系統(tǒng)需詳細(xì)記錄高性能計(jì)算系統(tǒng)資源的 使用情況，分析關(guān)鍵指 標(biāo)，如最大用戶(hù) 、 平均吞吐量 、 平均等待時(shí)間 、 最大等待時(shí)間 、 實(shí)時(shí)許可證使用情況等等，從而可優(yōu)化調(diào)度策略，并為軟件采購(gòu)、硬件規(guī)劃提供科學(xué)的可靠的數(shù)據(jù)支持。 報(bào)表分析系統(tǒng)需 采用先進(jìn)的關(guān)系數(shù)據(jù)庫(kù)系統(tǒng)和在線航天二院設(shè)計(jì)、仿真和優(yōu)化統(tǒng)一 IT 綜合應(yīng)用服務(wù)平臺(tái)建設(shè)方案 2020 14 | Page 聯(lián)機(jī)分析系統(tǒng)，快速挖掘 系統(tǒng) 數(shù)據(jù)，并將數(shù)據(jù)圖形化，通過(guò)瀏覽器生成圖表直觀的顯示給客戶(hù)，并可以管理多個(gè) 子系統(tǒng) 數(shù)據(jù)。 用戶(hù)“三員”管理 為了保障用戶(hù)賬戶(hù)的安全性， 本方案采用系統(tǒng)管理員，安全管理員，安全審計(jì)管理員。三種管理權(quán)限分離地方式，實(shí)現(xiàn)用戶(hù)賬戶(hù)的安全性。其中各單位安全管理員負(fù)責(zé)審核和管理各單位用戶(hù)賬戶(hù)（如：開(kāi)戶(hù)、銷(xiāo)戶(hù)、變 更等），并將經(jīng)過(guò)確認(rèn)的用戶(hù)管理信息傳遞給系統(tǒng)管理員；系統(tǒng)管理員只能根據(jù)安全管理員指定的管理信息，進(jìn)行實(shí)際的用戶(hù)管理（如：創(chuàng)建賬戶(hù)、刪除賬戶(hù)、修改賬戶(hù)等）；而安全審計(jì)管理員則負(fù)責(zé)對(duì)整個(gè)用戶(hù)管理流程的審計(jì)，對(duì)及時(shí)發(fā)現(xiàn)非法操作（如：系統(tǒng)管理員直接創(chuàng)建用戶(hù)賬戶(hù)等）。 與二院工程資源中心網(wǎng)站整合 按照二院的需求，本方案將現(xiàn)有的工程資源中心的網(wǎng)站內(nèi)容和功能與 PAC portal 進(jìn)行整合，整合后實(shí)現(xiàn)風(fēng)格統(tǒng)一，方便易用，友好的服務(wù)平臺(tái)門(mén)戶(hù)。 具體需求和功能 尚未細(xì)化 。 其他功能 相關(guān)的應(yīng)用功能，如新聞發(fā)布、論壇交流、發(fā)布文章、 軟件下載等 。 集群硬件以及許可證資源管理 集群硬件和許可證資源的管理通過(guò)調(diào)度策略來(lái)實(shí)現(xiàn)。調(diào)度策略決定了資源的 共享 方式進(jìn)而決定了資源的使用效率。 航天二院設(shè)計(jì)、仿真和優(yōu)化統(tǒng)一 IT 綜合應(yīng)用服務(wù)平臺(tái)建設(shè)方案 2020 15 | Page 本方案基于流行并且成熟的商用調(diào)度軟件 Platform LSF， 在 基礎(chǔ)的調(diào)度策略之外，提供了豐富且實(shí)用的調(diào)度策略，管理員可以根據(jù)實(shí)際需要按需定制調(diào)度策略。請(qǐng)參見(jiàn)本節(jié)如下內(nèi)容。 許可證資源與硬件資源的兩層調(diào)度 許可證資源是昂貴的，為了充分的利用許可證資源，防止關(guān)鍵資源的獨(dú)占，在應(yīng)用被派發(fā)之前，需要經(jīng)過(guò)許可證資源與硬件資源的兩層調(diào)度。 本方案完全滿(mǎn)足第一節(jié)系統(tǒng)需求分析部分的 對(duì)軟件可證管理要求的細(xì)節(jié)功能 6。 許可證資源的調(diào)度可以促使 許可證 資源的合理分配。使所有用戶(hù)、項(xiàng)目和研究所下屬各部門(mén)公平合理地使用許可證資源，并提供優(yōu)先級(jí)控制，讓優(yōu)先級(jí)高的用戶(hù)盡快獲得所需的許可證。避免了無(wú)效占用。 下節(jié)將詳述許可證調(diào)度策略。 6 請(qǐng)參見(jiàn) 節(jié)需求。 航天二院設(shè)計(jì)、仿真和優(yōu)化統(tǒng)一 IT 綜合應(yīng)用服務(wù)平臺(tái)建設(shè)方案 2020 16 | Page 圖 6 許可證資源與硬件資源的兩層調(diào)度 軟件許可證的調(diào)度策略 1) 許可證的使用份額控制 Platform License Scheduler 提供了按項(xiàng)目（ Project）分配許可證使用份額的功能， 用戶(hù)通過(guò)客戶(hù)端命令打包運(yùn)行 應(yīng)用 程序 時(shí)，相應(yīng)地項(xiàng)目也會(huì)被指定。系統(tǒng)管理員可以配置對(duì)于每種許可證每個(gè)項(xiàng)目的使用份額。 License Scheduler 可以根據(jù)項(xiàng)目對(duì)許可證的使用量，動(dòng)態(tài)計(jì)算用戶(hù)的優(yōu)先級(jí)，并根據(jù)優(yōu)先級(jí)來(lái)響應(yīng)用戶(hù)的請(qǐng)求，從而保證各項(xiàng)目都能公平合理地使用許可證資源。特別是當(dāng)許可證不足時(shí)， License Scheduler 將根據(jù)用戶(hù)的優(yōu)先級(jí)排隊(duì)調(diào)度用戶(hù)的任務(wù)。 License Scheduler還提供認(rèn)證機(jī)制防止用戶(hù)將應(yīng)用程序運(yùn)行在非法的項(xiàng)目下，不合法的請(qǐng)求將被拒絕，以保證項(xiàng)目使用份額控制的準(zhǔn)確性。 航天二院設(shè)計(jì)、仿真和優(yōu)化統(tǒng)一 IT 綜合應(yīng)用服務(wù)平臺(tái)建設(shè)方案 2020 17 | Page 對(duì)于按部門(mén)來(lái)劃分用戶(hù)的情況， 可以 將部門(mén)映射為項(xiàng)目來(lái)解決。每個(gè)部門(mén)可以設(shè)定一個(gè)或多個(gè)項(xiàng)目，并設(shè)置相應(yīng)的使用份額。 2) 優(yōu)先級(jí)管理 License Scheduler 提供許可證 所有權(quán) （ License Ownership）保留和許可證搶占（ License Preemption）功能可輕易實(shí)現(xiàn)許可證使用的優(yōu)先級(jí)管理。 許可證所有權(quán)保留是指規(guī)定數(shù)量的某種許可證必須為某項(xiàng)目所有，當(dāng)該項(xiàng)目不使用這些許可證時(shí)，它們可以被其他項(xiàng)目使用；一旦該項(xiàng)目要使用這些許可證時(shí)， License Scheduler 將強(qiáng)制中止其他項(xiàng)目對(duì)這些許可證的使用。 許可證搶占是保證許可 證所有權(quán)的一種手段， License Scheduler 通過(guò)許可證搶占功能，將正在運(yùn)行的應(yīng)用程序掛起，然后收回其正在使用的許可證，供具有所有權(quán)的項(xiàng)目使用。 對(duì)于時(shí)間緊急的任務(wù)，我們可 設(shè)置 一個(gè)高優(yōu)先級(jí)的項(xiàng)目，該項(xiàng)目擁有所有的許可證。這樣一旦用戶(hù)通過(guò)該項(xiàng)目啟動(dòng)應(yīng)用程序， License Scheduler 將保證用戶(hù)在任何情況下都能立刻獲得需要的許可正。 系統(tǒng)管理員可以通過(guò)改變?cè)S可證的認(rèn)證配置，指定可使用高優(yōu)先級(jí)項(xiàng)目的用戶(hù)，和每個(gè)用戶(hù)可使用地許可證數(shù)量，以防止高優(yōu)先級(jí)項(xiàng)目被濫用。 支持許可證搶占的部分軟件列表： Vendor Product Product Version Support Avanti Hspice + LP Cadence NCVHDL + LP Cadence NCVerilog + LP Cadence NCSim + LP Denali Software MMAV LP Mentor Graphics ModelSim/ModelTech + CR Mentor Graphics Calibre/Xcalibre LP Nassda HSIM + LP 航天二院設(shè)計(jì)、仿真和優(yōu)化統(tǒng)一 IT 綜合應(yīng)用服務(wù)平臺(tái)建設(shè)方案 2020 18 | Page Synopsys VCS Verilog 2020+ LP Verisity Specman + LP LP = License Preemption. Preempted jobs release license on suspension 表 1 支持許可證搶占的部分軟件列表 基礎(chǔ)調(diào)度策略 Platform LSF 提供通用的基礎(chǔ)調(diào)度策略： 1) 搶占式調(diào)度功能 ：系統(tǒng) 可自定義搶占性調(diào)度時(shí)，所有作業(yè)的搶占調(diào)度等級(jí)，指示系統(tǒng)按照此等級(jí)來(lái)決定作業(yè)所在的等級(jí)，從而進(jìn)行搶占性調(diào)度這樣，在實(shí)際管理中高優(yōu)先級(jí)的項(xiàng)目或用戶(hù)總能迅速地獲得所需要的計(jì)算資源。 2) 公平調(diào)度 功能： 保證服務(wù)器資源能被合理分配和使用。公 平式調(diào)度能規(guī)定用戶(hù)或用戶(hù)組對(duì)計(jì)算資源的使用分額，保證計(jì)算資源能 按照管理員給用戶(hù)或用戶(hù)組所分配的額度 公平合理的使用。 3) 輪循式調(diào)度 ：對(duì)于在排隊(duì)的作業(yè)，對(duì)用戶(hù)采取輪循的方式調(diào)度每個(gè)用戶(hù)的作業(yè)。 4) 先進(jìn)先出：作業(yè)按照被提交的先后順序進(jìn)