【正文】 務(wù)不停頓? 關(guān)鍵數(shù)據(jù)不丟失 數(shù)據(jù)特點分析根據(jù)對數(shù)字化校園信息化系統(tǒng)的分析，可以總結(jié)出核心應(yīng)用系統(tǒng)的特點如下：? 數(shù)據(jù)庫：是整個校園管理的核心– 數(shù)據(jù)類型：數(shù)據(jù)庫(SQL, Oracle 等）– 性能要求：同時訪問人數(shù)多，并發(fā)性能要求高– 可用性要求：不能停機(jī)– 數(shù)據(jù)量：幾百 MB 到幾百 GB? 文件：為廣大師生提供最豐富的信息資源– 數(shù)據(jù)類型：文件（文本，圖像，音視頻）– 性能要求：同時訪問人數(shù)較少，但傳輸數(shù)據(jù)量大，帶寬要求高– 可用性要求：教學(xué)期間不能停機(jī)– 數(shù)據(jù)量：很大且增長很快，從幾 TB 到幾十 TB根據(jù)性能和可用性的分析，可以得出相應(yīng)推薦的存儲系統(tǒng)架構(gòu)如下：典型存儲架構(gòu)應(yīng)用 數(shù)據(jù)類型 性能 容量 數(shù)據(jù)保 護(hù)連續(xù)性FC SAN iSCSINAS校園一卡通系統(tǒng) 數(shù)據(jù)庫 高 中 高 高 優(yōu)選 　教務(wù)系統(tǒng) 數(shù)據(jù)庫 高 中 高 高 優(yōu)選 　統(tǒng)一身份認(rèn)證 數(shù)據(jù)庫 高 低 高 高 優(yōu)選 　網(wǎng)絡(luò)計費 數(shù)據(jù)庫 中 中 高 高 優(yōu)選 　大學(xué)數(shù)字化校園私有云數(shù)據(jù)中心建設(shè)方案第 22 頁 共 61 頁財務(wù)系統(tǒng) 數(shù)據(jù)庫 中 低 高 高 優(yōu)選 　電子郵件 文件 中 高 高 低 推薦 可選 可選VOD 點播 文件 中 高 高 低 推薦 可選 可選網(wǎng)絡(luò)教學(xué) 文件 中 高 高 低 推薦 可選 可選個性化門戶 文件 中 中 高 低 推薦 可選 可選數(shù)字化圖書館管理系統(tǒng)（采、編、流）數(shù)據(jù)庫 高 低 高 高 推薦　 可選自建資源系統(tǒng) 數(shù)據(jù)庫/文件 中 高 高 中 可選　 可選 推薦 統(tǒng)一存儲系統(tǒng)建設(shè)根據(jù)以上需求分析，我們建議本次校園數(shù)據(jù)中心的建設(shè)采用同時支持 IP SAN、 FC SAN 等協(xié)議的統(tǒng)一存儲系統(tǒng)，分別滿足數(shù)據(jù)中心不同業(yè)務(wù)系統(tǒng)數(shù)據(jù)存儲需求以及數(shù)據(jù)災(zāi)備存儲需求，同時要確保系統(tǒng)的可擴(kuò)展性。在信息社會的今天，存儲系統(tǒng)作為數(shù)據(jù)的載體，其重要性也越來越大，甚至成為決定系統(tǒng)建設(shè)成敗的關(guān)鍵因素，所以，校園數(shù)據(jù)中心要詳細(xì)考慮存儲系統(tǒng)的規(guī)劃方案和建設(shè)思路。在校園數(shù)據(jù)中心建設(shè)中，存儲系統(tǒng)的建設(shè)和完善貫穿始終，這和當(dāng)前應(yīng)用系統(tǒng)建設(shè)的重點是相一致的。存儲接入 兩個節(jié)點使用公共存儲，設(shè)備名相同，大小符合數(shù)據(jù)庫應(yīng)用要求。兩個網(wǎng)絡(luò)接口的名字在兩個節(jié)點上保持一樣。大學(xué)數(shù)字化校園私有云數(shù)據(jù)中心建設(shè)方案第 19 頁 共 61 頁 集群集群IP （VIP）IP待定RAC心跳線db1IP：*db2IP：*光纖接入 光纖接入應(yīng)用服務(wù)器1 應(yīng)用服務(wù)器2 數(shù)據(jù)集成服務(wù)器數(shù)據(jù)庫集群結(jié)構(gòu)數(shù)據(jù)庫集群結(jié)構(gòu)Raid5磁盤陣列Oracle集群RAC部署結(jié)構(gòu)圖雙節(jié)點方式集群信息成員 IP 暫無監(jiān)聽端口 1521集群方式 每個服務(wù)器至少兩個網(wǎng)絡(luò)接口，一個對外提高公共服務(wù)，一個對內(nèi)提供內(nèi)部通訊。大學(xué)數(shù)字化校園私有云數(shù)據(jù)中心建設(shè)方案第 17 頁 共 61 頁 服務(wù)器集群部署方案 集群Cluster_serverMember1portal1hostname app1Interne User請求Cluster_serverMember2portal2hostname:app2 ……WAS應(yīng)用服務(wù)器集群結(jié)構(gòu)應(yīng)用服務(wù)器集群結(jié)構(gòu)圖圖單單 HTTP服務(wù)器方式服務(wù)器方式HttpServerserverxuanke/imphostname:app4serverdpstar/distarhostname:app3集群信息HTTP 服務(wù)器 IP 暫無負(fù)載均衡方式 HTTP 轉(zhuǎn)發(fā)WAS 集群成員 app1/app2/app3/app4大學(xué)數(shù)字化校園私有云數(shù)據(jù)中心建設(shè)方案第 18 頁 共 61 頁認(rèn)證接口服務(wù)認(rèn)證接口服務(wù)身份認(rèn)證服務(wù)身份認(rèn)證服務(wù)目錄服務(wù)目錄服務(wù)身份認(rèn)證服務(wù)身份認(rèn)證服務(wù)目錄服務(wù)目錄服務(wù)身份認(rèn)證服務(wù)器（主） 身份認(rèn)證服務(wù)器（輔）（輔）LDAP(目錄服務(wù) )數(shù)據(jù)雙機(jī)互為復(fù)制Inter User負(fù)載均衡插件負(fù)載均衡插件 (LB) 負(fù)載均衡插件負(fù)載均衡插件 (LB)認(rèn)證接口服務(wù)認(rèn)證接口服務(wù)集群信息負(fù)載均衡 IP 暫無IDS 成員 IP 暫無負(fù)載均衡端口 80集群方式 IDS 負(fù)載均衡插件（權(quán)重輪詢）其他端口20220：ICE 接口服務(wù)，部署在負(fù)載均衡插件服務(wù)器上。? 支持 Ether、FC、FCoE、InfiniBand 交換。? 節(jié)點支持基于主流顆粒的 倍高，雙倍容量的內(nèi)存。? 全寬的節(jié)點最大支持 48 個 DIMM 插槽，最大內(nèi)存容量 1536 GB。? 計算節(jié)點支持半寬 2S、全寬 4S 設(shè)計。 Xeon174。在硬件計算平臺的 RAS（Reliability, Availability, and Serviceability） 、計算密度、節(jié)能減排、背板帶寬、智能管控與服務(wù)、計算與存儲的彈性配置和靈活擴(kuò)展、網(wǎng)絡(luò)低時延和加速方面具有領(lǐng)先的競爭力。為客戶提供高可用 IT 系統(tǒng)，保障數(shù)據(jù)安全，系統(tǒng)高可靠。E9000 刀片服務(wù)器通過兩臺光纖交換機(jī)，連接到兩套存儲上，所有業(yè)務(wù)數(shù)據(jù)、虛機(jī)數(shù)據(jù)集中存儲在兩臺存儲陣列中，實現(xiàn)數(shù)據(jù)的集中存儲，便于后期數(shù)據(jù)保護(hù)策略的實施。每塊 CH121 刀片服務(wù)器配置 2 顆 Intel Xeon E52640 V2 處理器，128GB DDR3的 RDIMM 內(nèi)存、2 塊 300G SAS 10K 運行虛擬化軟件。一個物理集群中可以包含多個邏輯集群。一個物理集群中可以把多臺服務(wù)器劃分成一個邏輯集群（又叫 HA 資源池） ，一個計算資源池有相同的調(diào)度策略，為了使用熱遷移相關(guān)的調(diào)度策略要求資源池主機(jī) CPU 同大學(xué)數(shù)字化校園私有云數(shù)據(jù)中心建設(shè)方案第 15 頁 共 61 頁制。每套 FusionEngine 主要由一對主備管理節(jié)點 VRM 組成。FusionManager 可以管理多個物理集群，每個物理集群由一對主備 VRM 管理。一套云平臺部署一對 FusionManager 主備節(jié)點，F(xiàn)usionManager 通過自動發(fā)現(xiàn)功能發(fā)現(xiàn)其管轄下的物理設(shè)備資源（包括機(jī)框、服務(wù)器、刀片、存儲設(shè)備、交互機(jī)）以及他們的組網(wǎng)關(guān)系；提供虛擬資源與物理資源管理功能（統(tǒng)一拓?fù)?、統(tǒng)一告警、統(tǒng)一監(jiān)控、容量管理、用量計費、性能報表、關(guān)聯(lián)分析，生命周期） ，并且對外提供統(tǒng)一的管理 Portal。 設(shè)計描述本項目采用華為云平臺對計算、存儲、網(wǎng)絡(luò)資源進(jìn)行虛擬化管理，華為云大學(xué)數(shù)字化校園私有云數(shù)據(jù)中心建設(shè)方案第 14 頁 共 61 頁平臺操作系統(tǒng)由虛擬基礎(chǔ)設(shè)施套件和云基礎(chǔ)服務(wù)套件組成。5. 提高了硬件和應(yīng)用程序的可用性，進(jìn)而提高業(yè)務(wù)連續(xù)性：傳統(tǒng)模式下的服務(wù)器平臺都是通過額外采購第三方軟件來實現(xiàn)系統(tǒng)的集群、備份以及容災(zāi)，部署比較復(fù)雜，需要專業(yè)的技術(shù)人員才能得以實施和運維管理，并且會帶來昂貴的第三方軟件采購費用，而虛擬化部署模式可以通過虛擬化軟件自帶的功能，可以靈活、安全地實現(xiàn)校園數(shù)據(jù)中心不同應(yīng)用或者整個虛擬化環(huán)境的備份和遷移，而不會出現(xiàn)服務(wù)中斷，消除計劃內(nèi)停機(jī)，并可從計劃外故障中立即恢復(fù)。3. 極大地加快了應(yīng)用部署速度：通過引入虛擬化應(yīng)用發(fā)布格式 OVF（Open Virtualization Format） ，不僅能使學(xué)校在信息化不斷建設(shè)過程中更方便地發(fā)布校園信息化應(yīng)用，而且可以使系統(tǒng)管理員非常簡單地部署這個應(yīng)用（比如：在校園信息化建設(shè)過程中需要增加一些數(shù)字化校園應(yīng)用系統(tǒng)，或者要擴(kuò)大主機(jī)托管業(yè)務(wù)規(guī)模，采用虛擬化部署模式大多數(shù)情況下只要輕輕一個點擊就可以完成整套部署工作） 。2. 簡化了服務(wù)器的綜合管理，并且通過縮減物理基礎(chǔ)架構(gòu)和提高服務(wù)器/管理員比率：傳統(tǒng)模式下的服務(wù)器平臺由于數(shù)量眾多，而且分布在多個管理域里面，往往會出現(xiàn)不同的服務(wù)器不同的管理界面、不同的服務(wù)器不同的管理方式而且每個服務(wù)器需要單獨地進(jìn)行管理控制，使得服務(wù)器的運維管理顯得相當(dāng)復(fù)雜，而采用虛擬化的建設(shè)模式，可以在一個管理中心對所有的虛擬機(jī)進(jìn)行統(tǒng)一的管理，而且可以對不同的虛擬機(jī)設(shè)置不同的管理權(quán)限分配給不同的管理員（如：整個數(shù)字化校園系統(tǒng)只要在同一個管理界面下對所有的應(yīng)用服務(wù)器、信息平臺服務(wù)器進(jìn)行統(tǒng)一集中管理；主機(jī)托管業(yè)務(wù)可以靈活地實現(xiàn)對托管單位進(jìn)行虛擬機(jī)的分配以及虛擬機(jī)管理權(quán)限的設(shè)置，同時可以根據(jù)虛擬化內(nèi)部豐富的安全策略確保每個虛擬機(jī)的安全保密性。虛擬化部署模式采用在每臺物理機(jī)上運行多個虛擬機(jī)的方式，同時通過統(tǒng)一的管理中心對多臺服務(wù)器的所有的虛擬機(jī)實現(xiàn)統(tǒng)一控制和管理，充分實現(xiàn)服務(wù)器資源的任意劃分和調(diào)配，提高服務(wù)器硬件資源的利用率，大大地降低服務(wù)器設(shè)備總投資成本和設(shè)備能耗。概括起來，傳統(tǒng)模式下的服務(wù)器平臺建設(shè)主要有以下幾個方面的不足：? 服務(wù)器 I/O 性能低下傳統(tǒng)架構(gòu)的服務(wù)器 I/O 技術(shù)普遍表現(xiàn)為 GE、4Gbps FC 等技術(shù)，已經(jīng)很難滿足不斷發(fā)展的校園信息化業(yè)務(wù)系統(tǒng)良好低運行需求，特別是在虛擬化應(yīng)用中，虛擬機(jī)的實時遷移等應(yīng)用對 I/O 的性能有著較高的要求，采用傳統(tǒng)架構(gòu)的服務(wù)大學(xué)數(shù)字化校園私有云數(shù)據(jù)中心建設(shè)方案第 11 頁 共 61 頁器 I/O 技術(shù)很難體現(xiàn)出虛擬化應(yīng)用在高性能集群、靈活的容災(zāi)備份機(jī)制等方面優(yōu)勢；另外傳統(tǒng)架構(gòu)的服務(wù)器內(nèi)存可擴(kuò)展性方面的限制也很難滿足虛擬化應(yīng)用對單個物理服務(wù)器內(nèi)存高可擴(kuò)方面的要求；? 網(wǎng)絡(luò)基礎(chǔ)設(shè)施管理復(fù)雜傳統(tǒng)架構(gòu)的服務(wù)器網(wǎng)絡(luò)往往包含數(shù)據(jù)網(wǎng)絡(luò)（LAN） 、存儲網(wǎng)絡(luò)（SAN） 、管理網(wǎng)絡(luò)（MAN）等幾套不同的網(wǎng)絡(luò)傳輸系統(tǒng)，在傳統(tǒng)構(gòu)架的網(wǎng)絡(luò)中進(jìn)行業(yè)務(wù)擴(kuò)容、遷移或增加新的服務(wù)功能越來越困難，每一次變更都將牽涉相互關(guān)聯(lián)的、不同時期按不同初衷建設(shè)的多種物理設(shè)施，涉及多個不同領(lǐng)域、不同服務(wù)方向，工作繁瑣、維護(hù)困難，而且容易出現(xiàn)漏洞和差錯；? 應(yīng)用部署復(fù)雜、可擴(kuò)展性差傳統(tǒng)架構(gòu)的服務(wù)器普遍采用普通的 LAN 交換機(jī)進(jìn)行互聯(lián)和數(shù)據(jù)交換，每個服務(wù)器需要單獨地進(jìn)行安裝、配置和管理，而且同一管理單元里服務(wù)器數(shù)量也受到很大的限制，即使采用普通的刀片服務(wù)器方式，在一個管理單元里也最多能同時管理 10~16 片刀片服務(wù)器，很難滿足數(shù)字化校園應(yīng)用以及主機(jī)托管業(yè)務(wù)等方面對服務(wù)器可擴(kuò)展性方面的需求；? 服務(wù)器硬件資源利用率低下傳統(tǒng)架構(gòu)方式對底層資源的投入與在上層業(yè)務(wù)所收到的效果很難得到同比發(fā)展，最普遍的現(xiàn)象就是忙的設(shè)備不堪重負(fù)，閑的設(shè)備資源儲備過多，二者相互之間又無法借用和共用，這是由于底層 IT 建設(shè)是以功能單元為中心進(jìn)行的，沒有考慮到底層業(yè)務(wù)對底層資源調(diào)用的優(yōu)化，這使得對 IT 的投入往往無法取得同樣的業(yè)務(wù)應(yīng)用效果的改善，反而浪費了較多的資源和維護(hù)成本；? 服務(wù)器運維服務(wù)策略不一致傳統(tǒng)架構(gòu)最嚴(yán)重的問題是這種以孤立的設(shè)備功能為中心的設(shè)計思路無法真正從整個系統(tǒng)角度制訂統(tǒng)一的服務(wù)策略，比如安全策略、高可用性策略、業(yè)務(wù)優(yōu)化策略等等，造成跨平臺策略的不一致性，從而難以將所投入的產(chǎn)品能力形成合力為上層業(yè)務(wù)提供強(qiáng)大的服務(wù)支撐，因此，按傳統(tǒng)底層基礎(chǔ)設(shè)施所提供的服務(wù)能力已無法適應(yīng)當(dāng)前業(yè)務(wù)急劇擴(kuò)展所需的資源要求。 數(shù)據(jù)中心服務(wù)器平臺的建設(shè)除了需要有高性能方面的保障，同時要能確保系統(tǒng)的高穩(wěn)定性，可以支持多種靈活的系統(tǒng)集群、遷移等方面的技術(shù)，還要支持簡單有效的統(tǒng)一配置、管理手段；另外，數(shù)據(jù)中心服務(wù)器平臺的建設(shè)不僅要能滿足當(dāng)前校園信息化應(yīng)用系統(tǒng)部署的基本要求，還要充分考慮到學(xué)校未來 35年的發(fā)展需求，要求系統(tǒng)具備一定的擴(kuò)展性，最大限度地保護(hù)既有的投資，減少對系統(tǒng)的維護(hù)和未來開發(fā)的成本，保證系統(tǒng)在技術(shù)上、經(jīng)濟(jì)上的可持續(xù)性發(fā)展。大學(xué)數(shù)字化校園私有云數(shù)據(jù)中心建設(shè)方案第 10 頁 共 61 頁 數(shù)據(jù)中心計算資源池建設(shè) 需求分析校園數(shù)據(jù)中心承載著幾乎全部的校園信息化應(yīng)用系統(tǒng)，不同的校園信息化系統(tǒng)的部署對硬件服務(wù)器的配置要求也各不相同。數(shù)據(jù)中心核心網(wǎng)絡(luò)交換平臺應(yīng)考慮采用兩臺主流網(wǎng)絡(luò)廠商的新一代的萬兆數(shù)據(jù)中心以太網(wǎng)核心交換機(jī)組成數(shù)據(jù)中心核心交換平臺，可以支持高可靠性集群虛擬化技術(shù)將多臺核心設(shè)備在邏輯上組成單一設(shè)備，從而在二層鏈路上實現(xiàn)多鏈路負(fù)載均衡，有效提升數(shù)據(jù)中心網(wǎng)絡(luò)交換容量和可用性，同時支持一臺設(shè)備虛擬成多臺邏輯設(shè)備，實現(xiàn)業(yè)務(wù)的嚴(yán)格隔離，支持 EVN 等跨三層互聯(lián)技術(shù)，實現(xiàn)跨三層網(wǎng)絡(luò)數(shù)據(jù)中心熱備。方案使用特定規(guī)格產(chǎn)品設(shè)計，包括硬件、軟件和應(yīng)用規(guī)格化來提供簡單可靠、易于部署和管理、便于擴(kuò)展和升級的 IT 基礎(chǔ)架構(gòu)，為用戶提供更好的投資保護(hù)，滿足數(shù)據(jù)中心新建、升級擴(kuò)容，以及數(shù)據(jù)中心的可視化統(tǒng)一管控的需求，可實現(xiàn)被集成的場景。綠色性原則? 滿足環(huán)保與節(jié)能的要求，噪聲低、能耗低、無污染；? 必須選用無鉛器件；? 有節(jié)能降耗的技術(shù)手段；? 具備環(huán)境管理認(rèn)證，符合環(huán)保規(guī)定，包材可回收，支持重復(fù)利用；大學(xué)數(shù)字化校園私有云數(shù)據(jù)中心建設(shè)方案第 8 頁 共 61 頁3 方案設(shè)計 總體拓?fù)湓O(shè)計S A N 網(wǎng) 絡(luò)結(jié) 構(gòu) 化 數(shù) 據(jù)存 儲 中 心結(jié) 構(gòu) 化 數(shù) 據(jù)容 災(zāi) 中 心數(shù) 據(jù) 鏡 像校 園 網(wǎng)、 、萬 兆 安 全 網(wǎng) 關(guān)數(shù) 據(jù) 中 心 交 換 機(jī)非 結(jié) 構(gòu) 化 大 數(shù) 據(jù) 云 存 儲數(shù) 字 化 校 園 （ 虛 擬 化 計 算 資 源 池 + 物 理 服 務(wù) 器 ） 總體方案描述學(xué)校數(shù)據(jù)中心承載學(xué)校核心業(yè)務(wù)，方案中數(shù)據(jù)中心總體架構(gòu)設(shè)計遵循面向大學(xué)數(shù)字化校園私有云數(shù)據(jù)中心建設(shè)方案第 9 頁 共 61 頁業(yè)務(wù)需求的設(shè)計思路實現(xiàn)數(shù)據(jù)中心 IT 基礎(chǔ)架構(gòu)模塊與業(yè)務(wù)模塊松耦合，保證數(shù)據(jù)中心業(yè)務(wù)動態(tài)擴(kuò)展和新業(yè)務(wù)快速上線。