【文章內(nèi)容簡介】 防火墻；LB設備可以實現(xiàn)入流量的負載均衡的功能。該種情況，業(yè)務系統(tǒng)的IP網(wǎng)關設置在LB設備上。各種業(yè)務數(shù)據(jù)流如圖213所示（需要根據(jù)實際業(yè)務需求決定，僅供參考）。圖213 網(wǎng)絡服務區(qū)數(shù)據(jù)流拓撲示意圖 業(yè)務服務及運行管理區(qū)設計業(yè)務服務區(qū)：是政府機關提供服務的業(yè)務區(qū)，需要考慮較高的可用性和更全面的安全防護措施；業(yè)務服務區(qū)包括等保二級業(yè)務區(qū)、等保三級業(yè)務區(qū)、開發(fā)測試區(qū)等。運行管理區(qū)：主要職責是對數(shù)據(jù)中心的軟/硬件系統(tǒng)進行統(tǒng)一運維和運營管理，提供安全管理的功能，并部署云計算管理平臺。網(wǎng)絡架構業(yè)務服務區(qū)及運行管理區(qū)的網(wǎng)絡架構基本相同：按照層次化、模塊化的設計理念，各個功能分區(qū)的業(yè)務主機通過相應的接入交換機進行匯接，雙鏈路上聯(lián)到網(wǎng)絡核心交換機上。數(shù)據(jù)中心業(yè)務服務區(qū)及管理區(qū)的網(wǎng)絡架構示意圖如Error! Reference source not 。圖214 業(yè)務服務區(qū)及管理區(qū)網(wǎng)絡架構示意圖服務器的接入方式分為下面四種情況:l 中低端機架服務器，數(shù)量眾多，通過置頂式接入層交換機（TOR）接入；l 沒有內(nèi)置交換機的刀片服務器，通過置頂式接入層交換機（TOR）接入；l 內(nèi)置交換機的刀片服務器，直接上聯(lián)到核心層交換機上，減少交換網(wǎng)絡的層級；l 高性能服務器，數(shù)量較少且重要性高，部署數(shù)據(jù)中心核心應用系統(tǒng)（如：核心數(shù)據(jù)庫系統(tǒng)），可以采用異構防火墻加強網(wǎng)絡安全。各個業(yè)務功能分區(qū)可以通過網(wǎng)絡服務區(qū)的防火墻進行安全控制；通過功能區(qū)的劃分，也可以提高系統(tǒng)的可擴展能力。分平面設計數(shù)據(jù)中心的業(yè)務核心區(qū)采用的是網(wǎng)絡分平面設計的網(wǎng)絡架構，按照業(yè)務的類型將網(wǎng)絡分成三個平面：業(yè)務平面、存儲平面和管理平面，各個平面之間實現(xiàn)業(yè)務安全隔離。各個平面之間通過網(wǎng)絡設備和網(wǎng)卡進行物理安全隔離或VLAN邏輯安全隔離，保證各種網(wǎng)絡平面數(shù)據(jù)的安全性和可靠性，單個平面的故障不影響其余平面繼續(xù)工作。每臺主機通過不同的網(wǎng)絡接口與業(yè)務平面、管理平面和存儲平面進行互聯(lián)，并在交換機上通過VLAN進行隔離，其中存儲平面采用單獨的交換機進行接入。數(shù)據(jù)中心網(wǎng)絡分平面設計示意圖如圖215所示。圖215 網(wǎng)絡平面設計示意圖VPN（MCE方式）設計應用場景對于國家政府機關，其下屬各個政府部門往往都是一個單獨的VPN，彼此需要通過物理或邏輯的方式進行安全隔離。數(shù)據(jù)中心可以通過 VLAN的方式實現(xiàn)VPN業(yè)務安全隔離；但VLAN是二層以太網(wǎng)技術，很難實現(xiàn)端到端的VPN網(wǎng)絡。這種情況下，可以在數(shù)據(jù)中心的核心交換機上采用MCE的技術，實現(xiàn)各個VPN網(wǎng)絡的安全隔離。核心交換機部署MCE功能，可以有效解決多VPN網(wǎng)絡帶來的用戶數(shù)據(jù)安全與網(wǎng)絡成本之間的矛盾。MCE的實現(xiàn)原理是在核心交換機上為每個VPN網(wǎng)絡創(chuàng)建和維護一個獨立的路由轉(zhuǎn)發(fā)表（MultiVRF）；每個VRF與相應的VPN業(yè)務的VLAN端口號相關聯(lián)，這樣在1臺核心交換機上會維護多個VPN的VRF，彼此實現(xiàn)安全隔離。通過MCE技術，核心交換機相當于虛擬出彼此隔離的多個網(wǎng)絡設備，每個虛擬設備對應一個VPN，從而實現(xiàn)業(yè)務的安全隔離。MCE還通過與數(shù)據(jù)中心的出口路由器的配合，可以將每個VPN的業(yè)務路由通過外網(wǎng)MPLSVPN承載網(wǎng)絡進行傳遞，實現(xiàn)廣域網(wǎng)范圍內(nèi)的端到端的VPN網(wǎng)絡。方案說明數(shù)據(jù)中心的MCE方式組網(wǎng)示意圖如圖216所示：首先是接入交換機通過VLAN的方式對VPN業(yè)務進行隔離，并將VLAN透傳到核心交換機上；核心交換機啟用MCE功能，建立一個與該VPN相對應的VRF（路由轉(zhuǎn)發(fā)表），并將與該VPN相對應的VLAN接口進行關聯(lián)，這樣該VPN形成一個單獨的相互隔離的路由轉(zhuǎn)發(fā)表，該VRF可以運行OSPF等動態(tài)路由協(xié)議。數(shù)據(jù)中心的出口路由器上可以啟用PE的功能，建立與該VPN相對應的VRF，出口路由器和MCE之間通過VLAN等虛鏈路進行連接，PE上將該VPN對應的VLAN接口與VRF進行關聯(lián)。PE可以通過Option A的方式與外網(wǎng)MPLSVPN網(wǎng)絡對接，將VPN業(yè)務路由通過MPLS網(wǎng)絡進行傳遞。遠端的VPN部門，可以通過CE設備接入到外網(wǎng)，通過MPLSVPN網(wǎng)絡構成端到端的VPN網(wǎng)絡（不具備MPLSVPN網(wǎng)絡資源時，遠端VPN部門也可通過專線直接接入到數(shù)據(jù)中心的出口路由器，關聯(lián)到出口路由器設置的該VPN相對應的VRF中實現(xiàn)VPN功能）。圖216 MCE組網(wǎng)圖MCE是MPLSVPN技術的簡化版, 不需要啟用復雜的BGP和標簽交換功能, 對網(wǎng)絡設備的要求低, 并且降低了運維的難度。 但如果需要配置VPN數(shù)量較多或者內(nèi)部網(wǎng)絡架構比較復雜時, 需要手工配置的工作量較大, 此時可以考慮在核心交換機啟用MPLSVPN(PE)功能, 可以減少配置的工作量和復雜度。 多數(shù)據(jù)中心互聯(lián)設計 業(yè)務需求數(shù)據(jù)中心全天候7*24不間斷的運行是至關重要的，特別是對于通過互聯(lián)網(wǎng)提供業(yè)務的用戶。盡管數(shù)據(jù)中心內(nèi)部采用冗余機制、安全防范工具以及先進的負載均衡技術，單個數(shù)據(jù)中心的運行方式仍然無法滿足關鍵業(yè)務的7*24不間斷運行。另外，數(shù)據(jù)中心滿足不同地點的用戶在訪問業(yè)務應用時，可以實現(xiàn)相同的快速服務感受，也是非常重要的。單一數(shù)據(jù)中心已經(jīng)無法滿足業(yè)務的容災備份和更大范圍內(nèi)的用戶快速訪問的需求，通過在不同物理位置構建多個數(shù)據(jù)中心的方式已經(jīng)成為一個必然的選擇。構建多數(shù)據(jù)中心，面臨著網(wǎng)絡架構如何搭建、多數(shù)據(jù)中心如何互聯(lián)等問題；另外，還需要考慮實現(xiàn)多個數(shù)據(jù)中心間的協(xié)調(diào)工作，引導用戶訪問最優(yōu)的站點，或者當某個站點出現(xiàn)災難性故障后，引導用戶通過訪問容災站點實現(xiàn)關鍵業(yè)務的訪問。本方案主要考慮多數(shù)據(jù)中心最常見的容災數(shù)據(jù)中心設計場景。 多數(shù)據(jù)中心互聯(lián)多數(shù)據(jù)中心主要有三種常見建設模式：第一種是主備雙中心的災備模式；第二種是兩地三中心的災備模式；第三種是分布式數(shù)據(jù)中心模式。其中主備雙中心和兩地三中心的災備模式較為常見。容災數(shù)據(jù)中心按照與主數(shù)據(jù)中心的物理距離的不同，一般可分為同城容災數(shù)據(jù)中心和異地容災數(shù)據(jù)中心。同城容災數(shù)據(jù)中心與主數(shù)據(jù)中心的距離比較近，通信線路質(zhì)量較好，比較容易實現(xiàn)數(shù)據(jù)的同步鏡像，保證高度的數(shù)據(jù)完整性和數(shù)據(jù)零丟失；同城容災數(shù)據(jù)中心一般用于防范火災、建筑物破壞、供電故障、計算機系統(tǒng)及人為破壞引起的災難。 而異地容災數(shù)據(jù)中心與主數(shù)據(jù)中心的距離較遠(一般在100km以上)，一般采用異步鏡像；異地災難備份不僅可以防范火災、建筑物破壞等可能遇到的風險隱患，還能夠防范戰(zhàn)爭、地震、水災等風險。（1）主備雙中心模式主備雙中心模式共部署一個主數(shù)據(jù)中心和一個容災數(shù)據(jù)中心。容災數(shù)據(jù)中心可以部署在同城或異地，但同城部署較為常見。容災數(shù)據(jù)中心一般可以實現(xiàn)應用級或數(shù)據(jù)級容災。主備雙中心模式網(wǎng)絡拓撲如圖217所示：圖217 主備雙中心模式網(wǎng)絡拓撲示意圖主數(shù)據(jù)中心與容災數(shù)據(jù)中心，建議采用三層IP方式互聯(lián)，實現(xiàn)統(tǒng)一運營和統(tǒng)一管理。建議在數(shù)據(jù)中心的網(wǎng)絡邊界分別部署2臺防火墻和2臺路由器，采用光纖直連、數(shù)據(jù)專線或者MPLSVPN網(wǎng)絡等方式進行互聯(lián)。同城部署時，一般采用光纖直連或數(shù)據(jù)專線的方式進行互聯(lián)；異地部署時，一般采用數(shù)據(jù)專線或MPLSVPN網(wǎng)絡的方式進行互聯(lián)。防火墻采用雙機熱備的方式，并工作在透明模式。根據(jù)訪問需求在防火墻上做詳細的包過濾安全策略，對主數(shù)據(jù)中心和容災數(shù)據(jù)中心之間的業(yè)務互訪進行安全控制。主、備雙中心之間的數(shù)據(jù)同步可以通過前端的三層IP網(wǎng)絡或者后端存儲的互聯(lián)網(wǎng)絡（SDH或WDM）實現(xiàn)，具體采用的數(shù)據(jù)同步方式需要根據(jù)業(yè)務實際情況確定。（2）兩地三中心模式兩地三中心模式共部署一個主數(shù)據(jù)中心、一個同城容災中心和一個異地容災中心。同城容災中心一般具有主數(shù)據(jù)中心基本等同的業(yè)務處理能力并通過高速鏈路實時同步數(shù)據(jù)，日常情況下可同時分擔業(yè)務及管理系統(tǒng)的運行，并可切換運行；災難情況下可在基本不丟失數(shù)據(jù)的情況下進行災備應急切換，保持業(yè)務連續(xù)運行。異地容災中心是指在異地的城市建立一個備份的災備中心，一般用于雙中心的數(shù)據(jù)備份，也可以用于應用級別的備份；當雙中心出現(xiàn)自然災害等原因而發(fā)生故障時，異地災備中心可以通過備份數(shù)據(jù)實現(xiàn)業(yè)務的恢復或者實現(xiàn)業(yè)務的應急切換。兩地三中心模式網(wǎng)絡拓撲如圖218所示：圖218 兩地三中心網(wǎng)絡拓撲示意圖對于兩地三中心模式，主數(shù)據(jù)中心與同城容災數(shù)據(jù)中心、異地容災數(shù)據(jù)中心之間，建議采用三層IP方式互聯(lián)，實現(xiàn)統(tǒng)一運營和統(tǒng)一管理。主數(shù)據(jù)中心與同城容災數(shù)據(jù)中心一般采用光纖直連或高帶寬的數(shù)據(jù)專線等方式進行互聯(lián)；主數(shù)據(jù)中心與異地容災數(shù)據(jù)中心一般采用數(shù)據(jù)專線或MPLSVPN網(wǎng)絡等方式進行互聯(lián)。同城容災中心與異地容災中心之間一般也需要通過數(shù)據(jù)專線或MPLSVPN網(wǎng)絡等方式進行互聯(lián)。建議在數(shù)據(jù)中心的網(wǎng)絡邊界分別部署2臺防火墻和2臺路由器，采用直連光纖、數(shù)據(jù)專線或者MPLSVPN網(wǎng)絡等方式進行互聯(lián)。防火墻采用雙機熱備的方式，并工作在透明模式。根據(jù)訪問需求在防火墻上做詳細的包過濾安全策略，對主數(shù)據(jù)中心和容災數(shù)據(jù)中心之間的業(yè)務互訪進行安全控制。（SDH或WDM）實現(xiàn)，具體采用的數(shù)據(jù)同步方式需要根據(jù)業(yè)務實際情況確定；。（3）分布式數(shù)據(jù)中心模式數(shù)據(jù)中心通常以大集中方式進行數(shù)據(jù)中心建設，一般只設立一個數(shù)據(jù)中心；但在某種場景下，比如大型的云網(wǎng)，需要建設分布式數(shù)據(jù)中心。分布式數(shù)據(jù)中心采用的是分層次的部署方式：上級政府部門成為一級數(shù)據(jù)中心，直接下屬單位為二級數(shù)據(jù)中心，再下級單位為三級數(shù)據(jù)中心；分布式數(shù)據(jù)中心一般以兩級數(shù)據(jù)中心為主。分布式數(shù)據(jù)中心的網(wǎng)絡拓撲如圖219所示：圖219 分布式數(shù)據(jù)中心網(wǎng)絡拓撲示意圖上一級數(shù)據(jù)中心與下屬機構數(shù)據(jù)中心之間，建議采用三層IP方式互聯(lián)，實現(xiàn)統(tǒng)一運營和統(tǒng)一管理。建議在數(shù)據(jù)中心的網(wǎng)絡邊界分別部署2臺防火墻和2臺路由器，采用光纖直連、數(shù)據(jù)專線或者MPLSVPN網(wǎng)絡等方式進行互聯(lián)。防火墻采用雙機熱備的方式，并工作在透明模式。根據(jù)訪問需求在防火墻上做詳細的包過濾安全策略，對主數(shù)據(jù)中心和容災數(shù)據(jù)中心之間的業(yè)務互訪進行安全控制。 主備雙中心容災網(wǎng)絡容災中心網(wǎng)絡架構容災數(shù)據(jù)中心采用與主數(shù)據(jù)中心相類似的網(wǎng)絡架構：核心網(wǎng)絡采用核心層和接入層的二層扁平化網(wǎng)絡架構；按照網(wǎng)絡功能劃分為外聯(lián)區(qū)、網(wǎng)絡服務區(qū)、業(yè)務區(qū)等分區(qū)。但相對主數(shù)據(jù)中心，網(wǎng)絡架構相對簡化，設備規(guī)格相對低一些。比如，外聯(lián)區(qū)的互聯(lián)網(wǎng)出口一般不采用多運營商互聯(lián)，不需要部署LLB設備；分支機構一般不需要與容災數(shù)據(jù)中心互聯(lián)。具體網(wǎng)絡結(jié)構需要根據(jù)用戶的業(yè)務情況進行確定。容災數(shù)據(jù)中心的網(wǎng)絡拓撲如圖220所示，具體功能區(qū)描述和方案說明見主數(shù)據(jù)中心設計部分，這里不再進行介紹。圖220 容災數(shù)據(jù)中心網(wǎng)絡架構及互聯(lián)示意圖主備站點業(yè)務切換采用容災數(shù)據(jù)中心的政府主備站點業(yè)務切換，可以通過部署全局負載均衡設備實現(xiàn)。全局負載均衡GSLB能夠幫助用戶通過將相同服務內(nèi)容布署在處于不同物理地點的多個數(shù)據(jù)中心中得到更高的可用性、性能、以及更加經(jīng)濟和無懈可擊的安全性，以便在全球范圍內(nèi)的客戶獲得更快的響應時間；并實現(xiàn)數(shù)據(jù)中心之間的負載均衡和冗余備份。GSLB功能一般基于智能DNS的方式實現(xiàn)，通過對不同用戶端的域名請求，以靈活的流量分配算法與機制返回給用戶最佳數(shù)據(jù)中心的應用服務IP地址，可以實現(xiàn)用戶的就近訪問以及多數(shù)據(jù)中心間的負載均衡及冗余備份功能。數(shù)據(jù)中心主、備站點GSLB功能實現(xiàn)的網(wǎng)絡架構如圖221所示：主數(shù)據(jù)中心和容災數(shù)據(jù)中心各部署1臺全局負載均衡設備，每臺設備與相應的2臺出口路由器進行冗余連接，提高可靠性；GSLB提供相應應用系統(tǒng)的服務IP的智能域名解析。主數(shù)據(jù)中心的GSLB會實時檢測主數(shù)據(jù)中心和容災數(shù)據(jù)中心的相關應用系統(tǒng)的健康狀態(tài)，正常情況下會給用戶返回主數(shù)據(jù)中心的服務IP地址；當主數(shù)據(jù)中心的GSLB檢測到主數(shù)據(jù)中心的應用系統(tǒng)發(fā)生故障，業(yè)務不可用時，將給用戶返回容災中心的相應的應用系統(tǒng)的服務IP地址，用戶將通過容災數(shù)據(jù)中心實現(xiàn)業(yè)務互訪。當主數(shù)據(jù)中心的GSLB發(fā)生故障或者互聯(lián)網(wǎng)出口都出現(xiàn)故障時，用戶會通過容災數(shù)據(jù)中心GSLB的智能域名解析功能實現(xiàn)互聯(lián)網(wǎng)用戶的接入。圖221 GSLB實現(xiàn)主、備站點業(yè)務切換示意圖（SDH或WDM）實現(xiàn)，具體采用的數(shù)據(jù)同步方式需要根據(jù)業(yè)務實際情況確定；，實現(xiàn)業(yè)務連續(xù)性需求的場景下，一般可以采用全局負載均衡（GSLB）設備。3 計算平臺方案設計 計算平臺總體架構根據(jù)云數(shù)據(jù)中心解決方案的總體架構以及網(wǎng)絡架構設計中對功能區(qū)的劃分原則，將服務器等關鍵設備按照需要實現(xiàn)的功能劃分為兩個層面，分別對應業(yè)務層和計算平臺層。業(yè)務層中，功能區(qū)域的劃分一般都是根據(jù)安全和管理需求進行劃分，各個部門可能有所不同，云數(shù)據(jù)中心中一般有公共信息服務區(qū)(DMZ區(qū))、運行管理區(qū)、等保二級業(yè)務區(qū)、等保三級業(yè)務區(qū)、開發(fā)測試區(qū)等功能區(qū)域，實際劃分可以根據(jù)業(yè)務情況進行調(diào)整，總的原則是在滿足安全的前提下盡量統(tǒng)一管理。計算平臺層中分為計算服務區(qū)和存儲服務區(qū)，其中計算服務區(qū)為三層架構。計算服務區(qū)部署主要考慮三層架構，即表現(xiàn)層、應用層和數(shù)據(jù)層，同時考慮物理和虛擬部署。存儲服務區(qū)主要分為IPSAN、FCSAN、NAS和虛擬化存儲。云數(shù)據(jù)中心中計算和存儲支持的功能分區(qū)如圖31所示：圖31 計算和存儲總體架構 系統(tǒng)處理能力分析 計算處理能力CPU計算輸入：每分鐘業(yè)務交易量（TASK），復雜程度比例（S），CPU利用率（C），業(yè)務發(fā)展冗余（F），峰值交易時間（T）。計算過程：tpmC=TASK x S x F / (T x C)TASK：為每分鐘業(yè)務交易量S：為實際查詢業(yè)務交易操作相對于標準TPCC測試基準環(huán)境交易的復雜程度比例。由于實際的查詢業(yè)務交易的復雜程度與TPCC標準測試中的交易存在較大的差異，須設定一個合理的對應值。以普通業(yè)務交易為例，一筆交易往往需要同時打開大量數(shù)據(jù)庫表，取出其相關數(shù)據(jù)進行操作，相對于TPCC標準交易的復雜度，要復雜很多，通常取值范圍為1~30（取值越大，說明系統(tǒng)越復雜）。C：為主機CPU處理余量。實際應用經(jīng)驗表明，一臺主機服務器的CPU利用率不應高于75%，根據(jù)業(yè)務需求一般設定C=50%，=。F：為系統(tǒng)未來n年