【正文】 區(qū)域，外網(wǎng)數(shù)據(jù)中心與內(nèi)網(wǎng)互聯(lián)需要通過網(wǎng)閘實現(xiàn)物理安全隔離。l 核心區(qū) 核心區(qū)對外部網(wǎng)絡(luò)不可見，主要為政府各部門用戶提供業(yè)務(wù)服務(wù)。該區(qū)域包括：網(wǎng)絡(luò)服務(wù)區(qū)、等保二級業(yè)務(wù)區(qū)、等保三級業(yè)務(wù)區(qū)、開發(fā)測試區(qū)及運行管理區(qū)。 網(wǎng)絡(luò)核心層設(shè)計 組網(wǎng)設(shè)計數(shù)據(jù)中心的網(wǎng)絡(luò)核心層采用的是核心層、接入層的扁平化二層網(wǎng)絡(luò)架構(gòu)；扁平化網(wǎng)絡(luò)設(shè)計降低了網(wǎng)絡(luò)復(fù)雜度，簡化了網(wǎng)絡(luò)拓撲，提高了轉(zhuǎn)發(fā)性能。數(shù)據(jù)中心網(wǎng)絡(luò)核心層的規(guī)劃圖如圖24所示。圖24 二層網(wǎng)絡(luò)架構(gòu)設(shè)計圖l 核心層：2臺核心交換機采用CSS虛擬集群技術(shù)，下行鏈路選擇10G鏈路捆綁技術(shù)與接入交換機互聯(lián)，增加帶寬的同時也提高了網(wǎng)絡(luò)鏈路的可靠性。l 接入層：2臺接入交換機采用堆疊技術(shù)，下行鏈路根據(jù)服務(wù)器的物理端口選擇GE或10GE鏈路，上行鏈路選擇10G或10G鏈路捆綁技術(shù)，上聯(lián)到2臺核心交換機，增加帶寬的同時也提高了網(wǎng)絡(luò)鏈路的可靠性。接入層設(shè)備可以根據(jù)業(yè)務(wù)需求，選擇機架式、刀片內(nèi)置式等不同的接入交換機類型和不同規(guī)格的配置。l 核心交換機和接入交換機之間的四條跨框鏈路捆綁為一個EthTrunk組，網(wǎng)絡(luò)架構(gòu)變成樹型模式，不需要啟用STP協(xié)議，從根本上解決環(huán)路和spanningtree收斂問題。 可靠性設(shè)計網(wǎng)絡(luò)核心層的可靠性設(shè)計從設(shè)備級冗余和鏈路級冗余兩方面來實現(xiàn)：從設(shè)備冗余角度考慮，2臺核心交換機之間采用CSS虛擬集群技術(shù)，每組的2臺接入交換機之間采用堆疊技術(shù)；從鏈路的冗余角度考慮，核心交換機與接入交換機間的鏈路進行鏈路捆綁，大大提高網(wǎng)絡(luò)高可靠性。接入交換機只運行L2層交換功能，核心交換機運行L3+L2層路由交換功能，這樣就需要解決核心交換機和接入交換機之間二層網(wǎng)絡(luò)環(huán)路問題。本方案中采用“集群+堆疊+鏈路捆綁”的二層網(wǎng)絡(luò)無環(huán)絡(luò)解決方案，如圖25所示：圖25 “集群+堆疊+鏈路捆綁”的二層網(wǎng)絡(luò)無環(huán)路解決方案示意圖核心交換機采用CSS虛擬集群技術(shù)，接入交換機采用堆疊技術(shù)；核心交換機與接入交換機間的鏈路進行鏈路捆綁，大大提高了網(wǎng)絡(luò)的可靠性能。 存儲網(wǎng)絡(luò)設(shè)計數(shù)據(jù)中心存儲網(wǎng)絡(luò)規(guī)劃示意圖如圖26所示。圖26 存儲網(wǎng)絡(luò)規(guī)劃示意圖 服務(wù)器存儲網(wǎng)絡(luò)主要包括IP SAN存儲網(wǎng)和FC SAN存儲網(wǎng)。服務(wù)器存儲網(wǎng)絡(luò)與業(yè)務(wù)網(wǎng)絡(luò)是物理隔離的，服務(wù)器的業(yè)務(wù)網(wǎng)卡和存儲網(wǎng)卡是分別上聯(lián)到業(yè)務(wù)網(wǎng)絡(luò)和存儲網(wǎng)絡(luò)的對應(yīng)TOR接入交換機上。由于虛擬化的需求，極大的增進了服務(wù)器與存儲的數(shù)據(jù)交換，對于IP SAN存儲網(wǎng)絡(luò)，至少要保證接入交換機采用10G的鏈路接入。當(dāng)采用IP SAN存儲網(wǎng)絡(luò)時：業(yè)務(wù)服務(wù)區(qū)服務(wù)器和IP SAN存儲的存儲網(wǎng)卡一般采用GE端口上聯(lián)到TOR接入以太網(wǎng)交換機，各TOR接入交換機通過10GE鏈路或10GE鏈路捆綁上聯(lián)到IP SAN存儲匯聚交換機。當(dāng)采用FC SAN存儲網(wǎng)絡(luò)時：業(yè)務(wù)服務(wù)區(qū)服務(wù)器的HBA卡和FC SAN存儲的FC接口通過光纖鏈路上聯(lián)到FC交換機。 網(wǎng)絡(luò)功能區(qū)設(shè)計 外聯(lián)區(qū)設(shè)計（1）Internet接入?yún)^(qū)設(shè)計Internet接入?yún)^(qū)的網(wǎng)絡(luò)架構(gòu)示意圖如圖27所示。圖27 Internet接入?yún)^(qū)網(wǎng)絡(luò)架構(gòu)圖Internet接入?yún)^(qū)包括出口路由器、鏈路負載均衡LLB、防火墻、IPSec/SSL VPN接入網(wǎng)關(guān)、應(yīng)用負載均衡、接入交換機等網(wǎng)絡(luò)設(shè)備。l 出口路由器：部署2臺設(shè)備實現(xiàn)冗余，并分別上聯(lián)到2個不同的運營商；出口路由器與運營商之間一般采用靜態(tài)路由或BGP路由協(xié)議。l 鏈路負載均衡LLB：部署2臺設(shè)備實現(xiàn)冗余，2臺LLB設(shè)備串接在出口路由器與出口防火墻之間上，每臺LLB分別通過2條電路與出口路由器進行冗余連接；2臺LLB采用雙機熱備的方式進行部署，并與出口路由器運行靜態(tài)路由協(xié)議。LLB可以按照相應(yīng)的策略，實現(xiàn)多互聯(lián)網(wǎng)出口鏈路之間的智能選擇，實現(xiàn)負載均衡和冗余備份。l 防火墻：在網(wǎng)絡(luò)層面，通過防火墻設(shè)備NAT技術(shù)隱藏內(nèi)網(wǎng)拓撲，是Internet接入?yún)^(qū)的第一道網(wǎng)絡(luò)安全屏障。2臺防火墻采用雙機熱備的方式進行部署，提高可靠性；防火墻采用路由模式，并與LLB設(shè)備之間運行靜態(tài)路由協(xié)議。l IPSec/SSL VPN安全網(wǎng)關(guān)設(shè)備：采用1臺IPSec/SSL VPN安全網(wǎng)關(guān)設(shè)備，同時支持IPSec VPN和SSL VPN業(yè)務(wù)的接入；IPSec/SSL VPN安全網(wǎng)關(guān)設(shè)備旁掛在出口防火墻上，并通過GE端口同時與2臺防火墻進行冗余連接。公共信息服務(wù)DMZ區(qū)設(shè)計公共信息服務(wù)DMZ區(qū)部署在Internet接入?yún)^(qū)，用于部署提供政府公共服務(wù)的Web、DNS、FTP等應(yīng)用；對于提供公共信息服務(wù)的應(yīng)用及數(shù)據(jù)庫主機一般部署在核心內(nèi)網(wǎng)的公共服務(wù)區(qū)。云數(shù)據(jù)中心的公共信息服務(wù)DMZ區(qū)的服務(wù)器數(shù)量較多，一般需要部署應(yīng)用負載均衡設(shè)備和接入交換機設(shè)備，實現(xiàn)公共信息服務(wù)器進行接入和應(yīng)用的負載均衡。接入交換機部署2臺，分別與2臺出口防火墻進行互聯(lián)，連接在出口防火墻的DMZ接口；2臺應(yīng)用負載均衡設(shè)備采用旁掛的方式，分別通過2個GE端口與接入交換機進行互聯(lián)。外網(wǎng)出口鏈路負載均衡應(yīng)用場景數(shù)據(jù)中心一般承載著關(guān)鍵的業(yè)務(wù)系統(tǒng)，互聯(lián)網(wǎng)的對外出口非常重要，如果只通過1條鏈路與運營商進行互聯(lián)，意味著可能會出現(xiàn)的單點故障和脆弱的網(wǎng)絡(luò)可靠性。為了提高數(shù)據(jù)中心的冗余性和可靠性，數(shù)據(jù)中心的互聯(lián)網(wǎng)出口一般需要與2個不同運營商進行互聯(lián)，提高Internet網(wǎng)絡(luò)出口的冗余性，并減輕網(wǎng)絡(luò)出口的傳輸瓶頸問題。當(dāng)數(shù)據(jù)中心的互聯(lián)網(wǎng)出口與2個不同的運營商互聯(lián)時，可以部署鏈路負載均衡設(shè)備LLB，實現(xiàn)數(shù)據(jù)中心2個互聯(lián)網(wǎng)出口鏈路的智能選擇，可以提高出口鏈路的利用率，實現(xiàn)出口鏈路的負載均衡和冗余備份。方案說明LLB實時監(jiān)控2條鏈路的負載狀況及其健康狀況來保證鏈路的高可用性。LLB可以根據(jù)鏈路狀況和鏈路負載情況進行鏈路選擇；可以根據(jù)互聯(lián)網(wǎng)用戶的所在的運營商的位置靜態(tài)選擇相應(yīng)的出口鏈路，比如中國聯(lián)通的互聯(lián)網(wǎng)用戶，會從與中國聯(lián)通的互聯(lián)鏈路進行互訪；也可以根據(jù)用戶的IP地址（本地DNS）進行路徑就近性判斷，動態(tài)進行鏈路選擇，指引用戶從最快的、最好的、最近的路徑訪問。數(shù)據(jù)中心的LLB多出口鏈路選擇可以從兩個方面進行分析：一方面是互聯(lián)網(wǎng)用戶訪問數(shù)據(jù)中心的inbound流量；另一方面是數(shù)據(jù)中心訪問互聯(lián)網(wǎng)業(yè)務(wù)的outbound流量。以數(shù)據(jù)中心與中國聯(lián)通和中國電信兩個運營商互聯(lián)為例對采用LLB設(shè)備進行方案說明。LLB業(yè)務(wù)數(shù)據(jù)流如圖28所示。圖28 鏈路負載均衡設(shè)備的數(shù)據(jù)流示意圖1）OUTBOUND流量設(shè)計Outbound流量，LLB提供智能的鏈路選擇，國內(nèi)用戶的Outbound流量策略：l 網(wǎng)內(nèi)用戶訪問屬于聯(lián)通網(wǎng)地址段的服務(wù)器，首選聯(lián)通的出口鏈路；l 網(wǎng)內(nèi)用戶訪問屬于電信地址段的服務(wù)器，首選電信的出口鏈路；l 網(wǎng)內(nèi)用戶訪問其它地址段的服務(wù)器，由負載均衡器基于動態(tài)就近性判斷結(jié)果，自動的選擇聯(lián)通或電信鏈路。2）INBOUND流量設(shè)計Inbound訪問的智能性，一般通過LLB提供的智能DNS解析功能實現(xiàn)。建議采用靜態(tài)負載和動態(tài)負載相結(jié)合的方式：當(dāng)用戶是來自國內(nèi)的用戶，根據(jù)用戶的IP地址所屬的運營商，采用靜態(tài)的算法給用戶端一條最快的鏈路；對于來自國外的用戶，將采用動態(tài)算法，根據(jù)路徑的傳輸時間等指標，計算出來一個最佳路徑并提供給用戶。國內(nèi)用戶的Inbound流量：l 屬于聯(lián)通地址段的用戶訪問服務(wù)器，首選聯(lián)通的出口鏈路；l 屬于電信地址段的用戶訪問服務(wù)器，首選電信的出口鏈路；l 其他地址段的用戶訪問服務(wù)器，由負載均衡器基于動態(tài)就近性判斷結(jié)果，自動的選擇鏈路。IPSec/SSL接入設(shè)計應(yīng)用場景數(shù)據(jù)中心的移動用戶、遠程辦公用戶等，需要通過互聯(lián)網(wǎng)對數(shù)據(jù)中心進行遠程訪問，以實現(xiàn)遠程辦公需要；某些分支機構(gòu)，由于資金或網(wǎng)絡(luò)條件的限制，無法通過專線或MPLSVPN的方式接入到數(shù)據(jù)中心，需要通過互聯(lián)網(wǎng)的方式接入到數(shù)據(jù)中心。為了保證安全性，對于通過互聯(lián)網(wǎng)接入數(shù)據(jù)中心的移動用戶、遠程辦公用戶、分支機構(gòu)，可以考慮使用IPSec/SSL VPN等技術(shù)進行接入。IPSec VPN接入方式比較適合SitetoSite的方式接入，適用場景是分支機構(gòu)通過Internet連接數(shù)據(jù)中心。SSL VPN接入方式比較適合ClienttoSite的方式，適用場景是遠程辦公用戶、移動用戶通過Internet連接數(shù)據(jù)中心。方案說明對于數(shù)據(jù)中心遠程VPN接入需求，可以考慮部署1臺統(tǒng)一的IPSec/SSL VPN網(wǎng)關(guān)設(shè)備，同時提供IPSec VPN和SSL VPN兩種接入功能。IPSec VPN功能用于SitetoSite 方式接入，支持分支機構(gòu)通過互聯(lián)網(wǎng)進行遠程接入；SSL VPN功能用于ClienttoSite方式接入，支持移動用戶、遠程辦公人員接入。IPSec/SSL VPN的用戶接入示意圖如圖29所示。圖29 IPSec/SSL VPN接入訪問業(yè)務(wù)系統(tǒng)的數(shù)據(jù)流示意圖對于采用SSL VPN接入的移動用戶，移動用戶的客戶端與數(shù)據(jù)中心的VPN網(wǎng)關(guān)設(shè)備通過安全認證，在互聯(lián)網(wǎng)上形成一個安全的SSL加密隧道，VPN網(wǎng)關(guān)為客戶端分配相應(yīng)的內(nèi)部IP地址，實現(xiàn)客戶端對數(shù)據(jù)中心的互訪。對于采用IPSec接入的分支機構(gòu)，其VPN網(wǎng)關(guān)設(shè)備與數(shù)據(jù)中心的VPN網(wǎng)關(guān)設(shè)備通過安全認證，在互聯(lián)網(wǎng)上形成一個安全的IPSec加密通道，實現(xiàn)整個分支機構(gòu)或合作伙伴的辦公網(wǎng)絡(luò)與數(shù)據(jù)中心之間的業(yè)務(wù)互訪。數(shù)據(jù)中心的出口防火墻，可以利用虛擬防火墻技術(shù)，為每個VPN業(yè)務(wù)分配一個虛擬防火墻，實現(xiàn)該業(yè)務(wù)與其它內(nèi)部業(yè)務(wù)的安全隔離。 （2）遠程接入?yún)^(qū)設(shè)計遠程接入?yún)^(qū)網(wǎng)絡(luò)架構(gòu)示意圖如圖210所示。圖210 遠程接入?yún)^(qū)網(wǎng)絡(luò)架構(gòu)圖遠程接入?yún)^(qū)用來接入政府的各個部門，各個部門一般是采用MPLSVPN的方式通過國家云外網(wǎng)進行接入；遠程接入?yún)^(qū)還用于接入容災(zāi)數(shù)據(jù)中心，一般是通過專線或MPLSVPN網(wǎng)絡(luò)進行接入。該區(qū)域包括出口路由器、防火墻等設(shè)備。l 出口路由器：遠程接入?yún)^(qū)部署2臺出口路由器，實現(xiàn)設(shè)備冗余，提高可靠性；出口路由器與分支機構(gòu)、容災(zāi)中心互聯(lián)，一般采用靜態(tài)路由。l 防火墻設(shè)備：對于分支機構(gòu)、災(zāi)備中心與數(shù)據(jù)中心之間的業(yè)務(wù)互訪進行安全控制；2臺防火墻設(shè)備采用雙機熱備的方式進行部署，工作在路由模式，并與出口路由器運行靜態(tài)路由協(xié)議；通過虛擬防火墻技術(shù)，可以實現(xiàn)VPN網(wǎng)絡(luò)的隔離功能。（3）內(nèi)網(wǎng)接入?yún)^(qū)設(shè)計根據(jù)中國國家保密局《云保密管理指南》的要求，涉密網(wǎng)與非涉密網(wǎng)之間應(yīng)當(dāng)進行物理隔離。內(nèi)網(wǎng)屬于涉密網(wǎng)，其承載的信息為涉密信息，而外網(wǎng)承載的信息為非涉密信息，內(nèi)網(wǎng)與外網(wǎng)須用單向?qū)胂到y(tǒng)進行隔離。對于中國云網(wǎng)絡(luò)系統(tǒng)，外網(wǎng)和內(nèi)網(wǎng)要求物理隔離。當(dāng)云外網(wǎng)數(shù)據(jù)中心與內(nèi)網(wǎng)互聯(lián)時，需要部署網(wǎng)閘設(shè)備實現(xiàn)高安全隔離。通過網(wǎng)閘實現(xiàn)內(nèi)網(wǎng)安全隔離的網(wǎng)絡(luò)拓撲如圖211所示。圖211 通過網(wǎng)閘實現(xiàn)內(nèi)網(wǎng)安全隔離拓撲圖 網(wǎng)絡(luò)服務(wù)區(qū)設(shè)計應(yīng)用場景數(shù)據(jù)中心支撐著各種業(yè)務(wù)系統(tǒng)，各種業(yè)務(wù)系統(tǒng)對網(wǎng)絡(luò)架構(gòu)的要求也各不相同：對于高安全性業(yè)務(wù)系統(tǒng)，需要在數(shù)據(jù)中心內(nèi)網(wǎng)核心區(qū)提供安全防護的功能；有些業(yè)務(wù)系統(tǒng)，對性能、可靠性和可擴展性要求較高；一般的業(yè)務(wù)則沒有特殊的要求。為了滿足業(yè)務(wù)系統(tǒng)對網(wǎng)絡(luò)功能要求，數(shù)據(jù)中心專門部署了網(wǎng)絡(luò)服務(wù)區(qū)，針對性為各種業(yè)務(wù)系統(tǒng)提供相應(yīng)的網(wǎng)絡(luò)服務(wù)。網(wǎng)絡(luò)服務(wù)區(qū)主要提供2種網(wǎng)絡(luò)服務(wù)：一種是網(wǎng)絡(luò)安全服務(wù)，通過部署防火墻設(shè)備實現(xiàn)；另外一種是應(yīng)用負載均衡服務(wù)，為業(yè)務(wù)系統(tǒng)增強擴展性、可靠性和業(yè)務(wù)處理能力，該服務(wù)通過部署應(yīng)用負載均衡設(shè)備LB實現(xiàn)。網(wǎng)絡(luò)架構(gòu)數(shù)據(jù)中心的網(wǎng)絡(luò)服務(wù)區(qū)網(wǎng)絡(luò)架構(gòu)圖212所示。圖212 網(wǎng)絡(luò)服務(wù)區(qū)網(wǎng)絡(luò)架構(gòu)圖網(wǎng)絡(luò)服務(wù)區(qū)共部署了2臺防火墻和2臺LB設(shè)備，為數(shù)據(jù)中心的多個服務(wù)器業(yè)務(wù)分區(qū)提供安全控制和應(yīng)用負載均衡服務(wù)。2臺防火墻和2臺LB均采用雙機熱備的冗余方式進行部署；每臺防火墻和LB都采用核心交換機旁掛的方式，并通過2條GE電路與核心交換機進行互聯(lián)，分別用于承載入方向和出方向的流量。防火墻設(shè)備用于對安全級別較高的業(yè)務(wù)服務(wù)器分區(qū)進行安全防護。防火墻通過虛擬化技術(shù)，從邏輯上劃分為多臺防火墻，分別為需要安全防護的服務(wù)器分區(qū)提供獨立的安全保障。每臺虛擬防火墻都是VPN 實例、安全實例和配置實例的綜合體，為用戶提供私有的路由轉(zhuǎn)發(fā)服務(wù)、安全服務(wù)和配置管理服務(wù)。防火墻設(shè)備一般采用路由工作模式。LB可以保障內(nèi)部資源的容錯性，內(nèi)部任何一個應(yīng)用節(jié)點出現(xiàn)問題都不會對用戶造成任何的影響；LB可以增強業(yè)務(wù)擴展性，業(yè)務(wù)擴展時只需要增加相應(yīng)的內(nèi)部服務(wù)器即可。LB設(shè)備可以為部署在多臺服務(wù)器上的應(yīng)用系統(tǒng)，對外提供一個VIP服務(wù)地址，并實時監(jiān)測各個內(nèi)部服務(wù)器的負載狀況。當(dāng)客戶端通過接入網(wǎng)絡(luò)訪問該應(yīng)用系統(tǒng)時，業(yè)務(wù)數(shù)據(jù)流通過VIP服務(wù)地址首先到達LB，LB會根據(jù)一定的流量策略，比如輪循、比率、最小連接數(shù)等方式將業(yè)務(wù)請求自動提交給相應(yīng)的服務(wù)器進行處理，從而實現(xiàn)負載均衡和冗余備份的功能。數(shù)據(jù)流通過部署防火墻和LB設(shè)備，網(wǎng)絡(luò)服務(wù)區(qū)支持的業(yè)務(wù)數(shù)據(jù)流模型包括： 第一種是沒有特殊服務(wù)要求的業(yè)務(wù)系統(tǒng)。業(yè)務(wù)流的方向是通過接入層交換機，VLAN透傳到核心交換機，在核心交換機進行三層終結(jié)，直接通過路由的方式到達外聯(lián)區(qū)的防火墻設(shè)備；該種情況，業(yè)務(wù)系統(tǒng)的IP網(wǎng)關(guān)設(shè)置在三層交換機上。第二種是只需要LB服務(wù)的業(yè)務(wù)系統(tǒng)。業(yè)務(wù)流通過接入層交換機，VLAN透傳到核心交換機，并通過互聯(lián)電路VLAN透傳到LB設(shè)備，進行三層終結(jié)；然后通過另一條互聯(lián)電路路由到核心交換機，并通過路由的方式到達外聯(lián)區(qū)的防火墻設(shè)備；LB設(shè)備可以實現(xiàn)入流量的應(yīng)用負載均衡，該種情況業(yè)務(wù)系統(tǒng)的IP網(wǎng)關(guān)設(shè)置在LB上。第三種是只需要防火墻服務(wù)的業(yè)務(wù)系統(tǒng)。業(yè)務(wù)流通過接入層交換機，VLAN透傳到核心交換機，并通過互聯(lián)電路VLAN透傳到防火墻設(shè)備（采用虛擬防火墻），進行三層終結(jié)；然后通過另一條互聯(lián)電路路由到核心交換機，并通過路由的方式到達外聯(lián)區(qū)的防火墻設(shè)備。該種情況業(yè)務(wù)系統(tǒng)的IP網(wǎng)關(guān)設(shè)置在防火墻上。第四種是同時需要防火墻和LB服務(wù)的業(yè)務(wù)系統(tǒng)。該業(yè)務(wù)流程相當(dāng)于將第二種和第三種情況進行綜合。業(yè)務(wù)流通過接入層交換機，VLAN透傳到核心交換機，首先到達LB設(shè)備，再到達防火墻設(shè)備，然后通過核心交換機路由到出口