【正文】 對(duì)運(yùn)維人員的要求也越來越高，單獨(dú)依賴運(yùn)維人員個(gè)人的技術(shù)能力和業(yè)務(wù)能力是無法保證業(yè)務(wù)運(yùn)行的持續(xù)性的。數(shù)據(jù)中心并不是孤立存在的，而是與網(wǎng)絡(luò)匯聚中心 外聯(lián)單位網(wǎng)絡(luò) 等網(wǎng)絡(luò)區(qū)域相輔相成，數(shù)據(jù)中心基礎(chǔ)網(wǎng)絡(luò)是業(yè)務(wù)數(shù)據(jù)的傳輸通道，將數(shù)據(jù)的計(jì)算和數(shù)據(jù)存儲(chǔ)有機(jī)的結(jié)合在一起。 在數(shù)據(jù)中心網(wǎng)絡(luò)設(shè)計(jì)時(shí)，由于引入了冗余和對(duì)稱的設(shè)計(jì)，這必將引入網(wǎng)絡(luò)的環(huán)路，可通過如下建設(shè)思路消除環(huán)路影響： 1． 啟用 STP和 VRRP 協(xié)議 傳統(tǒng)解決方 案，標(biāo)準(zhǔn)的協(xié)議，設(shè)備要求較低。因此不會(huì)引入環(huán)路，無需部署 STP和 VRRP 等協(xié)議，簡化網(wǎng)絡(luò)協(xié)議的部署，大大縮短設(shè)備和鏈路收斂時(shí)間（毫秒級(jí)），鏈路高校 數(shù)據(jù)中心網(wǎng)絡(luò)及安全方案建議書 9 負(fù)載分擔(dān)方式工作，利用率大大提升。如下圖所示： 數(shù)據(jù)中心網(wǎng)絡(luò)分為網(wǎng)絡(luò)接入?yún)^(qū)、數(shù)據(jù)中心核心交換區(qū)和服務(wù)器接入?yún)^(qū)三大功能區(qū)域，其中網(wǎng)絡(luò)接入?yún)^(qū)和服務(wù)器接入?yún)^(qū)依據(jù)服務(wù)類型的不同，可進(jìn)行子區(qū)的細(xì)分，詳細(xì)參見“業(yè)務(wù)分區(qū)”章節(jié)的描述。 ? 扁平 化 數(shù)據(jù)中心的網(wǎng)絡(luò)架構(gòu)依據(jù)接入密度和分為三層架構(gòu)和二層架構(gòu)，如下圖所示： 傳統(tǒng)的數(shù)據(jù)中心網(wǎng)絡(luò)通常采用三層架構(gòu)進(jìn)行組網(wǎng)，三層架構(gòu)可以保證網(wǎng)絡(luò)具備很好的擴(kuò)展性，同一個(gè)分區(qū)內(nèi)服務(wù)器接入密度高。同時(shí)在服務(wù)器虛擬化技術(shù)應(yīng)用越來越廣泛的趨勢下，二層架構(gòu)更容易實(shí)現(xiàn) VLAN 的大二層互通，滿足虛擬機(jī)的部署和遷移。 從技術(shù)看，業(yè)務(wù)分區(qū)需要遵循以下原則： ? 分區(qū)優(yōu)先考慮訪問控制的安全性，單個(gè)應(yīng)用訪問盡量在一個(gè)區(qū)域內(nèi)部完成，單個(gè)區(qū)高校 數(shù)據(jù)中心網(wǎng)絡(luò)及安全方案建議書 11 域故障僅影響一類應(yīng)用，盡量減少區(qū)域間的業(yè)務(wù)耦合度； ? 區(qū)域總數(shù)量的限制：但區(qū)域多則運(yùn)維管理的復(fù)雜度和設(shè)備投資增加，區(qū)域總數(shù)量有運(yùn)維上限不超過 20 個(gè)； ? 單個(gè)區(qū)域內(nèi)服務(wù)器數(shù)量的限制：受機(jī)房空間、二層域大小、接入設(shè)備容量限制，單個(gè)區(qū)域內(nèi)服務(wù)器數(shù)量有限（通常不超過 200 臺(tái)）。此分區(qū)適合互聯(lián)網(wǎng)等數(shù)據(jù)中心。 外聯(lián)網(wǎng)接入應(yīng)用區(qū)： 與合作單位的專線互連，此區(qū)域也包括合作單位的業(yè)務(wù)前置機(jī)服務(wù)器。 開發(fā)測試區(qū)： 此區(qū)域用于 學(xué)校 內(nèi)部信息系統(tǒng)的開發(fā)與測試，或新系統(tǒng)上線前的測試部署。 數(shù)據(jù)中心核心區(qū)： 此區(qū)域用于實(shí)現(xiàn)各分區(qū)之間的數(shù)據(jù)交互， 是數(shù)據(jù)中心網(wǎng)絡(luò)平臺(tái)的核心樞紐，無服務(wù)器部署 。 詳細(xì)的安全設(shè)計(jì)參加“ 安全設(shè)計(jì)”章節(jié)。 核心模塊是整個(gè)平臺(tái)的樞紐。 高校 數(shù)據(jù)中心網(wǎng)絡(luò)及安全方案建議書 14 網(wǎng)絡(luò)架構(gòu)層面，采用雙核心設(shè)計(jì)，兩臺(tái)設(shè)備進(jìn)行冗余，并通過虛擬化技術(shù)進(jìn)行橫向整合，將兩臺(tái)物理設(shè)備虛擬化為一臺(tái)邏輯設(shè)備，并實(shí)現(xiàn)跨設(shè)備的鏈路捆綁，所各分區(qū)的交換機(jī) IRF相配合，實(shí)現(xiàn)端到端 IRF 部署 。 3. 易于擴(kuò)展 按照“核心－邊緣架構(gòu)”的設(shè)計(jì)原則，核心模塊應(yīng)避免部署訪問控制策略（如 ACL、路由過濾等），保證核心模塊業(yè)務(wù)的單純性 與松耦合 ，便于下聯(lián)功能模塊擴(kuò)展時(shí)， 不 影響核心業(yè)務(wù)，同時(shí)可以提高核心模塊的穩(wěn)定性。 ? 設(shè)計(jì)要點(diǎn) 1. 服務(wù)器接入交換機(jī)部署雙機(jī)，并采用 IRF 虛擬化，將兩臺(tái)物理設(shè)備虛擬化為一臺(tái)邏輯設(shè)備，實(shí)現(xiàn)跨設(shè)務(wù)鏈路捆綁，與核心交換 機(jī) 配合實(shí)現(xiàn)端到端 IRF。 ? 拓?fù)?設(shè)計(jì) 高校 數(shù)據(jù)中心網(wǎng)絡(luò)及安全方案建議書 16 ? 設(shè)計(jì)要點(diǎn) 1. Inter 出口采用雙運(yùn)營商鏈路，保證用戶訪問效率的同時(shí)，實(shí)現(xiàn)鏈路的冗余； 2. 服務(wù)器接入交換機(jī)部署雙機(jī)，并采用 IRF 虛擬化，將兩臺(tái)物理設(shè)備虛擬化為一臺(tái)邏輯設(shè)備，實(shí)現(xiàn)跨設(shè)務(wù)鏈路捆綁，與 服務(wù)器雙網(wǎng)卡配合實(shí)現(xiàn)雙活 (ActiveActive)； 3. 采用雙層防火墻部署，外層防火墻用于實(shí)現(xiàn) Inter 與 WEB、 DNS、 Email、 FTP 等公網(wǎng)服務(wù)器的隔離，實(shí)現(xiàn)公網(wǎng)服務(wù)器的分域，并配置 DMZ 區(qū)域保證安全。 來保證負(fù)載分擔(dān)和 L2~L7 層安全過濾。外層防火墻 H3C SecBlade FW 插卡、內(nèi)層防火墻可采用非 H3C 的第三方 FW 獨(dú)立設(shè)備進(jìn)行異構(gòu)，加強(qiáng)安全性 。 . 災(zāi)備接入?yún)^(qū) ? 功能描述 災(zāi)備接入?yún)^(qū)用于實(shí)現(xiàn)數(shù)據(jù)中心與大連災(zāi)備中心的互連，實(shí)現(xiàn) SAN和 LAN 網(wǎng)絡(luò)雙中心的互通，保證數(shù)據(jù)同步復(fù)制。 LAN 網(wǎng)絡(luò)通過在服務(wù)器網(wǎng)關(guān)交換機(jī)設(shè)備上通過 VLAN Trunk 到匯接交換機(jī)，然后再上 DWDM 設(shè)備，實(shí)現(xiàn)雙中心之間的大二層 VLAN 互通 。整個(gè)方案的安全部署采用了目前應(yīng)用廣泛的“分布式安全部署”方法，如下圖右側(cè)所示： 分布式安全部署具有以下優(yōu)勢： ? 分散風(fēng)險(xiǎn)： 傳統(tǒng)的集中式安全部署一般將防火墻旁掛在核心交換機(jī)兩側(cè)，這樣一旦防火墻出現(xiàn)故障，數(shù)據(jù)中心內(nèi)的所有業(yè)務(wù)區(qū)都將不能訪問，整個(gè)數(shù)據(jù)中心的所有業(yè)務(wù)均會(huì)中斷，風(fēng)險(xiǎn)和性能壓力都集中在防火墻上。在數(shù)據(jù)中心出口區(qū)域部署防火墻可以保障來自 Inter 和合作伙伴的用戶的安全性，避免未經(jīng)授權(quán)的訪問和網(wǎng)絡(luò)攻擊。防火墻與交換機(jī)之間的三層部署方式與傳統(tǒng)盒式設(shè)備類似。 數(shù)據(jù)中內(nèi)部，整體安全采用分布式部署設(shè)計(jì)，已經(jīng)對(duì)不同的業(yè)務(wù)系統(tǒng)進(jìn)行了分區(qū)，整體安全邊界清晰。兩塊 SecBlade FW 插卡邏輯上相當(dāng)于插在同一臺(tái)交換機(jī)上。 . SecBlade FW+IPS+LB 組合部署 對(duì)于 數(shù)據(jù)中心的 應(yīng)用區(qū)、互聯(lián)網(wǎng)應(yīng)用區(qū)，需要涉及到 FW+IPS+LB 的組合部署， FW 插卡的基本特性 章節(jié)已做描述，下面先介紹 IPS 和 LB 插卡的基本組網(wǎng)： ? SecBlade IPS 基本組網(wǎng)設(shè)計(jì) SecBlade IPS 插卡為數(shù)據(jù)中心內(nèi)部提供了更堅(jiān)固的安全保護(hù)機(jī)制。由于不同交換機(jī)設(shè)備對(duì) OAA 的支持程度 不同。 SecBlade IPS 組網(wǎng)結(jié)構(gòu)流量圖 SecBlade IPS 不會(huì)對(duì)報(bào)文進(jìn)行任何修改，對(duì)于上 IPS 處理的報(bào)文，非 OAA 方式只能通過 VLAN 區(qū)分流量是屬于外部域還是內(nèi)部域。服務(wù)器負(fù)載均衡為數(shù)據(jù)中心服務(wù)器區(qū)性能的擴(kuò)展和資源利用的優(yōu)化提供完美的解決方案。可以通過靜態(tài)路由和缺省路由實(shí)現(xiàn)三層互通，也可以通過OSPF 這樣的路由協(xié)議提供動(dòng)態(tài)的路由機(jī)制。 高校 數(shù)據(jù)中心網(wǎng)絡(luò)及安全方案建議書 25 如圖所示，在數(shù)據(jù)中心服務(wù)器區(qū)， LB 提供了服務(wù)器的負(fù)載均衡能力。 ? SLB 可以作為服務(wù)器網(wǎng)關(guān)設(shè)備部署，如果服務(wù)器間還需要更嚴(yán)格的防護(hù)策略可以將防火墻部署在 SLB 下端作為服務(wù)器的隔離設(shè)備。 SLB 插卡與接入交換機(jī)建立三層連接關(guān)系，同時(shí)對(duì)下做為服務(wù)器網(wǎng)關(guān)設(shè)備 提供服務(wù)器負(fù)載均衡功能。 . QoS 服務(wù)模型選擇 為了更有效的利用帶寬，使關(guān)鍵業(yè)務(wù)得到無阻塞的應(yīng)用，網(wǎng)絡(luò)需要進(jìn)行 QoS 方案的設(shè)計(jì)實(shí)施，首先需要考慮選擇合適的技術(shù)框架，也即服務(wù)模型。 ? Integrated service： Intserv 是一個(gè)綜合服務(wù)模型，它可以滿足多種 QoS 需求。 ? Differentiated service： Diffserv 即區(qū)別服務(wù)模型，它可以滿足不同的 QoS 需求。網(wǎng)絡(luò)通過這些信息來進(jìn)行報(bào)文的分類、 流量整形、流量監(jiān)管和排隊(duì)。 對(duì)于 學(xué)校 廣域網(wǎng)的 QoS，我們建議采用 Diffserv 方式進(jìn)行部署。而數(shù)據(jù)又分 ERP 關(guān)鍵業(yè)務(wù)和其他業(yè)務(wù)，因此需要對(duì)現(xiàn)有業(yè)務(wù)系統(tǒng)進(jìn)行分類，才能更好地保障業(yè)務(wù)的開展。目前業(yè)界在以太網(wǎng)絡(luò)交換機(jī)實(shí)現(xiàn)的 Qos 隊(duì)列管理技術(shù)主要采用嚴(yán)格優(yōu)先級(jí) SP（ StrictPriority）隊(duì)列調(diào)度算法、加權(quán)輪循 WRR（ Weighted Round Robin）調(diào)度算法。在實(shí)際應(yīng)用中， SP 隊(duì)列調(diào)度算法與 WRR 調(diào)度算法可以同時(shí)應(yīng)用一個(gè)端口上，既保證關(guān)鍵業(yè)務(wù)的延時(shí)與抖動(dòng)，同時(shí)又保證各業(yè)務(wù)具有一定的帶寬保證。 另外如果邊緣層與骨干層的接入采用低速的鏈路接入，因此也必須考慮相應(yīng)的隊(duì)列管理技術(shù)。另外還可以采用 CRTP（ IP /UDP/ RTP 報(bào)文頭壓縮）技術(shù)，以提高鏈路的利用率。 . QoS部署 對(duì)與 學(xué)校 的整體 QoS 部署，我們建議根據(jù)不同層次進(jìn)行部署，涉及局域網(wǎng)設(shè)備和廣域網(wǎng)設(shè)備，來實(shí)現(xiàn)對(duì) 學(xué)校 關(guān)鍵業(yè)務(wù)的保障。 2. ERP 流量 ERP 系統(tǒng)是 學(xué)校 的關(guān)鍵業(yè)務(wù)， ERP 服務(wù)器部署在數(shù)據(jù)中心，各站點(diǎn)分布多個(gè) ERP 工作站訪問數(shù)據(jù)中心的 ERP 服務(wù)器。 第二種方式：廣域網(wǎng)路由器啟用 QoS 站點(diǎn)實(shí)現(xiàn)方法：在站點(diǎn)的路由器上配置 QoS 策略，首先啟用 ACL 識(shí)別 ERP 流（如：源地址 +目的地址），打上優(yōu)先級(jí) DSCP 標(biāo)記 AF31；再啟用 CBQ（基于類的隊(duì)列），將其引入 CBQ的中優(yōu)先級(jí)隊(duì)列，由 CBQ 進(jìn)行隊(duì)列調(diào)度，搶占低優(yōu)先級(jí)的帶寬，優(yōu)先轉(zhuǎn)發(fā)報(bào)文。當(dāng)主數(shù)據(jù)中心發(fā)生災(zāi)難時(shí)，前端網(wǎng)絡(luò)將實(shí)現(xiàn)快速收斂，客戶端通過訪問災(zāi)備中心以保障業(yè)務(wù)連續(xù)性。借助傳輸技術(shù)（ DWDM、 SDH 等）實(shí)現(xiàn)主中心和災(zāi)備中心間磁盤陣列的數(shù)據(jù)復(fù)制。方案組網(wǎng)如下圖所示： 高校 數(shù)據(jù)中心網(wǎng)絡(luò)及安全方案建議書 33 從主中心和備份中心的網(wǎng)關(guān)層（本方案的接入交換機(jī)）拉出互聯(lián)鏈路，經(jīng)過“異地集群連通模塊”匯聚后上波分設(shè)備； 異地集群連通模塊將需要進(jìn)行集群和遷移的服務(wù)器 VLAN 進(jìn)行 Trunk，實(shí)現(xiàn)與大連雙中心的大二層 VLAN 互通，保證服務(wù)器可以實(shí)現(xiàn)跨數(shù)據(jù)中心的集群（ MSCS）和遷移（ VMotion）； 數(shù)據(jù)中心內(nèi)部端到端部署 IRF虛擬化，虛擬化后的網(wǎng)關(guān)設(shè)備與大連備份中心運(yùn)行 VRRP，保證網(wǎng)關(guān)設(shè)備跨數(shù)據(jù)中心熱備。多種類型的接口卡和網(wǎng)絡(luò)設(shè)備削弱了業(yè)務(wù)靈活性，增加了數(shù)據(jù)中心網(wǎng)絡(luò)管理復(fù)雜性、增加了設(shè)備成本、增加了電力等方面的開銷。 FCoE 技術(shù)的應(yīng)用范圍擴(kuò)大到 整網(wǎng)，除接入層交換機(jī)外，匯聚核心層交換機(jī)也支持 FCoE 功能；除服務(wù)器外，存儲(chǔ)設(shè)備也逐漸支持 FCoE 接口。服務(wù)器安裝支持 FCoE的 10GE CNA 網(wǎng)卡，并連接到接入層 FCoE 交換機(jī)（ FCF 或 NPV），接入層交換機(jī)再分別通過 10GE 鏈路和 FC 鏈路連接到現(xiàn)有的 LAN 和 SAN。 OA 服務(wù)器區(qū)FCoE 部署組網(wǎng)拓?fù)淙缦聢D所示： OA 服務(wù)器部署萬兆 CAN 融合網(wǎng)卡， 連接 FCoE 接入交換機(jī)，同時(shí)在 FCoE 接入交換機(jī)上配置 FC 接口卡，與 FC SAN 交換機(jī)相連。在部署了虛擬機(jī)之后，服務(wù)器的利用率得以提升，同時(shí)一臺(tái)服務(wù)器產(chǎn)生的業(yè)務(wù)流量將會(huì)成倍提升，同時(shí)一臺(tái)物理服務(wù)器上部署多個(gè)應(yīng)用系統(tǒng)，業(yè)務(wù)流的突發(fā)性也會(huì)加劇。虛擬機(jī)從一臺(tái)物理服務(wù)器遷移到另一臺(tái)物理服務(wù)器之后，網(wǎng)絡(luò)接入交換機(jī)上針對(duì)原物理服務(wù)器的端口策略（ ACL、 QoS 等）將全部失效。如下圖示： 構(gòu)建無差異虛擬機(jī)接入網(wǎng)絡(luò)，部署 VLAN ACL，同時(shí)將防火墻策略上移，保證虛擬機(jī)在本區(qū)域內(nèi)遷移時(shí)，網(wǎng)絡(luò)和安全策略無差異，如下圖所示： 高校 數(shù)據(jù)中心網(wǎng)絡(luò)及安全方案建議書 37 iMC 網(wǎng)絡(luò)管理平臺(tái)對(duì) VMotion 的感知。數(shù)據(jù)中心運(yùn)維管理建設(shè)需要遵循的基本原則如下： ? 集中性原則 系統(tǒng)規(guī)劃、設(shè)計(jì)和建設(shè)要以管理系統(tǒng)集中、數(shù)據(jù)集中、處理集中為原則，統(tǒng)一規(guī)劃、統(tǒng)一標(biāo)準(zhǔn)、統(tǒng)一設(shè)備、統(tǒng)一開發(fā)與應(yīng)用。 . 網(wǎng)絡(luò)管理 （ 1）設(shè)備管理 數(shù)據(jù)中心設(shè)備主要包括服務(wù)器、路由器、交換機(jī)、安全（ FW、 IPS）等基礎(chǔ)設(shè)施，建議按照統(tǒng)一管理的原則，由一套管理平臺(tái)來對(duì)數(shù)據(jù)中心的全局資源進(jìn)行監(jiān)控，出現(xiàn)故障或告擎后能夠快速找到故障點(diǎn)。 2）集中化的設(shè)備配置和軟件信息展示 提供全網(wǎng)設(shè)備的配置文件、軟件版本信息集中式展示，包括設(shè)備的當(dāng)前軟件版本、最新可用于升級(jí)的軟件版本、最近備份時(shí)間、是否已加入自動(dòng)備份計(jì)劃等信息；可提供管理員對(duì)設(shè)備的集中操作包括設(shè)備配置部署、設(shè)備配置備份與恢復(fù)、設(shè)備軟件升級(jí)與恢復(fù)、設(shè)備空間管理、設(shè)備軟件基線化管理功能，極大的方便了管理員直觀的掌握當(dāng)前網(wǎng)絡(luò)的配置和軟件版本。并可快速恢復(fù)至基線配置。支持網(wǎng)絡(luò)運(yùn)行設(shè)備的配置變化檢查，一旦配置發(fā)生變化，立刻以告警方式通知管理員關(guān)注。 2）完善的報(bào)告 提供設(shè)備、主機(jī)、應(yīng)用系統(tǒng)、漏洞、網(wǎng)絡(luò)流量、主機(jī)資產(chǎn)、法規(guī)遵從（如 SOX、 HIPAA、GLBA、 FISMA 等法案和條例）七大類報(bào)告，基本覆蓋了所有安全相關(guān)的信息，并支持以 PDF、HTML、 WORD、 TXT 等多種格式輸出；同時(shí)可通過 Web 界面進(jìn)行定制報(bào)告，定制內(nèi)容包括數(shù)據(jù)的時(shí)間范圍、數(shù)據(jù)的來源設(shè)備、生成周期、輸出類型等。 基于報(bào)文內(nèi)容對(duì)應(yīng)用進(jìn)行識(shí)別和分類，可針對(duì)百兆鏈路提供對(duì)常見 P2P 應(yīng)用的網(wǎng)絡(luò)占用帶寬趨勢圖和流量趨勢圖及。需要在數(shù)據(jù)中心部署網(wǎng)絡(luò)流量分析系統(tǒng)。 2）日志管理 采用主動(dòng)收集、被動(dòng)接收等多種方式，提供有價(jià)值的集中化日志管理，并對(duì)不同類型格式的日志進(jìn)行歸一化處理。 4）自動(dòng)化的建立可追溯的網(wǎng)絡(luò)配置 通過啟動(dòng)自動(dòng)備份功能，幫助管理員周期性自動(dòng)地完成設(shè)備配置的歷史備份，自動(dòng)建立起可追溯的網(wǎng)絡(luò)配置。提供設(shè)備運(yùn)行配置和啟動(dòng)配置的基線化版本管理，將每個(gè)設(shè)備相關(guān)的配置文件劃分為三種版本：基線、普通、草稿。 （ 2）拓?fù)涔芾? 高校 數(shù)據(jù)中心網(wǎng)絡(luò)及安全方案建議書 40 數(shù)據(jù)中心拓?fù)涔芾聿粌H可以自動(dòng)發(fā)現(xiàn)網(wǎng)絡(luò)物理拓?fù)浣Y(jié)構(gòu)，還需 要提供分區(qū)拓?fù)?、機(jī)房拓?fù)洹C(jī)架拓?fù)?、設(shè)備面板、用戶拓?fù)涞裙δ?，可將全網(wǎng)設(shè)備根據(jù)不同的管理區(qū)域、樓層、機(jī)房、機(jī)架、面板、用戶等進(jìn)行劃分，建立資源、業(yè)務(wù)與用戶的統(tǒng)一拓?fù)湟晥D，方便管理員從各個(gè)維度對(duì)數(shù)據(jù)中心的各種資源進(jìn)行管理。 ? 安全、保密性原則 從設(shè)備安全、網(wǎng)絡(luò)安全、數(shù)據(jù)安全等多角度考慮管理系統(tǒng)的安全性和保