【正文】 對運維人員的要求也越來越高，單獨依賴運維人員個人的技術(shù)能力和業(yè)務(wù)能力是無法保證業(yè)務(wù)運行的持續(xù)性的。數(shù)據(jù)中心并不是孤立存在的，而是與網(wǎng)絡(luò)匯聚中心 外聯(lián)單位網(wǎng)絡(luò) 等網(wǎng)絡(luò)區(qū)域相輔相成，數(shù)據(jù)中心基礎(chǔ)網(wǎng)絡(luò)是業(yè)務(wù)數(shù)據(jù)的傳輸通道，將數(shù)據(jù)的計算和數(shù)據(jù)存儲有機的結(jié)合在一起。 在數(shù)據(jù)中心網(wǎng)絡(luò)設(shè)計時，由于引入了冗余和對稱的設(shè)計，這必將引入網(wǎng)絡(luò)的環(huán)路，可通過如下建設(shè)思路消除環(huán)路影響： 1． 啟用 STP和 VRRP 協(xié)議 傳統(tǒng)解決方 案，標準的協(xié)議，設(shè)備要求較低。因此不會引入環(huán)路，無需部署 STP和 VRRP 等協(xié)議，簡化網(wǎng)絡(luò)協(xié)議的部署，大大縮短設(shè)備和鏈路收斂時間（毫秒級），鏈路高校 數(shù)據(jù)中心網(wǎng)絡(luò)及安全方案建議書 9 負載分擔方式工作，利用率大大提升。如下圖所示： 數(shù)據(jù)中心網(wǎng)絡(luò)分為網(wǎng)絡(luò)接入?yún)^(qū)、數(shù)據(jù)中心核心交換區(qū)和服務(wù)器接入?yún)^(qū)三大功能區(qū)域，其中網(wǎng)絡(luò)接入?yún)^(qū)和服務(wù)器接入?yún)^(qū)依據(jù)服務(wù)類型的不同，可進行子區(qū)的細分，詳細參見“業(yè)務(wù)分區(qū)”章節(jié)的描述。 ? 扁平 化 數(shù)據(jù)中心的網(wǎng)絡(luò)架構(gòu)依據(jù)接入密度和分為三層架構(gòu)和二層架構(gòu)，如下圖所示： 傳統(tǒng)的數(shù)據(jù)中心網(wǎng)絡(luò)通常采用三層架構(gòu)進行組網(wǎng)，三層架構(gòu)可以保證網(wǎng)絡(luò)具備很好的擴展性，同一個分區(qū)內(nèi)服務(wù)器接入密度高。同時在服務(wù)器虛擬化技術(shù)應(yīng)用越來越廣泛的趨勢下，二層架構(gòu)更容易實現(xiàn) VLAN 的大二層互通，滿足虛擬機的部署和遷移。 從技術(shù)看，業(yè)務(wù)分區(qū)需要遵循以下原則： ? 分區(qū)優(yōu)先考慮訪問控制的安全性，單個應(yīng)用訪問盡量在一個區(qū)域內(nèi)部完成，單個區(qū)高校 數(shù)據(jù)中心網(wǎng)絡(luò)及安全方案建議書 11 域故障僅影響一類應(yīng)用，盡量減少區(qū)域間的業(yè)務(wù)耦合度； ? 區(qū)域總數(shù)量的限制：但區(qū)域多則運維管理的復(fù)雜度和設(shè)備投資增加，區(qū)域總數(shù)量有運維上限不超過 20 個； ? 單個區(qū)域內(nèi)服務(wù)器數(shù)量的限制：受機房空間、二層域大小、接入設(shè)備容量限制，單個區(qū)域內(nèi)服務(wù)器數(shù)量有限（通常不超過 200 臺）。此分區(qū)適合互聯(lián)網(wǎng)等數(shù)據(jù)中心。 外聯(lián)網(wǎng)接入應(yīng)用區(qū)： 與合作單位的專線互連，此區(qū)域也包括合作單位的業(yè)務(wù)前置機服務(wù)器。 開發(fā)測試區(qū)： 此區(qū)域用于 學(xué)校 內(nèi)部信息系統(tǒng)的開發(fā)與測試，或新系統(tǒng)上線前的測試部署。 數(shù)據(jù)中心核心區(qū)： 此區(qū)域用于實現(xiàn)各分區(qū)之間的數(shù)據(jù)交互， 是數(shù)據(jù)中心網(wǎng)絡(luò)平臺的核心樞紐，無服務(wù)器部署 。 詳細的安全設(shè)計參加“ 安全設(shè)計”章節(jié)。 核心模塊是整個平臺的樞紐。 高校 數(shù)據(jù)中心網(wǎng)絡(luò)及安全方案建議書 14 網(wǎng)絡(luò)架構(gòu)層面，采用雙核心設(shè)計，兩臺設(shè)備進行冗余，并通過虛擬化技術(shù)進行橫向整合，將兩臺物理設(shè)備虛擬化為一臺邏輯設(shè)備，并實現(xiàn)跨設(shè)備的鏈路捆綁，所各分區(qū)的交換機 IRF相配合，實現(xiàn)端到端 IRF 部署 。 3. 易于擴展 按照“核心－邊緣架構(gòu)”的設(shè)計原則，核心模塊應(yīng)避免部署訪問控制策略（如 ACL、路由過濾等），保證核心模塊業(yè)務(wù)的單純性 與松耦合 ，便于下聯(lián)功能模塊擴展時， 不 影響核心業(yè)務(wù)，同時可以提高核心模塊的穩(wěn)定性。 ? 設(shè)計要點 1. 服務(wù)器接入交換機部署雙機，并采用 IRF 虛擬化，將兩臺物理設(shè)備虛擬化為一臺邏輯設(shè)備，實現(xiàn)跨設(shè)務(wù)鏈路捆綁，與核心交換 機 配合實現(xiàn)端到端 IRF。 ? 拓撲 設(shè)計 高校 數(shù)據(jù)中心網(wǎng)絡(luò)及安全方案建議書 16 ? 設(shè)計要點 1. Inter 出口采用雙運營商鏈路，保證用戶訪問效率的同時，實現(xiàn)鏈路的冗余； 2. 服務(wù)器接入交換機部署雙機，并采用 IRF 虛擬化，將兩臺物理設(shè)備虛擬化為一臺邏輯設(shè)備，實現(xiàn)跨設(shè)務(wù)鏈路捆綁，與 服務(wù)器雙網(wǎng)卡配合實現(xiàn)雙活 (ActiveActive)； 3. 采用雙層防火墻部署，外層防火墻用于實現(xiàn) Inter 與 WEB、 DNS、 Email、 FTP 等公網(wǎng)服務(wù)器的隔離，實現(xiàn)公網(wǎng)服務(wù)器的分域，并配置 DMZ 區(qū)域保證安全。 來保證負載分擔和 L2~L7 層安全過濾。外層防火墻 H3C SecBlade FW 插卡、內(nèi)層防火墻可采用非 H3C 的第三方 FW 獨立設(shè)備進行異構(gòu)，加強安全性 。 . 災(zāi)備接入?yún)^(qū) ? 功能描述 災(zāi)備接入?yún)^(qū)用于實現(xiàn)數(shù)據(jù)中心與大連災(zāi)備中心的互連，實現(xiàn) SAN和 LAN 網(wǎng)絡(luò)雙中心的互通，保證數(shù)據(jù)同步復(fù)制。 LAN 網(wǎng)絡(luò)通過在服務(wù)器網(wǎng)關(guān)交換機設(shè)備上通過 VLAN Trunk 到匯接交換機，然后再上 DWDM 設(shè)備，實現(xiàn)雙中心之間的大二層 VLAN 互通 。整個方案的安全部署采用了目前應(yīng)用廣泛的“分布式安全部署”方法，如下圖右側(cè)所示： 分布式安全部署具有以下優(yōu)勢： ? 分散風險： 傳統(tǒng)的集中式安全部署一般將防火墻旁掛在核心交換機兩側(cè)，這樣一旦防火墻出現(xiàn)故障，數(shù)據(jù)中心內(nèi)的所有業(yè)務(wù)區(qū)都將不能訪問，整個數(shù)據(jù)中心的所有業(yè)務(wù)均會中斷，風險和性能壓力都集中在防火墻上。在數(shù)據(jù)中心出口區(qū)域部署防火墻可以保障來自 Inter 和合作伙伴的用戶的安全性，避免未經(jīng)授權(quán)的訪問和網(wǎng)絡(luò)攻擊。防火墻與交換機之間的三層部署方式與傳統(tǒng)盒式設(shè)備類似。 數(shù)據(jù)中內(nèi)部，整體安全采用分布式部署設(shè)計，已經(jīng)對不同的業(yè)務(wù)系統(tǒng)進行了分區(qū)，整體安全邊界清晰。兩塊 SecBlade FW 插卡邏輯上相當于插在同一臺交換機上。 . SecBlade FW+IPS+LB 組合部署 對于 數(shù)據(jù)中心的 應(yīng)用區(qū)、互聯(lián)網(wǎng)應(yīng)用區(qū)，需要涉及到 FW+IPS+LB 的組合部署， FW 插卡的基本特性 章節(jié)已做描述，下面先介紹 IPS 和 LB 插卡的基本組網(wǎng)： ? SecBlade IPS 基本組網(wǎng)設(shè)計 SecBlade IPS 插卡為數(shù)據(jù)中心內(nèi)部提供了更堅固的安全保護機制。由于不同交換機設(shè)備對 OAA 的支持程度 不同。 SecBlade IPS 組網(wǎng)結(jié)構(gòu)流量圖 SecBlade IPS 不會對報文進行任何修改，對于上 IPS 處理的報文，非 OAA 方式只能通過 VLAN 區(qū)分流量是屬于外部域還是內(nèi)部域。服務(wù)器負載均衡為數(shù)據(jù)中心服務(wù)器區(qū)性能的擴展和資源利用的優(yōu)化提供完美的解決方案?？梢酝ㄟ^靜態(tài)路由和缺省路由實現(xiàn)三層互通，也可以通過OSPF 這樣的路由協(xié)議提供動態(tài)的路由機制。 高校 數(shù)據(jù)中心網(wǎng)絡(luò)及安全方案建議書 25 如圖所示，在數(shù)據(jù)中心服務(wù)器區(qū)， LB 提供了服務(wù)器的負載均衡能力。 ? SLB 可以作為服務(wù)器網(wǎng)關(guān)設(shè)備部署，如果服務(wù)器間還需要更嚴格的防護策略可以將防火墻部署在 SLB 下端作為服務(wù)器的隔離設(shè)備。 SLB 插卡與接入交換機建立三層連接關(guān)系，同時對下做為服務(wù)器網(wǎng)關(guān)設(shè)備 提供服務(wù)器負載均衡功能。 . QoS 服務(wù)模型選擇 為了更有效的利用帶寬，使關(guān)鍵業(yè)務(wù)得到無阻塞的應(yīng)用，網(wǎng)絡(luò)需要進行 QoS 方案的設(shè)計實施，首先需要考慮選擇合適的技術(shù)框架，也即服務(wù)模型。 ? Integrated service： Intserv 是一個綜合服務(wù)模型，它可以滿足多種 QoS 需求。 ? Differentiated service： Diffserv 即區(qū)別服務(wù)模型，它可以滿足不同的 QoS 需求。網(wǎng)絡(luò)通過這些信息來進行報文的分類、 流量整形、流量監(jiān)管和排隊。 對于 學(xué)校 廣域網(wǎng)的 QoS，我們建議采用 Diffserv 方式進行部署。而數(shù)據(jù)又分 ERP 關(guān)鍵業(yè)務(wù)和其他業(yè)務(wù)，因此需要對現(xiàn)有業(yè)務(wù)系統(tǒng)進行分類，才能更好地保障業(yè)務(wù)的開展。目前業(yè)界在以太網(wǎng)絡(luò)交換機實現(xiàn)的 Qos 隊列管理技術(shù)主要采用嚴格優(yōu)先級 SP（ StrictPriority）隊列調(diào)度算法、加權(quán)輪循 WRR（ Weighted Round Robin）調(diào)度算法。在實際應(yīng)用中， SP 隊列調(diào)度算法與 WRR 調(diào)度算法可以同時應(yīng)用一個端口上，既保證關(guān)鍵業(yè)務(wù)的延時與抖動，同時又保證各業(yè)務(wù)具有一定的帶寬保證。 另外如果邊緣層與骨干層的接入采用低速的鏈路接入，因此也必須考慮相應(yīng)的隊列管理技術(shù)。另外還可以采用 CRTP（ IP /UDP/ RTP 報文頭壓縮）技術(shù)，以提高鏈路的利用率。 . QoS部署 對與 學(xué)校 的整體 QoS 部署，我們建議根據(jù)不同層次進行部署，涉及局域網(wǎng)設(shè)備和廣域網(wǎng)設(shè)備，來實現(xiàn)對 學(xué)校 關(guān)鍵業(yè)務(wù)的保障。 2. ERP 流量 ERP 系統(tǒng)是 學(xué)校 的關(guān)鍵業(yè)務(wù)， ERP 服務(wù)器部署在數(shù)據(jù)中心，各站點分布多個 ERP 工作站訪問數(shù)據(jù)中心的 ERP 服務(wù)器。 第二種方式：廣域網(wǎng)路由器啟用 QoS 站點實現(xiàn)方法：在站點的路由器上配置 QoS 策略，首先啟用 ACL 識別 ERP 流（如：源地址 +目的地址），打上優(yōu)先級 DSCP 標記 AF31；再啟用 CBQ（基于類的隊列），將其引入 CBQ的中優(yōu)先級隊列，由 CBQ 進行隊列調(diào)度，搶占低優(yōu)先級的帶寬，優(yōu)先轉(zhuǎn)發(fā)報文。當主數(shù)據(jù)中心發(fā)生災(zāi)難時，前端網(wǎng)絡(luò)將實現(xiàn)快速收斂，客戶端通過訪問災(zāi)備中心以保障業(yè)務(wù)連續(xù)性。借助傳輸技術(shù)（ DWDM、 SDH 等）實現(xiàn)主中心和災(zāi)備中心間磁盤陣列的數(shù)據(jù)復(fù)制。方案組網(wǎng)如下圖所示： 高校 數(shù)據(jù)中心網(wǎng)絡(luò)及安全方案建議書 33 從主中心和備份中心的網(wǎng)關(guān)層（本方案的接入交換機）拉出互聯(lián)鏈路，經(jīng)過“異地集群連通模塊”匯聚后上波分設(shè)備； 異地集群連通模塊將需要進行集群和遷移的服務(wù)器 VLAN 進行 Trunk，實現(xiàn)與大連雙中心的大二層 VLAN 互通，保證服務(wù)器可以實現(xiàn)跨數(shù)據(jù)中心的集群（ MSCS）和遷移（ VMotion）； 數(shù)據(jù)中心內(nèi)部端到端部署 IRF虛擬化，虛擬化后的網(wǎng)關(guān)設(shè)備與大連備份中心運行 VRRP，保證網(wǎng)關(guān)設(shè)備跨數(shù)據(jù)中心熱備。多種類型的接口卡和網(wǎng)絡(luò)設(shè)備削弱了業(yè)務(wù)靈活性，增加了數(shù)據(jù)中心網(wǎng)絡(luò)管理復(fù)雜性、增加了設(shè)備成本、增加了電力等方面的開銷。 FCoE 技術(shù)的應(yīng)用范圍擴大到 整網(wǎng)，除接入層交換機外，匯聚核心層交換機也支持 FCoE 功能；除服務(wù)器外，存儲設(shè)備也逐漸支持 FCoE 接口。服務(wù)器安裝支持 FCoE的 10GE CNA 網(wǎng)卡，并連接到接入層 FCoE 交換機（ FCF 或 NPV），接入層交換機再分別通過 10GE 鏈路和 FC 鏈路連接到現(xiàn)有的 LAN 和 SAN。 OA 服務(wù)器區(qū)FCoE 部署組網(wǎng)拓撲如下圖所示： OA 服務(wù)器部署萬兆 CAN 融合網(wǎng)卡， 連接 FCoE 接入交換機，同時在 FCoE 接入交換機上配置 FC 接口卡，與 FC SAN 交換機相連。在部署了虛擬機之后，服務(wù)器的利用率得以提升，同時一臺服務(wù)器產(chǎn)生的業(yè)務(wù)流量將會成倍提升，同時一臺物理服務(wù)器上部署多個應(yīng)用系統(tǒng)，業(yè)務(wù)流的突發(fā)性也會加劇。虛擬機從一臺物理服務(wù)器遷移到另一臺物理服務(wù)器之后，網(wǎng)絡(luò)接入交換機上針對原物理服務(wù)器的端口策略（ ACL、 QoS 等）將全部失效。如下圖示： 構(gòu)建無差異虛擬機接入網(wǎng)絡(luò)，部署 VLAN ACL，同時將防火墻策略上移，保證虛擬機在本區(qū)域內(nèi)遷移時，網(wǎng)絡(luò)和安全策略無差異，如下圖所示： 高校 數(shù)據(jù)中心網(wǎng)絡(luò)及安全方案建議書 37 iMC 網(wǎng)絡(luò)管理平臺對 VMotion 的感知。數(shù)據(jù)中心運維管理建設(shè)需要遵循的基本原則如下： ? 集中性原則 系統(tǒng)規(guī)劃、設(shè)計和建設(shè)要以管理系統(tǒng)集中、數(shù)據(jù)集中、處理集中為原則，統(tǒng)一規(guī)劃、統(tǒng)一標準、統(tǒng)一設(shè)備、統(tǒng)一開發(fā)與應(yīng)用。 . 網(wǎng)絡(luò)管理 （ 1）設(shè)備管理 數(shù)據(jù)中心設(shè)備主要包括服務(wù)器、路由器、交換機、安全（ FW、 IPS）等基礎(chǔ)設(shè)施，建議按照統(tǒng)一管理的原則，由一套管理平臺來對數(shù)據(jù)中心的全局資源進行監(jiān)控，出現(xiàn)故障或告擎后能夠快速找到故障點。 2）集中化的設(shè)備配置和軟件信息展示 提供全網(wǎng)設(shè)備的配置文件、軟件版本信息集中式展示，包括設(shè)備的當前軟件版本、最新可用于升級的軟件版本、最近備份時間、是否已加入自動備份計劃等信息；可提供管理員對設(shè)備的集中操作包括設(shè)備配置部署、設(shè)備配置備份與恢復(fù)、設(shè)備軟件升級與恢復(fù)、設(shè)備空間管理、設(shè)備軟件基線化管理功能，極大的方便了管理員直觀的掌握當前網(wǎng)絡(luò)的配置和軟件版本。并可快速恢復(fù)至基線配置。支持網(wǎng)絡(luò)運行設(shè)備的配置變化檢查，一旦配置發(fā)生變化，立刻以告警方式通知管理員關(guān)注。 2）完善的報告 提供設(shè)備、主機、應(yīng)用系統(tǒng)、漏洞、網(wǎng)絡(luò)流量、主機資產(chǎn)、法規(guī)遵從（如 SOX、 HIPAA、GLBA、 FISMA 等法案和條例）七大類報告，基本覆蓋了所有安全相關(guān)的信息，并支持以 PDF、HTML、 WORD、 TXT 等多種格式輸出；同時可通過 Web 界面進行定制報告，定制內(nèi)容包括數(shù)據(jù)的時間范圍、數(shù)據(jù)的來源設(shè)備、生成周期、輸出類型等。 基于報文內(nèi)容對應(yīng)用進行識別和分類，可針對百兆鏈路提供對常見 P2P 應(yīng)用的網(wǎng)絡(luò)占用帶寬趨勢圖和流量趨勢圖及。需要在數(shù)據(jù)中心部署網(wǎng)絡(luò)流量分析系統(tǒng)。 2）日志管理 采用主動收集、被動接收等多種方式，提供有價值的集中化日志管理，并對不同類型格式的日志進行歸一化處理。 4）自動化的建立可追溯的網(wǎng)絡(luò)配置 通過啟動自動備份功能，幫助管理員周期性自動地完成設(shè)備配置的歷史備份，自動建立起可追溯的網(wǎng)絡(luò)配置。提供設(shè)備運行配置和啟動配置的基線化版本管理，將每個設(shè)備相關(guān)的配置文件劃分為三種版本：基線、普通、草稿。 （ 2）拓撲管理 高校 數(shù)據(jù)中心網(wǎng)絡(luò)及安全方案建議書 40 數(shù)據(jù)中心拓撲管理不僅可以自動發(fā)現(xiàn)網(wǎng)絡(luò)物理拓撲結(jié)構(gòu)，還需 要提供分區(qū)拓撲、機房拓撲、機架拓撲、設(shè)備面板、用戶拓撲等功能，可將全網(wǎng)設(shè)備根據(jù)不同的管理區(qū)域、樓層、機房、機架、面板、用戶等進行劃分，建立資源、業(yè)務(wù)與用戶的統(tǒng)一拓撲視圖，方便管理員從各個維度對數(shù)據(jù)中心的各種資源進行管理。 ? 安全、保密性原則 從設(shè)備安全、網(wǎng)絡(luò)安全、數(shù)據(jù)安全等多角度考慮管理系統(tǒng)的安全性和保