【正文】 業(yè)務(wù)系統(tǒng)的頻繁調(diào)整，同時在性能上應(yīng)至少能夠滿足未來5～10年的業(yè)務(wù)發(fā)展。當(dāng)今，關(guān)鍵業(yè)務(wù)應(yīng)用的可用性與性能要求比任何時候都更為重要。(注：上述數(shù)據(jù)為經(jīng)驗(yàn)數(shù)據(jù)，僅供參考！)三、 方案規(guī)劃與設(shè)計(jì)三、. 數(shù)據(jù)中心網(wǎng)絡(luò)建設(shè)目標(biāo)XX數(shù)據(jù)中心未來將XX集團(tuán)承載所有生產(chǎn)環(huán)境系統(tǒng)?？紤]到未來的雙活擴(kuò)展與數(shù)據(jù)的實(shí)時同步，建議采用裸纖或DWDM互連。. 帶寬分析數(shù)據(jù)中心內(nèi)部的服務(wù)器接入及局域網(wǎng)絡(luò)均采用典型的“千兆接入、萬兆到匯聚”方式，部分服務(wù)器（如FCoE服務(wù)器等）直接采用萬兆接入，鏈路帶寬不會成為瓶頸，保證網(wǎng)絡(luò)的收斂比即可，在此不做帶寬分析。5. 大連備份中心與主中心直接相連，數(shù)據(jù)備份流量無需通過中心，提高數(shù)據(jù)備份的可靠性與效率，縮短時延。2. 對于集團(tuán)內(nèi)部用戶（含集團(tuán)各城市分支機(jī)構(gòu)）通過集團(tuán)廣域網(wǎng)絡(luò)，在中心進(jìn)行網(wǎng)絡(luò)匯聚后，再到數(shù)據(jù)中心訪問業(yè)務(wù)系統(tǒng)。5. 三大類應(yīng)用系統(tǒng)中，所有業(yè)務(wù)均為7*24小時運(yùn)行，因此在網(wǎng)絡(luò)的設(shè)計(jì)中要保證高可靠，設(shè)備和鏈路均采用冗余設(shè)計(jì)，對于生產(chǎn)類關(guān)鍵業(yè)務(wù)，要保證設(shè)備和鏈路故障恢復(fù)時間在毫秒（ms）級，避免設(shè)備和鏈路故障導(dǎo)致業(yè)務(wù)服務(wù)中斷。部分服務(wù)器（如防病毒）的流量特征取決于網(wǎng)絡(luò)管理員的策略。視頻會議對網(wǎng)絡(luò)的質(zhì)量要求最高，服務(wù)質(zhì)量（QoS）要充分考慮。繁忙時段網(wǎng)絡(luò)流量明顯上升，而且受外界因素（如新片上映、節(jié)假日促銷等）影響，存在不確定的突發(fā)流量。經(jīng)綜合考慮，擬在新建數(shù)據(jù)中心，未來數(shù)據(jù)中心將成為XX集團(tuán)的主中心，承載所有生產(chǎn)業(yè)務(wù)系統(tǒng)。u 數(shù)據(jù)中心虛擬化：傳統(tǒng)的應(yīng)用孤島式的數(shù)據(jù)中心模型擴(kuò)展性差，核心資源的分配與業(yè)務(wù)應(yīng)用發(fā)展出現(xiàn)不匹配，使得資源利用不均勻，導(dǎo)致運(yùn)行成本提高、現(xiàn)有投資無法達(dá)到最優(yōu)化的利用、新業(yè)務(wù)部署難度增大、現(xiàn)有業(yè)務(wù)持續(xù)性得不到保證、安全面臨威脅。運(yùn)營商、電力、能源、金融證券、大型企業(yè)、政府、交通、教育、制造業(yè)、網(wǎng)站和電子商務(wù)公司等正在進(jìn)行或已完成數(shù)據(jù)中心建設(shè)，通過數(shù)據(jù)中心的建設(shè)，實(shí)現(xiàn)對IT信息系統(tǒng)的整合和集中管理，提升內(nèi)部的運(yùn)營和管理效率以及對外的服務(wù)水平，同時降低IT建設(shè)的TCO。XX數(shù)據(jù)中心網(wǎng)絡(luò)及安全方案建議書修訂記錄： 70 / 73目錄一、 建設(shè)背景 3 . 數(shù)據(jù)中心背景介紹 3 . XX集團(tuán)數(shù)據(jù)中心建設(shè) 3 二、 需求分析 5 . 應(yīng)用系統(tǒng)分析 5 . 流量模型分析 8 . 帶寬分析 9 三、 方案規(guī)劃與設(shè)計(jì) 11 . 數(shù)據(jù)中心網(wǎng)絡(luò)建設(shè)目標(biāo) 11 . 總體設(shè)計(jì)思路及原則 12 . 業(yè)務(wù)分區(qū) 14 . 網(wǎng)絡(luò)設(shè)計(jì) 16 . 核心交換區(qū) 17 . 服務(wù)器接入?yún)^(qū) 19 . 互聯(lián)網(wǎng)區(qū) 20 . 外聯(lián)網(wǎng)區(qū) 21 . 廣域網(wǎng)接入?yún)^(qū) 22 . 災(zāi)備接入?yún)^(qū) 22 . 安全設(shè)計(jì) 24 . 安全設(shè)計(jì)原則 24 . SecBlade FW插卡部署 25 . SecBlade FW+IPS+LB組合部署 27 . QoS設(shè)計(jì) 31 . QoS設(shè)計(jì)原則 31 . QoS服務(wù)模型選擇 31 . QoS規(guī)劃 32 . QoS部署 34 . 數(shù)據(jù)中心互聯(lián) 37 . 新技術(shù)應(yīng)用 39 . FCoE 39 . 虛擬機(jī)(VM)部署與遷移 41 . 數(shù)據(jù)中心管理 44 . 數(shù)據(jù)中心管理設(shè)計(jì)原則 44 . 網(wǎng)絡(luò)管理 44 . 網(wǎng)絡(luò)監(jiān)控 47 四、 方案實(shí)施 50 . 網(wǎng)絡(luò)布線建議 50 . 走線方式的選擇 50 . 網(wǎng)絡(luò)配線方式 52 . 服務(wù)器接入方式 53 . 機(jī)房布線建議 56 . VLAN規(guī)劃 56 . IP地址規(guī)劃 57 . 路由規(guī)劃 58 . 業(yè)務(wù)遷移 60 五、 設(shè)備介紹 61 . 設(shè)備清單 61 . H3C特色技術(shù)介紹 65 . IRF虛擬化 65 . 網(wǎng)絡(luò)安全融合 67 . 產(chǎn)品介紹 69 一、 建設(shè)背景. 數(shù)據(jù)中心背景介紹數(shù)據(jù)中心（英文拼寫Data Center，簡寫DC）是數(shù)據(jù)大集中而形成的集成IT應(yīng)用環(huán)境，它是各種IT應(yīng)用服務(wù)的提供中心，是數(shù)據(jù)計(jì)算、網(wǎng)絡(luò)、存儲的中心。數(shù)據(jù)中心的發(fā)展可分為四個層面：u 數(shù)據(jù)中心基礎(chǔ)網(wǎng)絡(luò)整合：根據(jù)業(yè)務(wù)需求，基于開放標(biāo)準(zhǔn)的IP協(xié)議，完成對企業(yè)現(xiàn)有異構(gòu)業(yè)務(wù)系統(tǒng)、網(wǎng)絡(luò)資源和IT資源的整合，解決如何建設(shè)數(shù)據(jù)中心的問題。虛擬化通過構(gòu)建共享的資源池，實(shí)現(xiàn)對網(wǎng)絡(luò)資源、計(jì)算計(jì)算和存儲資源的幾種管理、規(guī)劃和控制，簡化管理維護(hù)、提高設(shè)備資源利用率、優(yōu)化業(yè)務(wù)流程部署、降低維護(hù)成本。數(shù)據(jù)中心是集團(tuán)廣域網(wǎng)匯聚中心，機(jī)房內(nèi)原則上將不放置服務(wù)器。規(guī)模分析：從服務(wù)器的數(shù)量上統(tǒng)計(jì)，上述各類應(yīng)用的服務(wù)器數(shù)量占比如下圖所示：總體來看，院線類服務(wù)器的數(shù)量最多，其次為網(wǎng)站、百貨和KTV。規(guī)模分析：從服務(wù)器的數(shù)量上統(tǒng)計(jì)，辦公各類應(yīng)用的服務(wù)器數(shù)量占比如下圖所示：總體來看，OA服務(wù)器的數(shù)量最多，其次為視頻會議。規(guī)模分析：基礎(chǔ)支撐類物理服務(wù)器數(shù)量不會很多，未來可能會部署很多的虛擬服務(wù)器，因此此類服務(wù)器對網(wǎng)絡(luò)的擴(kuò)展要求要對相低，在此不再做進(jìn)一步的規(guī)模分析。. 流量模型分析XX集團(tuán)數(shù)據(jù)中心建設(shè)完成后，集團(tuán)的數(shù)據(jù)訪問流量模型如下圖所示：1. 未來三中心的定位：u 中心：XX集團(tuán)廣域網(wǎng)絡(luò)匯聚中心，各地XX集團(tuán)均與中心互連。如上圖中紅色虛線數(shù)據(jù)流所示；3. 合作單位用戶通過專線直接與數(shù)據(jù)中心連接，實(shí)現(xiàn)對業(yè)務(wù)系統(tǒng)的直接訪問，無需經(jīng)過中心?？紤]到未來的雙活擴(kuò)展與數(shù)據(jù)的實(shí)時同步，建議大連備份中心與主中心之后采用裸纖或DWDM互連，避免出現(xiàn)帶寬瓶頸。帶寬分析主要考慮數(shù)據(jù)中心的網(wǎng)絡(luò)出口，對于數(shù)據(jù)中心而言，網(wǎng)絡(luò)出口有以下四個：1. 集團(tuán)廣域網(wǎng)出口：與中心互連，滿足集團(tuán)內(nèi)所有員工對業(yè)務(wù)系統(tǒng)的訪問。若采用裸纖或DWDM，帶寬不會成為瓶頸，因此也無需分析。數(shù)據(jù)中心網(wǎng)絡(luò)作為業(yè)務(wù)網(wǎng)絡(luò)的一個重要組成部分，為核心業(yè)務(wù)系統(tǒng)服務(wù)器和存儲設(shè)備提供安全可靠的接入平臺。u 高安全：網(wǎng)絡(luò)基礎(chǔ)設(shè)計(jì)的安全性，涉及到XX業(yè)務(wù)的核心數(shù)據(jù)安全。對于網(wǎng)絡(luò)設(shè)備的選擇和協(xié)議的部署，應(yīng)遵循業(yè)界標(biāo)準(zhǔn)，保證良好的互通性和互操作性，支持業(yè)務(wù)的快速部署。. 總體設(shè)計(jì)思路及原則數(shù)據(jù)中心為XX集團(tuán)業(yè)務(wù)網(wǎng)絡(luò)、日常辦公與外聯(lián)單位提供數(shù)據(jù)訪問、OA和視頻等服務(wù)，以及各業(yè)務(wù)的安全隔離控制。如下圖所示： 冗余的引入可以消除設(shè)備和鏈路的單點(diǎn)故障，但是過度的冗余同樣會使網(wǎng)絡(luò)過于復(fù)雜，不便于運(yùn)行和維護(hù)，因此一般采用雙節(jié)點(diǎn)雙歸屬的架構(gòu)設(shè)計(jì)網(wǎng)絡(luò)結(jié)構(gòu)的對稱，可以使得網(wǎng)絡(luò)設(shè)備的配置簡化、拓?fù)渲庇^，有助于協(xié)議設(shè)計(jì)分析。2． IRF網(wǎng)絡(luò)設(shè)備N:1虛擬化技術(shù)通過H3C IRF技術(shù)對同一層面的設(shè)備進(jìn)行橫向整合，將兩臺或多臺設(shè)備虛擬為一臺設(shè)務(wù)，統(tǒng)一轉(zhuǎn)發(fā)、統(tǒng)一管理，并實(shí)現(xiàn)跨設(shè)備的鏈路捆綁。數(shù)據(jù)中心中的服務(wù)器將會根據(jù)服務(wù)器上的應(yīng)用的用戶訪問特性和應(yīng)用的功能不同部署在不同的區(qū)域中。同時模塊化設(shè)計(jì)也可以很好的分散風(fēng)險(xiǎn)，在某一模塊（除核心區(qū)外）出現(xiàn)故障時不會影響到其它模塊，將數(shù)據(jù)中心的故障影響降到最小。隨著網(wǎng)絡(luò)交換技術(shù)的不斷發(fā)展，交換機(jī)的端口接入密度也越來越高，二層組網(wǎng)的擴(kuò)展性和密度已經(jīng)能夠很好的滿足企業(yè)數(shù)據(jù)中心服務(wù)器接入的要求。. 業(yè)務(wù)分區(qū)“模塊化”設(shè)計(jì)原則，需要對業(yè)務(wù)系統(tǒng)進(jìn)行分區(qū)。在實(shí)際的數(shù)據(jù)中心分區(qū)設(shè)計(jì)中，通常有以下三種分區(qū)方法：1. 按照業(yè)務(wù)功能進(jìn)行分區(qū)：根據(jù)業(yè)務(wù)系統(tǒng)的功能（如生產(chǎn)、OA、支撐等）或業(yè)務(wù)的實(shí)時性（實(shí)時業(yè)務(wù)、非實(shí)時業(yè)務(wù)）或者業(yè)務(wù)系統(tǒng)的功能（如ERP、營銷、財(cái)務(wù)等）進(jìn)行分區(qū)劃分，此分區(qū)方法適合大多數(shù)企業(yè)數(shù)據(jù)中心；2. 按照安全等保級別進(jìn)行分區(qū)：按照業(yè)務(wù)系統(tǒng)的安全等級定義進(jìn)行劃分，如“三級系統(tǒng)獨(dú)立成域，二級系統(tǒng)統(tǒng)一成域”，此分區(qū)方法適合政府、電力等行業(yè)數(shù)據(jù)中心；3. 按照服務(wù)器類型進(jìn)行分區(qū)：一般分為WEB服務(wù)器區(qū)、APP/中間件服務(wù)器區(qū)、DB服務(wù)器區(qū)。廣域網(wǎng)接入?yún)^(qū)：與網(wǎng)絡(luò)匯聚中心廣域網(wǎng)絡(luò)互連，網(wǎng)絡(luò)出口。KTV應(yīng)用區(qū)：此區(qū)域部署與KTV相關(guān)的應(yīng)用服務(wù)器，包括FTP、管控、WEB、DB等應(yīng)用系統(tǒng)。其它應(yīng)用區(qū)：部署商管、地產(chǎn)、酒店等應(yīng)用服務(wù)器。支撐管理區(qū)：此區(qū)域部署數(shù)據(jù)中心網(wǎng)絡(luò)、安全、服務(wù)器、存儲等IT資源的運(yùn)維管理系統(tǒng)，此外包括集團(tuán)內(nèi)部的域管理和身份認(rèn)證服務(wù)器。對于數(shù)據(jù)中心的網(wǎng)絡(luò)安全部署，在本方案中采用了“分布式安全部署”的策略，防火墻形態(tài)采用了H3C SecBlade安全插卡，實(shí)現(xiàn)網(wǎng)絡(luò)安全的融合。核心交換區(qū)必須具備高速轉(zhuǎn)發(fā)的能力，同時還需要有很強(qiáng)的擴(kuò)展能力，以便應(yīng)對未來業(yè)務(wù)的快速增長。u 拓?fù)湓O(shè)計(jì)u 設(shè)計(jì)要點(diǎn)1. 高可靠核心交換設(shè)備選用數(shù)據(jù)中心級核心交換機(jī)，配置雙引擎，雙電源，保證網(wǎng)絡(luò)組件層面的穩(wěn)定性。2. 高速傳輸本次網(wǎng)絡(luò)設(shè)計(jì)容量應(yīng)保證未來3～5年內(nèi)的業(yè)務(wù)擴(kuò)展，本設(shè)計(jì)采用“萬兆到核心，千兆接入”的思路，核心模塊對外接口為全萬兆接口。u 拓?fù)湓O(shè)計(jì)注：院線應(yīng)用區(qū)若部署院線WEB服務(wù)器，則服務(wù)器接入交換機(jī)上除了部署FW插卡外，還頊要部署IPS和SLB插卡。. 互聯(lián)網(wǎng)區(qū)u 功能描述互聯(lián)網(wǎng)區(qū)用于部署集團(tuán)WEB服務(wù)器、院線WEB服務(wù)器（若需要），以及集團(tuán)的DNS、FTP、Email等需要通過互聯(lián)網(wǎng)對公眾用戶提供服務(wù)器的應(yīng)用系統(tǒng)。4. 由于Internet區(qū)部署了較多的網(wǎng)站等WEB服務(wù)器，因此需要部署LB和IPS設(shè)備。內(nèi)層防火墻用于實(shí)現(xiàn)前置機(jī)服務(wù)器與數(shù)據(jù)中心內(nèi)部其它服務(wù)器之間的隔離，部署內(nèi)部區(qū)域間的訪問控制策略。（必要時也可考慮與大連數(shù)據(jù)中心互聯(lián)）u 拓?fù)湓O(shè)計(jì)u 設(shè)計(jì)要點(diǎn)1. 廣域網(wǎng)出口路由器部署雙機(jī)，出口鏈路為雙鏈路，保證廣域網(wǎng)出口高可靠；2. 防火墻采用路由器上部署SecBlade FW插卡。2. SAN網(wǎng)絡(luò)直接通過光纖上DWDM波分設(shè)備，實(shí)現(xiàn)數(shù)據(jù)存儲備份通道的互通。. 安全設(shè)計(jì). 安全設(shè)計(jì)原則安全與網(wǎng)絡(luò)密不可分，本方案中的安全設(shè)計(jì)部署采用了與網(wǎng)絡(luò)分區(qū)相同的安全域劃分，同時采用SecBlade安全插卡實(shí)現(xiàn)了網(wǎng)絡(luò)與安全設(shè)備形態(tài)的融合。防火墻主要部署在數(shù)據(jù)中心的兩個常見區(qū)域中：數(shù)據(jù)中心出口區(qū)域和服務(wù)器區(qū)域。它通過交換機(jī)內(nèi)部的10GE接口與網(wǎng)絡(luò)設(shè)備相連，它可以部署為2層透明設(shè)備和三層路由設(shè)備。如果防火墻部署在服務(wù)器區(qū)域，可以將防火墻設(shè)計(jì)為服務(wù)器網(wǎng)關(guān)設(shè)備，這樣所有訪問服務(wù)器的三層流量都將經(jīng)過防火墻設(shè)備，這種部署方式可以提供區(qū)域內(nèi)部服務(wù)器之間訪問的安全性。如下圖所示： 對于僅部署SecBlade FW插卡的業(yè)務(wù)區(qū)（如百貨、KTV、ERP/財(cái)務(wù)、開發(fā)測試、支撐管理、外聯(lián)網(wǎng)區(qū)），區(qū)域內(nèi)的安全部署邏輯拓?fù)淙缦聢D所示：u 接入交換機(jī)雙機(jī)部署IRF虛擬化，并實(shí)現(xiàn)跨設(shè)備鏈路捆綁。兩塊FW插卡通過帶外狀態(tài)同步線（心跳線）進(jìn)行狀態(tài)同步，F(xiàn)W插卡之間通過OSPF動態(tài)路由實(shí)現(xiàn)熱備或負(fù)載分擔(dān)（ECMP）。可以通過傳統(tǒng)的流量重定向方式將需要IPS處理的業(yè)務(wù)流重定向到IPS插卡上處理，也可以通過OAA方式在IPS的Web頁面上配置重定向策略，這兩種方式都可以實(shí)現(xiàn)相同的功能。因此建議實(shí)施的時候?qū)⑵浞旁谧詈筮M(jìn)行上線配置，即其他設(shè)備都調(diào)試OK，流量轉(zhuǎn)發(fā)與HA設(shè)計(jì)都以正常實(shí)現(xiàn)情況下再進(jìn)行IPS的部署實(shí)施。u SecBlade LB板卡設(shè)計(jì)部署LB插卡具備兩大主要功能，服務(wù)器負(fù)載均衡和鏈路負(fù)載均衡，分別應(yīng)用于數(shù)據(jù)中心服務(wù)器區(qū)和Internet出口區(qū)域。通過傳統(tǒng)的三層方式與交換機(jī)或下游設(shè)備相連。需要注意的是，在雙機(jī)熱備的組網(wǎng)環(huán)境中，兩塊LLB的出口配置必須相同，這樣才能保證業(yè)務(wù)切換后能正常運(yùn)行。u 組合部署在數(shù)據(jù)中心服務(wù)器區(qū)IPS+FW+SLB的部署主要有以下四種方式：u IPS如果需要保護(hù)所有流量可以部署在前端，如果僅需要保護(hù)部分關(guān)鍵區(qū)域的業(yè)務(wù)可以放置在FW后面。交換機(jī)通過IRF方式增強(qiáng)可靠性和管理性，F(xiàn)W插卡與上游設(shè)備建立三層連接關(guān)系，提供安全保護(hù)功能。當(dāng)帶寬利用率達(dá)到60％可考慮擴(kuò)容；u 網(wǎng)絡(luò)設(shè)備的容量不能成為瓶頸；u 網(wǎng)絡(luò)/鏈路故障或網(wǎng)絡(luò)擁塞情況下QOS策略生效；u 任何時候都優(yōu)先保證實(shí)時業(yè)務(wù)。網(wǎng)絡(luò)則盡最大的可能性來發(fā)送報(bào)文，但對時延、可靠性等不提供任何保證。而應(yīng)用程序發(fā)出的報(bào)文應(yīng)該控制在流量參數(shù)描述的范圍內(nèi)?？梢杂貌煌姆椒▉碇付▓?bào)文的QoS，如IP包的優(yōu)先級位（IP Precedence)、報(bào)文的源地址和目的地址等。而Diffserv則沒有這方面的缺陷，且處理效率高，部署及實(shí)施可以分布進(jìn)行，它只是在構(gòu)建網(wǎng)絡(luò)時，需要對網(wǎng)絡(luò)中的路由器設(shè)置相應(yīng)的規(guī)則。XX集團(tuán)網(wǎng)絡(luò)中主要包括數(shù)據(jù)、視頻兩種業(yè)務(wù)應(yīng)用。局域網(wǎng)主要基于以太網(wǎng)的組網(wǎng)方式，以太網(wǎng)實(shí)現(xiàn)的QoS功能主要是能夠支持那些對延時和抖動要求較高的業(yè)務(wù)流。WRR隊(duì)列調(diào)度算法在隊(duì)列之間進(jìn)行輪流調(diào)度，保證每個隊(duì)列都得到一定的服務(wù)時間。但是請注意，由于涉及到復(fù)雜的流分類，對于高速接口（GE以上）啟用CBQ\LLQ特性系統(tǒng)資源存在一定的開銷。可采用LFI（鏈路的分段及交叉）技術(shù)避免大報(bào)文長期占用鏈路帶寬，采用LFI以后，數(shù)據(jù)報(bào)文（非RTP實(shí)時隊(duì)列和LLQ中的報(bào)文）在發(fā)送前被分片、逐一發(fā)送，而此時如果有語音報(bào)文到達(dá)則被優(yōu)先發(fā)送，從而保證了語音等實(shí)時業(yè)務(wù)的時延與抖動。主要特點(diǎn)：一、WRED利用活動隊(duì)列管理，解決尾部刪除的缺點(diǎn)；二、WRED主要在TCP為主的IP網(wǎng)絡(luò)中使用，因?yàn)閁DP通信流不像TCP一樣具有對分組刪除具有響應(yīng)能力；三、WRED把非IP通信流看成優(yōu)先級為0，最低優(yōu)先級，因