【正文】 XX數(shù)據(jù)中心網(wǎng)絡(luò)及安全方案建議書修訂記錄： 70 / 73目錄一、 建設(shè)背景 3 . 數(shù)據(jù)中心背景介紹 3 . XX集團(tuán)數(shù)據(jù)中心建設(shè) 3 二、 需求分析 5 . 應(yīng)用系統(tǒng)分析 5 . 流量模型分析 8 . 帶寬分析 9 三、 方案規(guī)劃與設(shè)計(jì) 11 . 數(shù)據(jù)中心網(wǎng)絡(luò)建設(shè)目標(biāo) 11 . 總體設(shè)計(jì)思路及原則 12 . 業(yè)務(wù)分區(qū) 14 . 網(wǎng)絡(luò)設(shè)計(jì) 16 . 核心交換區(qū) 17 . 服務(wù)器接入?yún)^(qū) 19 . 互聯(lián)網(wǎng)區(qū) 20 . 外聯(lián)網(wǎng)區(qū) 21 . 廣域網(wǎng)接入?yún)^(qū) 22 . 災(zāi)備接入?yún)^(qū) 22 . 安全設(shè)計(jì) 24 . 安全設(shè)計(jì)原則 24 . SecBlade FW插卡部署 25 . SecBlade FW+IPS+LB組合部署 27 . QoS設(shè)計(jì) 31 . QoS設(shè)計(jì)原則 31 . QoS服務(wù)模型選擇 31 . QoS規(guī)劃 32 . QoS部署 34 . 數(shù)據(jù)中心互聯(lián) 37 . 新技術(shù)應(yīng)用 39 . FCoE 39 . 虛擬機(jī)(VM)部署與遷移 41 . 數(shù)據(jù)中心管理 44 . 數(shù)據(jù)中心管理設(shè)計(jì)原則 44 . 網(wǎng)絡(luò)管理 44 . 網(wǎng)絡(luò)監(jiān)控 47 四、 方案實(shí)施 50 . 網(wǎng)絡(luò)布線建議 50 . 走線方式的選擇 50 . 網(wǎng)絡(luò)配線方式 52 . 服務(wù)器接入方式 53 . 機(jī)房布線建議 56 . VLAN規(guī)劃 56 . IP地址規(guī)劃 57 . 路由規(guī)劃 58 . 業(yè)務(wù)遷移 60 五、 設(shè)備介紹 61 . 設(shè)備清單 61 . H3C特色技術(shù)介紹 65 . IRF虛擬化 65 . 網(wǎng)絡(luò)安全融合 67 . 產(chǎn)品介紹 69 一、 建設(shè)背景. 數(shù)據(jù)中心背景介紹數(shù)據(jù)中心（英文拼寫Data Center，簡(jiǎn)寫DC）是數(shù)據(jù)大集中而形成的集成IT應(yīng)用環(huán)境，它是各種IT應(yīng)用服務(wù)的提供中心，是數(shù)據(jù)計(jì)算、網(wǎng)絡(luò)、存儲(chǔ)的中心。數(shù)據(jù)中心實(shí)現(xiàn)了安全策略的統(tǒng)一部署，IT基礎(chǔ)設(shè)施、業(yè)務(wù)應(yīng)用和數(shù)據(jù)的統(tǒng)一運(yùn)維管理。數(shù)據(jù)中心是當(dāng)前各行業(yè)的IT建設(shè)重點(diǎn)。運(yùn)營(yíng)商、電力、能源、金融證券、大型企業(yè)、政府、交通、教育、制造業(yè)、網(wǎng)站和電子商務(wù)公司等正在進(jìn)行或已完成數(shù)據(jù)中心建設(shè)，通過數(shù)據(jù)中心的建設(shè)，實(shí)現(xiàn)對(duì)IT信息系統(tǒng)的整合和集中管理，提升內(nèi)部的運(yùn)營(yíng)和管理效率以及對(duì)外的服務(wù)水平，同時(shí)降低IT建設(shè)的TCO。數(shù)據(jù)中心的發(fā)展可分為四個(gè)層面：u 數(shù)據(jù)中心基礎(chǔ)網(wǎng)絡(luò)整合：根據(jù)業(yè)務(wù)需求，基于開放標(biāo)準(zhǔn)的IP協(xié)議，完成對(duì)企業(yè)現(xiàn)有異構(gòu)業(yè)務(wù)系統(tǒng)、網(wǎng)絡(luò)資源和IT資源的整合，解決如何建設(shè)數(shù)據(jù)中心的問題。u 數(shù)據(jù)中心應(yīng)用智能：基于TCP/IP的開放架構(gòu)，保證各種新業(yè)務(wù)和應(yīng)用在數(shù)據(jù)中心的基礎(chǔ)體系架構(gòu)上平滑部署和升級(jí)，滿足用戶的多變需求，保證數(shù)據(jù)中心的持續(xù)服務(wù)和業(yè)務(wù)連續(xù)性。各種應(yīng)用的安全、優(yōu)化與集成可以無縫的部署在數(shù)據(jù)中心之上。u 數(shù)據(jù)中心虛擬化：傳統(tǒng)的應(yīng)用孤島式的數(shù)據(jù)中心模型擴(kuò)展性差，核心資源的分配與業(yè)務(wù)應(yīng)用發(fā)展出現(xiàn)不匹配，使得資源利用不均勻，導(dǎo)致運(yùn)行成本提高、現(xiàn)有投資無法達(dá)到最優(yōu)化的利用、新業(yè)務(wù)部署難度增大、現(xiàn)有業(yè)務(wù)持續(xù)性得不到保證、安全面臨威脅。虛擬化通過構(gòu)建共享的資源池，實(shí)現(xiàn)對(duì)網(wǎng)絡(luò)資源、計(jì)算計(jì)算和存儲(chǔ)資源的幾種管理、規(guī)劃和控制，簡(jiǎn)化管理維護(hù)、提高設(shè)備資源利用率、優(yōu)化業(yè)務(wù)流程部署、降低維護(hù)成本。u 數(shù)據(jù)中心資源智能：通過智能化管理平臺(tái)實(shí)現(xiàn)對(duì)資源的智能化管理，資源智能分配調(diào)度，構(gòu)建高度智能、自動(dòng)化數(shù)據(jù)中心。. XX集團(tuán)數(shù)據(jù)中心建設(shè)XX集團(tuán)的商業(yè)用戶分布在全國(guó)各大城市，目前業(yè)務(wù)系統(tǒng)的部署主要集中在和大連，近年來隨著XX集團(tuán)業(yè)務(wù)的規(guī)模及多樣化發(fā)展，企業(yè)對(duì)信息化的依賴程度越來越高，數(shù)據(jù)集中、業(yè)務(wù)7*24小時(shí)高可靠支撐對(duì)數(shù)據(jù)中心的要求越來越高。經(jīng)綜合考慮，擬在新建數(shù)據(jù)中心，未來數(shù)據(jù)中心將成為XX集團(tuán)的主中心，承載所有生產(chǎn)業(yè)務(wù)系統(tǒng)。數(shù)據(jù)中心是集團(tuán)廣域網(wǎng)匯聚中心，機(jī)房?jī)?nèi)原則上將不放置服務(wù)器。大連數(shù)據(jù)中心是災(zāi)備中心，主要功能是數(shù)據(jù)異地備份。此方案主要涉及數(shù)據(jù)中心的網(wǎng)絡(luò)及安全的設(shè)計(jì)與部署，并實(shí)現(xiàn)與、大連的互連！二、 需求分析二、. 應(yīng)用系統(tǒng)分析XX集團(tuán)目前的應(yīng)用系統(tǒng)主要包括生產(chǎn)應(yīng)用、辦公應(yīng)用和基礎(chǔ)支撐三大類，這三大類的服務(wù)器的數(shù)量占比如下圖所示：在三大類應(yīng)用系統(tǒng)中，每一類又可以細(xì)分為多個(gè)子類，不同的子類應(yīng)用在流量特征、規(guī)模和用戶訪問類型上存在較大的差別，這些將會(huì)影響到網(wǎng)絡(luò)及安全的方案設(shè)計(jì)，下面將進(jìn)行進(jìn)一步的分析：1. 生產(chǎn)應(yīng)用類u ERPu 百貨u KTVu 院線u 酒店u 商管u 地產(chǎn)u 網(wǎng)站流量特征分析：不同類的應(yīng)用，其業(yè)務(wù)負(fù)載繁忙特征也有顯著區(qū)別，其中百貨、KTV、網(wǎng)站應(yīng)用周末繁忙；院線應(yīng)用周二、周六和周日繁忙。繁忙時(shí)段網(wǎng)絡(luò)流量明顯上升，而且受外界因素（如新片上映、節(jié)假日促銷等）影響，存在不確定的突發(fā)流量。規(guī)模分析：從服務(wù)器的數(shù)量上統(tǒng)計(jì)，上述各類應(yīng)用的服務(wù)器數(shù)量占比如下圖所示：總體來看，院線類服務(wù)器的數(shù)量最多，其次為網(wǎng)站、百貨和KTV。用戶訪問分析：上述應(yīng)用的訪問用戶相對(duì)多樣化，包括集團(tuán)內(nèi)部員工（如ERP）、集團(tuán)外部用戶（如百貨、KTV）和互聯(lián)網(wǎng)公眾用戶（網(wǎng)站、院線）。2. 辦公應(yīng)用類u OAu 視頻會(huì)議u 圖檔u 文件u 其它流量特征分析：辦公應(yīng)用類服務(wù)器業(yè)務(wù)負(fù)載繁忙特征比較單一，繁忙時(shí)段集中在工作日的8小時(shí)內(nèi)，流量相對(duì)較穩(wěn)定。視頻會(huì)議對(duì)網(wǎng)絡(luò)的質(zhì)量要求最高，服務(wù)質(zhì)量（QoS）要充分考慮。規(guī)模分析：從服務(wù)器的數(shù)量上統(tǒng)計(jì)，辦公各類應(yīng)用的服務(wù)器數(shù)量占比如下圖所示：總體來看，OA服務(wù)器的數(shù)量最多，其次為視頻會(huì)議。用戶訪問分析：辦公應(yīng)用的訪問用戶單一，均為集團(tuán)內(nèi)部用戶。3. 基礎(chǔ)支撐類u 域和身份認(rèn)證u DNSu 防病毒u 網(wǎng)管u 桌面管理流量特征分析：基礎(chǔ)支撐類服務(wù)器業(yè)務(wù)負(fù)載繁忙特征比較單一，繁忙時(shí)段集中在工作日的8小時(shí)內(nèi)。部分服務(wù)器（如防病毒）的流量特征取決于網(wǎng)絡(luò)管理員的策略。規(guī)模分析：基礎(chǔ)支撐類物理服務(wù)器數(shù)量不會(huì)很多，未來可能會(huì)部署很多的虛擬服務(wù)器，因此此類服務(wù)器對(duì)網(wǎng)絡(luò)的擴(kuò)展要求要對(duì)相低，在此不再做進(jìn)一步的規(guī)模分析。用戶訪問分析：辦公應(yīng)用的訪問用戶單一，均為集團(tuán)內(nèi)部用戶。分析總結(jié)：1. 生產(chǎn)應(yīng)用類服務(wù)器的數(shù)量最多，而且此類服務(wù)器未來隨XX業(yè)務(wù)的發(fā)展，規(guī)模會(huì)越來越多，因此生產(chǎn)應(yīng)用類服務(wù)器的接入要充分考慮可擴(kuò)展性；2. 生產(chǎn)應(yīng)用類服務(wù)器的用戶訪問類型最復(fù)雜，因此要充分考慮安全訪問策略的設(shè)計(jì)；3. 生產(chǎn)應(yīng)用類服務(wù)器的流量特征最復(fù)雜，流量最大，而且突發(fā)性最強(qiáng)，因此要充分考慮網(wǎng)絡(luò)的緩沖能力；4. 辦公應(yīng)用類業(yè)務(wù)中，視頻會(huì)議對(duì)網(wǎng)絡(luò)的傳輸質(zhì)量最為敏感，方案設(shè)計(jì)要給予充分的QoS和帶寬保證。5. 三大類應(yīng)用系統(tǒng)中，所有業(yè)務(wù)均為7*24小時(shí)運(yùn)行，因此在網(wǎng)絡(luò)的設(shè)計(jì)中要保證高可靠，設(shè)備和鏈路均采用冗余設(shè)計(jì)，對(duì)于生產(chǎn)類關(guān)鍵業(yè)務(wù)，要保證設(shè)備和鏈路故障恢復(fù)時(shí)間在毫秒（ms）級(jí)，避免設(shè)備和鏈路故障導(dǎo)致業(yè)務(wù)服務(wù)中斷。. 流量模型分析XX集團(tuán)數(shù)據(jù)中心建設(shè)完成后，集團(tuán)的數(shù)據(jù)訪問流量模型如下圖所示：1. 未來三中心的定位：u 中心：XX集團(tuán)廣域網(wǎng)絡(luò)匯聚中心，各地XX集團(tuán)均與中心互連。但中心原則上不部署業(yè)務(wù)系統(tǒng)服務(wù)器，僅做網(wǎng)絡(luò)匯聚；u 中心：數(shù)據(jù)中心將做為XX集團(tuán)的主數(shù)據(jù)中心，所有業(yè)務(wù)系統(tǒng)均部署在此數(shù)據(jù)中心內(nèi)，承載XX集團(tuán)所有生產(chǎn)系統(tǒng)；u 大連中心：做為數(shù)據(jù)中心內(nèi)業(yè)務(wù)系統(tǒng)的數(shù)據(jù)備份中心，對(duì)關(guān)鍵生產(chǎn)系統(tǒng)的數(shù)據(jù)進(jìn)行災(zāi)備，原則上不部署業(yè)務(wù)系統(tǒng)服務(wù)器。當(dāng)主中心內(nèi)的數(shù)據(jù)遭到損壞后，可直接使用大連中心的備份數(shù)據(jù)。2. 對(duì)于集團(tuán)內(nèi)部用戶（含集團(tuán)各城市分支機(jī)構(gòu)）通過集團(tuán)廣域網(wǎng)絡(luò)，在中心進(jìn)行網(wǎng)絡(luò)匯聚后，再到數(shù)據(jù)中心訪問業(yè)務(wù)系統(tǒng)。如上圖中紅色虛線數(shù)據(jù)流所示；3. 合作單位用戶通過專線直接與數(shù)據(jù)中心連接，實(shí)現(xiàn)對(duì)業(yè)務(wù)系統(tǒng)的直接訪問，無需經(jīng)過中心。如上圖中綠色虛線數(shù)據(jù)流所示；4. 公眾用戶直接通過Internet訪問數(shù)據(jù)中心的WEB系統(tǒng)，無需經(jīng)過中心。如上圖中紫色虛線數(shù)據(jù)流所示。5. 大連備份中心與主中心直接相連，數(shù)據(jù)備份流量無需通過中心，提高數(shù)據(jù)備份的可靠性與效率，縮短時(shí)延。考慮到未來的雙活擴(kuò)展與數(shù)據(jù)的實(shí)時(shí)同步，建議大連備份中心與主中心之后采用裸纖或DWDM互連，避免出現(xiàn)帶寬瓶頸。6. 大連中心與中心現(xiàn)有的互連線路保持不變，做為數(shù)據(jù)備份的鏈路備份。同時(shí)未來可將部分集團(tuán)內(nèi)業(yè)務(wù)部署到大連中心，實(shí)現(xiàn)負(fù)載分擔(dān)。. 帶寬分析數(shù)據(jù)中心內(nèi)部的服務(wù)器接入及局域網(wǎng)絡(luò)均采用典型的“千兆接入、萬兆到匯聚”方式，部分服務(wù)器（如FCoE服務(wù)器等）直接采用萬兆接入，鏈路帶寬不會(huì)成為瓶頸，保證網(wǎng)絡(luò)的收斂比即可，在此不做帶寬分析。帶寬分析主要考慮數(shù)據(jù)中心的網(wǎng)絡(luò)出口，對(duì)于數(shù)據(jù)中心而言，網(wǎng)絡(luò)出口有以下四個(gè)：1. 集團(tuán)廣域網(wǎng)出口：與中心互連，滿足集團(tuán)內(nèi)所有員工對(duì)業(yè)務(wù)系統(tǒng)的訪問。考慮到可靠性，采用雙鏈路（不同運(yùn)營(yíng)商）；2. Internet出口：滿足公眾業(yè)務(wù)系統(tǒng)通過互聯(lián)網(wǎng)對(duì)外提供服務(wù)?？紤]到可靠性，采用雙鏈路（不同運(yùn)營(yíng)商）；3. 合作單位專線出口：與合作單位專線互連，此出口的鏈路和帶寬取決與合作單位，在此不做分析；4. 數(shù)據(jù)備份出口：與大連數(shù)據(jù)中心互連，實(shí)現(xiàn)關(guān)鍵業(yè)務(wù)的數(shù)據(jù)備份與同步?？紤]到未來的雙活擴(kuò)展與數(shù)據(jù)的實(shí)時(shí)同步，建議采用裸纖或DWDM互連。若采用裸纖或DWDM，帶寬不會(huì)成為瓶頸，因此也無需分析。但要保證高可靠，建議采用不同纜的多個(gè)光纖實(shí)現(xiàn)冗余。根據(jù)XX集團(tuán)現(xiàn)有業(yè)務(wù)系統(tǒng)的用戶數(shù)量分析，對(duì)數(shù)據(jù)中心網(wǎng)絡(luò)出口帶寬估算如下：業(yè)務(wù)系統(tǒng)集團(tuán)廣域網(wǎng)出口Internet出口ERP按1000用戶設(shè)計(jì)，每個(gè)用戶20Kbps帶寬，合計(jì)20MbpsN/A集團(tuán)/百貨/院線網(wǎng)站群N/A假設(shè)：1. 單個(gè)頁面300KB2. 用戶等待容忍時(shí)間為10秒3. 峰值并發(fā)增長(zhǎng)率，通常取30%按2000個(gè)并發(fā)用戶計(jì)算，帶寬需求：2000*300KB*130%/10=78MB/s=780MbpsOA/圖檔/郵件/文件共享按1000用戶設(shè)計(jì)，每個(gè)用戶50Kbps帶寬，合計(jì)50MbpsN/A視頻會(huì)議平均每路2Mbps，按50個(gè)城市（50路），占用100Mbps帶寬N/A基礎(chǔ)支撐類忽略N/A合計(jì)170Mbps780Mbps按照上述數(shù)據(jù)的初步估算，對(duì)數(shù)據(jù)中心網(wǎng)絡(luò)出口鏈路選擇建議如下：1. 廣域網(wǎng)出口帶寬為170Mbps，至少采用兩條155M POS鏈路，滿足帶寬需求的同時(shí)實(shí)現(xiàn)鏈路冗余；2. 互聯(lián)網(wǎng)出口帶寬為780Mbps，建議采用兩條千兆鏈路出口（兩個(gè)運(yùn)營(yíng)商）。(注：上述數(shù)據(jù)為經(jīng)驗(yàn)數(shù)據(jù)，僅供參考！)三、 方案規(guī)劃與設(shè)計(jì)三、. 數(shù)據(jù)中心網(wǎng)絡(luò)建設(shè)目標(biāo)XX數(shù)據(jù)中心未來將XX集團(tuán)承載所有生產(chǎn)環(huán)境系統(tǒng)。數(shù)據(jù)中心網(wǎng)絡(luò)作為業(yè)務(wù)網(wǎng)絡(luò)的一個(gè)重要組成部分，為核心業(yè)務(wù)系統(tǒng)服務(wù)器和存儲(chǔ)設(shè)備提供安全可靠的接入平臺(tái)。網(wǎng)絡(luò)建設(shè)應(yīng)達(dá)成以下目標(biāo)：高可用――網(wǎng)絡(luò)作為數(shù)據(jù)中心的基礎(chǔ)設(shè)施，網(wǎng)絡(luò)的高可用直接影響到業(yè)務(wù)系統(tǒng)的可用性。網(wǎng)絡(luò)層的高可用至少包括高可靠、高安全和先進(jìn)性三個(gè)方面：u 高可靠：應(yīng)采用高可靠的產(chǎn)品和技術(shù)，充分考慮系統(tǒng)的應(yīng)變能力、容錯(cuò)能力和糾錯(cuò)能力，確保整個(gè)網(wǎng)絡(luò)基礎(chǔ)設(shè)施運(yùn)行穩(wěn)定、可靠。當(dāng)今，關(guān)鍵業(yè)務(wù)應(yīng)用的可用性與性能要求比任何時(shí)候都更為重要。u 高安全：網(wǎng)絡(luò)基礎(chǔ)設(shè)計(jì)的安全性，涉及到XX業(yè)務(wù)的核心數(shù)據(jù)安全。應(yīng)按照端到端訪問安全、網(wǎng)絡(luò)L2L7層安全兩個(gè)維度對(duì)安全體系進(jìn)行設(shè)計(jì)規(guī)劃，從局部安全、全局安全到智能安全，將安全理念滲透到整個(gè)數(shù)據(jù)中心網(wǎng)絡(luò)中。u 先進(jìn)性：數(shù)據(jù)中心將長(zhǎng)期支撐XX集團(tuán)的業(yè)務(wù)發(fā)展，而網(wǎng)絡(luò)又是數(shù)據(jù)中心的基礎(chǔ)支撐平臺(tái)，因此數(shù)據(jù)中心網(wǎng)絡(luò)的建設(shè)需要考慮后續(xù)的機(jī)會(huì)成本，采用主流的、先進(jìn)的技術(shù)和產(chǎn)品（如數(shù)據(jù)中心級(jí)設(shè)備、CEE、FCoE、虛擬化支持等），保證基礎(chǔ)支撐平臺(tái)5～10年內(nèi)不會(huì)被淘汰，從而實(shí)現(xiàn)投資的保護(hù)。易擴(kuò)展――XX集團(tuán)的業(yè)務(wù)目前已向多元化發(fā)展，未來的業(yè)務(wù)范圍會(huì)更多更廣，業(yè)務(wù)系統(tǒng)頻繁調(diào)整與擴(kuò)展再所難免，因此數(shù)據(jù)中心網(wǎng)絡(luò)平臺(tái)必須能夠適應(yīng)業(yè)務(wù)系統(tǒng)的頻繁調(diào)整，同時(shí)在性能上應(yīng)至少能夠滿足未來5～10年的業(yè)務(wù)發(fā)展。對(duì)于網(wǎng)絡(luò)設(shè)備的選擇和協(xié)議的部署，應(yīng)遵循業(yè)界標(biāo)準(zhǔn)，保證良好的互通性和互操作性，支持業(yè)務(wù)的快速部署。易管理――數(shù)據(jù)中心是IT技術(shù)最為密集的地方，數(shù)據(jù)中心的設(shè)備繁多，各種協(xié)議和應(yīng)用部署越來越復(fù)雜，對(duì)運(yùn)維人員的要求也越來越高，單獨(dú)依賴運(yùn)維人員個(gè)人的技術(shù)能力和業(yè)務(wù)能力是無法保證業(yè)務(wù)運(yùn)行的持續(xù)性的。因此數(shù)據(jù)中心需要提供完善的運(yùn)維管理平臺(tái)，對(duì)數(shù)據(jù)中心IT資源進(jìn)行全局掌控，減少日常的運(yùn)維的人為故障。同時(shí)一旦出現(xiàn)故障，能夠借助工具直觀、快速定位。. 總體設(shè)計(jì)思路及原則數(shù)據(jù)中心為XX集團(tuán)業(yè)務(wù)網(wǎng)絡(luò)、日常辦公與外聯(lián)單位提供數(shù)據(jù)訪問、OA和視頻等服務(wù)，以及各業(yè)務(wù)的安全隔離控制。數(shù)據(jù)中心并不是孤立存在的，而是與大連中心、網(wǎng)絡(luò)匯聚中心外聯(lián)單位網(wǎng)絡(luò)等網(wǎng)絡(luò)區(qū)域相輔相成，數(shù)據(jù)中心基礎(chǔ)網(wǎng)絡(luò)是業(yè)務(wù)數(shù)據(jù)的傳輸通道，將數(shù)據(jù)的計(jì)算和數(shù)據(jù)存儲(chǔ)有機(jī)的結(jié)合在一起。為保證數(shù)據(jù)中心網(wǎng)絡(luò)的高可用、易擴(kuò)展、易管理，數(shù)據(jù)中心網(wǎng)絡(luò)架構(gòu)需按照結(jié)構(gòu)化、模塊化和扁平化的原則設(shè)計(jì)：12u 結(jié)構(gòu)化結(jié)構(gòu)化的網(wǎng)絡(luò)設(shè)計(jì)便于上層協(xié)議的部署和網(wǎng)絡(luò)的管理，提高網(wǎng)絡(luò)的收斂速度，實(shí)現(xiàn)高可