【正文】 CCB Data Center 38 網(wǎng)絡(luò)設(shè)備安全與管理配置 協(xié)議的安全性 在網(wǎng)絡(luò)中運行著很多網(wǎng)絡(luò)協(xié)議，包括路由協(xié)議和各種為上層應(yīng)用服務(wù)的廣域網(wǎng)，局域網(wǎng)絡(luò)協(xié)議等，路由器上也存在著很多服務(wù)，有些服務(wù)是網(wǎng)絡(luò)運行所必需的，必須打開它，而有些服務(wù)是對網(wǎng)絡(luò)運行無關(guān)緊要或無用的。 ? 路由器及交換機管理 對于數(shù)據(jù)中心的三層設(shè)備，路由器和使用 Native IOS 的 交換機，只要網(wǎng)管主機能夠通過 IP和 CDP 訪問網(wǎng)絡(luò)設(shè)備，即可實現(xiàn)網(wǎng)絡(luò)管理。 ? 6500 交換機管理 北京中心D C B J _ Y W S 1D C B J _ O A S 1D C B J _ S 1D C B J _ S 3四樓主機D C B J _ S 2D C B J _ S 4D C B J _ R AD C B J _ R BD C B J _ R 1D C B J _ R 2D C B J _ Y W S 2I B M主機D C B J _ O A S 2OAD C B J _ R 3六樓主機D C B J _ Y W S 3D C B J _ Y W S 4D C B J _ S N A R 1 D C B J _ S N A R 2CiscoworksCIC網(wǎng)管系統(tǒng) CCB Data Center 37 由于本次工程中的 6500 交換機使用 CatOS 操作系統(tǒng)，為了實現(xiàn)對不住6500 交換機的管理，需要將其管理端口 SC0 劃分到相應(yīng)的網(wǎng)段，參加OSPF 路由。 網(wǎng)管工作站應(yīng)位于專用的網(wǎng)管網(wǎng)段 。 CCB Data Center 36 網(wǎng)絡(luò)管理 此次數(shù)據(jù)中心的網(wǎng)絡(luò)管理主要分為以下幾個方面： ? 網(wǎng)絡(luò)管理網(wǎng)段 本次工程采用 Ciscoworks 作為網(wǎng)絡(luò)管理軟件， CIC 作為故障管理軟件。但是在本次工程中仍然可以使用訪問安全策略，主要實現(xiàn)營業(yè)類網(wǎng)段和管理類網(wǎng)段之間的訪問控制，并對路由器自身的訪問進行控制，保證網(wǎng)絡(luò)的可靠運行。 在數(shù)據(jù)中心，可在業(yè)務(wù)服務(wù)器接入前采用高性能防火墻對服務(wù)器進行保護，這種對主機、服務(wù)器進行的安全隔離、保護容易實現(xiàn)，安全性高，便于管理。 CCB Data Center 35 網(wǎng)絡(luò)安全與管理設(shè)計 數(shù)據(jù)中心安全設(shè)計 根據(jù)建行的業(yè)務(wù)需求，首先要求實現(xiàn)營業(yè)業(yè)務(wù)與管理業(yè)務(wù)的分離，充分保證業(yè)務(wù)系統(tǒng)的高安全性。 QoS 的擁塞管理機制可以在數(shù)據(jù)中心之間以及數(shù)據(jù)中心與各一級分行的廣域網(wǎng)電路上實現(xiàn)。所以在交換機上無需考慮擁塞管理。具體的做法是將連接主機的交換機端口設(shè)置為 untrust， 并根據(jù)上表對進入該端口的數(shù)據(jù)包打上相應(yīng)的 Cos 值。具體的做法是將連接主機的交換機端口設(shè)置為 untrust， 并根據(jù)上表對進入該端口的數(shù)據(jù)包打上相應(yīng)的 Cos 值。 IP Precedence 規(guī)劃表： 業(yè)務(wù)應(yīng)用類型 IP Precedence 值 其它應(yīng)用 （ 如 FTP 和 HTTP） 0 管理類業(yè)務(wù) 2 營業(yè)類業(yè)務(wù) 3 視頻 /語音 4 SNA 5 QoS 策略 根據(jù)建行數(shù)據(jù)中心以及與一級分行互聯(lián)的網(wǎng)絡(luò)結(jié)構(gòu)，同時考慮應(yīng)用業(yè)務(wù)類型及特點，在整個網(wǎng)絡(luò)服務(wù)質(zhì)量保證方面可以使用下面的策略： 優(yōu)先級分類 —— 通過在分布層的交換機對接入端口設(shè)置 COS實現(xiàn)； 擁塞避免機制 —— 采用 WRED Weighted Random Early Detection實現(xiàn)； 擁塞管理機制 —— 采用 CBWFQ Class Based Weighted Fair Queuing實現(xiàn)。 ? 一級分行局域網(wǎng)設(shè)計 由于本次網(wǎng)絡(luò)工程基本上不改動一級分行局域網(wǎng)的結(jié)構(gòu)與設(shè)計，沿用原有的metric/HSRP 方案。同時為了方便控制數(shù)據(jù)流量， R R RA、 RB 之間運行 IBGP，所有三層設(shè)備運行 OSPF，重分發(fā) EBGP 到IGP。 7. 在 DCSH_RB 上將從 DCBJ_RB 來的南方一級分行路由設(shè)置為較高的 Weight 值。 5. 在 DCSH_RA 上將從 DCBJ_RA 來的北方一級分行路由設(shè)置為較高的 Weight 值。 3. 采用 BGP 的 weight 屬性進行路由策略控制， BGP 選擇路由時除 next_hop 可達外 weight 屬性為首要考慮因素，路由器可以設(shè)置 weight 值來選擇從指定的BGP neighbor 傳來的路由最為優(yōu)先（ weight 值越大越優(yōu)先），由于 weight 只在路由器本身啟主用，符合建行以往的路由選擇策略。 2. 北京、上海中利用 EBGP 分發(fā)自身的匯總路由，同時分發(fā)明細路由。 由于此次數(shù)據(jù)中心廣域網(wǎng)建設(shè)采用跨不同 AS 域的交叉連接，采用調(diào)整 BGP 的選擇路由的屬性和數(shù)據(jù)中心分發(fā)明細路由實現(xiàn)分流。 北方一級分行至南 方一級分行的管理數(shù)據(jù)通過上海中心和北京中心到達南方一級分行的管理網(wǎng)段，反之亦然。 南方一級分行至北京中心的管理數(shù)據(jù)直接到達北京中心管理網(wǎng)段，反之亦然。 北方一級分行至北京中心的管理數(shù)據(jù)通過上海中心到達北京中心管理網(wǎng)段，反之亦然。 總結(jié)以上各種 類型的數(shù)據(jù)流分流需求，數(shù)據(jù)分流具體描述如下： 對于上收業(yè)務(wù)北方一級分行可直接通達北京中心，南方一級分行可直接通達上海中心。如北方一級分行和南方一級分行之間的 OA通信需通過北方中心和南方中心轉(zhuǎn)發(fā)。當輔電路失效后，除了必要的管理信息，其他信息不應(yīng)切換到主電路。即對于北方一級分行，要求往返業(yè)務(wù)通過主電路經(jīng)過北方中心到達南方中心。當主電路不正常時才切換到輔電路。原有的撥號備份電路實現(xiàn)原有的備份策略，即主鏈路和副鏈路同時故障時，營業(yè)類數(shù)據(jù)和部分管理類數(shù)據(jù)將迂回到撥號備份鏈路上傳輸；新增的備份電路（ 2M）備份一 級分行與數(shù)據(jù)中心間的上收營業(yè)類數(shù)據(jù)。 總行與北京中心之間的采用靜態(tài)路由協(xié)議。也就是北方中心的數(shù)據(jù)不能通過任意的一級分行到達南方數(shù)據(jù)中心。 每個一級分行自成一個 BGP自治系統(tǒng)，一級分行內(nèi)的 2 臺路由器采用 IBGP協(xié)議，與北京中心和上海中心分別采用 EBGP 協(xié)議。 OA 管理數(shù)據(jù)可能需要使用輔電路穿越數(shù)據(jù)中心，因為 數(shù)據(jù)中心設(shè)為可穿越 AS。 一級分行局域網(wǎng)的路由策略沿用原有的（ HSRP、 IGP Metric）數(shù)據(jù)分流策略不變，參照 相關(guān)文檔 。 新增電路到北京、上海數(shù)據(jù)中心， 在本次工程階段 ，保留原有到總行的電路。 ? 數(shù)據(jù)中心網(wǎng)絡(luò) IGP 路由協(xié)議采用 OSPF,OSPF area 號為 0。針對兩個 SNAsw vlan， 建議分別設(shè) S1（ S3） 為 STP root、S3(S1)為 STP root secondary，從而實現(xiàn)網(wǎng)絡(luò)的負載分流。 ? 根據(jù)建行網(wǎng)絡(luò)分流的需求，相應(yīng)的廣域網(wǎng)路由器也進行相應(yīng)的職能分配： R RA 連接業(yè)務(wù)交換核心，主要承載建行的實時生產(chǎn)業(yè)務(wù)； R RB 連接 OA 交換核心，主要承載非實時生產(chǎn)業(yè)務(wù)。 ? 連接主機的 端口應(yīng)設(shè)置 STP portfast、 BPDU guard。 ? 在網(wǎng)絡(luò)資源（端口、線路）允許范圍內(nèi)，路由器與核心層以及核心層與匯聚層的設(shè)備三層互聯(lián)應(yīng)采取冗余連接，從而減少路由協(xié)議的計算時間，加速網(wǎng)絡(luò)的冗余切換。 對應(yīng)本次工程， IP 地址的劃分如下： 北京數(shù)據(jù)中心 ，分配方法從大到小 ， /30 網(wǎng)絡(luò)掩碼 ， /30 網(wǎng)絡(luò)掩碼 +交換機 SC0 （ openview/view 等） ， /29 網(wǎng)絡(luò)掩碼 語音 （營業(yè)類網(wǎng)段） 連接一級分行的 SNA/IP網(wǎng)關(guān)主機 連接數(shù)據(jù)中心的 SNA/IP網(wǎng)關(guān)主機 IBM 主機通過 IP通信 OSAE DLSW 主機 上海數(shù)據(jù)中心 ，分配方法從大到小 ， /30 網(wǎng)絡(luò)掩碼 +交換機 SC0 （ openview/view 等） ，分配方法從小到大， /29 網(wǎng)絡(luò)掩碼 語音 （營業(yè)類網(wǎng)段） 連接一級分行的 SNA/IP網(wǎng)關(guān)主機 連接數(shù)據(jù)中心的 SNA/IP網(wǎng)關(guān)主機 IBM 主機通過 IP通信 OSAE DLSW 主機 數(shù)據(jù)中心局域網(wǎng)絡(luò)設(shè)計 數(shù)據(jù)中心局域網(wǎng)絡(luò)拓撲結(jié)構(gòu) Figure 2 數(shù)據(jù)中心局域網(wǎng)絡(luò)結(jié)構(gòu) 局域網(wǎng)絡(luò)設(shè)計原則 ? 為了便于管理以及功能劃分，數(shù)據(jù)中心網(wǎng)絡(luò)應(yīng)按照接入層、匯聚層、核心層進行設(shè)計 ? 為了盡量減少生成樹（ Spanning tree）的計算范圍，減少網(wǎng)絡(luò)中斷時間和防止網(wǎng)絡(luò)二層循環(huán)，減少網(wǎng)絡(luò)故障，應(yīng)盡量把 Layer2 的網(wǎng)絡(luò)限制在匯聚層甚至在接入層；核心層的網(wǎng)絡(luò)互聯(lián)應(yīng)該為三層連接。上海中心： 。通過計算可以得出數(shù)據(jù)中心的 IP地址。 911 位作為數(shù)據(jù)中心標識，這可以保證數(shù)據(jù)中心可以擴展到 8個。 兩個數(shù)據(jù)中心的一級地域標識均采用 11。 IP 地址分配 本方案以 《中國 XX 網(wǎng)絡(luò)系統(tǒng) IP 地址和域名編碼規(guī)范（ 版）》 為依據(jù)，對IP 地址進一步細化。指明到一級分行 OA 的路徑選擇上海數(shù)據(jù)中心最近。例如：北京數(shù)據(jù)中心到隸屬于北京數(shù)據(jù)中心的一級分行的 OA 數(shù)據(jù)，要求通過上海數(shù)據(jù)中心轉(zhuǎn)到一級分行。在每個數(shù)據(jù)中心內(nèi)部的 4 臺路由器， RA、 RB、 R R2 之間運行全網(wǎng)狀的 IBGP 協(xié)議。數(shù)據(jù)中心之間采用 BGP協(xié)議。 R3 連接所屬生產(chǎn)一級分行的 R3，承載最終的備份數(shù)據(jù)。 R2 連接所屬災(zāi)備一級分行的R2，承載 OA 數(shù)據(jù)。 R1 連接所屬生產(chǎn)一級分行的 R1，承載業(yè)務(wù)數(shù)據(jù)。內(nèi)環(huán)和外環(huán)互為備份。每個數(shù)據(jù)中心的 RA 之間互連形成業(yè)務(wù)內(nèi)環(huán)網(wǎng)絡(luò)，承載全部的業(yè)務(wù)數(shù)據(jù)和 OA 的備份數(shù)據(jù)。 2 個環(huán)形網(wǎng)絡(luò)互為備份關(guān)系。核心網(wǎng)絡(luò)拓撲結(jié)構(gòu)如下圖所示： 北京、上海和第三數(shù)據(jù)中心之間分別通過 2 條線路實現(xiàn) 連接，形成雙環(huán)形網(wǎng)絡(luò)。 多 數(shù)據(jù)中心的網(wǎng)絡(luò)結(jié)構(gòu) 隨著中國 XX 第三個數(shù)據(jù)中心的建設(shè)，骨干網(wǎng)絡(luò)結(jié)構(gòu)也將隨之變化。各一級分行至總行的電路也可以拆除。 在此階段，總行可能要合并入北京數(shù)據(jù)中心，在此需求下，可以將總行現(xiàn)有局域網(wǎng)部分加入到北京數(shù)據(jù)中的 OSPF 域中，參與數(shù)據(jù)分流策略，取消廣域網(wǎng)路由器及電路。 D C B J _ R AD C B J _ R BD C B J _ R 1 D C B J _ R 2D C S H _ R AD C S H _ R BD C S H _ R 1D C S H _ R 2上海分行S H _ R A S H _ R B北京中心 上海中心( 總行)北京分行B J _ R A B J _ R B遼寧分行L N _ R A L N _ R B江蘇分行J S _ R A J S _ R B 所有北方一級分行的兩條電路分別連接北京數(shù)據(jù)中心和上海數(shù)據(jù)中心，其中連接北京數(shù)據(jù)中心的電路主要供業(yè)務(wù)數(shù)據(jù)使用，連接上海數(shù)據(jù)中心的電路主要供 OA管理數(shù)據(jù)使用。 Step 3. 第三階段 在第三階段，主要工作是其它一級分行的上掛。由于這部分數(shù)據(jù)的類型和流向比較簡單清晰，且不需要參與到全網(wǎng)的數(shù)據(jù)分流策略里，可以在數(shù)據(jù)中心和總行之間使用連續(xù)的靜態(tài)路由來實現(xiàn)。 對于第三條備份電路，在圖中沒有顯示，遼寧分行使用第三條備份電路連接北京數(shù)據(jù)中心，江蘇分行使用第三條備份電 路連接上海數(shù)據(jù)中心。 如遼寧分行的兩條電路分別連接北京數(shù)據(jù)中心和上海數(shù)據(jù)中心，其中連接北京數(shù)據(jù)中心的電路主要供業(yè)務(wù)數(shù)據(jù)使用，連接上海數(shù)據(jù)中心的電路主要供 OA管理數(shù)據(jù)使用。其中，遼寧分行代表 北方一級分行，江蘇分行代表南方一級分行。 在第一階段中，所有的一級分行包括北京分行和上海分行原有的連接總行的電路依然保留，總行與各一級分行間的數(shù)據(jù)依然走原有電路。上海分行的數(shù)據(jù)分流策略與北京分行的情況基本相似。北京分行通過兩條新增 的 GE上連北京數(shù)據(jù)中心，上海分行通過兩條新增的 GE上連上海數(shù)據(jù)中心。 階段性工程實施 Step 1. 第一階段 D C B J _ R AD C B J _ R BD C B J _ R 1 D C B J _ R 2D C S H _ R AD C S H _ R BD C S H _ R 1D C S H _ R 2上海分行S H _ R A S H _ R B北京中心 上海中心總行北京分行B J _ R A B J _ R BZ H _ R 1 Z H _ R 2新增電路原有電路 在工程的第一階段中，主要是建設(shè)北京數(shù)據(jù)中心和上海數(shù)據(jù)中心。 如上圖所示，原來以總行為中心的星型骨干網(wǎng)絡(luò)將演進成以北京數(shù)據(jù)中心和上海數(shù)據(jù)中心為中心的雙星型網(wǎng)絡(luò)，每個一級分行通過兩條廣 域網(wǎng)鏈路分別連接北京和上海數(shù)據(jù)中心，同時在兩個數(shù)據(jù)中心之間的建立高速連接，使骨干網(wǎng)絡(luò)達到冗余備份的能力，同時逐步支持南北數(shù)據(jù)中心之間的災(zāi)難