【正文】 送報(bào)文，而且報(bào)文也只有一種。VRRP 報(bào)文是封裝在 IP 報(bào)文上的，支持各種上層協(xié)議。同時(shí) VRRP 還支持將真實(shí)接口 IP 地址設(shè)置為虛擬 IP 地址的做法。1. 匯聚層設(shè)備在連接普通接入時(shí)采用 VRRP；2. VRRP 優(yōu)先級(jí)策略與 STP 的根網(wǎng)橋主備設(shè)置一致；下圖是 VRRP 拓?fù)湓O(shè)置的示意圖：28 / 51第 7 章 IP 地址設(shè)計(jì)IP 地址的合理設(shè)計(jì)是數(shù)據(jù)中心網(wǎng)絡(luò)設(shè)計(jì)中的重要一環(huán)，大型計(jì)算機(jī)網(wǎng)絡(luò)必須對(duì)ＩＰ地址進(jìn)行統(tǒng)一規(guī)劃并得到實(shí)施。IP 地址規(guī)劃的好壞，影響到網(wǎng)絡(luò)路由協(xié)議算法的效率，影響到網(wǎng)絡(luò)的性能，影響到網(wǎng)絡(luò)的擴(kuò)展，影響到網(wǎng)絡(luò)的管理，也必將直接影響到網(wǎng)絡(luò)應(yīng)用的進(jìn)一步發(fā)展。IP 地址采用 RFC1918 規(guī)定的地址段（不包括外聯(lián)區(qū)域 IP 地址） 。根據(jù)選擇的 IP 地址段和數(shù)據(jù)中心的業(yè)務(wù)功能模塊進(jìn)行映射，建議如下：? 網(wǎng)段分配功能分區(qū)類型 IP 地址范圍生產(chǎn)區(qū) (主機(jī)、開放平臺(tái)) 16 個(gè) C 類地址備用 16 個(gè) C 類地址測(cè)試區(qū) (主機(jī)、開放平臺(tái)) 16 個(gè) C 類地址備用 16 個(gè) C 類地址29 / 51運(yùn)行管理區(qū) 16 個(gè) C 類地址備用 16 個(gè) C 類地址生產(chǎn)外聯(lián)區(qū)擴(kuò)展 DMZ 和 DMZ 區(qū)域外連區(qū)域16 個(gè) C 類地址另一個(gè) RFC1918 網(wǎng)段地址使用公有地址備用 16 個(gè) C 類地址辦公管理區(qū) 16 個(gè) C 類地址備用 16 個(gè) C 類地址中心網(wǎng)絡(luò)設(shè)備互連(不包括生產(chǎn)外聯(lián)區(qū)內(nèi)部設(shè)備互連)16 個(gè) C 類地址備用 剩余 C 類地址? 設(shè)備和網(wǎng)關(guān)地址分配原則在單個(gè)子網(wǎng)地址范圍內(nèi)，為了減少干擾，網(wǎng)關(guān)通常使用最高位地址，用戶地址由低到高依次分配。設(shè)備地址 子網(wǎng)位置 分配順序網(wǎng)關(guān) 最高位 /VRRP 地址 次高位 由高到低… / 預(yù)留… / 預(yù)留普通接入設(shè)備 最低位 由低到高第 8 章 路由選擇和設(shè)計(jì) 路由協(xié)議選擇以下是對(duì)兩種適合大型網(wǎng)絡(luò)路由協(xié)議的比較：OSPF ISIS30 / 51標(biāo)準(zhǔn)化 國(guó)際標(biāo)準(zhǔn)（IETF） 國(guó)際標(biāo)準(zhǔn)(ISO、IETF)協(xié)議種類 鏈路狀態(tài) 鏈路狀態(tài)協(xié)議算法 SPF SPF適用性 專為 IP 設(shè)計(jì) 用于 CLNS 或 CLNS+IP 環(huán)境靈活性 高 高通用性 高 中擴(kuò)展性 中 高內(nèi)部將采用 OSPF 路由協(xié)議，外聯(lián)區(qū)將采用靜態(tài)路由協(xié)議。 路由邊界按照前文所述，網(wǎng)絡(luò)核心和各功能分區(qū)的匯聚層交換機(jī)之間將構(gòu)成數(shù)據(jù)中心的路由區(qū)域；而接入層交換機(jī)將定義為 Layer2 交換機(jī)，通過(guò) Trunk 或 VLAN 連接匯聚層交換機(jī)；路由和交換的邊界位于每個(gè)功能分區(qū)的匯聚層交換機(jī)。? 核心層設(shè)備全部為路由區(qū)域；? 接入層設(shè)備全部為交換區(qū)域；? 對(duì)于普通接入，匯聚層設(shè)備作為路由域和交換域的邊界；? 前置機(jī)和主機(jī)單機(jī)參照普通接入模式；? 對(duì)于 Sysplex 接入，匯聚層設(shè)備作為 OSPF 0 域和 Stub 域的邊界，匯聚層設(shè)備跨越接入層設(shè)備與 Sysplex 建立 OSPF stub 連接。`核 心 層匯 聚 層接 入 層接 入 設(shè) 備核 心 區(qū)路 由 域交 換 域31 / 51 路由協(xié)議設(shè)計(jì)（OSPF） OSPF Area 設(shè)計(jì)數(shù)據(jù)中心內(nèi)部的網(wǎng)絡(luò)設(shè)備數(shù)量和連接方式，為在可預(yù)見(jiàn)的時(shí)間內(nèi)，單獨(dú)一個(gè) OSPF Area可以滿足需要。因此，對(duì)于應(yīng)收賬款局域移動(dòng)系統(tǒng)數(shù)據(jù)中心，所有核心層交換機(jī)和各功能分區(qū)的匯聚層交換機(jī)機(jī)都運(yùn)行在 OSPF Area0 中。根據(jù)業(yè)務(wù)需要，數(shù)據(jù)中心將構(gòu)造多個(gè)主機(jī) Sysplex 環(huán)境：以上各主機(jī) Sysplex 環(huán)境和所在功能分區(qū)的匯聚層交換機(jī)之間將運(yùn)行 OSPF 路由協(xié)議，采用單獨(dú)的 OSPF Area。其中：1. OSPF 普通接入設(shè)計(jì)如下：? 匯聚層設(shè)備作為路由域和交換域的邊界；? 路由區(qū)域?yàn)?OSPF Area 0；? OSPF 在匯聚層交換機(jī)連接核心交換機(jī)的鏈路上通過(guò) Vlan 建立點(diǎn)點(diǎn)鄰居關(guān)系；? OSPF 在匯聚層交換機(jī)互連 Trunk 上通過(guò) Vlan 建立點(diǎn)點(diǎn)鄰居關(guān)系；? 匯聚層交換機(jī)連接服務(wù)器的端口配置為 OSPF 的 Passive Interface，沒(méi)有鄰居關(guān)系。2. OSPF STUB 接入設(shè)計(jì)如下：? 匯聚層設(shè)備作為 OSPF Area 0 和 STUB 的邊界，是 ABR；? OSPF 在匯聚層交換機(jī)和核心交換機(jī)的鏈路上通過(guò) Vlan 建立點(diǎn)點(diǎn)鄰居關(guān)系；? 匯聚層交換機(jī)互連 Trunk 的 Vlan 分別屬于 OSPF Area 0 和 STUB；? OSPF 在匯聚層交換機(jī)互連鏈路上通過(guò) Trunk 建立點(diǎn)點(diǎn)鄰居關(guān)系；? OSPF 在匯聚層交換機(jī)連接 Sysplex 的鏈路上通過(guò) Vlan 與 Sysplex 建立 BMA 鄰居關(guān)系，匯聚層交換機(jī)分別定義為 DR 和 BDR；32 / 51? OSPF 的 DR 和 BDR 分別向 STUB 區(qū)域發(fā)送默認(rèn)路由，為實(shí)現(xiàn)“單邊路由”的設(shè)計(jì)，需手工設(shè)置 Default Cost。 OSPF Process IDOSPF Process ID 對(duì)網(wǎng)絡(luò)設(shè)備而言，只具有本地的意義，兩個(gè)建立鄰接關(guān)系的網(wǎng)絡(luò)設(shè)備可以使用不同的 OSPF Process ID。出于統(tǒng)一管理考慮，數(shù)據(jù)中心運(yùn)行 OSPF 路由協(xié)議的網(wǎng)絡(luò)設(shè)備使用相同的 OSPF Process ID：10。 OSPF Router IDOSPF 需要使用唯一的 Router ID 標(biāo)識(shí)每一臺(tái)路由器，建議相關(guān)網(wǎng)絡(luò)設(shè)備的 Loopback 地址作為其 OSPF Router ID。 OSPF 鏈路 Metric對(duì) OSPF 協(xié)議，Interface 的 Metric 為：10 8/Interface Bandwidth，其中 108為缺省的“OSPF Autocost Reference Bandwidth”。對(duì)于收賬款局域移動(dòng)系統(tǒng)數(shù)據(jù)中心，可能的網(wǎng)絡(luò)鏈路的速度范圍可從 100Mbps 到4Gbps（4 Ports GE Channel） ，對(duì)于 OSPF 的鏈路的 Metric 設(shè)置必須能夠區(qū)分鏈路速度和吞吐能力。對(duì)農(nóng)行上海數(shù)據(jù)中心 OSPF 鏈路 Metric 規(guī)劃如下： 鏈路類型 鏈路帶寬(Mbps) Metric 值10 GigabitEther 10,000 104 ports GE Channel 4,000 252 ports GE Channel 2,000 50GigabitEther 1,000 100VLAN Interface 1,000 10033 / 51 OSPF MD5 認(rèn)證考慮安全的因素，建議應(yīng)收賬款局域移動(dòng)系統(tǒng)數(shù)據(jù)中心運(yùn)行 OSPF 路由協(xié)議的網(wǎng)絡(luò)設(shè)備采用 Message Digest (MD5) 認(rèn)證，以保證 OSPF Update 的可靠性。 選路規(guī)劃收賬款局域移動(dòng)系統(tǒng)數(shù)據(jù)中心網(wǎng)絡(luò)使用 OSPF 路由協(xié)議，為了使 OSPF 計(jì)算的路由最優(yōu)，根據(jù)網(wǎng)絡(luò)鏈路的 cost 計(jì)算設(shè)置進(jìn)行選路規(guī)劃，目標(biāo)是最優(yōu)路徑最優(yōu)選擇。考慮運(yùn)行維護(hù)的簡(jiǎn)單性，配合 STP 的 Root Primary 定義和 VRRP Primary 定義，在網(wǎng)絡(luò)設(shè)計(jì)上，將通過(guò) cost 的調(diào)整，在匯聚層和核心層將數(shù)據(jù)流引導(dǎo)到冗余網(wǎng)絡(luò)結(jié)構(gòu)的一側(cè)，而當(dāng)設(shè)備或連接因故障中斷時(shí)，OSPF 會(huì)自動(dòng)重新計(jì)算網(wǎng)絡(luò)路徑，并使用正常的連接保障數(shù)據(jù)通訊。 靜態(tài)路由生產(chǎn)外聯(lián)區(qū)的被多層防火墻隔離成不同安全級(jí)別的區(qū)域，其內(nèi)部將采用靜態(tài)路由協(xié)議，并通過(guò)匯聚層交換機(jī)重分發(fā)到 OSPF 路由協(xié)議中。第 9 章 可靠性設(shè)計(jì) 可靠性概述網(wǎng)絡(luò)的可靠性是一個(gè)從端到端的全程概念，單純提高某一層面的可靠性并不能對(duì)網(wǎng)絡(luò)整體的可靠性有很大改善。網(wǎng)絡(luò)的可靠性最終要從設(shè)備級(jí)、鏈路級(jí)、網(wǎng)絡(luò)級(jí)、業(yè)務(wù)級(jí)等各層次保證。設(shè)備級(jí)的可靠性：包括設(shè)備本身的健壯性及對(duì)周圍環(huán)境的適應(yīng)能力，可靠的設(shè)備應(yīng)該對(duì)關(guān)鍵部件（如主控板，交換網(wǎng)板，電源等）進(jìn)行冗余備份，并且可以在惡劣的環(huán)境下長(zhǎng)時(shí)間穩(wěn)定運(yùn)行。設(shè)備級(jí)可靠性的另外一個(gè)重要方面就是設(shè)備在線升級(jí)能力及容錯(cuò)能力，容錯(cuò)能力體現(xiàn)在如設(shè)備發(fā)生故障時(shí)，可自動(dòng)平滑的啟動(dòng)備份部件，不對(duì)業(yè)務(wù)造成影響。鏈路級(jí)的可靠性：包括鏈路本身的可靠性，包括良好的線路質(zhì)量，及鏈路的備份技術(shù)，如采用一些物理線路捆綁技術(shù)提供線路的可靠性，也可以采用其它鏈路/線路保護(hù)技術(shù)，如34 / 51環(huán)網(wǎng)技術(shù)。網(wǎng)絡(luò)級(jí)的可靠性：設(shè)計(jì)合適的拓?fù)?，如避免采用單星型結(jié)構(gòu)以避免單點(diǎn)故障；網(wǎng)絡(luò)設(shè)計(jì)模塊化，各功能區(qū)域相獨(dú)立，任一區(qū)域的故障不會(huì)擴(kuò)散到其它區(qū)域；設(shè)備間的備份，如采用VRRP 進(jìn)行備份，當(dāng)主用設(shè)備發(fā)生故障時(shí)，流量自動(dòng)切換到備份設(shè)備上，該過(guò)程對(duì)業(yè)務(wù)透明；路由可靠性：首先根據(jù)網(wǎng)絡(luò)特點(diǎn)選擇合理的路由協(xié)議，避免路由環(huán)路，減少路由振蕩，并且保護(hù)某個(gè)網(wǎng)絡(luò)節(jié)點(diǎn)失效后網(wǎng)絡(luò)快速自愈。業(yè)務(wù)可靠性：網(wǎng)絡(luò)只是業(yè)務(wù)的承載平臺(tái)，設(shè)備，鏈路及網(wǎng)絡(luò)的可靠性設(shè)計(jì)歸根到底都是為了保證業(yè)務(wù)的可靠性，從網(wǎng)絡(luò)角度考慮業(yè)務(wù)可靠性，主要是通過(guò)各種網(wǎng)絡(luò)技術(shù)時(shí)業(yè)務(wù)數(shù)據(jù)流滿足業(yè)務(wù)的要去，如流量分布是不均衡的，特別是突發(fā)流量會(huì)引起網(wǎng)絡(luò)的擁塞，導(dǎo)致業(yè)務(wù)的中斷，需流量管理的引入能夠使網(wǎng)絡(luò)流量均衡，提高網(wǎng)絡(luò)的利用率，進(jìn)而對(duì)控制網(wǎng)絡(luò)擁塞情況的發(fā)生。網(wǎng)絡(luò)的可靠性設(shè)計(jì)并不是一個(gè)孤立的問(wèn)題，受到網(wǎng)絡(luò)的地理分布，規(guī)模，可用線路等多方面原因限制，但作為數(shù)據(jù)中心網(wǎng)絡(luò)應(yīng)具備以下可靠性設(shè)計(jì)特點(diǎn)：? 業(yè)務(wù)網(wǎng)絡(luò)與后臺(tái)管理層網(wǎng)絡(luò)的分離? 網(wǎng)絡(luò)關(guān)鍵設(shè)備之間互相備份? 網(wǎng)絡(luò)關(guān)鍵設(shè)備重要部件備份? 業(yè)務(wù)網(wǎng)絡(luò)的關(guān)鍵層次設(shè)備之間的冗余連接? 后臺(tái)管理層的雙平面網(wǎng)絡(luò)設(shè)計(jì)? 網(wǎng)絡(luò)結(jié)構(gòu)模塊化? 優(yōu)化后的動(dòng)態(tài)路由保護(hù)? 防火墻的冗余設(shè)計(jì)? VRRP 的冗余設(shè)計(jì)? 二層流量范圍的控制? 在任何情況下，任何時(shí)間，任何地點(diǎn)的設(shè)備完全的管理維護(hù)手段下面從各層次詳細(xì)描述數(shù)據(jù)中心網(wǎng)絡(luò)的可靠性設(shè)計(jì)。 設(shè)備級(jí)可靠性設(shè)計(jì)數(shù)據(jù)中心網(wǎng)絡(luò)的設(shè)備級(jí)可靠性主要從設(shè)備自身可靠性，設(shè)備間熱備份兩個(gè)方面考慮。作為網(wǎng)絡(luò)核心、匯聚層、高密度與關(guān)鍵業(yè)務(wù)接入層的關(guān)鍵設(shè)備必須具有電信級(jí)可靠性：? 可靠性指標(biāo)必須達(dá)到 %；35 / 51? 網(wǎng)絡(luò)核心設(shè)備采用全分布式體系結(jié)構(gòu)，路由與轉(zhuǎn)發(fā)分離；? 所有關(guān)鍵器件，如主控板、交換網(wǎng)、電源等都采用冗余設(shè)計(jì)，業(yè)務(wù)模塊支持熱插拔；? 網(wǎng)絡(luò)核心設(shè)備支持不間斷轉(zhuǎn)發(fā)，主控板熱備份。主備倒換過(guò)程不影響業(yè)務(wù)轉(zhuǎn)發(fā)，不丟包。? 網(wǎng)絡(luò)核心設(shè)備支持軟件在線升級(jí)，升級(jí)過(guò)程中業(yè)務(wù)不中斷。? 網(wǎng)絡(luò)核心設(shè)備支持軟件熱補(bǔ)丁，打補(bǔ)丁過(guò)程中主控板和接口板都不需要重啟動(dòng)，業(yè)務(wù)不中斷。對(duì)高可靠性的支持必須是完備的，系統(tǒng)的。既要對(duì)硬件部件的備份，也需要對(duì)數(shù)據(jù)和系統(tǒng)的中間狀態(tài)信息備份。硬件的備份技術(shù)是由硬件邏輯或者底層軟件控制的，系統(tǒng)需要實(shí)時(shí)檢測(cè)硬件的狀態(tài)，如果發(fā)現(xiàn)異常，則啟動(dòng)倒換過(guò)程，將備用硬件升級(jí)為主用，而原主用部件相應(yīng)的轉(zhuǎn)換為備用，同時(shí)嘗試對(duì)硬件部件復(fù)位，并給系統(tǒng)發(fā)出告警。對(duì)數(shù)據(jù)和系統(tǒng)狀態(tài)的備份也需要相應(yīng)的硬件配合，通過(guò)部件冗余備份實(shí)現(xiàn)來(lái)增強(qiáng)設(shè)備的可靠性，如對(duì)路由器的主控板進(jìn)行冗余備份，備用板與主用板之間并不進(jìn)行運(yùn)行狀態(tài)和與運(yùn)行數(shù)據(jù)的同步。路由器啟動(dòng)時(shí)，主用板和備用板都要進(jìn)行程序加載，并且開始相關(guān)模塊的初始化，主用板正常執(zhí)行啟動(dòng)過(guò)程，開始軟件運(yùn)行，備用板并不完成所有的初始化（包括配置文件的執(zhí)行） ，而是在完成之前的最后一步暫時(shí)阻塞，保持等待運(yùn)行的狀態(tài)；一旦主用板出現(xiàn)故障，備用板重新啟動(dòng)所有的業(yè)務(wù)板并完成最后的初始化，接替主用板工作。這種備份方式稱為冷備份。冷備份節(jié)省了加載以及啟動(dòng)的時(shí)間、備用板配置恢復(fù)時(shí)間，減少了故障恢復(fù)時(shí)間，從而增加系統(tǒng)可靠性。不過(guò)在這種備份方式下，1）由于主備之間不進(jìn)行任何數(shù)據(jù)的備份，需要進(jìn)行數(shù)據(jù)的搜集或恢復(fù)處理，需要花費(fèi)一定的時(shí)間，2) 一些協(xié)議連接需要重新協(xié)商處理，如路由協(xié)議建立鄰居、路由聚合需要花費(fèi)一定的時(shí)間。 3)可能會(huì)導(dǎo)致業(yè)務(wù)板的重新啟動(dòng)，需要花費(fèi)一定的時(shí)間。所有這些，都可能導(dǎo)致業(yè)務(wù)的短時(shí)間中斷，但是，即使是瞬間的網(wǎng)絡(luò)中斷，也可能給用戶造成巨大的損失，對(duì)銀行系統(tǒng)這種敏感用戶尤其如此。為了將網(wǎng)絡(luò)中斷時(shí)間減少至最短時(shí)間，甚至做到業(yè)務(wù)不中斷，需要對(duì)系統(tǒng)運(yùn)行時(shí)的動(dòng)態(tài)36 / 51數(shù)據(jù)或進(jìn)程狀態(tài)進(jìn)行備份，這時(shí)備用板處于一個(gè)特殊的運(yùn)行態(tài)，只接收和儲(chǔ)存由主用板發(fā)送來(lái)的數(shù)據(jù)和狀態(tài)，當(dāng)主用板發(fā)生故障時(shí)，系統(tǒng)平滑的切換到備用板，切換過(guò)程對(duì)網(wǎng)絡(luò)用戶透明，業(yè)務(wù)不會(huì)因?yàn)榫W(wǎng)絡(luò)的切換而中斷。我們稱這種備份方式為熱備份。當(dāng)系統(tǒng)的備用板啟動(dòng)之后，主用板和備用板之間的狀態(tài)差異可以非常大，這時(shí)需要將主用系統(tǒng)的數(shù)據(jù)批量的備份到備用板上，這個(gè)過(guò)程就是批量備份。當(dāng)批量備份結(jié)束后，隨著系統(tǒng)的運(yùn)行，主用系統(tǒng)的數(shù)據(jù)會(huì)發(fā)生變化，這些變化需要定時(shí)的備份到備用系統(tǒng)中，這個(gè)過(guò)程稱作定時(shí)備份。一旦主用系統(tǒng)出現(xiàn)故障，備用系統(tǒng)和主用系統(tǒng)的角色需要交換，將備用系統(tǒng)升格為主用系統(tǒng)的過(guò)程稱作主備倒換。備用系統(tǒng)升級(jí)為主用系統(tǒng)后，一些狀態(tài)信息沒(méi)有從原主用系統(tǒng)得到，或數(shù)據(jù)失效，新的主用系統(tǒng)需要與接口板對(duì)硬件狀態(tài)、鏈路層狀態(tài)和配置數(shù)據(jù)上確認(rèn)這些數(shù)據(jù)，這個(gè)確認(rèn)過(guò)程是數(shù)據(jù)平滑。熱備份保證主備系統(tǒng)板之間的數(shù)據(jù)和狀態(tài)始終一致，因而，業(yè)務(wù)板也感覺(jué)不到系統(tǒng)板發(fā)生倒換，再加上協(xié)議狀態(tài)的一致，因此可以保證業(yè)務(wù)不會(huì)丟失。華為 3 的 VRP(Virsatile Routing Platform)在 H3C S7500E 萬(wàn)兆核心路由交換機(jī)產(chǎn)品的各個(gè)業(yè)務(wù)板上保存 FIB 表（轉(zhuǎn)發(fā)表） ，報(bào)文轉(zhuǎn)發(fā)不需要系統(tǒng)板的參與。主備倒換發(fā)生時(shí)，業(yè)務(wù)板不發(fā)生變化，允許保文繼續(xù)轉(zhuǎn)發(fā)，從而保證業(yè)務(wù)不損失。本次項(xiàng)目的