【正文】 送報文，而且報文也只有一種。VRRP 報文是封裝在 IP 報文上的，支持各種上層協議。同時 VRRP 還支持將真實接口 IP 地址設置為虛擬 IP 地址的做法。1. 匯聚層設備在連接普通接入時采用 VRRP；2. VRRP 優(yōu)先級策略與 STP 的根網橋主備設置一致；下圖是 VRRP 拓撲設置的示意圖：28 / 51第 7 章 IP 地址設計IP 地址的合理設計是數據中心網絡設計中的重要一環(huán)，大型計算機網絡必須對ＩＰ地址進行統(tǒng)一規(guī)劃并得到實施。IP 地址規(guī)劃的好壞，影響到網絡路由協議算法的效率，影響到網絡的性能，影響到網絡的擴展，影響到網絡的管理，也必將直接影響到網絡應用的進一步發(fā)展。IP 地址采用 RFC1918 規(guī)定的地址段（不包括外聯區(qū)域 IP 地址） 。根據選擇的 IP 地址段和數據中心的業(yè)務功能模塊進行映射，建議如下：? 網段分配功能分區(qū)類型 IP 地址范圍生產區(qū) (主機、開放平臺) 16 個 C 類地址備用 16 個 C 類地址測試區(qū) (主機、開放平臺) 16 個 C 類地址備用 16 個 C 類地址29 / 51運行管理區(qū) 16 個 C 類地址備用 16 個 C 類地址生產外聯區(qū)擴展 DMZ 和 DMZ 區(qū)域外連區(qū)域16 個 C 類地址另一個 RFC1918 網段地址使用公有地址備用 16 個 C 類地址辦公管理區(qū) 16 個 C 類地址備用 16 個 C 類地址中心網絡設備互連(不包括生產外聯區(qū)內部設備互連)16 個 C 類地址備用 剩余 C 類地址? 設備和網關地址分配原則在單個子網地址范圍內，為了減少干擾，網關通常使用最高位地址，用戶地址由低到高依次分配。設備地址 子網位置 分配順序網關 最高位 /VRRP 地址 次高位 由高到低… / 預留… / 預留普通接入設備 最低位 由低到高第 8 章 路由選擇和設計 路由協議選擇以下是對兩種適合大型網絡路由協議的比較：OSPF ISIS30 / 51標準化 國際標準（IETF） 國際標準(ISO、IETF)協議種類 鏈路狀態(tài) 鏈路狀態(tài)協議算法 SPF SPF適用性 專為 IP 設計 用于 CLNS 或 CLNS+IP 環(huán)境靈活性 高 高通用性 高 中擴展性 中 高內部將采用 OSPF 路由協議，外聯區(qū)將采用靜態(tài)路由協議。 路由邊界按照前文所述，網絡核心和各功能分區(qū)的匯聚層交換機之間將構成數據中心的路由區(qū)域；而接入層交換機將定義為 Layer2 交換機，通過 Trunk 或 VLAN 連接匯聚層交換機；路由和交換的邊界位于每個功能分區(qū)的匯聚層交換機。? 核心層設備全部為路由區(qū)域；? 接入層設備全部為交換區(qū)域；? 對于普通接入，匯聚層設備作為路由域和交換域的邊界；? 前置機和主機單機參照普通接入模式；? 對于 Sysplex 接入，匯聚層設備作為 OSPF 0 域和 Stub 域的邊界，匯聚層設備跨越接入層設備與 Sysplex 建立 OSPF stub 連接。`核 心 層匯 聚 層接 入 層接 入 設 備核 心 區(qū)路 由 域交 換 域31 / 51 路由協議設計（OSPF） OSPF Area 設計數據中心內部的網絡設備數量和連接方式，為在可預見的時間內，單獨一個 OSPF Area可以滿足需要。因此，對于應收賬款局域移動系統(tǒng)數據中心，所有核心層交換機和各功能分區(qū)的匯聚層交換機機都運行在 OSPF Area0 中。根據業(yè)務需要，數據中心將構造多個主機 Sysplex 環(huán)境：以上各主機 Sysplex 環(huán)境和所在功能分區(qū)的匯聚層交換機之間將運行 OSPF 路由協議，采用單獨的 OSPF Area。其中：1. OSPF 普通接入設計如下：? 匯聚層設備作為路由域和交換域的邊界；? 路由區(qū)域為 OSPF Area 0；? OSPF 在匯聚層交換機連接核心交換機的鏈路上通過 Vlan 建立點點鄰居關系；? OSPF 在匯聚層交換機互連 Trunk 上通過 Vlan 建立點點鄰居關系；? 匯聚層交換機連接服務器的端口配置為 OSPF 的 Passive Interface，沒有鄰居關系。2. OSPF STUB 接入設計如下：? 匯聚層設備作為 OSPF Area 0 和 STUB 的邊界，是 ABR；? OSPF 在匯聚層交換機和核心交換機的鏈路上通過 Vlan 建立點點鄰居關系；? 匯聚層交換機互連 Trunk 的 Vlan 分別屬于 OSPF Area 0 和 STUB；? OSPF 在匯聚層交換機互連鏈路上通過 Trunk 建立點點鄰居關系；? OSPF 在匯聚層交換機連接 Sysplex 的鏈路上通過 Vlan 與 Sysplex 建立 BMA 鄰居關系，匯聚層交換機分別定義為 DR 和 BDR；32 / 51? OSPF 的 DR 和 BDR 分別向 STUB 區(qū)域發(fā)送默認路由，為實現“單邊路由”的設計，需手工設置 Default Cost。 OSPF Process IDOSPF Process ID 對網絡設備而言，只具有本地的意義，兩個建立鄰接關系的網絡設備可以使用不同的 OSPF Process ID。出于統(tǒng)一管理考慮，數據中心運行 OSPF 路由協議的網絡設備使用相同的 OSPF Process ID：10。 OSPF Router IDOSPF 需要使用唯一的 Router ID 標識每一臺路由器，建議相關網絡設備的 Loopback 地址作為其 OSPF Router ID。 OSPF 鏈路 Metric對 OSPF 協議，Interface 的 Metric 為：10 8/Interface Bandwidth，其中 108為缺省的“OSPF Autocost Reference Bandwidth”。對于收賬款局域移動系統(tǒng)數據中心，可能的網絡鏈路的速度范圍可從 100Mbps 到4Gbps（4 Ports GE Channel） ，對于 OSPF 的鏈路的 Metric 設置必須能夠區(qū)分鏈路速度和吞吐能力。對農行上海數據中心 OSPF 鏈路 Metric 規(guī)劃如下： 鏈路類型 鏈路帶寬(Mbps) Metric 值10 GigabitEther 10,000 104 ports GE Channel 4,000 252 ports GE Channel 2,000 50GigabitEther 1,000 100VLAN Interface 1,000 10033 / 51 OSPF MD5 認證考慮安全的因素，建議應收賬款局域移動系統(tǒng)數據中心運行 OSPF 路由協議的網絡設備采用 Message Digest (MD5) 認證，以保證 OSPF Update 的可靠性。 選路規(guī)劃收賬款局域移動系統(tǒng)數據中心網絡使用 OSPF 路由協議，為了使 OSPF 計算的路由最優(yōu)，根據網絡鏈路的 cost 計算設置進行選路規(guī)劃，目標是最優(yōu)路徑最優(yōu)選擇?？紤]運行維護的簡單性，配合 STP 的 Root Primary 定義和 VRRP Primary 定義，在網絡設計上，將通過 cost 的調整，在匯聚層和核心層將數據流引導到冗余網絡結構的一側，而當設備或連接因故障中斷時，OSPF 會自動重新計算網絡路徑，并使用正常的連接保障數據通訊。 靜態(tài)路由生產外聯區(qū)的被多層防火墻隔離成不同安全級別的區(qū)域，其內部將采用靜態(tài)路由協議，并通過匯聚層交換機重分發(fā)到 OSPF 路由協議中。第 9 章 可靠性設計 可靠性概述網絡的可靠性是一個從端到端的全程概念，單純提高某一層面的可靠性并不能對網絡整體的可靠性有很大改善。網絡的可靠性最終要從設備級、鏈路級、網絡級、業(yè)務級等各層次保證。設備級的可靠性：包括設備本身的健壯性及對周圍環(huán)境的適應能力，可靠的設備應該對關鍵部件（如主控板，交換網板，電源等）進行冗余備份，并且可以在惡劣的環(huán)境下長時間穩(wěn)定運行。設備級可靠性的另外一個重要方面就是設備在線升級能力及容錯能力，容錯能力體現在如設備發(fā)生故障時，可自動平滑的啟動備份部件，不對業(yè)務造成影響。鏈路級的可靠性：包括鏈路本身的可靠性，包括良好的線路質量，及鏈路的備份技術，如采用一些物理線路捆綁技術提供線路的可靠性，也可以采用其它鏈路/線路保護技術，如34 / 51環(huán)網技術。網絡級的可靠性：設計合適的拓撲，如避免采用單星型結構以避免單點故障；網絡設計模塊化，各功能區(qū)域相獨立，任一區(qū)域的故障不會擴散到其它區(qū)域；設備間的備份，如采用VRRP 進行備份，當主用設備發(fā)生故障時，流量自動切換到備份設備上，該過程對業(yè)務透明；路由可靠性：首先根據網絡特點選擇合理的路由協議，避免路由環(huán)路，減少路由振蕩，并且保護某個網絡節(jié)點失效后網絡快速自愈。業(yè)務可靠性：網絡只是業(yè)務的承載平臺，設備，鏈路及網絡的可靠性設計歸根到底都是為了保證業(yè)務的可靠性，從網絡角度考慮業(yè)務可靠性，主要是通過各種網絡技術時業(yè)務數據流滿足業(yè)務的要去，如流量分布是不均衡的，特別是突發(fā)流量會引起網絡的擁塞，導致業(yè)務的中斷，需流量管理的引入能夠使網絡流量均衡，提高網絡的利用率，進而對控制網絡擁塞情況的發(fā)生。網絡的可靠性設計并不是一個孤立的問題，受到網絡的地理分布，規(guī)模，可用線路等多方面原因限制，但作為數據中心網絡應具備以下可靠性設計特點：? 業(yè)務網絡與后臺管理層網絡的分離? 網絡關鍵設備之間互相備份? 網絡關鍵設備重要部件備份? 業(yè)務網絡的關鍵層次設備之間的冗余連接? 后臺管理層的雙平面網絡設計? 網絡結構模塊化? 優(yōu)化后的動態(tài)路由保護? 防火墻的冗余設計? VRRP 的冗余設計? 二層流量范圍的控制? 在任何情況下，任何時間，任何地點的設備完全的管理維護手段下面從各層次詳細描述數據中心網絡的可靠性設計。 設備級可靠性設計數據中心網絡的設備級可靠性主要從設備自身可靠性，設備間熱備份兩個方面考慮。作為網絡核心、匯聚層、高密度與關鍵業(yè)務接入層的關鍵設備必須具有電信級可靠性：? 可靠性指標必須達到 %；35 / 51? 網絡核心設備采用全分布式體系結構，路由與轉發(fā)分離；? 所有關鍵器件，如主控板、交換網、電源等都采用冗余設計，業(yè)務模塊支持熱插拔；? 網絡核心設備支持不間斷轉發(fā)，主控板熱備份。主備倒換過程不影響業(yè)務轉發(fā)，不丟包。? 網絡核心設備支持軟件在線升級，升級過程中業(yè)務不中斷。? 網絡核心設備支持軟件熱補丁，打補丁過程中主控板和接口板都不需要重啟動，業(yè)務不中斷。對高可靠性的支持必須是完備的，系統(tǒng)的。既要對硬件部件的備份，也需要對數據和系統(tǒng)的中間狀態(tài)信息備份。硬件的備份技術是由硬件邏輯或者底層軟件控制的，系統(tǒng)需要實時檢測硬件的狀態(tài)，如果發(fā)現異常，則啟動倒換過程，將備用硬件升級為主用，而原主用部件相應的轉換為備用，同時嘗試對硬件部件復位，并給系統(tǒng)發(fā)出告警。對數據和系統(tǒng)狀態(tài)的備份也需要相應的硬件配合，通過部件冗余備份實現來增強設備的可靠性，如對路由器的主控板進行冗余備份，備用板與主用板之間并不進行運行狀態(tài)和與運行數據的同步。路由器啟動時，主用板和備用板都要進行程序加載，并且開始相關模塊的初始化，主用板正常執(zhí)行啟動過程，開始軟件運行，備用板并不完成所有的初始化（包括配置文件的執(zhí)行） ，而是在完成之前的最后一步暫時阻塞，保持等待運行的狀態(tài)；一旦主用板出現故障，備用板重新啟動所有的業(yè)務板并完成最后的初始化，接替主用板工作。這種備份方式稱為冷備份。冷備份節(jié)省了加載以及啟動的時間、備用板配置恢復時間，減少了故障恢復時間，從而增加系統(tǒng)可靠性。不過在這種備份方式下，1）由于主備之間不進行任何數據的備份，需要進行數據的搜集或恢復處理，需要花費一定的時間，2) 一些協議連接需要重新協商處理，如路由協議建立鄰居、路由聚合需要花費一定的時間。 3)可能會導致業(yè)務板的重新啟動，需要花費一定的時間。所有這些，都可能導致業(yè)務的短時間中斷，但是，即使是瞬間的網絡中斷，也可能給用戶造成巨大的損失，對銀行系統(tǒng)這種敏感用戶尤其如此。為了將網絡中斷時間減少至最短時間，甚至做到業(yè)務不中斷，需要對系統(tǒng)運行時的動態(tài)36 / 51數據或進程狀態(tài)進行備份，這時備用板處于一個特殊的運行態(tài)，只接收和儲存由主用板發(fā)送來的數據和狀態(tài)，當主用板發(fā)生故障時，系統(tǒng)平滑的切換到備用板，切換過程對網絡用戶透明，業(yè)務不會因為網絡的切換而中斷。我們稱這種備份方式為熱備份。當系統(tǒng)的備用板啟動之后，主用板和備用板之間的狀態(tài)差異可以非常大，這時需要將主用系統(tǒng)的數據批量的備份到備用板上，這個過程就是批量備份。當批量備份結束后，隨著系統(tǒng)的運行，主用系統(tǒng)的數據會發(fā)生變化，這些變化需要定時的備份到備用系統(tǒng)中，這個過程稱作定時備份。一旦主用系統(tǒng)出現故障，備用系統(tǒng)和主用系統(tǒng)的角色需要交換，將備用系統(tǒng)升格為主用系統(tǒng)的過程稱作主備倒換。備用系統(tǒng)升級為主用系統(tǒng)后，一些狀態(tài)信息沒有從原主用系統(tǒng)得到，或數據失效，新的主用系統(tǒng)需要與接口板對硬件狀態(tài)、鏈路層狀態(tài)和配置數據上確認這些數據，這個確認過程是數據平滑。熱備份保證主備系統(tǒng)板之間的數據和狀態(tài)始終一致，因而，業(yè)務板也感覺不到系統(tǒng)板發(fā)生倒換，再加上協議狀態(tài)的一致，因此可以保證業(yè)務不會丟失。華為 3 的 VRP(Virsatile Routing Platform)在 H3C S7500E 萬兆核心路由交換機產品的各個業(yè)務板上保存 FIB 表（轉發(fā)表） ，報文轉發(fā)不需要系統(tǒng)板的參與。主備倒換發(fā)生時，業(yè)務板不發(fā)生變化，允許保文繼續(xù)轉發(fā)，從而保證業(yè)務不損失。本次項目的