【文章內(nèi)容簡介】 條。一級骨干網(wǎng)中每個一級分行由3條（或2條）ATM鏈路構(gòu)成，分別承載生產(chǎn)聯(lián)機、生產(chǎn)批量和辦公、測試等業(yè)務，在3條鏈路情況下，業(yè)務與鏈路的對應關系如下：業(yè)務類型線路序號生產(chǎn)聯(lián)機生產(chǎn)批量辦公（測試）一級分行到北京數(shù)據(jù)中心鏈路二331一級分行到上海數(shù)據(jù)中心鏈路一12一級分行到上海數(shù)據(jù)中心鏈路二212在2條鏈路情況下，業(yè)務與鏈路的對應關系如下：業(yè)務類型線路序號生產(chǎn)聯(lián)機生產(chǎn)批量辦公（測試）一級分行到北京數(shù)據(jù)中心鏈路二21一級分行到上海數(shù)據(jù)中心鏈路一12在網(wǎng)絡正常條件下，生產(chǎn)聯(lián)機、生產(chǎn)批量業(yè)務運行在上連上海數(shù)據(jù)中心的廣域鏈路上，辦公（測試）業(yè)務運行在上連北京數(shù)據(jù)中心的廣域鏈路上。 上連上海數(shù)據(jù)中心的廣域鏈路發(fā)生故障時（如果本中心內(nèi)沒有冗余鏈路），其上承載的生產(chǎn)聯(lián)機、生產(chǎn)批量業(yè)務切換至上連北京數(shù)據(jù)中心的廣域鏈路上。上連北京數(shù)據(jù)中心的廣域鏈路發(fā)生故障時（如果本中心內(nèi)沒有冗余鏈路），其上承載的辦公（測試）業(yè)務切換至上連上海數(shù)據(jù)中心的廣域鏈路上。 運營商、設備、板卡冗余策略 運營商、設備、板卡冗余策略設計原則運營商、設備、板卡冗余也是冗余策略的重要組成部分，它們的設計原則如下：216。 運營商冗余分行與北京數(shù)據(jù)中心（上海數(shù)據(jù)中心）的兩條鏈路必須由2家運營商提供。每臺設備盡可能使用多家運營商鏈路。216。 設備冗余設備本身必須高度冗余，包括電源冗余、主控板冗余、交換網(wǎng)板冗余等。216。 板卡冗余一臺設備內(nèi)的多條鏈路盡可能均勻分布在不同的板卡上。 運營商、設備、板卡冗余策略階段一、二、三（核心骨干網(wǎng)）核心骨干網(wǎng)的設備互連情況如下：216。 運營商冗余核心骨干網(wǎng)使用2條POS 622M鏈路，分別由2家運營商提供，確保單個運營商鏈路的故障不會導致核心骨干網(wǎng)全部中斷。216。 設備冗余核心骨干網(wǎng)所使用的設備為4臺NE80路由器，關鍵部件都提供了冗余備份。電源冗余：NE80路由器的電源系統(tǒng)采用N＋1備份，NE40路由器的電源系統(tǒng)采用1＋1備份，支持雙路電源輸入，保證電源的穩(wěn)定供給。主控板冗余：NE80路由器配置雙主控板，主控板為路由器的協(xié)議處理中心，兩個主控板之間可以平滑切換，保證業(yè)務的持續(xù)轉(zhuǎn)發(fā)。交換網(wǎng)板冗余：所有NE80路由器配置雙交換網(wǎng)板，交換網(wǎng)板為板卡之間通訊提供交換通道，兩塊交換網(wǎng)板可以協(xié)同工作，提高背板容量。216。 板卡冗余每臺核心骨干網(wǎng)設備配置了2塊POS 622M板卡，一塊為主用板卡（接POS鏈路），另一塊為備用板卡，當主用板卡出現(xiàn)故障時，可以人工將POS鏈路轉(zhuǎn)接至備用板卡。 運營商、設備、板卡冗余策略階段一、二（一級骨干網(wǎng)）一級骨干網(wǎng)的設備互連情況如下：216。 運營商冗余一級骨干網(wǎng)中每家一級分行使用4條ATM鏈路上連北京和上海數(shù)據(jù)中心，上連北京數(shù)據(jù)中心的2條ATM鏈路分別由2家運營商（SP1和SP2）提供，上連上海數(shù)據(jù)中心的2條ATM鏈路也由2家運營商（SP1和SP2）提供，確保單個運營商鏈路的故障不會導致某個數(shù)據(jù)中心的一級骨干網(wǎng)鏈路全部中斷。216。 設備冗余一級骨干網(wǎng)所使用的設備包括NE80（北京和上海數(shù)據(jù)中心、一級分行）和NE40（一級分行）路由器，關鍵部件都提供了冗余備份。電源冗余：NE80路由器的電源系統(tǒng)采用N＋1備份，NE40路由器的電源系統(tǒng)采用1＋1備份，支持雙路電源輸入，保證電源的穩(wěn)定供給。主控板冗余：NE80和NE40路由器均配置雙主控板，主控板為路由器的協(xié)議處理中心，兩個主控板之間可以平滑切換，保證業(yè)務的持續(xù)轉(zhuǎn)發(fā)。交換網(wǎng)板冗余：所有NE80路由器配置雙交換網(wǎng)板，交換網(wǎng)板為板卡之間通訊提供交換通道，兩塊交換網(wǎng)板可以協(xié)同工作，提高背板容量。216。 板卡冗余北京和上海數(shù)據(jù)中心的每臺一級骨干路由器配置2塊ATM板卡，每臺路由器需要與36家一級分行互連，將36家分行平均分布在2塊ATM板卡上，每塊接入18家一級分行。單塊板卡故障只影響一半分行單條鏈路的連通性，經(jīng)過路由收斂后，受影響分行的業(yè)務會迅速切換至其他路由器上。一級分行的每臺一級骨干路由器配置2塊ATM板卡，分別與北京和上海數(shù)據(jù)中心的一級骨干路由器互連。單塊板卡故障只影響單條鏈路的連通性，其余3條鏈路不受影響。 運營商、設備、板卡冗余策略階段三（一級骨干網(wǎng)）一級骨干網(wǎng)的設備互連情況如下：（3條鏈路）（2條鏈路）216。 運營商冗余一級骨干網(wǎng)中每家一級分行使用3條（或2條）ATM鏈路上連北京和上海數(shù)據(jù)中心。在3條ATM鏈路的情況下，一級分行通過1條ATM鏈路上連北京數(shù)據(jù)中心，2條ATM鏈路上連上海數(shù)據(jù)中心。上連北京數(shù)據(jù)中心的1條ATM鏈路分別由運SP2提供，上連上海數(shù)據(jù)中心的2條ATM鏈路由2家運營商SP1和SP2提供。單個運營商鏈路的故障（如SP2）不會導致一級骨干網(wǎng)鏈路全部中斷。在2條ATM鏈路的情況下，一級分行通過1條ATM鏈路上連北京數(shù)據(jù)中心，另1條ATM鏈路上連上海數(shù)據(jù)中心。上連北京數(shù)據(jù)中心的1條ATM鏈路由運SP2提供，上連上海數(shù)據(jù)中心的1條ATM鏈路由SP1提供，運營商的線路是完全冗余的。216。 設備冗余一級骨干網(wǎng)所使用的設備包括NE80（北京和上海數(shù)據(jù)中心、一級分行）和NE40（一級分行）路由器，關鍵部件都提供了冗余備份。電源冗余：NE80路由器的電源系統(tǒng)采用N＋1備份，NE40路由器的電源系統(tǒng)采用1＋1備份，支持雙路電源輸入，保證電源的穩(wěn)定供給。主控板冗余：NE80和NE40路由器均配置雙主控板，主控板為路由器的協(xié)議處理中心，兩個主控板之間可以平滑切換，保證業(yè)務的持續(xù)轉(zhuǎn)發(fā)。交換網(wǎng)板冗余：所有NE80路由器配置雙交換網(wǎng)板，交換網(wǎng)板為板卡之間通訊提供交換通道，兩塊交換網(wǎng)板可以協(xié)同工作，提高背板容量。216。 板卡冗余將北京數(shù)據(jù)中心的一級骨干網(wǎng)鏈路減為1條后，板卡布局需要進行調(diào)整，否則會出現(xiàn)其中一臺路由器沒有任何ATM接入的情況。北京數(shù)據(jù)中心一級骨干路由器二的2塊ATM板卡上各有一個ATM端口鏈路需要遷移到一級骨干路由器一上，調(diào)整后的板卡布局如下：如果將上海數(shù)據(jù)中心的廣域鏈路也減為1條，板卡布局也需要進行調(diào)整，調(diào)整后布局如下（與北京數(shù)據(jù)中心的板卡布局完全相同）：北京數(shù)據(jù)中心（上海數(shù)據(jù)中心）一級骨干路由器板卡布局經(jīng)過調(diào)整后，布局規(guī)則沒有變化，所用ATM端口都分布在2塊板卡上，單塊板卡故障，只影響一半分行單條鏈路的連通性。一級分行骨干路由器上每臺路由器的2塊ATM板卡為主備關系，正常情況下，通過主板卡上連，主板卡故障時，可以將ATM鏈路人工遷移到備用板卡上。第六章 路由策略 路由總體規(guī)劃 路由協(xié)議選擇路由協(xié)議用于學習和維護路由，為網(wǎng)絡通訊提供最佳路徑，路由協(xié)議選擇原則如下：216。 開放性和標準化必須使用國際標準的路由協(xié)議，保證網(wǎng)絡的開放性，支持不同廠商設備的路由互連。216。 可擴展性使用的路由協(xié)議必須具備良好的擴展能力，能夠支持網(wǎng)絡規(guī)模的持續(xù)增長。216。 支持數(shù)據(jù)分流路由協(xié)議應該支持靈活的路由策略，通過調(diào)整路由策略，可以實現(xiàn)數(shù)據(jù)分流?；谝陨先c選擇原則，廣域網(wǎng)建設宜采用BGP+OSPF的雙層路由體系，BGP、OSPF都是IETF制定的通用路由協(xié)議，具備良好的擴展能力，而且結(jié)合BGP和OSPF各自的優(yōu)勢，非常容易實現(xiàn)數(shù)據(jù)分流。BGP是一種外部網(wǎng)關路由協(xié)議，主要用于大型網(wǎng)絡之間的路由交換。BGP能夠處理超大容量的路由信息，支持豐富的路由屬性，能夠?qū)崿F(xiàn)靈活的路由策略。OSPF是一種內(nèi)部網(wǎng)關路由協(xié)議，用于自治系統(tǒng)內(nèi)部的路由交換。OSPF是目前最為流行的IGP路由協(xié)議，支持層次化路由體系，具備良好的擴展能力。 路由協(xié)議部署（階段一、二）路由協(xié)議總體部署如下圖所示：216。 廣域網(wǎng)廣域網(wǎng)包括核心骨干網(wǎng)和一級骨干網(wǎng)，都使用BGP路由協(xié)議。核心骨干網(wǎng)中，北京數(shù)據(jù)中心的核心骨干路由器與上海中心的核心骨干路由器之間建立eBGP鄰居關系，相互交換生產(chǎn)聯(lián)機、生產(chǎn)批量路由，eBGP路由邊界在核心骨干路由器上。一級骨干網(wǎng)中，北京數(shù)據(jù)中心的一級骨干路由器與一級分行的一級骨干路由器之間建立eBGP鄰居關系，相互交換生產(chǎn)聯(lián)機、生產(chǎn)批量、測試路由，上海數(shù)據(jù)中心的一級骨干路由器與一級分行的一級骨干路由器之間建立eBGP鄰居關系，相互交換生產(chǎn)聯(lián)機、生產(chǎn)批量路由，eBGP路由邊界在北京、上海數(shù)據(jù)中心和一級分行一級骨干路由器上。216。 廣域區(qū)北京、上海數(shù)據(jù)中心和一級分行的廣域區(qū)使用BGP+OSPF的雙層路由結(jié)構(gòu)。廣域區(qū)的OSPF 300為獨立的OSPF進程，用于廣域區(qū)內(nèi)部的網(wǎng)絡互連，為BGP鄰居關系的建立提供路由。廣域區(qū)的BGP用于交換實際的業(yè)務路由（生產(chǎn)聯(lián)機、批量、測試等），廣域區(qū)設備使用loopback建立iBGP鄰居關系，OSPF 300和iBGP的路由邊界包括廣域區(qū)的所有設備（路由器和交換機）。216。 局域網(wǎng)生產(chǎn)局域網(wǎng)與廣域區(qū)交換機相連，使用OSPF 100進程。廣域區(qū)交換機為局域網(wǎng)與廣域網(wǎng)的路由邊界點，負責OSPF 100與BGP的路由再發(fā)布。將BGP的路由導入OSPF 100，使生產(chǎn)局域網(wǎng)學到外部路由。同時也將OSPF 100的路由以network的方式導入BGP，使廣域網(wǎng)學到生產(chǎn)局域網(wǎng)的路由。 路由協(xié)議部署（階段三）路由協(xié)議總體部署如下圖所示：216。 廣域網(wǎng)廣域網(wǎng)包括核心骨干網(wǎng)和一級骨干網(wǎng)，都使用BGP路由協(xié)議。核心骨干網(wǎng)中，北京數(shù)據(jù)中心的核心骨干路由器與上海中心的核心骨干路由器之間建立eBGP鄰居關系，相互交換生產(chǎn)聯(lián)機、生產(chǎn)批量、辦公路由，eBGP路由邊界在核心骨干路由器上。一級骨干網(wǎng)中，北京數(shù)據(jù)中心的一級骨干路由器與一級分行的一級骨干路由器之間建立eBGP鄰居關系，相互交換生產(chǎn)聯(lián)機、生產(chǎn)批量、辦公、測試路由，上海數(shù)據(jù)中心的一級骨干路由器與一級分行的一級骨干路由器之間建立eBGP鄰居關系，相互交換生產(chǎn)聯(lián)機、生產(chǎn)批量、辦公路由，eBGP路由邊界在北京、上海數(shù)據(jù)中心和一級分行一級骨干路由器上。216。 廣域區(qū)北京、上海數(shù)據(jù)中心和一級分行的廣域區(qū)使用BGP+OSPF的雙層路由結(jié)構(gòu)。廣域區(qū)的OSPF 300為獨立的OSPF進程，用于廣域區(qū)內(nèi)部的網(wǎng)絡互連，為BGP鄰居關系的建立提供路由。廣域區(qū)的BGP用于交換實際的業(yè)務路由（生產(chǎn)聯(lián)機、批量、辦公、測試等），廣域區(qū)設備使用loopback建立iBGP鄰居關系，OSPF 300和iBGP的路由邊界包括廣域區(qū)的所有設備（路由器和交換機）。216。 局域網(wǎng)生產(chǎn)、辦公局域網(wǎng)分別與廣域區(qū)交換機相連，生產(chǎn)使用OSPF 100進程，辦公使用OSPF 200進程。廣域區(qū)交換機為局域網(wǎng)與廣域網(wǎng)的路由邊界點，負責OSPF 100、200與BGP的路由再發(fā)布。將BGP中的生產(chǎn)路由導入OSPF 100，辦公路由導入OSPF 200，使生產(chǎn)局域網(wǎng)學到外部生產(chǎn)路由，辦公局域網(wǎng)學到外部辦公路由。同時也將OSPF 100、200的路由以network方式導入BGP，使廣域網(wǎng)學到生產(chǎn)、辦公局域網(wǎng)的路由。 廣域網(wǎng)路由策略 階段一、二廣域網(wǎng)的具體路由策略部署如下圖所示：216。 路由發(fā)布北京、上海數(shù)據(jù)中心的核心骨干路由器之間相互發(fā)布生產(chǎn)聯(lián)機和生產(chǎn)批量（測試）路由，包括本中心和分行的路由。北京數(shù)據(jù)中心的一級骨干路由器與一級分行一級骨干路由器之間相互發(fā)布生產(chǎn)聯(lián)機、生產(chǎn)批量、測試路由，北京數(shù)據(jù)中心只發(fā)布北京和上海數(shù)據(jù)中心的路由，分行只發(fā)布本行的路由，保證分行之間不會互相學到生產(chǎn)路由，分行也不會成為中轉(zhuǎn)區(qū)域。上海數(shù)據(jù)中心的一級骨干路由器與一級分行一級骨干路由器之間相互發(fā)布生產(chǎn)聯(lián)機、生產(chǎn)批量路由，上海數(shù)據(jù)中心只發(fā)布北京和上海數(shù)據(jù)中心的路由，分行只發(fā)布本行的路由，保證分行之間不會互相學到生產(chǎn)路由，分行也不會成為中轉(zhuǎn)區(qū)域。216。 數(shù)據(jù)分流LP（Local Preference）為BGP選路規(guī)則中最重要的參數(shù)，通過調(diào)整LP可以控制路由的選擇順序，LP值大的路由優(yōu)先。在廣域網(wǎng)上，為了實現(xiàn)數(shù)據(jù)分流目的，LP的數(shù)值需滿足以下條件：生產(chǎn)聯(lián)機：(LP1LP2) (LP3LP4) (LP5LP6)生產(chǎn)批量：(LP1LP2) (LP3LP4) (LP5LP6)測試：(LP5LP6) (LP3LP4)在核心骨干路由器和一級骨干路由器上，針對eBGP鄰居應用入方向的路由策略，根據(jù)路由的類型設置LP值，LP的具體數(shù)值分配如下：業(yè)務類型線路序號生產(chǎn)聯(lián)機生產(chǎn)批量測試北京數(shù)據(jù)中心到上海數(shù)據(jù)中心鏈路一（LP3）400300300北京數(shù)據(jù)中心到上海數(shù)據(jù)中心鏈路二（LP4）300400400一級分行到北京數(shù)據(jù)中心鏈路一（LP5）200100500一級分行到北京數(shù)據(jù)中心鏈路二（LP6）100200600一級分行到上海數(shù)據(jù)中心鏈路一（LP1）600500一級分行到上海數(shù)據(jù)中心鏈路二（LP2）500600216。 路由標識廣域區(qū)在發(fā)布本地路由時會使用Community標識路由的類別，通過Community可以簡化路由的識別過程，路由策略可以直接調(diào)用Community屬性，根據(jù) Community設置BGP的其他屬性，達到靈活選路的目的。針對實際的路由分布情況，我們采用兩級Community結(jié)構(gòu)，第一級為行級和ID Community，前兩個字節(jié)表示行級，后兩個字節(jié)表示總行或分行的ID，第二級為業(yè)務類型Community，前兩個字節(jié)表示路由類別（生產(chǎn)、辦公、廣域網(wǎng)），后兩個字節(jié)表示具體的業(yè)務類型，兩級Community具體數(shù)值分配如下：行級和ID一級Community北京數(shù)據(jù)中心100:1上海數(shù)據(jù)中心100:2一級分行101:101141（行級和ID Community分配）業(yè)務類型二級Community生產(chǎn)聯(lián)機201:1國際業(yè)務201:2生產(chǎn)批量201:3測試201:4運行管理201:5辦公202:1廣域網(wǎng)203:1（業(yè)務類型Community分配）比如北京數(shù)據(jù)中心的生產(chǎn)聯(lián)機路由的Comm