【文章內(nèi)容簡介】 負荷。匯聚層是多臺接入層交換機的匯聚點，它須處理來自接入層設(shè)備的所有通信，并提供到核心層的上行鏈路，因此與接入層設(shè)備比較，匯聚層設(shè)備需要更高的性能，較少的接口和更高的交換速率。l 核心層：網(wǎng)絡(luò)交換的骨干部分，通過高速轉(zhuǎn)發(fā)，提供快速、可靠的數(shù)據(jù)傳輸，核心層設(shè)備一般具有更高的可靠性，性能和吞吐。此外，核心層設(shè)備作為資源池網(wǎng)絡(luò)出口，與廣域網(wǎng)路由器對接，提供動態(tài)路由（BGP/IGP）、VPN、NAT等能力。該架構(gòu)常見于傳統(tǒng)機房網(wǎng)絡(luò)拓撲，一般適用以南北向流量為主，東西向流量較少，網(wǎng)絡(luò)規(guī)模較固定的場景，同時一般以匯聚層作為L2/L3分界點（或可根據(jù)規(guī)模及應(yīng)用需要上移至核心層）。2. 對于主干分支（SpineLeaf）型架構(gòu)拓撲，基于CLOS（無阻塞網(wǎng)絡(luò)）理論，任何兩點間僅需一跳且具有多條等價鏈路，具有很小的帶寬收斂比，滿足云資源池內(nèi)不斷增加的東西向流量需求，各層主要功能如下：圖 53主干分支型架構(gòu)l 分支（Leaf）層：為用戶提供網(wǎng)絡(luò)接入及靈活的業(yè)務(wù)控制（如隧道封裝、訪問控制等），分支層設(shè)備具有低成本和高端口密度特性。l 主干（Spine）層：網(wǎng)絡(luò)交換的主干部分，提供低延時、高帶寬的流量轉(zhuǎn)發(fā)。與傳統(tǒng)樹型架構(gòu)的核心層相區(qū)別，SpineLeaf的主干層由多臺具備大容量交換能力的Spine節(jié)點構(gòu)建，而非單臺高性能的核心設(shè)備。每臺Spine節(jié)點都可作為任意兩臺Leaf節(jié)點的交換點。該拓撲常見于新型云資源池網(wǎng)絡(luò)建設(shè)，適用東西向流量較多，收斂比較小，網(wǎng)絡(luò)規(guī)模易擴展的場景，同時一般以分支層作為L2/L3分界點（或可根據(jù)規(guī)模及應(yīng)用需要上移至主干層）。上述兩種網(wǎng)絡(luò)拓撲在流量模型、轉(zhuǎn)發(fā)性、可擴展性、容錯性等方面的對比如下表所示： 表格 51網(wǎng)絡(luò)拓撲架構(gòu)對比傳統(tǒng)三層架構(gòu)主干分支（SpineLeaf）東西向流量低高可擴展性較小，受核心設(shè)備性能上限較大，受Spine設(shè)備端口數(shù)量擴展模式縱向擴展（替換各層設(shè)備）橫向擴展（增加Spine，Leaf節(jié)點）容錯能力自身無容錯考慮，通過鏈路冗余、端口聚合、設(shè)備堆疊等技術(shù)手段分支與主干設(shè)備間鏈路冗余、主干設(shè)備互為備份 與傳統(tǒng)三層網(wǎng)絡(luò)拓撲相比，主干分支（SpineLeaf）在轉(zhuǎn)發(fā)性能、可擴展性、容錯性方面都更具優(yōu)勢：1）在轉(zhuǎn)發(fā)性能方面，由于傳統(tǒng)三層模式有較高的收斂比設(shè)計，以及STP等防環(huán)技術(shù)所致的可用鏈路浪費，服務(wù)器節(jié)點之間可用帶寬較低。而主干分支（SpineLeaf）架構(gòu)的收斂比低且使用所有鏈路，服務(wù)器節(jié)點之間可用帶寬更高。傳統(tǒng)三層網(wǎng)絡(luò)架構(gòu)接入節(jié)點間通信部分需經(jīng)過核心設(shè)備，并非通過最優(yōu)路徑轉(zhuǎn)發(fā)，時延較大且難以預(yù)測；SpineLeaf的任意Leaf節(jié)點之間的躍點數(shù)目一致，Leaf節(jié)點間的轉(zhuǎn)發(fā)時延短且可預(yù)測。相比與傳統(tǒng)三層架構(gòu)，SpineLeaf提供更優(yōu)的東西向轉(zhuǎn)發(fā)性能。 2）在可擴展性方面，傳統(tǒng)三層架構(gòu)通過升級各級的設(shè)備實現(xiàn)縱向的擴展，涉及設(shè)備的更替，整體容量通常受限于核心設(shè)備的性能設(shè)計；主干分支（SpineLeaf）架構(gòu)支持水平式的擴展，通過增加Leaf和Spine節(jié)點實現(xiàn)更高的服務(wù)器接入能力和主干轉(zhuǎn)發(fā)能力，一般可維持原有設(shè)備與鏈路，擴展容量受限于Leaf節(jié)點和Spine節(jié)點的端口數(shù)量?？傮w而言，SpineLeaf整體架構(gòu)比傳統(tǒng)三層架構(gòu)具有更好的可擴展性。 3）在容錯性方面，傳統(tǒng)三層架構(gòu)設(shè)計自身并未考慮容錯，一般基于鏈路冗余（結(jié)合STP）、端口聚合、設(shè)備堆疊等相關(guān)技術(shù)實現(xiàn)網(wǎng)絡(luò)容錯；而主干分支（SpineLeaf）架構(gòu)設(shè)計本身具備分支設(shè)備與主干設(shè)備間的鏈路冗余、主干設(shè)備負載分擔(dān)等特性，有效避免了單點故障，提供良好的容錯性，同時相關(guān)網(wǎng)絡(luò)容錯技術(shù)也可應(yīng)用于SpineLeaf架構(gòu)以進一步提升容錯性。 對于計劃部署SDN的新建云資源池物理網(wǎng)絡(luò)，原則上使用主干分支（SpineLeaf）型拓撲組網(wǎng)；對于利舊改造的云資源池SDN網(wǎng)絡(luò)，在東西向流量不大、網(wǎng)絡(luò)規(guī)模預(yù)期較固定的情況下，物理網(wǎng)絡(luò)拓撲應(yīng)繼續(xù)使用傳統(tǒng)三層拓撲，但應(yīng)注意評估現(xiàn)存網(wǎng)絡(luò)的性能和可擴展性與資源池建設(shè)規(guī)劃的匹配度，若考慮對現(xiàn)有物理網(wǎng)絡(luò)拓撲進行主干分支（SpineLeaf）型改造，應(yīng)綜合考慮建設(shè)成本、流量模型、擴展性要求等因素。對于使用主干分支（SpineLeaf）型拓撲組網(wǎng)，部署建議如下：分支節(jié)點與服務(wù)器節(jié)點的連接：1）分支節(jié)點實現(xiàn)計算節(jié)點的網(wǎng)絡(luò)接入，以及網(wǎng)絡(luò)流量隔離。一般通過Trunk鏈路連接計算節(jié)點，可在分支節(jié)點配置VLAN實現(xiàn)隔離。分支節(jié)點作為L2/L3分界點，需要終結(jié)L2，并提供默認網(wǎng)關(guān)功能，一般對每個VLAN配置虛擬端口和IP地址，作為每個VLAN的默認網(wǎng)關(guān)地址。2）分支節(jié)點運行動態(tài)路由協(xié)議，為本地連接的計算節(jié)點發(fā)布網(wǎng)絡(luò)可達信息（例如為每個存在的VLAN或子網(wǎng)通告一個地址前綴）。另外，也通過路由協(xié)議從主干節(jié)點接收其他計算節(jié)點的可達信息。分支節(jié)點與主干節(jié)點的連接：主干節(jié)點只有連接到分支交換機的接口，接口配置為路由點到點鏈路，主干節(jié)點配置動態(tài)路由協(xié)議，與分支節(jié)點互通計算節(jié)點的IP可達信息。對于使用傳統(tǒng)樹形三層架構(gòu)型拓撲組網(wǎng)，部署建議如下：接入層節(jié)點與服務(wù)器節(jié)點的連接：接入層節(jié)點一般通過Trunk鏈路連接計算節(jié)點，可在分支節(jié)點配置VLAN以提供流量隔離。接入層、匯聚層、核心層的連接：各層設(shè)備可通過VLAN Trunk互聯(lián)，L2/L3分界點（匯聚層設(shè)備或核心層設(shè)備）如下層設(shè)備通過Trunk連接，在冗余鏈路情況下部署STP實現(xiàn)環(huán)路防止；L2/L3分界點與上層配置為路由點對點鏈路。L2/L3分界點與上層設(shè)備可運行路由協(xié)議互通可達信息，L2/L3分界點為每個存在的VLAN或子網(wǎng)通告一個地址前綴，或者可在節(jié)點規(guī)模較小情況下考慮靜態(tài)路由配置的方式。另外，應(yīng)注意調(diào)整物理網(wǎng)絡(luò)的MTU以適配上層疊加網(wǎng)絡(luò)，以疊加網(wǎng)絡(luò)選擇VxLAN作為轉(zhuǎn)發(fā)面封裝協(xié)議為例，物理網(wǎng)絡(luò)的MTU應(yīng)不小于1600字節(jié)。 擴展性云資源池物理網(wǎng)絡(luò)的擴展性應(yīng)綜合考慮網(wǎng)絡(luò)接入能力、處理能力和可用帶寬等。網(wǎng)絡(luò)的接入能力是指支持終端接入網(wǎng)絡(luò)的能力，以接入的服務(wù)器數(shù)量作為量化指標。在云資源池場景下，物理網(wǎng)絡(luò)接入能力取決于邊緣層（接入層/Leaf層）向用戶側(cè)提供的接入端口數(shù)量。網(wǎng)絡(luò)接入能力的擴展有以下兩類方式：1）使用更高端口密度的邊緣設(shè)備；2）增加邊緣設(shè)備數(shù)量。與替換設(shè)備相比，增加邊緣設(shè)備的方式更適合用于主干分支拓撲架構(gòu)，該架構(gòu)可在網(wǎng)絡(luò)中橫向增加分支設(shè)備，提供更多接入端口，無需更改原有設(shè)備，擴展過程平滑，避免替換設(shè)備帶來的業(yè)務(wù)中斷和投資浪費。由于拓撲全連接的特點，主干分支架構(gòu)的接入設(shè)備的數(shù)量上限通常取決于主干交換機上可用的端口總數(shù)，在新建云資源池物理網(wǎng)絡(luò)時，應(yīng)結(jié)合接入能力擴展考慮進行主干設(shè)備的選型。對于傳統(tǒng)三層架構(gòu)，從保護投資角度考慮，首先應(yīng)考慮通過增加接入層設(shè)備的方式。當(dāng)接入層的增加導(dǎo)致上層設(shè)備端口數(shù)量不足時，結(jié)合擴展成本考慮選擇使用高端口密度的接入層設(shè)備或增加匯聚層設(shè)備。網(wǎng)絡(luò)處理能力指云資源池物理網(wǎng)絡(luò)的數(shù)據(jù)轉(zhuǎn)發(fā)能力，以轉(zhuǎn)發(fā)吞吐量為量化指標，主要體現(xiàn)為交換主干設(shè)備的吞吐量。主干分支架構(gòu)的交換主干設(shè)備是由多臺設(shè)備組成的“分布式核心”，具備橫向擴展性，可通過增加設(shè)備的方式提升處理能力，但應(yīng)注意結(jié)合ECMP實現(xiàn)在多臺主干設(shè)備間的均衡。傳統(tǒng)三層架構(gòu)的核心層設(shè)備（或匯聚層設(shè)備），建議通過增加板卡、替換更高規(guī)格設(shè)備的縱向擴展方式實現(xiàn)轉(zhuǎn)發(fā)主干設(shè)備的能力提升?？捎脦捴妇W(wǎng)絡(luò)接入設(shè)備可使用的帶寬。云資源池物理網(wǎng)絡(luò)主要關(guān)注網(wǎng)絡(luò)接入設(shè)備與網(wǎng)絡(luò)主干間的有效上行帶寬。主干分支架構(gòu)的接入節(jié)點直接連接到主干層，因此可通過配置接入節(jié)點與主干層間的上行鏈路數(shù)量，實現(xiàn)可用帶寬的擴展或縮減。但注意分支交換機到每個主干交換機的上行鏈路數(shù)目必須相同，避免產(chǎn)生流量過熱點。對于傳統(tǒng)三層架構(gòu)，可用帶寬的擴展不僅需配置更多的接入層到匯聚層的上行帶寬，通常也需配合考慮匯聚層到核心層的帶寬的擴容，否則匯聚層可能成為瓶頸，導(dǎo)致可用帶寬的擴容無效。網(wǎng)絡(luò)的接入能力、處理能力和可用帶寬是相互緊密關(guān)聯(lián)的，因此云資源池物理網(wǎng)絡(luò)的擴展性需要統(tǒng)籌考慮上述三方面。 容錯性提升網(wǎng)絡(luò)容錯性的主要手段包括從網(wǎng)絡(luò)、鏈路和設(shè)備等層面實現(xiàn)冗余部署。網(wǎng)絡(luò)層：通過部署配置路由冗余，網(wǎng)關(guān)冗余提升網(wǎng)絡(luò)容錯性，具體而言：1）路由冗余通過配置冗余路由，當(dāng)某條鏈路故障時，流量可切換到其他冗余路徑。該方式僅適用于提高L3網(wǎng)絡(luò)設(shè)備之間路徑的可用性，主要應(yīng)應(yīng)用于主干分支拓撲中主干設(shè)備與分支設(shè)備的互聯(lián)。2）網(wǎng)關(guān)冗余網(wǎng)關(guān)冗余技術(shù)基于多個物理網(wǎng)關(guān)虛擬出一個或多個虛擬網(wǎng)關(guān)，解決局域網(wǎng)內(nèi)缺省網(wǎng)關(guān)存在單點故障問題。主流的網(wǎng)關(guān)冗余技術(shù)包括HSRP、VRRP和GLBP等，技術(shù)特點對比如下表。表格 52 網(wǎng)關(guān)冗余技術(shù)比較表協(xié)議HSRPVRRPGLBP工作原理虛擬網(wǎng)關(guān)地址不能為物理接口地址虛擬網(wǎng)關(guān)可以是物理接口地址虛擬網(wǎng)關(guān)地址不能為物理接口地址設(shè)備角色ActiveStandbyMasterBackuplistenAVG active,standbyAVF所有路由器故障切換Standby接管active優(yōu)先級高的backup接管master，standby替代active。，AVG重新分配虛擬MAC，由其他AVF接管負載均衡可實現(xiàn)但需多組可實現(xiàn)但需多組同組內(nèi)負載均衡（最多4臺）協(xié)議標準思科私有IETF RFC 3768思科私有在實際應(yīng)用中，應(yīng)優(yōu)先考慮基于標準協(xié)議VRRP技術(shù)，該技術(shù)可為云資源池網(wǎng)絡(luò)的L3網(wǎng)關(guān)提供冗余，適用于不同的網(wǎng)絡(luò)拓撲。鏈路層：通過防環(huán)、鏈路聚合等技術(shù)提升鏈路容錯性。1）防環(huán)一般建議應(yīng)用生成樹協(xié)議（STP）或其衍生協(xié)議（RSTP，MSTP）實現(xiàn)鏈路冗余和環(huán)路防止?；赟TP實現(xiàn)鏈路冗余應(yīng)注意故障收斂效率的評估。STP的收斂時間較慢（可達30s50s），有可能會導(dǎo)致較長的業(yè)務(wù)中斷。建議部署收斂時間更優(yōu)化的RSTP（收斂時間達數(shù)百毫秒）和MSTP（進一步基于多實例提升冗余鏈路利用率）。2）鏈路聚合鏈路聚合將單臺設(shè)備上的多個物理端口捆綁為一個邏輯端口，流量在各成員端口中負載分擔(dān)，當(dāng)鏈路斷開，流量會自動在剩下的鏈路間重新分配。鏈路聚合主要包括手工鏈路聚合、基于LACP的鏈路聚合和跨設(shè)備鏈路聚合，技術(shù)特點對比如下表。表格 53技術(shù)類型手工鏈路聚合基于LACP的鏈路聚合跨設(shè)備鏈路聚合技術(shù)原理多個物理鏈路直接加入Trunk組，形成一條邏輯鏈路基于LACP協(xié)議與對端交互信息，自動選擇能夠聚合的端口聚合的多個鏈路可以來自不同設(shè)備廠商依賴多數(shù)廠商支持，不依賴廠商部分廠商支持，需同廠商設(shè)備云資源池物理網(wǎng)絡(luò)可視具體需求在服務(wù)器和接入側(cè)設(shè)備，網(wǎng)絡(luò)設(shè)備間配置鏈路聚合，提高鏈路可靠性，具體技術(shù)選擇以手工鏈路聚合和基于LACP鏈路聚合為宜。設(shè)備層：通過設(shè)備部件的冗余設(shè)計（包括主控冗余、單板熱插拔和電源風(fēng)扇冗余等）提升容錯性。設(shè)備級的冗余技術(shù)與具體網(wǎng)絡(luò)拓撲無關(guān)，但一般僅應(yīng)用在高端設(shè)備上，因此多見于傳統(tǒng)三層架構(gòu)的核心層設(shè)備，而其它設(shè)備一般不具備提供設(shè)備級冗余的條件。 差異化服務(wù)云資源池網(wǎng)絡(luò)主要流量類型及服務(wù)要求特點如下所示：表格 54 云資源池網(wǎng)絡(luò)流量類型及特點流量類型服務(wù)要求特點基礎(chǔ)設(shè)施VM管理、網(wǎng)絡(luò)控制、存儲管理、服務(wù)配置等控制流量關(guān)鍵服務(wù)VM遷移流量帶寬保障租戶前端流量不同的帶寬保障后端流量不同的帶寬保障存儲FCOE/FC無丟包IP存儲時延敏感原則上云資源池物理網(wǎng)絡(luò)應(yīng)基于區(qū)分服務(wù)（DiffServ）模型，通過在網(wǎng)絡(luò)入口對業(yè)務(wù)分類、流量控制，針對業(yè)務(wù)類型對特定的對象（業(yè)務(wù)網(wǎng)絡(luò)、業(yè)務(wù)虛機、接口等）設(shè)置QoS值，在網(wǎng)絡(luò)中根據(jù)QoS機制區(qū)分流量，實現(xiàn)網(wǎng)絡(luò)差異化服務(wù)。建議按下表根據(jù)流量類型劃分服務(wù)等級，報文的標記包括二層（CoS）和三層（DSCP），從簡化方案角度考慮，可同時對報文進行CoS和DSCP標記，如下表所示，同時建立CoS、DSCP與服務(wù)等級的映射關(guān)系。表格 55流量類型EXP/CoSDSCPPHB租戶流量一般流量一般計算流量銅等級0CS0Default一般計算流量銀等級1CS1AF一般計算流量金等級2