【文章內(nèi)容簡介】 負(fù)荷。匯聚層是多臺(tái)接入層交換機(jī)的匯聚點(diǎn)，它須處理來自接入層設(shè)備的所有通信，并提供到核心層的上行鏈路，因此與接入層設(shè)備比較，匯聚層設(shè)備需要更高的性能，較少的接口和更高的交換速率。l 核心層：網(wǎng)絡(luò)交換的骨干部分，通過高速轉(zhuǎn)發(fā)，提供快速、可靠的數(shù)據(jù)傳輸，核心層設(shè)備一般具有更高的可靠性，性能和吞吐。此外，核心層設(shè)備作為資源池網(wǎng)絡(luò)出口，與廣域網(wǎng)路由器對(duì)接，提供動(dòng)態(tài)路由（BGP/IGP）、VPN、NAT等能力。該架構(gòu)常見于傳統(tǒng)機(jī)房網(wǎng)絡(luò)拓?fù)?，一般適用以南北向流量為主，東西向流量較少，網(wǎng)絡(luò)規(guī)模較固定的場(chǎng)景，同時(shí)一般以匯聚層作為L2/L3分界點(diǎn)（或可根據(jù)規(guī)模及應(yīng)用需要上移至核心層）。2. 對(duì)于主干分支（SpineLeaf）型架構(gòu)拓?fù)?，基于CLOS（無阻塞網(wǎng)絡(luò)）理論，任何兩點(diǎn)間僅需一跳且具有多條等價(jià)鏈路，具有很小的帶寬收斂比，滿足云資源池內(nèi)不斷增加的東西向流量需求，各層主要功能如下：圖 53主干分支型架構(gòu)l 分支（Leaf）層：為用戶提供網(wǎng)絡(luò)接入及靈活的業(yè)務(wù)控制（如隧道封裝、訪問控制等），分支層設(shè)備具有低成本和高端口密度特性。l 主干（Spine）層：網(wǎng)絡(luò)交換的主干部分，提供低延時(shí)、高帶寬的流量轉(zhuǎn)發(fā)。與傳統(tǒng)樹型架構(gòu)的核心層相區(qū)別，SpineLeaf的主干層由多臺(tái)具備大容量交換能力的Spine節(jié)點(diǎn)構(gòu)建，而非單臺(tái)高性能的核心設(shè)備。每臺(tái)Spine節(jié)點(diǎn)都可作為任意兩臺(tái)Leaf節(jié)點(diǎn)的交換點(diǎn)。該拓?fù)涑Ｒ娪谛滦驮瀑Y源池網(wǎng)絡(luò)建設(shè)，適用東西向流量較多，收斂比較小，網(wǎng)絡(luò)規(guī)模易擴(kuò)展的場(chǎng)景，同時(shí)一般以分支層作為L2/L3分界點(diǎn)（或可根據(jù)規(guī)模及應(yīng)用需要上移至主干層）。上述兩種網(wǎng)絡(luò)拓?fù)湓诹髁磕Ｐ?、轉(zhuǎn)發(fā)性、可擴(kuò)展性、容錯(cuò)性等方面的對(duì)比如下表所示： 表格 51網(wǎng)絡(luò)拓?fù)浼軜?gòu)對(duì)比傳統(tǒng)三層架構(gòu)主干分支（SpineLeaf）東西向流量低高可擴(kuò)展性較小，受核心設(shè)備性能上限較大，受Spine設(shè)備端口數(shù)量擴(kuò)展模式縱向擴(kuò)展（替換各層設(shè)備）橫向擴(kuò)展（增加Spine，Leaf節(jié)點(diǎn)）容錯(cuò)能力自身無容錯(cuò)考慮，通過鏈路冗余、端口聚合、設(shè)備堆疊等技術(shù)手段分支與主干設(shè)備間鏈路冗余、主干設(shè)備互為備份 與傳統(tǒng)三層網(wǎng)絡(luò)拓?fù)湎啾?，主干分支（SpineLeaf）在轉(zhuǎn)發(fā)性能、可擴(kuò)展性、容錯(cuò)性方面都更具優(yōu)勢(shì)：1）在轉(zhuǎn)發(fā)性能方面，由于傳統(tǒng)三層模式有較高的收斂比設(shè)計(jì)，以及STP等防環(huán)技術(shù)所致的可用鏈路浪費(fèi)，服務(wù)器節(jié)點(diǎn)之間可用帶寬較低。而主干分支（SpineLeaf）架構(gòu)的收斂比低且使用所有鏈路，服務(wù)器節(jié)點(diǎn)之間可用帶寬更高。傳統(tǒng)三層網(wǎng)絡(luò)架構(gòu)接入節(jié)點(diǎn)間通信部分需經(jīng)過核心設(shè)備，并非通過最優(yōu)路徑轉(zhuǎn)發(fā)，時(shí)延較大且難以預(yù)測(cè)；SpineLeaf的任意Leaf節(jié)點(diǎn)之間的躍點(diǎn)數(shù)目一致，Leaf節(jié)點(diǎn)間的轉(zhuǎn)發(fā)時(shí)延短且可預(yù)測(cè)。相比與傳統(tǒng)三層架構(gòu)，SpineLeaf提供更優(yōu)的東西向轉(zhuǎn)發(fā)性能。 2）在可擴(kuò)展性方面，傳統(tǒng)三層架構(gòu)通過升級(jí)各級(jí)的設(shè)備實(shí)現(xiàn)縱向的擴(kuò)展，涉及設(shè)備的更替，整體容量通常受限于核心設(shè)備的性能設(shè)計(jì)；主干分支（SpineLeaf）架構(gòu)支持水平式的擴(kuò)展，通過增加Leaf和Spine節(jié)點(diǎn)實(shí)現(xiàn)更高的服務(wù)器接入能力和主干轉(zhuǎn)發(fā)能力，一般可維持原有設(shè)備與鏈路，擴(kuò)展容量受限于Leaf節(jié)點(diǎn)和Spine節(jié)點(diǎn)的端口數(shù)量。總體而言，SpineLeaf整體架構(gòu)比傳統(tǒng)三層架構(gòu)具有更好的可擴(kuò)展性。 3）在容錯(cuò)性方面，傳統(tǒng)三層架構(gòu)設(shè)計(jì)自身并未考慮容錯(cuò)，一般基于鏈路冗余（結(jié)合STP）、端口聚合、設(shè)備堆疊等相關(guān)技術(shù)實(shí)現(xiàn)網(wǎng)絡(luò)容錯(cuò)；而主干分支（SpineLeaf）架構(gòu)設(shè)計(jì)本身具備分支設(shè)備與主干設(shè)備間的鏈路冗余、主干設(shè)備負(fù)載分擔(dān)等特性，有效避免了單點(diǎn)故障，提供良好的容錯(cuò)性，同時(shí)相關(guān)網(wǎng)絡(luò)容錯(cuò)技術(shù)也可應(yīng)用于SpineLeaf架構(gòu)以進(jìn)一步提升容錯(cuò)性。 對(duì)于計(jì)劃部署SDN的新建云資源池物理網(wǎng)絡(luò)，原則上使用主干分支（SpineLeaf）型拓?fù)浣M網(wǎng)；對(duì)于利舊改造的云資源池SDN網(wǎng)絡(luò)，在東西向流量不大、網(wǎng)絡(luò)規(guī)模預(yù)期較固定的情況下，物理網(wǎng)絡(luò)拓?fù)鋺?yīng)繼續(xù)使用傳統(tǒng)三層拓?fù)?，但?yīng)注意評(píng)估現(xiàn)存網(wǎng)絡(luò)的性能和可擴(kuò)展性與資源池建設(shè)規(guī)劃的匹配度，若考慮對(duì)現(xiàn)有物理網(wǎng)絡(luò)拓?fù)溥M(jìn)行主干分支（SpineLeaf）型改造，應(yīng)綜合考慮建設(shè)成本、流量模型、擴(kuò)展性要求等因素。對(duì)于使用主干分支（SpineLeaf）型拓?fù)浣M網(wǎng)，部署建議如下：分支節(jié)點(diǎn)與服務(wù)器節(jié)點(diǎn)的連接：1）分支節(jié)點(diǎn)實(shí)現(xiàn)計(jì)算節(jié)點(diǎn)的網(wǎng)絡(luò)接入，以及網(wǎng)絡(luò)流量隔離。一般通過Trunk鏈路連接計(jì)算節(jié)點(diǎn)，可在分支節(jié)點(diǎn)配置VLAN實(shí)現(xiàn)隔離。分支節(jié)點(diǎn)作為L2/L3分界點(diǎn)，需要終結(jié)L2，并提供默認(rèn)網(wǎng)關(guān)功能，一般對(duì)每個(gè)VLAN配置虛擬端口和IP地址，作為每個(gè)VLAN的默認(rèn)網(wǎng)關(guān)地址。2）分支節(jié)點(diǎn)運(yùn)行動(dòng)態(tài)路由協(xié)議，為本地連接的計(jì)算節(jié)點(diǎn)發(fā)布網(wǎng)絡(luò)可達(dá)信息（例如為每個(gè)存在的VLAN或子網(wǎng)通告一個(gè)地址前綴）。另外，也通過路由協(xié)議從主干節(jié)點(diǎn)接收其他計(jì)算節(jié)點(diǎn)的可達(dá)信息。分支節(jié)點(diǎn)與主干節(jié)點(diǎn)的連接：主干節(jié)點(diǎn)只有連接到分支交換機(jī)的接口，接口配置為路由點(diǎn)到點(diǎn)鏈路，主干節(jié)點(diǎn)配置動(dòng)態(tài)路由協(xié)議，與分支節(jié)點(diǎn)互通計(jì)算節(jié)點(diǎn)的IP可達(dá)信息。對(duì)于使用傳統(tǒng)樹形三層架構(gòu)型拓?fù)浣M網(wǎng)，部署建議如下：接入層節(jié)點(diǎn)與服務(wù)器節(jié)點(diǎn)的連接：接入層節(jié)點(diǎn)一般通過Trunk鏈路連接計(jì)算節(jié)點(diǎn)，可在分支節(jié)點(diǎn)配置VLAN以提供流量隔離。接入層、匯聚層、核心層的連接：各層設(shè)備可通過VLAN Trunk互聯(lián)，L2/L3分界點(diǎn)（匯聚層設(shè)備或核心層設(shè)備）如下層設(shè)備通過Trunk連接，在冗余鏈路情況下部署STP實(shí)現(xiàn)環(huán)路防止；L2/L3分界點(diǎn)與上層配置為路由點(diǎn)對(duì)點(diǎn)鏈路。L2/L3分界點(diǎn)與上層設(shè)備可運(yùn)行路由協(xié)議互通可達(dá)信息，L2/L3分界點(diǎn)為每個(gè)存在的VLAN或子網(wǎng)通告一個(gè)地址前綴，或者可在節(jié)點(diǎn)規(guī)模較小情況下考慮靜態(tài)路由配置的方式。另外，應(yīng)注意調(diào)整物理網(wǎng)絡(luò)的MTU以適配上層疊加網(wǎng)絡(luò)，以疊加網(wǎng)絡(luò)選擇VxLAN作為轉(zhuǎn)發(fā)面封裝協(xié)議為例，物理網(wǎng)絡(luò)的MTU應(yīng)不小于1600字節(jié)。 擴(kuò)展性云資源池物理網(wǎng)絡(luò)的擴(kuò)展性應(yīng)綜合考慮網(wǎng)絡(luò)接入能力、處理能力和可用帶寬等。網(wǎng)絡(luò)的接入能力是指支持終端接入網(wǎng)絡(luò)的能力，以接入的服務(wù)器數(shù)量作為量化指標(biāo)。在云資源池場(chǎng)景下，物理網(wǎng)絡(luò)接入能力取決于邊緣層（接入層/Leaf層）向用戶側(cè)提供的接入端口數(shù)量。網(wǎng)絡(luò)接入能力的擴(kuò)展有以下兩類方式：1）使用更高端口密度的邊緣設(shè)備；2）增加邊緣設(shè)備數(shù)量。與替換設(shè)備相比，增加邊緣設(shè)備的方式更適合用于主干分支拓?fù)浼軜?gòu)，該架構(gòu)可在網(wǎng)絡(luò)中橫向增加分支設(shè)備，提供更多接入端口，無需更改原有設(shè)備，擴(kuò)展過程平滑，避免替換設(shè)備帶來的業(yè)務(wù)中斷和投資浪費(fèi)。由于拓?fù)淙B接的特點(diǎn)，主干分支架構(gòu)的接入設(shè)備的數(shù)量上限通常取決于主干交換機(jī)上可用的端口總數(shù)，在新建云資源池物理網(wǎng)絡(luò)時(shí)，應(yīng)結(jié)合接入能力擴(kuò)展考慮進(jìn)行主干設(shè)備的選型。對(duì)于傳統(tǒng)三層架構(gòu)，從保護(hù)投資角度考慮，首先應(yīng)考慮通過增加接入層設(shè)備的方式。當(dāng)接入層的增加導(dǎo)致上層設(shè)備端口數(shù)量不足時(shí)，結(jié)合擴(kuò)展成本考慮選擇使用高端口密度的接入層設(shè)備或增加匯聚層設(shè)備。網(wǎng)絡(luò)處理能力指云資源池物理網(wǎng)絡(luò)的數(shù)據(jù)轉(zhuǎn)發(fā)能力，以轉(zhuǎn)發(fā)吞吐量為量化指標(biāo)，主要體現(xiàn)為交換主干設(shè)備的吞吐量。主干分支架構(gòu)的交換主干設(shè)備是由多臺(tái)設(shè)備組成的“分布式核心”，具備橫向擴(kuò)展性，可通過增加設(shè)備的方式提升處理能力，但應(yīng)注意結(jié)合ECMP實(shí)現(xiàn)在多臺(tái)主干設(shè)備間的均衡。傳統(tǒng)三層架構(gòu)的核心層設(shè)備（或匯聚層設(shè)備），建議通過增加板卡、替換更高規(guī)格設(shè)備的縱向擴(kuò)展方式實(shí)現(xiàn)轉(zhuǎn)發(fā)主干設(shè)備的能力提升?？捎脦捴妇W(wǎng)絡(luò)接入設(shè)備可使用的帶寬。云資源池物理網(wǎng)絡(luò)主要關(guān)注網(wǎng)絡(luò)接入設(shè)備與網(wǎng)絡(luò)主干間的有效上行帶寬。主干分支架構(gòu)的接入節(jié)點(diǎn)直接連接到主干層，因此可通過配置接入節(jié)點(diǎn)與主干層間的上行鏈路數(shù)量，實(shí)現(xiàn)可用帶寬的擴(kuò)展或縮減。但注意分支交換機(jī)到每個(gè)主干交換機(jī)的上行鏈路數(shù)目必須相同，避免產(chǎn)生流量過熱點(diǎn)。對(duì)于傳統(tǒng)三層架構(gòu)，可用帶寬的擴(kuò)展不僅需配置更多的接入層到匯聚層的上行帶寬，通常也需配合考慮匯聚層到核心層的帶寬的擴(kuò)容，否則匯聚層可能成為瓶頸，導(dǎo)致可用帶寬的擴(kuò)容無效。網(wǎng)絡(luò)的接入能力、處理能力和可用帶寬是相互緊密關(guān)聯(lián)的，因此云資源池物理網(wǎng)絡(luò)的擴(kuò)展性需要統(tǒng)籌考慮上述三方面。 容錯(cuò)性提升網(wǎng)絡(luò)容錯(cuò)性的主要手段包括從網(wǎng)絡(luò)、鏈路和設(shè)備等層面實(shí)現(xiàn)冗余部署。網(wǎng)絡(luò)層：通過部署配置路由冗余，網(wǎng)關(guān)冗余提升網(wǎng)絡(luò)容錯(cuò)性，具體而言：1）路由冗余通過配置冗余路由，當(dāng)某條鏈路故障時(shí)，流量可切換到其他冗余路徑。該方式僅適用于提高L3網(wǎng)絡(luò)設(shè)備之間路徑的可用性，主要應(yīng)應(yīng)用于主干分支拓?fù)渲兄鞲稍O(shè)備與分支設(shè)備的互聯(lián)。2）網(wǎng)關(guān)冗余網(wǎng)關(guān)冗余技術(shù)基于多個(gè)物理網(wǎng)關(guān)虛擬出一個(gè)或多個(gè)虛擬網(wǎng)關(guān)，解決局域網(wǎng)內(nèi)缺省網(wǎng)關(guān)存在單點(diǎn)故障問題。主流的網(wǎng)關(guān)冗余技術(shù)包括HSRP、VRRP和GLBP等，技術(shù)特點(diǎn)對(duì)比如下表。表格 52 網(wǎng)關(guān)冗余技術(shù)比較表協(xié)議HSRPVRRPGLBP工作原理虛擬網(wǎng)關(guān)地址不能為物理接口地址虛擬網(wǎng)關(guān)可以是物理接口地址虛擬網(wǎng)關(guān)地址不能為物理接口地址設(shè)備角色ActiveStandbyMasterBackuplistenAVG active,standbyAVF所有路由器故障切換Standby接管active優(yōu)先級(jí)高的backup接管master，standby替代active。，AVG重新分配虛擬MAC，由其他AVF接管負(fù)載均衡可實(shí)現(xiàn)但需多組可實(shí)現(xiàn)但需多組同組內(nèi)負(fù)載均衡（最多4臺(tái)）協(xié)議標(biāo)準(zhǔn)思科私有IETF RFC 3768思科私有在實(shí)際應(yīng)用中，應(yīng)優(yōu)先考慮基于標(biāo)準(zhǔn)協(xié)議VRRP技術(shù)，該技術(shù)可為云資源池網(wǎng)絡(luò)的L3網(wǎng)關(guān)提供冗余，適用于不同的網(wǎng)絡(luò)拓?fù)?。鏈路層：通過防環(huán)、鏈路聚合等技術(shù)提升鏈路容錯(cuò)性。1）防環(huán)一般建議應(yīng)用生成樹協(xié)議（STP）或其衍生協(xié)議（RSTP，MSTP）實(shí)現(xiàn)鏈路冗余和環(huán)路防止?；赟TP實(shí)現(xiàn)鏈路冗余應(yīng)注意故障收斂效率的評(píng)估。STP的收斂時(shí)間較慢（可達(dá)30s50s），有可能會(huì)導(dǎo)致較長的業(yè)務(wù)中斷。建議部署收斂時(shí)間更優(yōu)化的RSTP（收斂時(shí)間達(dá)數(shù)百毫秒）和MSTP（進(jìn)一步基于多實(shí)例提升冗余鏈路利用率）。2）鏈路聚合鏈路聚合將單臺(tái)設(shè)備上的多個(gè)物理端口捆綁為一個(gè)邏輯端口，流量在各成員端口中負(fù)載分擔(dān)，當(dāng)鏈路斷開，流量會(huì)自動(dòng)在剩下的鏈路間重新分配。鏈路聚合主要包括手工鏈路聚合、基于LACP的鏈路聚合和跨設(shè)備鏈路聚合，技術(shù)特點(diǎn)對(duì)比如下表。表格 53技術(shù)類型手工鏈路聚合基于LACP的鏈路聚合跨設(shè)備鏈路聚合技術(shù)原理多個(gè)物理鏈路直接加入Trunk組，形成一條邏輯鏈路基于LACP協(xié)議與對(duì)端交互信息，自動(dòng)選擇能夠聚合的端口聚合的多個(gè)鏈路可以來自不同設(shè)備廠商依賴多數(shù)廠商支持，不依賴廠商部分廠商支持，需同廠商設(shè)備云資源池物理網(wǎng)絡(luò)可視具體需求在服務(wù)器和接入側(cè)設(shè)備，網(wǎng)絡(luò)設(shè)備間配置鏈路聚合，提高鏈路可靠性，具體技術(shù)選擇以手工鏈路聚合和基于LACP鏈路聚合為宜。設(shè)備層：通過設(shè)備部件的冗余設(shè)計(jì)（包括主控冗余、單板熱插拔和電源風(fēng)扇冗余等）提升容錯(cuò)性。設(shè)備級(jí)的冗余技術(shù)與具體網(wǎng)絡(luò)拓?fù)錈o關(guān)，但一般僅應(yīng)用在高端設(shè)備上，因此多見于傳統(tǒng)三層架構(gòu)的核心層設(shè)備，而其它設(shè)備一般不具備提供設(shè)備級(jí)冗余的條件。 差異化服務(wù)云資源池網(wǎng)絡(luò)主要流量類型及服務(wù)要求特點(diǎn)如下所示：表格 54 云資源池網(wǎng)絡(luò)流量類型及特點(diǎn)流量類型服務(wù)要求特點(diǎn)基礎(chǔ)設(shè)施VM管理、網(wǎng)絡(luò)控制、存儲(chǔ)管理、服務(wù)配置等控制流量關(guān)鍵服務(wù)VM遷移流量帶寬保障租戶前端流量不同的帶寬保障后端流量不同的帶寬保障存儲(chǔ)FCOE/FC無丟包IP存儲(chǔ)時(shí)延敏感原則上云資源池物理網(wǎng)絡(luò)應(yīng)基于區(qū)分服務(wù)（DiffServ）模型，通過在網(wǎng)絡(luò)入口對(duì)業(yè)務(wù)分類、流量控制，針對(duì)業(yè)務(wù)類型對(duì)特定的對(duì)象（業(yè)務(wù)網(wǎng)絡(luò)、業(yè)務(wù)虛機(jī)、接口等）設(shè)置QoS值，在網(wǎng)絡(luò)中根據(jù)QoS機(jī)制區(qū)分流量，實(shí)現(xiàn)網(wǎng)絡(luò)差異化服務(wù)。建議按下表根據(jù)流量類型劃分服務(wù)等級(jí)，報(bào)文的標(biāo)記包括二層（CoS）和三層（DSCP），從簡化方案角度考慮，可同時(shí)對(duì)報(bào)文進(jìn)行CoS和DSCP標(biāo)記，如下表所示，同時(shí)建立CoS、DSCP與服務(wù)等級(jí)的映射關(guān)系。表格 55流量類型EXP/CoSDSCPPHB租戶流量一般流量一般計(jì)算流量銅等級(jí)0CS0Default一般計(jì)算流量銀等級(jí)1CS1AF一般計(jì)算流量金等級(jí)2