【正文】 能不能只做數(shù)據(jù)平面的虛擬化呢，于是有了TRILL和SPB。另外從Cisco的FEX技術只應用于數(shù)據(jù)中心接入層的產(chǎn)品設計，也能看出其對這種控制平面虛擬化后帶來的規(guī)模限制以及技術應用位置是非常清晰的。這也是Cisco在6500系列交換機的VSS技術在更新?lián)Q代到Nexus7000后被砍掉，只基于鏈路聚合做了個vPC的主要原因。網(wǎng)絡設備虛擬化也同樣如此，以框式設備舉例，不管以后能夠支持多少臺設備虛擬合一，只要不能解決上述問題，從控制平面處理整個虛擬交換機運行的物理控制節(jié)點主控板都只能有一塊為主，其他都是備份角色（類似于服務器多虛一中的HA Cluster結(jié)構(gòu)）。但是有一個很嚴重的問題制約了其技術的發(fā)展。Juniper的QFabric也屬于此列，區(qū)別是單獨弄了個Director盒子只作為控制平面存在，而所有的Node QFX3500交換機同樣都有自己的轉(zhuǎn)發(fā)平面可以處理報文進行本地轉(zhuǎn)發(fā)?？v向虛擬化指不同層次設備之間通過虛擬化合多為一，代表技術就是Cisco的Fabric Extender，相當于將下游交換機設備作為上游設備的接口擴展而存在，虛擬化后的交換機控制平面和轉(zhuǎn)發(fā)平面都在上游設備上，下游設備只有一些簡單的同步處理特性，報文轉(zhuǎn)發(fā)也都需要上送到上游設備進行。控制平面虛擬化顧名思義，控制平面虛擬化是將所有設備的控制平面合而為一，只有一個主體去處理整個虛擬交換機的協(xié)議處理，表項同步等工作。最早的網(wǎng)絡多虛一技術代表是交換機集群Cluster技術，多以盒式小交換機為主，較為古老，當前數(shù)據(jù)中心里面已經(jīng)很少見了。而云計算一虛多的時候，物理服務器都變成了一堆的VM，網(wǎng)絡怎么也要想辦法搞個一虛多對通路建立和管理更精細化一些不是。那么為什么要搞網(wǎng)絡虛擬化呢？還是被計算逼的。新技術則是Cisco提出LISP以IPinIP技術結(jié)構(gòu)繞開DNS，由網(wǎng)絡設備單獨處理Client在廣域網(wǎng)中選擇站點的情況。在云計算中，VM跨站點遷移后，業(yè)務服務器IP地址不變，網(wǎng)絡指向需要隨之變化。使用VLL/VPLS相關技術時必須要增加專門的PE設備為站點間的Core Switch建立二層隧道，而OTV可以直接部署在Core Switch上。目標是跨越核心網(wǎng)為多個數(shù)據(jù)中心站點的Core Switch之間建立一條二層通道。這兩個體系都是網(wǎng)絡虛擬化中的多虛一方向，在一虛多方向除去傳統(tǒng)的VLAN/VRF外，Cisco的N7000系列還依照X86架構(gòu)虛擬化整出了個VDC。可理解為服務器互訪流量從進入Access Switch，經(jīng)過Core Switch，再從另一個Access Switch轉(zhuǎn)出過程的網(wǎng)絡處理技術。但實際上各個廠商當前實現(xiàn)都是做NPV交換機，并不是真正的FCoE，只有很少的產(chǎn)品如Cisco的Nexus5000系列和Brocade的8000系列等能夠支持做FCF。Network2Ethernet與FC融合，就是FCoE，邊界仍然是Access Switch。Network1VM本地互訪網(wǎng)絡，邊界是Access Switch，包括物理服務器本機VM互訪和跨Access Switch的不同物理服務器VM互訪兩個層面。 技術結(jié)構(gòu)前面說了，數(shù)據(jù)中心網(wǎng)絡流量的根本出發(fā)點是Server，結(jié)合云計算最適合的核心接入二層網(wǎng)絡結(jié)構(gòu)，可以把下面要介紹的各種技術分類如下圖所示。再次對前面的需求進行個匯總。對應用業(yè)務設計人員，也請稍微了解下網(wǎng)絡，最少也得能估算出業(yè)務上線后理論上的平均帶寬和峰值帶寬，好向網(wǎng)絡設計人員提出需求，免得出事時焦頭爛額互相推諉。題外話，目前很多企業(yè)規(guī)模大了以后，網(wǎng)絡部門負責網(wǎng)絡，業(yè)務部門負責應用和服務器，很多時候互不搭界，于是設計網(wǎng)絡和應用的時候就各搞各的，等數(shù)據(jù)中心建起來之后發(fā)現(xiàn)這也是問題那也是問題，各個都變身救火隊員，不是啥好現(xiàn)象。本章內(nèi)容是下文數(shù)據(jù)中心內(nèi)部服務器通信網(wǎng)絡發(fā)展技術的重要鋪墊?？聪聢DCisco N7000的8口萬兆板結(jié)構(gòu)圖可以較好理解VOQ在接口板中的位置。VOQ就是在入接口板將報文發(fā)給Switch Fabric之前，先用VOQ緩存一下，然后通過中央裁決線路，發(fā)一個問詢給出接口板，看看那邊還有沒有空間接收，有的話就發(fā)，沒有先緩存一會兒，和FC網(wǎng)絡中實現(xiàn)零丟包的Bufer to Bufer Credit機制很相似（BB Credit機制詳見下文FCoE技術部分）。目前新的分布式轉(zhuǎn)發(fā)交換機另一項重要的技術就是VOQ（Virtual Output Queues）。而Force10的E系列則是按報文逐包轉(zhuǎn)發(fā)，號稱是為了避免亂序等問題。所以暫時還不好說Clos就一定是趨勢或代表啥下一代結(jié)構(gòu)，就好像我現(xiàn)在一頓能吃2碗米飯，你給10碗還是20碗對我沒有啥區(qū)別，都得等我胃口先練起來再說，但當我胃口真練起來那天，說不定又改吃饅頭了呢。全連接的方式滿足了對中間交換芯片的負載均衡需求，同時可以避免單交換芯片的架構(gòu)性阻塞。上述廠商設備中基本都是入接口板交換網(wǎng)板出接口板的3級交換結(jié)構(gòu)，而根據(jù)Clos設計，后續(xù)交換網(wǎng)可以擴展成多層結(jié)構(gòu)。Clos架構(gòu)是1953年貝爾實驗室研究員Charles Clos設計的一種多級交換結(jié)構(gòu)，最早應用在電話網(wǎng)絡中。而且交換芯片采用CutThrough方式轉(zhuǎn)發(fā)是沒有緩存的，報文都會直接丟棄，對突發(fā)流量的處理不理想。 Clos與VOQ在Crossbar里面，任何兩個轉(zhuǎn)發(fā)芯片之間的只會經(jīng)過一塊交換芯片，路徑是根據(jù)背板固定死的。至于其后面的2400M和5400M兩個值，反向推算，每接口板轉(zhuǎn)發(fā)能力為2400/8=5400/18=300Mpps，帶寬則為300*8*(64+20)=201600約200G，難道是預示著其下一代接口板能夠使用2個100G的轉(zhuǎn)發(fā)芯片支持2個100G接口，拭目以待。如每個轉(zhuǎn)發(fā)芯片20G處理帶寬（單向），則轉(zhuǎn)發(fā)率應該為20/8/(64+20) =，取整為30Mpps。這說明12500系列交換機網(wǎng)板上的交換芯片要不就都是32出口的，那么12518有2個槽位只有一半的轉(zhuǎn)發(fā)能力；要不就都是36+出口的，12508存在部分出口空余用不上。返回來再說下12518，總的通道數(shù)應該是18*4+2=74，則總的交換容量應該為90*74=。而其48GE和4*10GE的接口板應該是只用了2塊同樣的轉(zhuǎn)發(fā)芯片，每塊轉(zhuǎn)發(fā)芯片對應2組12GE接口或2個10GE接口。再來算算接口板，從8萬兆接口板支持線速轉(zhuǎn)發(fā)看來，首先4個通道應該對應到4塊轉(zhuǎn)發(fā)芯片，每轉(zhuǎn)發(fā)芯片對應2個萬兆接口，處理20G的流量。，則每條通道的帶寬應該是3060/34=90G，由此可以推算出實際每塊接口板的出口帶寬為90*4=360G，則每接口板最大交換即可偶帶寬理論值為180G（比較Cisco N7000的230G理論值要低一些）。由此背板預留通道數(shù)接口板與主控板為450:=4:1的關系。從背板算起，=9T就是10個槽位的容量，考慮到廠商的宣傳值都是雙向，那么每接口板槽位應該是預留了9000/2/10=450G的最大出口帶寬。包轉(zhuǎn)發(fā)率960Mpps/2400Mpps；，包轉(zhuǎn)發(fā)率2160Mpps/5400Mpps。再簡單說說H3C的12500，由于其公布資料太少，說多了會有問題。只能先想法將交換網(wǎng)板升級一下，至少得讓交換能力再翻一翻才好拿出來搞定32/40口萬兆板的線速轉(zhuǎn)發(fā)，至于交換芯片是換代還是數(shù)量翻番就都有可能了。首先應該搞定兩塊4通道轉(zhuǎn)發(fā)芯片F(xiàn)E的工藝布局（VOQ和Replication Engine芯片的數(shù)量都要翻倍），這樣能把16口線速萬兆板先搞出來，然后是否研究20*10GE接口板就看其市場戰(zhàn)略了。由上面3點可以看出，只使用目前Cisco N7000的接口板的話，交換網(wǎng)板2+1冗余就完全足夠用的了。再看其10GE接口板，8口萬兆板上面有兩塊2通道的轉(zhuǎn)發(fā)芯片，這樣80G流量完全夠處理，那么算算需要2塊交換網(wǎng)板才能線速跨板轉(zhuǎn)發(fā)，1塊就只能轉(zhuǎn)40G了。其接口板上的數(shù)據(jù)通道同樣應該與交換網(wǎng)板通道相匹配，升級到23G的容量。這樣能看出來啥呢？N7010上8個板卡槽位，2個主控槽位（主控槽位支持1條23G通路），一共是8*2+2=18條通道，可以看出7010的交換網(wǎng)板上就一塊Crossbar Fabric ASIC，這個交換芯片和以前Cisco6500 Supervisor720上的18*20交換芯片除了每通道帶寬從20G提升到了23G以外，通路數(shù)都是18條沒有變化，應該屬于同一代交換芯片產(chǎn)品。當然轉(zhuǎn)發(fā)能力并不是交換芯片的數(shù)量越多就越好，還要看具體其單體轉(zhuǎn)發(fā)能力和整機背板通道布局。最新的思路是將交換芯片拿出來單獨成板，這樣只要新機框設計得足夠大，交換芯片的數(shù)量就不再是限制。而另一條路就是增加芯片的數(shù)量，轉(zhuǎn)發(fā)芯片由于要排布在接口板上，畢竟地方就那么大，發(fā)展有限，現(xiàn)在的工藝來說，一塊單板放4個轉(zhuǎn)發(fā)芯片基本上已經(jīng)到極限了，6個的也只看到Arista的7548接口板上有，再多的還沒有見過，因此轉(zhuǎn)發(fā)芯片的發(fā)展還是要看芯片廠商的能力了。那么下一步路在何方呢，各個廠家都有著不同的看法。萬兆接口板不做成盒式是因為接口密度太低，價格上不去；而高密萬兆的盒子做不成接口板則是因為框式交換機交換芯片和背板通道結(jié)構(gòu)限制導致跨板轉(zhuǎn)發(fā)能力上不去。前面算了好多數(shù)，好在都是加減乘除，只要搞明白了，完全可以避免選型時再被設備廠商忽悠。如果想6513E的接口板通道全用起來，只能等Cisco6500出下一代引擎了，至少是Supervisor880才能搞定6513E的全線速轉(zhuǎn)發(fā)，不過從交換芯片的發(fā)展來看，Supervisor960的可能性更大一些，1280就有些拗口了。6513除去78的主控槽位外，一共有11個接口板槽位，16槽位背板只提供1個Switch Fabric通道，913才能提供2個通道，正好是6+2*5=16個通道滿足主控板的Switch Fabric交換能力。Supervisor72010GE支持20*20的Switch Fabric，多出來的2個10G通道給了Supervisor上的2個10GE接口，實際提供給接口板的交換通道仍然是16*20G。Supervisor720主控支持18*20的Switch Fabric交換，名稱中的720是指整個Switch Fabric的雙向交換能力18*20*2=720G。在集中式轉(zhuǎn)發(fā)時，Cisco6500不論使用Supervisor32還是Supervisor720主控，F(xiàn)E轉(zhuǎn)發(fā)芯片都是走BUS的，帶寬都是16G（雙向32G），因此只要用的接口板沒有DFC，整機最大也就雙向32G了。背板通道預留不足，Switch Fabric交換能力不夠，6500系列的這些架構(gòu)缺陷促使Cisco狠下心來為數(shù)據(jù)中心重新搞出一套Nexus7000，而其他交換機廠商也都幾乎同時期推出了新架構(gòu)的機框式交換機，都是被逼的啊，誰讓1000M接入這么快就替代了100M接入呢，核心更得開始拼萬兆了。再如CEF720類型接口板的Switch Fabric接口是2*20G（單板上有兩個FIRE），那48GE口的單板也明顯不可能是線速的了。從上圖可以看出接口板的轉(zhuǎn)發(fā)能力都受限于板卡連接BUS或Switch Fabric的接口帶寬，而衡量整機轉(zhuǎn)發(fā)能力時，集中式轉(zhuǎn)發(fā)受限于轉(zhuǎn)發(fā)芯片F(xiàn)E的轉(zhuǎn)發(fā)能力，分布式轉(zhuǎn)發(fā)受限于交換芯片Switch Fabric的轉(zhuǎn)發(fā)能力。集中式轉(zhuǎn)發(fā)時板內(nèi)接口間流量轉(zhuǎn)發(fā)同樣適用此圖，而分布式轉(zhuǎn)發(fā)時板內(nèi)轉(zhuǎn)發(fā)流量不需要走到Switch Fabric。 Replication Engine）為Cisco的接口板連接芯片，除了作為連接Switch Fabric的接口對報文進行內(nèi)部報頭的封包解包動作外，還能提供本地鏡像和組播復制功能。選擇Cisco6500還有一個主要原因就是其結(jié)構(gòu)從集中式跨越到分布式，從BUS總線通道跨越到Crossbar轉(zhuǎn)發(fā)，堪稱傳統(tǒng)機框交換機百科全書。下面說下Chassis的轉(zhuǎn)發(fā)能力，這個可比盒子要復雜多了，各個廠家多如繁星的機框、主控和接口板種類足以使用戶眼花繚亂。很顯然分布式對比集中式的區(qū)別主要是芯片更多，成本更高，轉(zhuǎn)發(fā)能力也更高。分布式架構(gòu)接口板上都會專門增加一個Fabric連接芯片（Fabric Interface或Fabric Adapter Process等），用以處理報文在框內(nèi)接口板間轉(zhuǎn)發(fā)時的內(nèi)部報頭封裝解封裝動作。而最新的第四代接口板dCEF720 Linecards已經(jīng)直接將DFC變成了一個非可選組件直接集成在接口板上。普通的CEF256和CEF720系列接口板雖然以Switch Fabric替代BUS總線通道來處理接口板到主控板的流量轉(zhuǎn)發(fā)，但仍然是靠主控板上的PFC3對流量進行集中處理，因此還是集中式轉(zhuǎn)發(fā)。在早期Cisco6500系列交換機設備上同樣是基于總線（BUS）的集中式轉(zhuǎn)發(fā)結(jié)構(gòu)。例如Cisco4500系列（又是Cisco，沒辦法，就他家產(chǎn)品最全，開放出來的資料最多，而且確實是數(shù)通領域的無冕之王，下文很多技術也都跟其相關），其接口板（LineCard）上面都沒有轉(zhuǎn)發(fā)芯片的（XGStub ASIC只做接口緩存和報文排隊的動作），所有的數(shù)據(jù)報文都需要通過背板通道（Fabric），上送到主控板（Supervisor）的轉(zhuǎn)發(fā)芯片（Forwarding Engine）上進行處理?？梢园褭C框里面的板卡理解為一個個獨立的盒子，然后通過交換網(wǎng)絡將其連接起來形成整體。 Chassis與分布式轉(zhuǎn)發(fā)本章節(jié)涉及轉(zhuǎn)發(fā)能力的舉例計算量較大，對數(shù)字不感興趣的同學可以直接略過相關內(nèi)容?？紤]選擇Box的最大轉(zhuǎn)發(fā)容量時，直接根據(jù)服務器接口數(shù)來計算接口即可。再嘮叨幾句數(shù)據(jù)中心Box交換機的選型，前面說了Top Of Rack是Box的主要歸宿，一個標準Rack目前最高的42U，考慮冗余怎么也得搞2臺Box，剩下最多裝40臺1U的Server，那么上48GE+4*10GE的Box就是最適合的。另外懷疑Arista的7148SX也是分布式架構(gòu)的，應該是6個8*10G的轉(zhuǎn)發(fā)芯片通過交換芯片連接，和它的機框式交換機中48*10G接口板布局相同。3750X目前還沒有看到進一步的發(fā)展需要，而N5000其實是為了Cisco的網(wǎng)絡虛擬化架構(gòu)而服務，不再單單屬于傳統(tǒng)意義上的Ethernet交換機了。作者將這個Fabric單元叫做交換芯片，便于和前面的ASIC轉(zhuǎn)發(fā)芯片區(qū)分，二者的主要區(qū)別是，交換芯片只處