【正文】 ，某些高密度的虛擬機(jī)可以達(dá)到100:1的虛擬比(即一臺物理服務(wù)器上運(yùn)行100個(gè)虛擬機(jī))，在CPU性能不斷增強(qiáng)(主頻提升、多核多路)、當(dāng)前各種硬件虛擬化(CPU指令級虛擬化、內(nèi)存虛擬化、橋片虛擬化、網(wǎng)卡虛擬化)的輔助下，物理服務(wù)器上運(yùn)行的虛擬機(jī)數(shù)量會迅猛增加。參考虛擬機(jī)的實(shí)現(xiàn)方式，將網(wǎng)絡(luò)設(shè)備也虛擬化，并綁定在虛擬機(jī)（服務(wù)器中虛擬出交換機(jī)）中，這樣虛擬機(jī)上的網(wǎng)絡(luò)接口可以不需要經(jīng)過實(shí)體網(wǎng)絡(luò)，直接在虛擬機(jī)內(nèi)部通過虛擬交換機(jī)等虛擬的網(wǎng)絡(luò)設(shè)備進(jìn)行互聯(lián)。IEEE指定了一種Edge Virtual Bridging(EVB)標(biāo)準(zhǔn)，該標(biāo)準(zhǔn)基于一個(gè)名為Virtual Ethernet Port Aggregator (VEPA) 的技術(shù)。如下圖所示，由VM1發(fā)往VM2或VM3的報(bào)文，首先被發(fā)往外部交換機(jī)，查表后，報(bào)文沿原路返回服務(wù)器。這樣既可以利用交換機(jī)實(shí)現(xiàn)更多的功能(如安全策略、流量監(jiān)控統(tǒng)計(jì))，又可以減輕虛擬機(jī)上的轉(zhuǎn)發(fā)負(fù)擔(dān)，通常情況下，以太網(wǎng)交換機(jī)在處理報(bào)文轉(zhuǎn)發(fā)時(shí)，對于從一個(gè)端口上收到的報(bào)文，不會再將該報(bào)文從該端口發(fā)回所以交換機(jī)需要修改驅(qū)動才能得以支持“從某端口上收到的報(bào)文繼續(xù)從此端口發(fā)出”這種應(yīng)用場景。為了方便用戶部署虛擬機(jī)，目前很多虛擬化平臺都支持在虛擬機(jī)所提供服務(wù)不間斷的情況下，允許虛擬機(jī)在不同的物理主機(jī)上進(jìn)行遷移的功能。動態(tài)遷移技術(shù)可用在災(zāi)備、資源調(diào)整、服務(wù)器維護(hù)等場合，通過動態(tài)地將應(yīng)用程序從一個(gè)服務(wù)器移動到另一個(gè)服務(wù)器，減少計(jì)劃停機(jī)時(shí)間。同時(shí)，通過允許簡單地整合工作負(fù)載，并關(guān)閉不使用的服務(wù)器，減少能量的消耗。伴隨著虛擬機(jī)的遷移，為了網(wǎng)絡(luò)安全所設(shè)計(jì)的一些虛擬機(jī)之間的互訪策略、安全策略、流控控制是否需要同時(shí)進(jìn)行手工遷移？在數(shù)據(jù)中心中，安全策略的部署一直是一個(gè)有挑戰(zhàn)的任務(wù)，需要根據(jù)具體服務(wù)器的應(yīng)用特點(diǎn)對不同類型的應(yīng)用系統(tǒng)制定不同級別的防護(hù)策略。然而在虛擬化環(huán)境下則完全不同，應(yīng)用系統(tǒng)和服務(wù)器是自由匹配和隨需遷移的關(guān)系，每一次虛擬機(jī)的遷移對應(yīng)安全策略的改變和調(diào)整，如果不能實(shí)現(xiàn)動態(tài)的配置調(diào)整，對于虛擬環(huán)境下安全策略的部署將不具備可實(shí)施性。所以總結(jié)一下數(shù)據(jù)中心交換機(jī)的虛擬化支持主要包括三個(gè)方面：1. 服務(wù)器支持VEPA將虛擬機(jī)流量轉(zhuǎn)發(fā)至交換機(jī)2. 交換機(jī)支持“發(fā)卡彎”技術(shù)，將虛擬機(jī)的報(bào)文可以返回收到報(bào)文的端口3. 發(fā)現(xiàn)虛擬機(jī)遷移并動態(tài)更新安全、流控控制等策略（可以配合網(wǎng)管軟件實(shí)現(xiàn)）對于Trill技術(shù)，大家可能有所耳聞，其適用在大型數(shù)據(jù)中心中構(gòu)建無環(huán)的二層拓?fù)?，其克服了STP的阻塞端口的特點(diǎn)，不阻塞任何端口，所有鏈路均處于活動狀態(tài)，實(shí)現(xiàn)了節(jié)點(diǎn)間的數(shù)據(jù)流通過最短路徑進(jìn)行轉(zhuǎn)發(fā)，支持等代價(jià)多路徑的負(fù)載均分，從而為大型數(shù)據(jù)中心提供靈活的組網(wǎng)方案，也為虛擬化的支持（動態(tài)遷移）提供了良好的支撐。（3b3）軟件項(xiàng)目中開始支持虛擬化相關(guān)的技術(shù)，包括虛擬機(jī)識別、基于虛擬機(jī)MAC的策略動態(tài)遷移、網(wǎng)管化軟件（SNC針對數(shù)據(jù)中心的升級版）支持虛擬機(jī)遷移事件感知和動態(tài)跟蹤，具體的功能詳細(xì)支持情況請向TAC咨詢。3. 虛擬機(jī)和交換機(jī)互連拓?fù)鋱DK 備注：阿里巴巴本次的云梯網(wǎng)絡(luò)屬于新建網(wǎng)絡(luò)，服務(wù)器均為物理機(jī)器未使用虛擬化技術(shù) 其他功能特性數(shù)據(jù)中心項(xiàng)目中除以上2種經(jīng)常被關(guān)注的軟件特性（常規(guī)軟件特性和數(shù)據(jù)中心特性）外，常用的一些技術(shù)也經(jīng)?？赡鼙挥玫健τ谶@些大家日常已經(jīng)了解比較熟悉的技術(shù)，大家可以重點(diǎn)關(guān)注如何對這些技術(shù)應(yīng)用進(jìn)行優(yōu)化，設(shè)計(jì)最合理的實(shí)際配置部署方案，例如可以參考《MSTP+VRRP雙核心應(yīng)用指導(dǎo)手冊》、OSPF的規(guī)范優(yōu)化配置等。 方案設(shè)計(jì)數(shù)據(jù)中心IT架構(gòu)設(shè)計(jì)是一個(gè)非常有技術(shù)含量的工作，由于所有的業(yè)務(wù)都承載在這個(gè)架構(gòu)之上，所以，數(shù)據(jù)中心的IT架構(gòu)設(shè)計(jì)是一項(xiàng)非常關(guān)鍵的工作。在編寫方案設(shè)計(jì)部分內(nèi)容的時(shí)候，我參考了Cisco的Data Center Infrastructure Design Guide中的內(nèi)容。數(shù)據(jù)中心的性能、可靠性、靈活性和可擴(kuò)展性都是數(shù)據(jù)中心必須認(rèn)真考慮的問題。設(shè)計(jì)一個(gè)靈活的架構(gòu)，有能力在一個(gè)短的時(shí)間內(nèi)支持新的應(yīng)用程序可能會具有明顯的優(yōu)勢。數(shù)據(jù)中心目前比較流行的設(shè)計(jì)方法是分層設(shè)計(jì)的方法，也是比較可靠的方法，在市場方面也已有不少大型數(shù)據(jù)中心成熟應(yīng)用實(shí)踐，本篇中將圍繞各個(gè)層次進(jìn)行介紹。最后，本篇將介紹數(shù)據(jù)中心的設(shè)計(jì)的一些注意事項(xiàng)。這一層充當(dāng)數(shù)據(jù)中心的核心和整網(wǎng)中的其他區(qū)域進(jìn)行互聯(lián)，例如外聯(lián)區(qū)、廣域網(wǎng)區(qū)、出口邊緣區(qū)等。接口采用三層接口，避免鏈路阻塞和無法控制的廣播，并提供無單一故障節(jié)點(diǎn)的彈性3層路由架構(gòu)，內(nèi)部一般運(yùn)行OSPF協(xié)議。默認(rèn)情況下是選擇基于源目的IP地址散列的HASH算法，一個(gè)選擇是使用第3層IP加4層基于端口的負(fù)載均衡哈希算法，這通常是提高負(fù)荷分配，因?yàn)樗峁└嗟奈ㄒ恢档纳⒘兴惴ǎ@樣具有更好的離散性。匯聚層：提供功能區(qū)域的劃分、終結(jié)二層流量并提供網(wǎng)關(guān)冗余，服務(wù)器到服務(wù)器流量還可以通過擴(kuò)展各種模塊/串接相關(guān)設(shè)備實(shí)現(xiàn)數(shù)據(jù)過濾與保護(hù)，例如防火墻模塊、網(wǎng)絡(luò)流量分析模塊、入侵檢測模塊、負(fù)載均衡模塊等。在某些結(jié)構(gòu)設(shè)計(jì)中，匯聚層設(shè)備還承擔(dān)了生成樹處理和網(wǎng)關(guān)協(xié)議（例如ARP、VRRP等）的處理，另外匯聚層設(shè)備還可能需要支持多種擴(kuò)展模塊（例如流量分析模塊、防火墻模塊、入侵防護(hù)模塊、流控控制模塊等），需要支持如此眾多的特性，匯聚層設(shè)備可能是數(shù)據(jù)中最關(guān)鍵的一層。匯聚層到核心層的流量走向一般為了充分利用上聯(lián)帶寬和均衡設(shè)備轉(zhuǎn)發(fā)壓力，采用ECMP的等價(jià)路由負(fù)載均衡方式。 匯聚層設(shè)備可以選用12000系列、6200系列交換機(jī)（8600EC線卡配合CMIII也建議可以作為數(shù)據(jù)中心匯聚層交換機(jī)）接入層：提供物理/刀片服務(wù)器、主機(jī)接入。接入層交換機(jī)作為TOR或EOR交換機(jī)，提供了靈活的端口形態(tài)（高密度服務(wù)器千兆/萬兆接入、萬兆或AG上聯(lián)）的同時(shí)，其下聯(lián)和上鏈通常帶寬比建議為1:N(N1，可擴(kuò)展) 。由于這一塊的技術(shù)眾多，所以我們這里重點(diǎn)進(jìn)行介紹并對比優(yōu)缺點(diǎn)。K 注意：U型設(shè)計(jì)一旦存在多個(gè)接入組時(shí)，則依然產(chǎn)生了環(huán)路，所以U型設(shè)計(jì)方案在數(shù)據(jù)中心接入方案中不太適合。倒U型結(jié)構(gòu)比較簡單，VLAN可以通過兩臺匯聚交換機(jī)之間的聚合鏈路透傳。此時(shí)，接入到該刀片交換機(jī)上的服務(wù)器將把流量切換到與另一個(gè)刀片交換機(jī)相連的網(wǎng)卡上，從而避免了“流量黑洞”。以下為“三角形（最廣泛使用模型）”和“口字型”接入模型?？谧中屯?fù)渫ㄟ^阻塞接入交換機(jī)之間的中間鏈路，也實(shí)現(xiàn)了上行鏈路的雙Active，服務(wù)器可實(shí)現(xiàn)跨接入交換機(jī)的二層互聯(lián)，服務(wù)器接入擴(kuò)展性較好。當(dāng)匯聚交換機(jī)發(fā)生故障或上行鏈路發(fā)生故障時(shí)，三角型拓?fù)淠軌蚩焖偾袚Q到另外一條上行鏈路，口字型連接則會將鏈路轉(zhuǎn)發(fā)到接入交換機(jī)之間的鏈路（帶寬有限），流量全部切換到另外一臺交換機(jī)上行，可能發(fā)生擁塞或網(wǎng)絡(luò)轉(zhuǎn)發(fā)性能降，所以口字型連接結(jié)構(gòu)也在實(shí)際客戶使用環(huán)境中不常用。對于刀片服務(wù)器接入模式分析，三角型和倒U型均可滿足要求，但由于刀片服務(wù)器的集成交換機(jī)在三角型結(jié)構(gòu)下需要開啟生成樹協(xié)議（維護(hù)界面不清，服務(wù)器人員普遍缺省網(wǎng)絡(luò)維護(hù)技巧，且可能存在生成樹的兼容性問題），更推薦使用倒U型結(jié)構(gòu)，簡單高效（需要注意的是刀片服務(wù)器需要啟用流量探測功能）以下為三層接入模型，通常使用三層接入的目標(biāo)是為了有效的控制廣播域，可以有效減少出現(xiàn)問題時(shí)的影響范圍。接入層承上啟下，不僅和匯聚層互聯(lián)還承擔(dān)著大量服務(wù)器接入的重要作用，目前服務(wù)器接入技術(shù)也多種多樣，各廠家都形成了其技術(shù)，各有特點(diǎn)。下圖分別為Cisco的VPC技術(shù)及我司的VSU技術(shù)示意圖。單網(wǎng)卡接入的特點(diǎn)是布線、管理簡單，但可靠性欠缺，一般較少使用（但在某些服務(wù)器大型集群環(huán)境中，單臺服務(wù)器宕機(jī)并不會影響集群工作，所以也有采用單網(wǎng)卡接入的模型存在）。對于雙網(wǎng)卡的接入一般采用Nic Teaming（多網(wǎng)卡綁定）技術(shù)，實(shí)現(xiàn)冗余備份和負(fù)載均衡的目標(biāo)。簡單來講，Teaming就是把同一臺服務(wù)器上的多個(gè)物理網(wǎng)卡通過軟件綁定成一個(gè)虛擬的網(wǎng)卡，也就是說，對于外部網(wǎng)絡(luò)而言，這臺服務(wù)器只有一個(gè)可見的網(wǎng)卡。之所以要利用Teaming技術(shù)，除了利用多網(wǎng)卡同時(shí)工作來提高網(wǎng)絡(luò)速度以外，還有可以通過Teaming實(shí)現(xiàn)不同網(wǎng)卡之間的負(fù)載均衡（Load balancing）和網(wǎng)卡冗余（Fault tolerance）。不同的服務(wù)器產(chǎn)商，網(wǎng)卡廠商和操作系統(tǒng)都會提供不同的NIC Teaming的技術(shù)： □ HP/Compaq? Network Fault Tolerance Only(NFT)? Transmit Load Balancing With Fault Tolerance (TLB)? Switchassisted Load Balancing With Fault Tolerance (SLB)? Switchassisted Dual Channel Load Balancing□ BCM? Smart Load Balancing and Failover? Generic Static Trunking ? Dynamic Trunking □ Intel? Adapter Fault Tolerance (AFT)? Switch Fault Tolerance (SFT)? Adaptive Load Balancing (ALB)? Static Link Aggregation (SLA)? Dynamic Link Aggregation (DLA)由于Linux的綁定技術(shù)，基本上涵蓋了其他產(chǎn)商的技術(shù)，下面以Linux為例，講述不同綁定技術(shù)的特點(diǎn)，其他廠商的網(wǎng)卡綁定技術(shù)，在網(wǎng)絡(luò)項(xiàng)目實(shí)施時(shí)需要和服務(wù)器工程師共同確認(rèn)交換機(jī)端需要如何配合?！?Roundrobin□ 所有鏈路處于負(fù)載均衡狀態(tài)，輪詢方式往每條鏈路發(fā)送報(bào)文，基于per packet方式發(fā)送。這種模式既增加了帶寬，同時(shí)支持容錯能力；但是會導(dǎo)致網(wǎng)絡(luò)報(bào)文傳輸出現(xiàn)亂序，需要交換機(jī)端創(chuàng)建AP來支持。所有網(wǎng)卡共享相同的MAC和IP。 （交換機(jī)端不能使用AG，否則導(dǎo)致報(bào)文發(fā)送給standby的網(wǎng)卡被丟棄，因此不需要交換機(jī)做特殊配置）■ Load Balancing (XOR)□ 采用取報(bào)文字段進(jìn)行hash計(jì)算的方式來增加帶寬，同時(shí)保證到達(dá)特定對端的會話流量總是從同一個(gè)接口上發(fā)出，保證該會話的報(bào)文順序不亂，需要交換機(jī)端創(chuàng)建AP來支持。比如：ping一個(gè)報(bào)文到服務(wù)器，服務(wù)器會同時(shí)發(fā)兩個(gè)接口都發(fā)完全相同ICMP回應(yīng)報(bào)文□ 該模式不是真正意義上的鏈路聚合，只是簡單的將報(bào)文廣播的所有的接口，目的是將報(bào)文廣播到不同廣播域來保證高可靠性。將相同速率、雙工的端口動態(tài)（允許自動）聚合在一起。由于是根據(jù)目的MAC地址進(jìn)行均衡，在三層網(wǎng)絡(luò)中，網(wǎng)關(guān)MAC固定，該模式會往單個(gè)網(wǎng)卡發(fā)送所有流量，然而在二層網(wǎng)絡(luò)中，該模式以相對智能的方式來均衡發(fā)送所有流量。該模式缺點(diǎn)在于，所有入口流量會從同一個(gè)網(wǎng)卡進(jìn)入服務(wù)器（網(wǎng)關(guān)學(xué)習(xí)到的服務(wù)器ARP信息均來源于一個(gè)接口）□ 該綁定模式下，虛擬網(wǎng)卡的MAC和配置優(yōu)先級最高的網(wǎng)卡MAC一樣（默認(rèn)是第一個(gè)綁定接口），其他網(wǎng)卡MAC保留自己原來的MAC（這個(gè)和之前5種模式不同，前面所有網(wǎng)卡的MAC和綁定接口的一樣） ■ Adaptive load balancing□ 該模式涵蓋了TLB模式，同樣會發(fā)snap報(bào)文來檢測鏈路。 當(dāng)交換機(jī)使用鏈路聚合技術(shù)時(shí)，需要靈活調(diào)整負(fù)載均衡的策略，根據(jù)實(shí)際業(yè)務(wù)流量選擇HASH的算法。 服務(wù)器集群設(shè)計(jì)與網(wǎng)絡(luò)的關(guān)聯(lián)目前數(shù)據(jù)中心的一個(gè)重大應(yīng)用就是服務(wù)器集群，大量的服務(wù)器構(gòu)成集群，完成超級計(jì)算任務(wù)，包括離線海量數(shù)據(jù)計(jì)算、實(shí)時(shí)業(yè)務(wù)搜索等。當(dāng)設(shè)計(jì)一個(gè)大型企業(yè)集群網(wǎng)絡(luò)，關(guān)鍵是要考慮其具體實(shí)現(xiàn)的目標(biāo)。建議從以??下技術(shù)方面進(jìn)行考慮：1. 延遲：在網(wǎng)絡(luò)傳輸中，延遲會影響整體的集群性能。而延遲的主要來源是協(xié)議棧和NIC硬件實(shí)現(xiàn)在服務(wù)器上的使用，分布式交換架構(gòu)轉(zhuǎn)發(fā)的延遲一般極小。2. 網(wǎng)絡(luò)結(jié)構(gòu)：集群設(shè)計(jì)中，通常集群所有節(jié)點(diǎn)之間都需要通訊，流量上也是網(wǎng)狀的，所以其需要一個(gè)合理的網(wǎng)狀結(jié)構(gòu)。服務(wù)器群集通常需要一個(gè)可用的無阻塞帶寬的最低數(shù)額，接入、匯聚、核心的轉(zhuǎn)發(fā)能力都成為高吞吐能力的重要指標(biāo)。5. 巨型幀的支持：盡管巨型幀可能目前無法在一個(gè)服務(wù)器集群初步實(shí)現(xiàn)中使用，但這是一個(gè)非常重要的功能，是必要的擴(kuò)展功能或未來可能的需求。巨型幀的使用可以減少數(shù)據(jù)包的數(shù)量，從而減少這種開銷。集群中的主節(jié)點(diǎn)通常管理計(jì)算節(jié)點(diǎn)包括分配工作任務(wù)與監(jiān)控節(jié)點(diǎn)的狀態(tài)，如果某個(gè)計(jì)算節(jié)點(diǎn)出現(xiàn)故障，主節(jié)點(diǎn)會將工作轉(zhuǎn)移到其他節(jié)點(diǎn)，維持集群的繼續(xù)工作。集群設(shè)計(jì)中最常見的一個(gè)網(wǎng)絡(luò)架構(gòu)技術(shù)是ECMP模型，充分利用ECMP將流量負(fù)載均衡到多條鏈路上，大規(guī)模集群環(huán)境下，各計(jì)算節(jié)點(diǎn)之間可能存在大量數(shù)據(jù)報(bào)文（服務(wù)器吞吐量約為600800Mbps,在2000臺服務(wù)器集群的環(huán)境中，匯聚到核心的交互流量可能遠(yuǎn)遠(yuǎn)超過10G）的交互情況，在目前10G接口技術(shù)為主流技術(shù)的情況下（40G、100G尚未正式上市），無法滿足單鏈路承載超過10G流量的需求，通過ECMP或聚合技術(shù)則可以進(jìn)行負(fù)載均衡流量，這也是ECMP使用的一個(gè)重要因素，同時(shí)ECMP可以提供快速的收斂性，當(dāng)一條鏈路或單臺設(shè)備出現(xiàn)故障的時(shí)候，依賴于路由協(xié)議，ECMP可以有效的實(shí)現(xiàn)備份的作用。4路ECMP+2核心的負(fù)載均衡方式 4路ECMP+4核心的負(fù)載均衡方式8路ECMP+2核心8路ECMP+8核心的負(fù)載均衡方式根據(jù)實(shí)際帶寬需求，還可以設(shè)計(jì)8路ECMP+4核心、16路ECMP+4/8核心等多種結(jié)構(gòu)（ECMP常規(guī)產(chǎn)品均只支持8個(gè)相同下一跳，部分高端芯片可以實(shí)現(xiàn)16個(gè)下一跳）， ECMP和聚合進(jìn)行組合可以支持更多的上聯(lián)帶寬擴(kuò)充，均需要根據(jù)評估接入服務(wù)器的規(guī)模、機(jī)房布線、供電等詳細(xì)考慮?？煽啃约夹g(shù)的種類繁多，我們根據(jù)其解決網(wǎng)絡(luò)故障的側(cè)重不同，將其大致分為故障檢測技術(shù)和保護(hù)倒換技術(shù)兩大類。保護(hù)倒換技術(shù)包括：主備倒換、鏈路聚合、SmartLink（H3C）、REUP、MSTP、VRRP、ECMP、FRR、GR、NSR、V