【正文】 如前所述，當(dāng)前的主流虛擬機軟件，如 VMware、 Virtual Server 等都需要在二層交換下實現(xiàn)虛擬機遷移，因此在數(shù)據(jù)中心接入層使用二層交換將方便虛擬機的遷移和調(diào) 度。 數(shù)據(jù)中心 地址路由 設(shè)計 核心層 ADC 公司 數(shù)據(jù)中心 核心層與分布匯聚層之間采用路由端口，實現(xiàn)三層交換，建議使用 OSPF 路由協(xié)議。 上圖每個機柜的 20 臺服務(wù)器可以完全實現(xiàn)雙網(wǎng)卡的 Load Balance Teaming 方式下的線性網(wǎng)絡(luò)接入，即每臺服務(wù)器 2G 帶寬（ 4G 吞吐量）的網(wǎng)絡(luò)接入能力。 由于 20 5000 同出故障的概率極低，而方案 2 更容易實施，管理復(fù)雜度更小，所以一期施工推薦使用方法 2。這種方法的優(yōu)點是負(fù)載均衡效果更好，避免兩個 Nexus 5000 之間可能產(chǎn)生的擁塞（雖然可能性 比較 小）， 而且 網(wǎng)絡(luò)結(jié)構(gòu)簡單，易于管 理 。 提供兩種實際物理接線的方法： 方法 1：交叉冗余鏈接 每兩個普通機柜的設(shè)備都與另一個機柜的 Nexus 2148T 冗余交叉上連，每個普通機柜 柜頂（ ToR） 的 Nexus 2148T 又通過 4 個 萬兆交叉上連至本列的兩個 列中柜（ MoR）內(nèi)的 Nexus 5020，每列兩個 列中柜（ MoR） 內(nèi)的 Nexus 5020 冗余互連，并且再交叉上連至 Nexus 7000 的虛擬交換機上。物理部署類似下圖所示： 普通的機柜內(nèi)放置千 兆端口服務(wù)器，每機柜可容納具有冗余網(wǎng)卡的千兆服務(wù)器 高達(dá)20 個。 也即傳統(tǒng)需要以太網(wǎng)卡、 FC 存儲卡（ HBA）、 InfiniBand 卡的主機，只需要一張 FCoE 的以太網(wǎng)卡 （ CNA）就可以實現(xiàn)三種網(wǎng)絡(luò)的接入，用戶在操作系統(tǒng)上也可以看見虛擬化的以太網(wǎng)卡、 HBA卡和 InfiniBand 卡，而 它們 共享萬兆的高帶寬， Nexus 5000 還可通過 Fiber Channel接口連接傳統(tǒng)的 SAN 網(wǎng)絡(luò)，實現(xiàn) SAN/LAN 的整合， 通過 這種 整合和虛擬化實現(xiàn)資源的自由調(diào)度和最大化利用 ，同時成倍減少的網(wǎng)卡數(shù)節(jié)約了功耗，提高了可靠性，降低了維護(hù)成本。 Nexus 5000 是業(yè)界第一款商用化 FCoE 交換機，其所有萬兆以太網(wǎng)端口都支持FCoE。而且作為 5020 的延展設(shè)備， 2148T 無需自身進(jìn)行復(fù)雜配置，所有管理和配置都可在其上游的 5020 上完成， 大大簡化了多機柜、高密度服務(wù)器接入設(shè)備的管理復(fù)雜度。 本次建議 ADC 公司 使用 的 是具有將近 交換能力、 初始 配置有 40 個萬兆以太網(wǎng)端口 的 Nexus 5020 交換機 ，以及 具備 48 個 10/100/1000M 以太網(wǎng)端口、 4 個萬兆上連端口的 Nexus 2148T。這部分將在后面智能服務(wù)的詳細(xì)設(shè)計中加以闡明。 物理結(jié)構(gòu)圖 邏輯結(jié)構(gòu)圖 在一期實施中，智能服務(wù)機箱內(nèi)智能服務(wù)器硬件模塊的部署密度不高 —— 每個機箱內(nèi)防火墻模塊、負(fù)載均衡模塊各一塊，這樣每個機箱內(nèi)使用引擎加速技術(shù)的防火墻模塊最大迸發(fā)吞吐量 32Gbps，負(fù)載均衡模塊最大四層吞吐能力 16Gbps（而且不是所有都 ADC 公司 數(shù)據(jù)中心建設(shè)方案 22 需要負(fù)載均衡），完全滿足當(dāng)前業(yè)務(wù)需求，因此可以在實施中簡化配置，改雙 機箱 VSS結(jié)構(gòu)為一主一備機箱方式，在以后隨業(yè)務(wù)需求上漲，業(yè)務(wù)模塊增多，再完善為雙機箱負(fù)載均衡的 VSS 模式。由于 N7000 和 6500VSS 上都預(yù)留了足夠的 萬兆端口，這個捆綁帶寬值根據(jù)未來智能服務(wù)處理性能的需要還可以成倍的平滑升級。 智能服務(wù)機箱采用雙機冗余結(jié)構(gòu)，利用 Catalyst 6500 的 VSS 虛擬交換機功能，兩個獨立的機箱完全可以看成為一個邏輯機箱，再通過共 4 個萬兆上連至 2 個 N7000上的分布匯聚層虛擬交換機上。比如本地存儲流量 沒有必要在傳輸過程中經(jīng)過數(shù)據(jù)應(yīng)用類防火墻的檢查（存儲網(wǎng)內(nèi)有自己的安全訪問控制機制），這樣的設(shè)計比較容易實現(xiàn)類似的 FCoE 流量的無干擾直達(dá)。 ADC 公司 數(shù)據(jù)中心建設(shè)方案 21 數(shù)據(jù)中心分布層智能服務(wù)機箱 數(shù)據(jù)中心的 網(wǎng)絡(luò)智能服務(wù)由設(shè)計在分布層的智能服務(wù)機箱提供（ MultiServices Chassis） 。虛擬交換機之間通過外部互連，并同樣采用 vPC 的三層端口鏈路捆綁技術(shù)。 ADC 公司 數(shù)據(jù)中心建設(shè)方案 20 核心層虛擬交換機與其它設(shè)備互連都采用路由端口和三層交換方式，因此采用 vPC進(jìn)行鏈路捆綁時使用三層端口鏈路捆綁技術(shù)。 本次每臺 N7010 實配 32 個萬兆端口， 48 個千兆端口，這些端口都可在物理上劃分為屬于全網(wǎng)核心的虛擬交換機和屬于數(shù)據(jù)中心匯聚的虛擬交換機，每個虛擬交換機從軟件進(jìn)程到配置界面都各自獨立，但可以共享和復(fù)用總的交換機資源。 我們選擇的是 10 插槽 Nexus7010，以雙機雙冗余方式部署在網(wǎng)絡(luò)核心。 ? 減少了設(shè) 備數(shù)量，降低了設(shè)備投入成本、功耗開銷和維護(hù)管理的復(fù)雜度。 ? 在性能上實現(xiàn)了網(wǎng)絡(luò)核心和數(shù)據(jù)中心匯聚交換機資源的共享和復(fù)用，非常好的解決了核心層數(shù)據(jù)量和數(shù)據(jù)中心數(shù)據(jù)量可能存在較大差異的問題。鑒于此，我們采用超大規(guī)模核心層設(shè)備 Cisco Nexus 7000 作為核心，但虛擬化為兩套交換機，一套用于全網(wǎng)核心，一套用于數(shù)據(jù)中心匯聚。所以 ADC 公司 企業(yè)內(nèi)部核心網(wǎng)絡(luò)層次結(jié)構(gòu)必須具有以上嚴(yán)格清晰的劃分，即具有清晰的核心層、會聚分布層、接入層等分層結(jié)構(gòu)，才能保證網(wǎng)絡(luò)的穩(wěn)定性、健壯性和可擴(kuò)展性，以適應(yīng)業(yè)務(wù)的發(fā)展。 ADC 公司 的 網(wǎng)絡(luò)結(jié)構(gòu) 根據(jù)業(yè)界企業(yè)網(wǎng)絡(luò)最佳設(shè)計實踐參考，在邊緣節(jié)點端口較少的小型網(wǎng)絡(luò)中，可以考慮將核心層與分布層合并，小型網(wǎng)絡(luò)的網(wǎng)絡(luò)規(guī)模主要由接入層交換機決定。分布層還是網(wǎng)絡(luò)智能服務(wù)的實施點，包括安全控制、應(yīng)用優(yōu)化等智能功能都在此實施。 ? 分布層：也稱為匯聚層。 ? 加強故障隔離能力：通過將網(wǎng)絡(luò)分為多個可管理的小型組件，企業(yè)可以大幅度簡化故障定位和排障處理時效。 ? 便于擴(kuò)展：一個模塊化的或者層次化的網(wǎng)絡(luò)由很多更加便于復(fù)制、改造和擴(kuò)展的 模塊所構(gòu)成，在添 加或者移除一個模塊時，并不需要重新設(shè)計整個網(wǎng)絡(luò)。網(wǎng)絡(luò)結(jié)構(gòu)將采用大型數(shù)據(jù)中心典型的層次化、模塊化組網(wǎng)結(jié)構(gòu)。 綜上所述，在本次 ADC 公司 新一代數(shù)據(jù)中心網(wǎng)絡(luò)的建設(shè)中，將采用不同于傳統(tǒng)以太網(wǎng)技術(shù)的 DCE 以太網(wǎng)技術(shù)，構(gòu)建面向服務(wù)的高效能數(shù)據(jù)中心網(wǎng)絡(luò)平臺。 另外 DCE 產(chǎn)品 必須在硬件實現(xiàn)上實現(xiàn)低功耗、高效率，包括 ? 利用最新半導(dǎo)體工藝 （越小納米的芯片要比大納米的芯片省電） ? 降低 邏輯電路的復(fù)雜度 （ 在接入層使用 二層設(shè)備往往要比三層設(shè)備省電） ? 減少通用 集成電路 的空轉(zhuǎn) （ 使用定制化的 專業(yè)設(shè)計的芯片往往比通用芯片省電） ? 等等 ?? 由此可見，對于一臺網(wǎng)絡(luò)設(shè)備，在業(yè)務(wù)能力相當(dāng)?shù)那疤釛l件下，越小的功耗就代表越先進(jìn)的技術(shù) 。 ADC 公司 數(shù)據(jù)中心將在后續(xù)的建設(shè)中逐步完善自動化管理和自動化業(yè)務(wù)部署，但需要在本期通過 DCE 技術(shù)的實施打下未來自動化部署的堅實基礎(chǔ)。在高度整合化和虛擬化的基礎(chǔ)上，服務(wù)的部署完全不需要物理上的動作，資源在虛擬化平臺上可以與物理設(shè)施無關(guān)的進(jìn)行分配和整合，這樣我們只需要將一定的 業(yè)務(wù)策略輸入給智能網(wǎng)絡(luò)的策略服務(wù)器，一切的工作都可以按系統(tǒng)自身最優(yōu)化的方式進(jìn)行計算、評估、決策和調(diào)配實現(xiàn)。我們知道 、云計算等概念都需要無處不在的數(shù)據(jù)中心，那么如何實現(xiàn)二層網(wǎng)絡(luò)的跨地域延展 呢？傳統(tǒng)的 L2 MPLS 技術(shù)太復(fù)雜，于是 IEEE 和 IETF 正在制定二層多路徑（即二層延展）的新標(biāo)準(zhǔn)，DCE 的 領(lǐng)導(dǎo)廠商思科公司也提出了 一種新的協(xié)議標(biāo)準(zhǔn) Cisco Over the Top Virtualization(OTV)來解決 跨城域或廣域網(wǎng)的二層延展性 問題 ，從而為服務(wù)器虛擬化提供可擴(kuò)展的網(wǎng)絡(luò)支撐 。 ? 虛擬機遷移的網(wǎng)絡(luò)環(huán)境： 服務(wù)器虛擬化是依靠虛擬機的遷移技術(shù)實現(xiàn)與物理資源無關(guān)的資源共享和復(fù)用的。 ? 網(wǎng)絡(luò)的虛擬機意識： 傳統(tǒng)網(wǎng)絡(luò)是不具備虛擬機意識的，即在網(wǎng)絡(luò)上傳遞的信息是無法區(qū)別它是來自于哪個虛擬機，也無法在網(wǎng)絡(luò)上根據(jù)虛擬機來提供相應(yīng)的網(wǎng)絡(luò)服 務(wù)，當(dāng)虛擬機遷移，也沒有相應(yīng)的網(wǎng)絡(luò)跟蹤手段保證服務(wù)的全局一致性。網(wǎng)絡(luò)將把各個自由聯(lián)系成 為一個整體，網(wǎng)絡(luò)將是實現(xiàn)自由虛擬化的橋梁。當(dāng)前商用化最為成功的服務(wù)器虛擬化解決方案是 VMWare 的 VMotion 系列，微軟的 Virtual Server 和許多其它第三方廠商（如 Intel、 AMD 等）也正在加入，使得服務(wù)器虛擬化的解決方案將越來越完善和普及。DCE 網(wǎng)絡(luò)在提供 這些網(wǎng)絡(luò)智能服務(wù) 時都可以以 虛擬化 的方式實現(xiàn)各類服務(wù)的資源調(diào)用，思科的 DCE 網(wǎng)絡(luò)中就可以實現(xiàn)虛擬防火墻、虛擬 IDS、虛擬負(fù)載均衡器、虛擬 SSL VPN 網(wǎng)絡(luò)??等等，從而實現(xiàn)網(wǎng)絡(luò)智能服務(wù)的虛擬化 。它與 VSS 配合，將在實現(xiàn)更加靈活的、與物理設(shè)備無關(guān)的跨平臺資源分配能力，為數(shù)據(jù)中心這種底層設(shè)施資源消耗型網(wǎng)絡(luò)提供更經(jīng)濟(jì)高效的組網(wǎng)方式，也為管理和運營智能化自動化創(chuàng)造條件。以前兩個單引擎機箱的其中一臺更換引擎，一定會導(dǎo)致 數(shù)據(jù)的丟失，而虛擬交換系統(tǒng)里任意一臺更換引擎，數(shù)據(jù)可以保證 0 丟失。 ? 協(xié)議簡單： 虛擬交換系統(tǒng)與其它設(shè)備間的動態(tài)路由協(xié)議完全是單臺設(shè)備與其它設(shè)備的協(xié)議關(guān)系，需維護(hù)的路由鄰居關(guān)系 數(shù)以二次方根下降，在本系統(tǒng)中可達(dá)4～ 5 倍下降，工作量和部署難度大大降低；虛擬交換系統(tǒng)同時作為單臺設(shè)備參與生成樹計算關(guān)系，生成樹計算和維護(hù)量以二次方根下降，在本系統(tǒng)中可達(dá)4～ 5 倍下降，工作量和部署難度大大降低。虛擬交換機性能倍增、管理復(fù)雜度反而減半。思科 的 DCE 技術(shù)就提供 了將兩個物理交換機虛擬為一臺交換機的虛擬交換系統(tǒng)（ VSS）技術(shù)，以及將一個交換機虛擬化為多個交換機的虛擬設(shè)備（ VDC）技術(shù)。 虛擬化能力 DCE 對 網(wǎng)絡(luò)虛擬化 不僅僅是傳統(tǒng)意義上的 VLAN 和 VPN， 為實現(xiàn) SODC 的交互服務(wù)層資 源調(diào)度方式， DCE 還能夠 做到以下的虛擬化能力。如何使這些復(fù)雜的業(yè)務(wù)處理能夠在高達(dá) 100G 甚至是 400G 的線路卡上獲得線速處理的性能是考驗一個硬件平臺的重要技術(shù)指標(biāo)。失去這個大前提，多業(yè)務(wù)的實現(xiàn)就變得毫無意義。 因此構(gòu)建一個單業(yè)務(wù)的簡單 L2 轉(zhuǎn)發(fā)網(wǎng)絡(luò)并不是網(wǎng)絡(luò)設(shè)備的設(shè)計方向； 全業(yè)務(wù)的設(shè)備和多業(yè)務(wù)融合的網(wǎng)絡(luò) 才是我們所需要的環(huán)境。 智能服務(wù)的整合能力 眾所周知，應(yīng)用的復(fù)雜度是在不斷的提升，同時伴隨著網(wǎng)絡(luò)的融合，應(yīng)用對網(wǎng)絡(luò)的交互 … 可以預(yù)見的是網(wǎng)絡(luò)的復(fù)雜度也將不斷的提升。 DCE要求的核心層的三層轉(zhuǎn)發(fā)延遲應(yīng)可達(dá)到 30us 以下，接入層的二層轉(zhuǎn)發(fā)延遲應(yīng)可在 3～4us 以下。同時從經(jīng)濟(jì)性的角度來考慮，如果能達(dá)到 400G 的平臺是最理想的。 因此，要保證我們今天采購的設(shè)備能有 5 年以上的生命周期，就必須考慮硬件的可擴(kuò)展能力。 首先為保證三網(wǎng)合一后的帶寬資源，萬兆以太網(wǎng)技術(shù)只 是 DCE 核心層帶寬的起點。 ? 擁塞管理 可以提供在以太網(wǎng)絡(luò)中的各種擁塞發(fā)現(xiàn)和定位能力，這在非連接的網(wǎng)絡(luò)中無疑是一個巨大的挑戰(zhàn)；可以說在目前的所有非連接的網(wǎng)絡(luò)中，這是一個 ADC 公司 數(shù)據(jù)中心建設(shè)方案 11 嶄新的應(yīng)用；目前的研究方向主要集中在后向擁塞管理 (BCN)和量化擁塞管理(QCN)這兩個方面。不丟包的以太網(wǎng)絡(luò)提供一個安全的平臺，它讓我們把一些以前無法 安心放置到數(shù)據(jù)網(wǎng)絡(luò)上的重要應(yīng)用能安心的應(yīng)用到這個 DCE 的數(shù)據(jù)平臺。 無丟棄以太網(wǎng)技術(shù) 為保證 一體化交換 的實現(xiàn) ， DCE 改變 了 傳統(tǒng) 以太網(wǎng)無連接、無保障的 Best Effort傳輸行為，即保證主機在通過以太網(wǎng)進(jìn)行磁盤讀寫等操作、高性能計算所要求的遠(yuǎn)程內(nèi)存訪問、并行處理等操作，不會發(fā)生任何不可預(yù)料的傳輸失敗，達(dá)到真正的“無丟包”以太網(wǎng)目標(biāo)。 具體的協(xié)議發(fā)布可參見 FCoE 的相關(guān) Web Sites。 當(dāng)前在以太網(wǎng)上融合傳統(tǒng)局域網(wǎng)和存儲網(wǎng)絡(luò)唯一成熟技術(shù)標(biāo)準(zhǔn)是 Fiber Channel Over Ether 技術(shù)（ FCoE），它 已在標(biāo)準(zhǔn)上給出了如何 把存儲網(wǎng) (SAN)的數(shù)據(jù)幀 封裝在以太網(wǎng)幀內(nèi)進(jìn)行轉(zhuǎn)發(fā)的 相關(guān)技術(shù) 協(xié)議 。這樣才能最大化的實現(xiàn)三種資源的整合，從而便于實現(xiàn)跨平臺的資源調(diào)度和虛擬化服務(wù)，提高投資的有效性，同時還降低了管理成本。在傳統(tǒng)數(shù)據(jù)中心中存在三種網(wǎng)絡(luò)：使用光纖存儲交換機的存儲交換網(wǎng)絡(luò)（ Fiber Channel SAN），便于實現(xiàn) CPU、內(nèi)存資源并行化處理的高性能計算網(wǎng)絡(luò)（多采用高帶寬低延遲的 InfiniBand 技術(shù)），以及傳統(tǒng)的數(shù)據(jù)局域網(wǎng)。 具體而言，本次 ADC 公司 數(shù)據(jù)中心所采用的 DCE 技術(shù)， 可以 達(dá)到以下的技術(shù)目標(biāo)。 DCE 之前也被一些廠商稱為匯聚型增強以太網(wǎng)技術(shù)（ Converged Enhanced Ether，簡稱 CEE），是兼容傳統(tǒng)以太網(wǎng)協(xié)議并 按新一代數(shù)據(jù)中心的傳輸要求， 對其進(jìn)行全面革新的一系列標(biāo)準(zhǔn)和技術(shù)的總稱。 如何 最大限度的利用能源、降低功耗 ，以最有效率方式實現(xiàn)高性能