【導(dǎo)讀】ADC公司數(shù)據(jù)中心建設(shè)方案

　　

【正文】 障處理時(shí)效。 標(biāo)準(zhǔn)的網(wǎng)絡(luò)分層結(jié)構(gòu) 層次化結(jié)構(gòu)包括三個(gè)功能部分，即接入層、分布層和核心層，各層次定位分別如下： ADC 公司 數(shù)據(jù)中心建設(shè)方案 18 ? 核心層：是企業(yè)數(shù)據(jù)交換網(wǎng)絡(luò)的骨干，本層的設(shè)計(jì)目的是實(shí)現(xiàn)快速的數(shù)據(jù)交換，并且提供高可靠性和快速的路由收斂。 ? 分布層：也稱為匯聚層。主要匯聚來自接入層的流量和執(zhí)行策略 ，當(dāng)?shù)谌龑訁f(xié)議被用于這一層時(shí)可以獲得路由負(fù)載均衡，快速收斂和可擴(kuò)展性等好處。分布層還是網(wǎng)絡(luò)智能服務(wù)的實(shí)施點(diǎn)，包括安全控制、應(yīng)用優(yōu)化等智能功能都在此實(shí)施。 ? 接入層：負(fù)責(zé)提供服務(wù)器、用戶終端、存儲(chǔ)設(shè)施等等的網(wǎng)絡(luò)第一級(jí)接入功能，另外網(wǎng)絡(luò)智能服務(wù)的初始分類，比如安全標(biāo)識(shí)、 QoS 分類將也是這一層的基本功能。 ADC 公司 的 網(wǎng)絡(luò)結(jié)構(gòu) 根據(jù)業(yè)界企業(yè)網(wǎng)絡(luò)最佳設(shè)計(jì)實(shí)踐參考，在邊緣節(jié)點(diǎn)端口較少的小型網(wǎng)絡(luò)中，可以考慮將核心層與分布層合并，小型網(wǎng)絡(luò)的網(wǎng)絡(luò)規(guī)模主要由接入層交換機(jī)決定。 但 對(duì)于 ADC公司 而言，結(jié)合 ADC 公司 的業(yè)務(wù)現(xiàn)狀及發(fā)展 趨勢，我們可以看到未來幾年內(nèi)業(yè)務(wù)處于一個(gè)高速成長期，必須在本期網(wǎng)絡(luò)架構(gòu)中充分考慮未來的可擴(kuò)展性。所以 ADC 公司 企業(yè)內(nèi)部核心網(wǎng)絡(luò)層次結(jié)構(gòu)必須具有以上嚴(yán)格清晰的劃分，即具有清晰的核心層、會(huì)聚分布層、接入層等分層結(jié)構(gòu)，才能保證網(wǎng)絡(luò)的穩(wěn)定性、健壯性和可擴(kuò)展性，以適應(yīng)業(yè)務(wù)的發(fā)展。 ADC 公司 的業(yè)務(wù)應(yīng)用特點(diǎn)又決定了核心層將相對(duì)接入的網(wǎng)絡(luò)模塊較少，只有樓層匯聚接入、數(shù)據(jù)中心匯聚接入、廣域網(wǎng)接入等三塊，如果采用單獨(dú)的大容量物理核心設(shè)備將造成浪費(fèi)，而如果采用低端核心設(shè)備則會(huì)對(duì)業(yè)務(wù)相對(duì)繁忙的數(shù)據(jù)中心匯聚形成瓶頸，也影響網(wǎng)絡(luò)整體 的穩(wěn)定性。鑒于此，我們采用超大規(guī)模核心層設(shè)備 Cisco Nexus 7000 作為核心，但虛擬化為兩套交換機(jī)，一套用于全網(wǎng)核心，一套用于數(shù)據(jù)中心匯聚。這樣做的優(yōu)勢如下： ? 邏輯上仍然是清晰的兩套設(shè)備，完全保持了 前述 網(wǎng)絡(luò)分層結(jié)構(gòu)的優(yōu)勢 。 ? 在性能上實(shí)現(xiàn)了網(wǎng)絡(luò)核心和數(shù)據(jù)中心匯聚交換機(jī)資源的共享和復(fù)用，非常好的解決了核心層數(shù)據(jù)量和數(shù)據(jù)中心數(shù)據(jù)量可能存在較大差異的問題。 ? 以較低的投入升級(jí)了數(shù)據(jù)中心匯聚交換機(jī)的能力（相當(dāng)于可以與核心 層 復(fù)用4Tbps 以上的交換能力），適于下一階段要進(jìn)行的數(shù)據(jù)中心雙網(wǎng)融合的資源需求。 ? 減少了設(shè) 備數(shù)量，降低了設(shè)備投入成本、功耗開銷和維護(hù)管理的復(fù)雜度。 ADC 公司 數(shù)據(jù)中心建設(shè)方案 19 ADC 公司 新一代數(shù)據(jù)中心整體網(wǎng)絡(luò)結(jié)構(gòu)如下圖所示： 全網(wǎng) 核心層 設(shè)計(jì) 本次我們采用能擴(kuò)展到 15Tbps 以上的 Cisco Nexus 7000 系列 大型 DCE 交換機(jī)，每臺(tái) Nexus7000 劃分 為兩個(gè) VDC（虛擬交換機(jī)），一個(gè)虛擬交換機(jī)作為 ADC 公司 全網(wǎng)核心，另一個(gè)虛擬交換機(jī)作為數(shù)據(jù)中心的分布匯聚層交換機(jī)。 我們選擇的是 10 插槽 Nexus7010，以雙機(jī)雙冗余方式部署在網(wǎng)絡(luò)核心。每臺(tái)當(dāng)前支持的最大交換容量為 4Tbps，最大萬兆端口容量為 256 個(gè)，每插槽 交換能力為230Gbps（未來可擴(kuò)展到 500Gbps 以上），可以在未來擴(kuò)展 40G/100G 以太網(wǎng)。 本次每臺(tái) N7010 實(shí)配 32 個(gè)萬兆端口， 48 個(gè)千兆端口，這些端口都可在物理上劃分為屬于全網(wǎng)核心的虛擬交換機(jī)和屬于數(shù)據(jù)中心匯聚的虛擬交換機(jī)，每個(gè)虛擬交換機(jī)從軟件進(jìn)程到配置界面都各自獨(dú)立，但可以共享和復(fù)用總的交換機(jī)資源。 每個(gè)虛擬交換機(jī)都支持 vPC 技術(shù)（ Virtual PortChannel），即可以實(shí)現(xiàn)跨交換機(jī)的端口捆綁，這樣在下級(jí)交換機(jī)上連屬于不同機(jī)箱的虛擬交換機(jī)時(shí)，可以把分別連向不同機(jī)箱的萬兆鏈路用與 IEEE 兼容的技術(shù)實(shí)現(xiàn)以太網(wǎng)鏈路捆綁，提高冗余能力和鏈路互連帶寬的同時(shí)，大大簡化網(wǎng)絡(luò)維護(hù)。 ADC 公司 數(shù)據(jù)中心建設(shè)方案 20 核心層虛擬交換機(jī)與其它設(shè)備互連都采用路由端口和三層交換方式，因此采用 vPC進(jìn)行鏈路捆綁時(shí)使用三層端口鏈路捆綁技術(shù)。 如圖所示： 數(shù)據(jù)中心 分布 層設(shè)計(jì) 數(shù)據(jù)中心分布層虛擬交換機(jī) 數(shù)據(jù)中心的分布匯聚層交換機(jī)是采用上述 Nexus 7010內(nèi)單獨(dú)劃分處理的虛擬交換機(jī)實(shí)現(xiàn)。虛擬交換機(jī)之間通過外部互連，并同樣采用 vPC 的三層端口鏈路捆綁技術(shù)。分布匯聚層虛擬交換機(jī)與下面的接入層采用二層端口的 vPC 跨機(jī)箱捆綁技術(shù)互連， 如下圖所示。 ADC 公司 數(shù)據(jù)中心建設(shè)方案 21 數(shù)據(jù)中心分布層智能服務(wù)機(jī)箱 數(shù)據(jù)中心的 網(wǎng)絡(luò)智能服務(wù)由設(shè)計(jì)在分布層的智能服務(wù)機(jī)箱提供（ MultiServices Chassis） 。單獨(dú)的服務(wù)機(jī)箱可以不破壞高性能的一體化交換架構(gòu)形成的數(shù)據(jù)中心主干，有選擇的對(duì)三網(wǎng)合一的數(shù)據(jù)中心流量提供按需的網(wǎng)絡(luò) 智能 服務(wù)。比如本地存儲(chǔ)流量 沒有必要在傳輸過程中經(jīng)過數(shù)據(jù)應(yīng)用類防火墻的檢查（存儲(chǔ)網(wǎng)內(nèi)有自己的安全訪問控制機(jī)制），這樣的設(shè)計(jì)比較容易實(shí)現(xiàn)類似的 FCoE 流量的無干擾直達(dá)。 智能服務(wù)機(jī)箱采用 Cisco Catalyst 6500 交換機(jī)， 配置 720G 引擎和 18 個(gè)萬兆端口，內(nèi)置防火墻模塊（ FWSM）、應(yīng)用控制模塊（ ACE）， 提供應(yīng)用級(jí)安全訪問控制和應(yīng)用優(yōu)化、負(fù)載均衡功能。 智能服務(wù)機(jī)箱采用雙機(jī)冗余結(jié)構(gòu)，利用 Catalyst 6500 的 VSS 虛擬交換機(jī)功能，兩個(gè)獨(dú)立的機(jī)箱完全可以看成為一個(gè)邏輯機(jī)箱，再通過共 4 個(gè)萬兆上連至 2 個(gè) N7000上的分布匯聚層虛擬交換機(jī)上。 VSS 技術(shù)形成了一個(gè)具有 能力的智能服務(wù)機(jī)箱，再通過 N7000 的 vPC 技術(shù)，則形成了 智能服務(wù)機(jī)箱和 N7000 之間全雙工高達(dá)80Gbps 的互連帶寬。由于 N7000 和 6500VSS 上都預(yù)留了足夠的 萬兆端口，這個(gè)捆綁帶寬值根據(jù)未來智能服務(wù)處理性能的需要還可以成倍的平滑升級(jí)。物理和邏輯的連接示意圖如下面所示。 物理結(jié)構(gòu)圖 邏輯結(jié)構(gòu)圖 在一期實(shí)施中，智能服務(wù)機(jī)箱內(nèi)智能服務(wù)器硬件模塊的部署密度不高 —— 每個(gè)機(jī)箱內(nèi)防火墻模塊、負(fù)載均衡模塊各一塊，這樣每個(gè)機(jī)箱內(nèi)使用引擎加速技術(shù)的防火墻模塊最大迸發(fā)吞吐量 32Gbps，負(fù)載均衡模塊最大四層吞吐能力 16Gbps（而且不是所有都 ADC 公司 數(shù)據(jù)中心建設(shè)方案 22 需要負(fù)載均衡），完全滿足當(dāng)前業(yè)務(wù)需求，因此可以在實(shí)施中簡化配置，改雙 機(jī)箱 VSS結(jié)構(gòu)為一主一備機(jī)箱方式，在以后隨業(yè)務(wù)需求上漲，業(yè)務(wù)模塊增多，再完善為雙機(jī)箱負(fù)載均衡的 VSS 模式。 由于服務(wù)機(jī)箱內(nèi)的防火墻模塊和應(yīng)用控制優(yōu)化模塊都支持虛擬化技術(shù)，因此還可以利用智能服務(wù)虛擬化實(shí)現(xiàn)基于每個(gè)數(shù)據(jù)中心業(yè)務(wù)組的定制服務(wù)策略和功能，使 每個(gè) 業(yè)務(wù)應(yīng)用使用所需資源時(shí)不必過度 關(guān)注 其物理存在方式，從而實(shí)現(xiàn)與物理無關(guān)的跨平臺(tái)智能服務(wù)調(diào)用（ SODC 的交互服務(wù)調(diào)用） ，極大的提高資源利用效率，減少了物理設(shè)施維護(hù)的復(fù)雜度 。這部分將在后面智能服務(wù)的詳細(xì)設(shè)計(jì)中加以闡明。 數(shù)據(jù)中心接入層設(shè)計(jì) 使用 Cisco Nexus 5000 和 2020 系列 DCE 接入交換機(jī)，可以實(shí)現(xiàn)數(shù)據(jù)中心接入層的分級(jí)設(shè)計(jì)。 本次建議 ADC 公司 使用 的 是具有將近 交換能力、 初始 配置有 40 個(gè)萬兆以太網(wǎng)端口 的 Nexus 5020 交換機(jī) ，以及 具備 48 個(gè) 10/100/1000M 以太網(wǎng)端口、 4 個(gè)萬兆上連端口的 Nexus 2148T。 Nexus 2020 是 5000 系列的交換矩陣延展器，通過部署在 柜頂（ Top of the Rack， ToR） 的 2148T，可以將本地接入的高密度服務(wù)器上連到5020， 4 個(gè)上連萬兆端口可以提供 48 個(gè)千兆端口中至少 40 個(gè) 端口 的 全線性轉(zhuǎn)發(fā)能力，通過連接多臺(tái) 2148T， 5020 可以將 的驚人交換能力延展到多個(gè)機(jī)柜，實(shí)現(xiàn)高性能、高密度、低延遲的 DCE 服務(wù)器群接入能力。而且作為 5020 的延展設(shè)備， 2148T 無需自身進(jìn)行復(fù)雜配置，所有管理和配置都可在其上游的 5020 上完成， 大大簡化了多機(jī)柜、高密度服務(wù)器接入設(shè)備的管理復(fù)雜度。 Nexus 5000 和 2020 都是按 柜頂（ Top of the Rack， ToR） 交換機(jī)的尺寸設(shè)計(jì)， 1～2U 的高度內(nèi)緊湊的集成了高密度的 DCE 端口， 但 同時(shí)提供可熱插拔的冗余風(fēng)扇組和冗余電源系統(tǒng) ，其可靠性遠(yuǎn)非其它 傳統(tǒng)以太網(wǎng)中固定接口小交換機(jī)所可比。 Nexus 5000 是業(yè)界第一款商用化 FCoE 交換機(jī)，其所有萬兆以太網(wǎng)端口都支持FCoE。同時(shí) Nexus 5000 支持?jǐn)U展 16 個(gè) 1~4G Fiber Channel 端口或 8 個(gè) 1~8G Fiber Channel 端口，完全支持 Fiber Channel SAN 交換機(jī)的完整功能特性。 也即傳統(tǒng)需要以太網(wǎng)卡、 FC 存儲(chǔ)卡（ HBA）、 InfiniBand 卡的主機(jī)，只需要一張 FCoE 的以太網(wǎng)卡 （ CNA）就可以實(shí)現(xiàn)三種網(wǎng)絡(luò)的接入，用戶在操作系統(tǒng)上也可以看見虛擬化的以太網(wǎng)卡、 HBA卡和 InfiniBand 卡，而 它們 共享萬兆的高帶寬， Nexus 5000 還可通過 Fiber Channel接口連接傳統(tǒng)的 SAN 網(wǎng)絡(luò)，實(shí)現(xiàn) SAN/LAN 的整合， 通過 這種 整合和虛擬化實(shí)現(xiàn)資源的自由調(diào)度和最大化利用 ，同時(shí)成倍減少的網(wǎng)卡數(shù)節(jié)約了功耗，提高了可靠性，降低了維護(hù)成本。 ADC 公司 數(shù)據(jù)中心建設(shè)方案 23 ADC 公司 的 20 個(gè)主機(jī)、服務(wù)器機(jī)柜將分為兩列，每列選兩個(gè) 列中柜（ Middle of the Row） ，柜 內(nèi)部署 Nexus 5020，而 每列 其它 8 個(gè)普通機(jī)柜在 柜頂（ ToR） 放置 Nexus 2148T。物理部署類似下圖所示： 普通的機(jī)柜內(nèi)放置千 兆端口服務(wù)器，每機(jī)柜可容納具有冗余網(wǎng)卡的千兆服務(wù)器 高達(dá)20 個(gè)。 每列的兩個(gè) 列中柜（ MoR） 內(nèi)可放置具備萬兆以太網(wǎng)卡的高性能服務(wù)器、萬兆FCoE 卡的新型服務(wù)器、具備 Fiber Channel 卡（ HBA）的服務(wù)器 和 SAN 交換機(jī)，甚至將來 可以 擴(kuò)展具備 FCoE 接口的盤陣。 提供兩種實(shí)際物理接線的方法： 方法 1：交叉冗余鏈接 每兩個(gè)普通機(jī)柜的設(shè)備都與另一個(gè)機(jī)柜的 Nexus 2148T 冗余交叉上連，每個(gè)普通機(jī)柜 柜頂（ ToR） 的 Nexus 2148T 又通過 4 個(gè) 萬兆交叉上連至本列的兩個(gè) 列中柜（ MoR）內(nèi)的 Nexus 5020，每列兩個(gè) 列中柜（ MoR） 內(nèi)的 Nexus 5020 冗余互連，并且再交叉上連至 Nexus 7000 的虛擬交換機(jī)上。物理連接類似下圖所示： ADC 公司 數(shù)據(jù)中心建設(shè)方案 24 方法 2：以 Nexus 5000 為單位的冗余和負(fù)載均衡 這種方法保證對(duì)于 每個(gè) Nexus 2020而言只連接一個(gè) Nexus 5000，避免跨越 Nexus 5000 的負(fù)載均衡，也即避免負(fù)載均衡時(shí)偶發(fā)的在兩個(gè) Nexus 5000 互連的鏈路上產(chǎn)生流量。這種方法的優(yōu)點(diǎn)是負(fù)載均衡效果更好，避免兩個(gè) Nexus 5000 之間可能產(chǎn)生的擁塞（雖然可能性 比較 ?。?， 而且 網(wǎng)絡(luò)結(jié)構(gòu)簡單，易于管 理 。 但 缺點(diǎn) 是冗余能力不如方法 ADC 公司 數(shù)據(jù)中心建設(shè)方案 25 1， 由于方法 1 讓每一個(gè) Nexus 2020 交錯(cuò)連接，所以可以容忍 20 5000 同時(shí)出現(xiàn)故障。 由于 20 5000 同出故障的概率極低，而方案 2 更容易實(shí)施，管理復(fù)雜度更小，所以一期施工推薦使用方法 2。 在服務(wù)器的分配應(yīng)盡量遵循相互業(yè)務(wù)緊密、訪問量大或需要相互進(jìn)行虛擬機(jī)遷移和調(diào)度的物理服務(wù)器應(yīng)放置在同一柜列（ Row） 的原則 ，即共用 一對(duì) Nexus 5000。 上圖每個(gè)機(jī)柜的 20 臺(tái)服務(wù)器可以完全實(shí)現(xiàn)雙網(wǎng)卡的 Load Balance Teaming 方式下的線性網(wǎng)絡(luò)接入，即每臺(tái)服務(wù)器 2G 帶寬（ 4G 吞吐量）的網(wǎng)絡(luò)接入能力。 在一期實(shí)施中，為簡化服務(wù)器端設(shè)計(jì)，可以服務(wù)器網(wǎng)卡可以先采用 Active/Standby 的 Teaming方式。 數(shù)據(jù)中心 地址路由 設(shè)計(jì) 核心層 ADC 公司 數(shù)據(jù)中心 核心層與分布匯聚層之間采用路由端口，實(shí)現(xiàn)三層交換，建議使用 OSPF 路由協(xié)議。 分布匯聚層和接入層 分布匯聚層和接入層之間使用交換端口，實(shí)現(xiàn)二層交換。如前所述，當(dāng)前的主流虛擬機(jī)軟件，如 VMware、 Virtual Server 等都需要在二層交換下實(shí)現(xiàn)虛擬機(jī)遷移，因此在數(shù)據(jù)中心接入層使用二層交換將方便虛擬機(jī)的遷移和調(diào) 度。當(dāng)前由于 Cisco 獨(dú)特的VSS 虛擬交換機(jī)技術(shù)和 vPC 跨設(shè)備端口捆綁技術(shù)的