【正文】 虛擬機(jī)存儲在iSCSI存儲設(shè)備上。一般是先修改物理主機(jī)上的iSCSI配置，使其能夠訪問iSCSI存儲。iSCSI存儲是作為一個塊設(shè)備使用的，即iSCSI上配置了對應(yīng)的target后，則在vManager上使用該存儲池時，是全部占用的，類似于裸設(shè)備的使用。選擇“iSCSI網(wǎng)絡(luò)存儲”類型：若物理主機(jī)還沒有設(shè)置Initiator節(jié)點(diǎn)的名稱，則需要先設(shè)置Initiator節(jié)點(diǎn)。配置Initiator節(jié)點(diǎn)名稱：注意：Initiator名稱需要和iSCSI上配置的名稱一致:01:192168000004，需要配置和iSCSI存儲上一致。iSCSI存儲上target對應(yīng)的Initiators配置：設(shè)置物理機(jī)上和iSCSI服務(wù)器聯(lián)通使用的網(wǎng)絡(luò)地址：配置iSCSI存儲地址后，選擇對應(yīng)的target：選擇target最為存儲池：選擇結(jié)束后，點(diǎn)擊“完成”即可。 共享文件系統(tǒng)對于iSCSI或者FC提供裸設(shè)備作為存儲池，一個最大的缺點(diǎn)是一個虛擬機(jī)占用了所有存儲空間。針對這種情況，CVM在iSCSI和FC的基礎(chǔ)上提供了共享文件系統(tǒng)，即基于iSCSI和FC的裸設(shè)備，采用共享文件系統(tǒng)格式化，從而能夠讓iSCSI的同一個target能夠同時容納多個虛擬機(jī)同時使用，從而大大提高了設(shè)備的利用效率。共享文件系統(tǒng)是多個主機(jī)之間可以共享使用，所有其配置是在主機(jī)的屬性上配置的。主機(jī)池的屬性頁簽，配置共享文件系統(tǒng)。增加一個共享文件系統(tǒng)：基于iSCSI，對應(yīng)的iSCSI配置請參考iSCSI存儲部分配置。物理主機(jī)上增加存儲池：在物理主機(jī)上直接引用已經(jīng)配置好的“共享文件系統(tǒng)”類型的存儲池即可。 網(wǎng)絡(luò)資源池 網(wǎng)絡(luò)設(shè)計(jì)要點(diǎn)云計(jì)算數(shù)據(jù)中心基礎(chǔ)網(wǎng)絡(luò)是云業(yè)務(wù)數(shù)據(jù)的傳輸通道，將數(shù)據(jù)的計(jì)算和數(shù)據(jù)存儲有機(jī)的結(jié)合在一起。為保證云業(yè)務(wù)的高可用、易擴(kuò)展、易管理，云計(jì)算數(shù)據(jù)中心網(wǎng)絡(luò)架構(gòu)設(shè)計(jì)關(guān)注重點(diǎn)如下：高可用性網(wǎng)絡(luò)的高可用是業(yè)務(wù)高可用的基本保證，在網(wǎng)絡(luò)整體設(shè)計(jì)和設(shè)備配置上均是按照雙備份要求設(shè)計(jì)的。在網(wǎng)絡(luò)連接上消除單點(diǎn)故障，提供關(guān)鍵設(shè)備的故障切換。關(guān)鍵網(wǎng)絡(luò)設(shè)備之間的物理鏈路采用雙路冗余連接，按照負(fù)載均衡方式或activeactive方式工作。關(guān)鍵主機(jī)可采用雙路網(wǎng)卡來增加可靠性。%的電信級可靠性?；A(chǔ)網(wǎng)絡(luò)從核心層到接入層均部署H3C的IRF2技術(shù)，可以實(shí)現(xiàn)數(shù)據(jù)中心級交換機(jī)的虛擬化，不僅網(wǎng)絡(luò)容量可以平滑擴(kuò)展，更可以簡化網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)，大大提高整網(wǎng)的可靠性，使得整網(wǎng)的保護(hù)倒換時間從原來的5~10秒縮短到50ms以內(nèi)，達(dá)到電信級的可靠性要求。作為未來網(wǎng)絡(luò)的核心，要求核心交換區(qū)設(shè)備具有高可靠性，優(yōu)先選用采用交換引擎與路由引擎物理分離設(shè)計(jì)的設(shè)備，從而在硬件的體系結(jié)構(gòu)上達(dá)到數(shù)據(jù)中心級的高可靠性。本次項(xiàng)目核心設(shè)備采用2臺H3C S10508數(shù)據(jù)中心級核心交換機(jī)、接入設(shè)備采用H3C 5820V2數(shù)據(jù)中心級接入交換機(jī)，設(shè)備組件層面充分保證高可靠。大二層網(wǎng)絡(luò)部署云計(jì)算數(shù)據(jù)中心內(nèi)服務(wù)器虛擬化已是一種趨勢，而虛擬機(jī)的遷移則是一種必然，目前業(yè)內(nèi)的幾種虛擬化軟件要做到熱遷移時都是均需要二層網(wǎng)絡(luò)的支撐，隨著未來計(jì)算資源池的不斷擴(kuò)展，二層網(wǎng)絡(luò)的范圍也將同步擴(kuò)大，甚至需要跨數(shù)據(jù)中心部署大二層網(wǎng)絡(luò)。大規(guī)模部暑二層網(wǎng)絡(luò)則帶來一個必然的問題就是二層環(huán)路問題，而傳統(tǒng)解決二層網(wǎng)絡(luò)環(huán)路問題的STP協(xié)議無法滿足云計(jì)算數(shù)據(jù)中心所要求的快收斂，同時會帶來協(xié)議部署及運(yùn)維管理的復(fù)雜度增加。本次方案中通過部署H3C IRF2虛擬化技術(shù)實(shí)現(xiàn)兩臺或多臺同一層物理交換機(jī)虛擬成一臺邏輯設(shè)備，通過跨設(shè)備鏈路捆綁實(shí)現(xiàn)核心和接入的點(diǎn)對點(diǎn)互聯(lián)，消除二層網(wǎng)絡(luò)的環(huán)路，這樣就直接避免了在網(wǎng)絡(luò)中部暑STP，同時對于核心的兩臺設(shè)備虛擬化為一臺邏輯設(shè)備之后，網(wǎng)關(guān)也將變成一個，無需部署傳統(tǒng)的VRRP協(xié)議。 在管理層面，通IRF2多虛一之后，管理的設(shè)備數(shù)量減少一半以上，對于本項(xiàng)目，管理點(diǎn)只有核心和接入兩臺設(shè)備，網(wǎng)絡(luò)管理大幅度簡化。如下圖所示：網(wǎng)絡(luò)安全融合云計(jì)算將所有資源進(jìn)行虛擬化，從物理上存在多個用戶訪問同一個物理資源的問題，那么如何保證用戶訪問以及后臺物理資源的安全隔離就成為了一個必須考慮的問題。另一方面由于網(wǎng)絡(luò)變成了一個大的二層網(wǎng)絡(luò)；以前的各個業(yè)務(wù)系統(tǒng)分而治之，各個業(yè)務(wù)系統(tǒng)都是在硬件方面進(jìn)行了隔離，在每個系統(tǒng)之間做安全的防護(hù)可以保證安全的訪問。所以在云計(jì)算環(huán)境下，所有的業(yè)務(wù)和用戶的資源在物理上是融合的，這樣就需要通過在網(wǎng)關(guān)層部署防火墻的設(shè)備，同時開啟虛擬防火墻的功能，為每個業(yè)務(wù)進(jìn)行安全的隔離和策略的部署。在傳統(tǒng)的數(shù)據(jù)中心網(wǎng)絡(luò)安全部署時，往往是網(wǎng)絡(luò)與安全各自為戰(zhàn)，在網(wǎng)絡(luò)邊界或關(guān)鍵節(jié)點(diǎn)串接安全設(shè)備(如FW、IPS、LB等)。隨著數(shù)據(jù)中心部署的安全設(shè)備的種類和數(shù)量也越來越多，這將導(dǎo)致數(shù)據(jù)中心機(jī)房布線、空間、能耗、運(yùn)維管理等成本越來越高。本次方案中采用了H3C SecBlade安全插卡可直接插在H3C交換機(jī)的業(yè)務(wù)槽位，通過交換機(jī)背板互連實(shí)現(xiàn)流量轉(zhuǎn)發(fā)，共用交換機(jī)電源、風(fēng)扇等基礎(chǔ)部件。融合部署除了簡化機(jī)房布線、節(jié)市機(jī)架空間、簡化管理之外，還具備以下優(yōu)點(diǎn)：互連帶寬高。SecBlade系列安全插卡采用背板總線與交換機(jī)進(jìn)行互連，背板總線帶寬一般可超過40Gbps，相比傳統(tǒng)的獨(dú)立安全設(shè)備采用普通千兆以太網(wǎng)接口進(jìn)行互連，在互連帶寬上有了很大的提升，而且無需增加布線、光纖和光模塊成本。業(yè)務(wù)接口靈活。SecBlade系列安全插卡上不對外提供業(yè)務(wù)接口（僅提供配置管理接口），當(dāng)交換機(jī)上插有SecBlade安全插卡時，交換機(jī)上原有的所有業(yè)務(wù)接口均可配置為安全業(yè)務(wù)接口。此時再也無需擔(dān)心安全業(yè)務(wù)接口不夠而帶來網(wǎng)絡(luò)安全部署的局限性。性能平滑擴(kuò)展。當(dāng)一臺交換機(jī)上的一塊SecBlade安全插卡的性能不夠時，可以再插入一塊或多塊SecBlade插卡實(shí)現(xiàn)性能的平滑疊加。而且所有SecBlade插卡均支持熱插拔，在進(jìn)行擴(kuò)展時無需停機(jī)中斷現(xiàn)有的業(yè)務(wù)。 網(wǎng)絡(luò)資源池設(shè)計(jì)本次項(xiàng)目基礎(chǔ)網(wǎng)絡(luò)采用“扁平化”設(shè)計(jì)，核心層直接下聯(lián)接入層，市去了中間匯聚層。隨著網(wǎng)絡(luò)交換技術(shù)的不斷發(fā)展，交換機(jī)的端口接入密度也越來越高，“扁平化”組網(wǎng)的擴(kuò)展性和密度已經(jīng)能夠很好的XXX數(shù)據(jù)中心服務(wù)器接入的要求。同時在服務(wù)器虛擬化技術(shù)應(yīng)用越來越廣泛的趨勢下，扁平化二層架構(gòu)更容易實(shí)現(xiàn)VLAN的大二層互通，滿足虛擬機(jī)的部署和遷移。相比傳統(tǒng)三層架構(gòu)，扁平化二層架構(gòu)可以大大簡化網(wǎng)絡(luò)的運(yùn)維與管理?；A(chǔ)網(wǎng)絡(luò)平臺組織結(jié)構(gòu)如下圖所示：網(wǎng)絡(luò)的二、三層邊界在核心層，安全部署在核心層；核心與接入層之間采用二層進(jìn)行互聯(lián)，實(shí)現(xiàn)大二層組網(wǎng)，在接入層構(gòu)建計(jì)算和存儲資源池，滿足資源池內(nèi)虛擬機(jī)可在任意位置的物理服務(wù)器上遷移與集群。實(shí)際組網(wǎng)拓?fù)淙缦聢D所示：2臺S10508構(gòu)建核心層，分別通過10GE鏈路與接入層交換機(jī)S5820VGE鏈路與管理網(wǎng)交換機(jī)和出口路由器互連，未來此核心層將逐步演變成整網(wǎng)大核心，兩臺核心交換機(jī)部署IRF虛擬化。接入層采用2臺5820V2，每臺接入交換機(jī)與核心交換機(jī)采用10GE鏈路交叉互連，兩臺接入交換機(jī)部署IRF虛擬化，與核心交換機(jī)實(shí)現(xiàn)跨設(shè)備鏈路捆綁，消除二層環(huán)路，并實(shí)現(xiàn)鏈路負(fù)載分擔(dān)。管理網(wǎng)交換機(jī)采用1臺S5120SI，分別連接R390服務(wù)器的iLO接口實(shí)現(xiàn)服務(wù)器的帶外管理。同時與iMC網(wǎng)管服務(wù)器、云平臺管理服務(wù)器互連。上行采用2*GE鏈路與兩臺核心交換機(jī)互連，并實(shí)現(xiàn)鏈路捆綁。分層分區(qū)設(shè)計(jì)思路：根據(jù)業(yè)務(wù)進(jìn)行分區(qū)，分成計(jì)算區(qū)、存儲區(qū)和管理區(qū)。計(jì)算、存儲區(qū)域內(nèi)二層互通，區(qū)域間VLAN隔離；根據(jù)每層工作特點(diǎn)分為核心層和接入層，網(wǎng)關(guān)部署在核心層。 分層網(wǎng)絡(luò)設(shè)計(jì)1. 核心層核心層2臺H3C S10508構(gòu)建，負(fù)責(zé)整個云計(jì)算平臺上應(yīng)用業(yè)務(wù)數(shù)據(jù)的高速交換。兩臺核心交換機(jī)S10508分別與兩臺服務(wù)器接入?yún)^(qū)交換機(jī)間呈“三角形”型連接，與現(xiàn)網(wǎng)出口區(qū)路由器呈“口”字型連接，一臺管理區(qū)接入交換機(jī)雙上行分別與兩臺核心交換機(jī)連接。核心交換機(jī)間及與服務(wù)器接入交換機(jī)、管理區(qū)接入交換機(jī)、現(xiàn)網(wǎng)核心路由器間均采用萬兆接口捆綁互聯(lián)。核心交換機(jī)上部署防火墻插卡和網(wǎng)流分析插卡，實(shí)現(xiàn)云計(jì)算業(yè)務(wù)的安全防護(hù)與流量分析。兩臺S10508部署IRF2虛擬化技術(shù)，簡化路由協(xié)議運(yùn)行狀態(tài)與運(yùn)維管理，同時大大縮短設(shè)備及鏈路出現(xiàn)故障快速切換，避免網(wǎng)絡(luò)震蕩。IRF2互聯(lián)鏈路采用2*10GE捆綁，保證高可靠及橫向互訪高帶寬。組網(wǎng)拓?fù)淙缦聢D所示：設(shè)備型號單臺設(shè)備端口配置備注H3C S10508，2臺新增16端口10GE接口板，1塊線速板卡新增SecBlade FW插卡，1塊新增SecBlade IPS插卡，1塊2. 接入層接入層分為計(jì)算資源池、存儲資源池和管理區(qū)接入三大部分：計(jì)算資源池接入：采用兩臺5820V2云接入交換機(jī)構(gòu)建，負(fù)責(zé)x86服務(wù)器的網(wǎng)絡(luò)接入，服務(wù)器配置4個千兆接口，其中兩個千兆接口捆綁做業(yè)務(wù)流接口，雙網(wǎng)卡采用捆綁雙活模式；另外兩個千兆接口捆綁做虛擬機(jī)管理流接口，雙網(wǎng)卡采用捆綁雙活模式。兩臺5820V2部署IRF2虛擬化技術(shù)，通過跨設(shè)備鏈路捆綁消除二層環(huán)路、簡化管理，同時大大縮短設(shè)備及鏈路出現(xiàn)故障快速切換，避免網(wǎng)絡(luò)震蕩。IRF2互聯(lián)鏈路采用2*10GE捆綁，保證高可靠及橫向互訪高帶寬。存儲資源池接入：采用兩臺5820V2云接入交換機(jī)構(gòu)建，負(fù)責(zé)x86服務(wù)器的網(wǎng)絡(luò)接入，服務(wù)器配置4個千兆接口，其中兩個千兆接口捆綁做業(yè)務(wù)流接口，雙網(wǎng)卡采用捆綁雙活模式；另外兩個千兆接口捆綁做虛擬機(jī)管理流接口，雙網(wǎng)卡采用捆綁雙活模式。兩臺5820X部署IRF2虛擬化技術(shù)，通過跨設(shè)備鏈路捆綁消除二層環(huán)路、簡化管理，同時大大縮短設(shè)備及鏈路出現(xiàn)故障快速切換，避免網(wǎng)絡(luò)震蕩。IRF2互聯(lián)鏈路采用2*10GE捆綁，保證高可靠及橫向互訪高帶寬。管理區(qū)接入：采用一臺S5120SI千兆交換機(jī)，與x86服務(wù)器R390的iLO口以及自帶的千兆網(wǎng)卡口互連，同時與 iMC網(wǎng)管服務(wù)器、云平臺服務(wù)器互連，上行接口采用兩個GE鏈路分別與兩臺核心交換機(jī)互連。接入層組網(wǎng)拓?fù)淙缦聢D所示：設(shè)備型號單臺設(shè)備端口配置備注H3C 5820V54QS，2臺固定48個GE端口,4個SFP+端口,2個QSFP+端口計(jì)算資源池接入H3C S5820X26S，2臺固定24端口萬兆SFP+接口和2個千兆電口存儲資源池接入H3C S512028PSI，1臺24個10/100/1000BASET,4個 SFP管理區(qū)交換機(jī) 虛擬機(jī)交換網(wǎng)絡(luò)服務(wù)器虛擬化技術(shù)的出現(xiàn)使得計(jì)算服務(wù)提供不再以主機(jī)為基礎(chǔ)，而是以虛擬機(jī)為單位來提供，同時為了滿足同一物理服務(wù)器內(nèi)虛擬機(jī)之間的數(shù)據(jù)交換需求，服務(wù)器內(nèi)部引入了網(wǎng)絡(luò)功能部件虛擬交換機(jī)vSwitch（Virtual Switch），如下圖所示，虛擬交換機(jī)提供了虛擬機(jī)之間、虛擬機(jī)與外部網(wǎng)絡(luò)之間的通訊能力。，正式將“虛擬交換機(jī)”命名為“Virtual Ethernet Bridge”，簡稱VEB，或稱vSwitch。虛擬機(jī)交換網(wǎng)絡(luò)架構(gòu)vSwitch的引入，給云計(jì)算數(shù)據(jù)中心的運(yùn)行帶來了以下兩大問題：網(wǎng)絡(luò)界面的模糊主機(jī)內(nèi)分布著大量的網(wǎng)絡(luò)功能部件vSwitch，這些vSwitch的運(yùn)行、部署為主機(jī)操作與維護(hù)人員增加了巨大的額外工作量，在云計(jì)算數(shù)據(jù)中心通常由主機(jī)操作人員執(zhí)行，這形成了專業(yè)技能支撐的不足，而網(wǎng)絡(luò)操作人員一般只能管理物理網(wǎng)絡(luò)設(shè)備、無法操作主機(jī)內(nèi)vSwitch，這就使得大量vSwicth具備的網(wǎng)絡(luò)功能并不能發(fā)揮作用。此外，對于服務(wù)器內(nèi)部虛擬機(jī)之間的數(shù)據(jù)交換，在vSwitch內(nèi)有限執(zhí)行，外部網(wǎng)絡(luò)不可見，不論在流量監(jiān)管、策略控制還是安全等級都無法依賴完備的外部硬件功能實(shí)現(xiàn)，這就使得數(shù)據(jù)交換界面進(jìn)入主機(jī)后因?yàn)関Switch的功能、性能、管理弱化而造成了高級網(wǎng)絡(luò)特性與服務(wù)的缺失。虛擬機(jī)的不可感知性物理服務(wù)器與網(wǎng)絡(luò)的連接是通過鏈路狀態(tài)來體現(xiàn)的，但是當(dāng)服務(wù)器被虛擬化后，一個主機(jī)內(nèi)同時運(yùn)行大量的虛擬機(jī)，而此前的網(wǎng)絡(luò)面對這些虛擬機(jī)的創(chuàng)建與遷移、故障與恢復(fù)等運(yùn)行狀態(tài)完全不感知，同時對虛擬機(jī)也無法進(jìn)行實(shí)時網(wǎng)絡(luò)定位，當(dāng)虛擬機(jī)遷移時網(wǎng)絡(luò)配置也無法進(jìn)行實(shí)時地跟隨，雖然有些數(shù)據(jù)鏡像、分析偵測技術(shù)可以局部感知虛擬機(jī)的變化，但總體而言目前的虛擬機(jī)交換網(wǎng)絡(luò)架構(gòu)無法滿足虛擬化技術(shù)對網(wǎng)絡(luò)服務(wù)提出的要求。為了解決上述問題， 本次項(xiàng)目H3C的解決思路是將虛擬機(jī)的所有流量都引至外部接入交換機(jī)，此時因?yàn)樗械牧髁烤?jīng)過物理交換機(jī)，因此與虛擬機(jī)相關(guān)的流量監(jiān)控、訪問控制策略和網(wǎng)絡(luò)配置遷移問題均可以得到很好的解決，此方案最典型的代表是EVB標(biāo)準(zhǔn)。 Edge Virtual Bridging（EVB）是由IEEE ，主要用于解決vSwtich的上述局限性，其核心思想是：將虛擬機(jī)產(chǎn)生的網(wǎng)絡(luò)流量全部交給與服務(wù)器相連的物理交換機(jī)進(jìn)行處理，即使同一臺物理服務(wù)器虛擬機(jī)間的流量，也將發(fā)往外部物理交換機(jī)進(jìn)行查表處理，之后再180度調(diào)頭返回到物理服務(wù)器，形成了所謂的“發(fā)卡彎”轉(zhuǎn)發(fā)模式，如下圖所示：EVB標(biāo)準(zhǔn)具有如下的技術(shù)特點(diǎn)：借助發(fā)卡彎轉(zhuǎn)發(fā)機(jī)制將外網(wǎng)交換機(jī)上的眾多網(wǎng)絡(luò)控制策略和流量監(jiān)管特性引入到虛擬機(jī)網(wǎng)絡(luò)接入層，不但簡化了網(wǎng)卡的設(shè)計(jì)，而且充分利用了外部交換機(jī)專用ASIC芯片的處理能力、減少了虛擬網(wǎng)絡(luò)轉(zhuǎn)發(fā)對CPU的開銷；充分利用外部交換機(jī)既有的控制策略特性（ACL、QOS、端口安全等）實(shí)現(xiàn)整網(wǎng)端到端的策略統(tǒng)一部署；充分利用外部交換機(jī)的既有特性增強(qiáng)了虛擬機(jī)流量監(jiān)管能力，如各種端口流量統(tǒng)計(jì)，Netstream、端口鏡像等。EVB標(biāo)準(zhǔn)中定義了虛擬機(jī)與網(wǎng)絡(luò)之間的關(guān)聯(lián)標(biāo)準(zhǔn)協(xié)議，使得虛擬機(jī)在變更與遷移時通告網(wǎng)絡(luò)及網(wǎng)管系統(tǒng)，從而可以借助此標(biāo)準(zhǔn)實(shí)現(xiàn)數(shù)據(jù)中心全網(wǎng)范圍的網(wǎng)絡(luò)配置變更自動化工作，使得大規(guī)模的虛擬機(jī)云計(jì)算服務(wù)運(yùn)營部署自動化能夠?qū)崿F(xiàn)。CVM產(chǎn)品是H3C為數(shù)據(jù)中心云計(jì)算基礎(chǔ)架構(gòu)提供最優(yōu)化的虛擬化管理解決方案，該產(chǎn)品通過將數(shù)據(jù)中心IT資源的整合，不僅能夠達(dá)到提高服務(wù)器利用率和降低整體擁有成本的目的，而且能簡化勞動密集型和資源密集型IT操作，顯著提高系統(tǒng)管理員的工作效率。下面以CVM和H3C iMC（智能管理中心）產(chǎn)品為例簡單描述使用EVB后虛擬機(jī)的創(chuàng)建過程。使用EVB創(chuàng)建