【正文】 儲用于安裝虛擬化平臺（如H3Cloud CVK和CVM）和保存資源池的元數(shù)據(jù)。本地存儲建議配置兩塊SAS硬盤，設(shè)置為RAID1，通過鏡像（Mirror）方式放置本地磁盤出現(xiàn)單點(diǎn)故障，以提高H3Cloud本身的可用性。H3Cloud云計(jì)算管理平臺初始安裝后，會默認(rèn)創(chuàng)建一個本地的默認(rèn)存儲： defaultpool，位于/vms/images目錄下。先選擇“主機(jī)”，在右面頁簽中選擇“存儲”，選擇“增加”按鈕，可以手工增加本地文件目錄類型的存儲池；配置掛接的目錄： iSCSI遠(yuǎn)端共享存儲設(shè)計(jì)遠(yuǎn)端共享存儲用于保存所有虛擬機(jī)的鏡像文件以支持動態(tài)遷移、HA和動態(tài)負(fù)載均衡等高級功能。共享存儲LUN容量規(guī)劃公式如下：LUN容量 = （Z （X + Y） ）Z = 每LUN上駐留的虛擬機(jī)個數(shù)X = 虛擬磁盤文件容量Y = 內(nèi)存大小假設(shè)每個LUN上駐留10個虛擬機(jī)，虛擬磁盤文件容量需求平均為40GB，內(nèi)存容量在4～8GB之間，考慮到未來業(yè)務(wù)的擴(kuò)展性，內(nèi)存交換文件按8GB空間估算，整體冗余20%，那么：LUN容量 = （10 （8 + 40） ） ≈ 600GB存儲總?cè)萘?業(yè)務(wù)數(shù)(按滿足64個業(yè)務(wù)估算)LUN容量=iSCSI存儲是將虛擬機(jī)存儲在iSCSI存儲設(shè)備上。一般是先修改物理主機(jī)上的iSCSI配置，使其能夠訪問iSCSI存儲。iSCSI存儲是作為一個塊設(shè)備使用的，即iSCSI上配置了對應(yīng)的target后，則在vManager上使用該存儲池時(shí)，是全部占用的，類似于裸設(shè)備的使用。選擇“iSCSI網(wǎng)絡(luò)存儲”類型：若物理主機(jī)還沒有設(shè)置Initiator節(jié)點(diǎn)的名稱，則需要先設(shè)置Initiator節(jié)點(diǎn)。配置Initiator節(jié)點(diǎn)名稱：注意：Initiator名稱需要和iSCSI上配置的名稱一致:01:192168000004，需要配置和iSCSI存儲上一致。iSCSI存儲上target對應(yīng)的Initiators配置：設(shè)置物理機(jī)上和iSCSI服務(wù)器聯(lián)通使用的網(wǎng)絡(luò)地址：配置iSCSI存儲地址后，選擇對應(yīng)的target：選擇target最為存儲池：選擇結(jié)束后，點(diǎn)擊“完成”即可。 共享文件系統(tǒng)對于iSCSI或者FC提供裸設(shè)備作為存儲池，一個最大的缺點(diǎn)是一個虛擬機(jī)占用了所有存儲空間。針對這種情況，CVM在iSCSI和FC的基礎(chǔ)上提供了共享文件系統(tǒng)，即基于iSCSI和FC的裸設(shè)備，采用共享文件系統(tǒng)格式化，從而能夠讓iSCSI的同一個target能夠同時(shí)容納多個虛擬機(jī)同時(shí)使用，從而大大提高了設(shè)備的利用效率。共享文件系統(tǒng)是多個主機(jī)之間可以共享使用，所有其配置是在主機(jī)的屬性上配置的。主機(jī)池的屬性頁簽，配置共享文件系統(tǒng)。增加一個共享文件系統(tǒng)：基于iSCSI，對應(yīng)的iSCSI配置請參考iSCSI存儲部分配置。物理主機(jī)上增加存儲池：在物理主機(jī)上直接引用已經(jīng)配置好的“共享文件系統(tǒng)”類型的存儲池即可。 網(wǎng)絡(luò)資源池 網(wǎng)絡(luò)設(shè)計(jì)要點(diǎn)云計(jì)算數(shù)據(jù)中心基礎(chǔ)網(wǎng)絡(luò)是云業(yè)務(wù)數(shù)據(jù)的傳輸通道，將數(shù)據(jù)的計(jì)算和數(shù)據(jù)存儲有機(jī)的結(jié)合在一起。為保證云業(yè)務(wù)的高可用、易擴(kuò)展、易管理，云計(jì)算數(shù)據(jù)中心網(wǎng)絡(luò)架構(gòu)設(shè)計(jì)關(guān)注重點(diǎn)如下：高可用性網(wǎng)絡(luò)的高可用是業(yè)務(wù)高可用的基本保證，在網(wǎng)絡(luò)整體設(shè)計(jì)和設(shè)備配置上均是按照雙備份要求設(shè)計(jì)的。在網(wǎng)絡(luò)連接上消除單點(diǎn)故障，提供關(guān)鍵設(shè)備的故障切換。關(guān)鍵網(wǎng)絡(luò)設(shè)備之間的物理鏈路采用雙路冗余連接，按照負(fù)載均衡方式或activeactive方式工作。關(guān)鍵主機(jī)可采用雙路網(wǎng)卡來增加可靠性。%的電信級可靠性。基礎(chǔ)網(wǎng)絡(luò)從核心層到接入層均部署H3C的IRF2技術(shù)，可以實(shí)現(xiàn)數(shù)據(jù)中心級交換機(jī)的虛擬化，不僅網(wǎng)絡(luò)容量可以平滑擴(kuò)展，更可以簡化網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)，大大提高整網(wǎng)的可靠性，使得整網(wǎng)的保護(hù)倒換時(shí)間從原來的5~10秒縮短到50ms以內(nèi)，達(dá)到電信級的可靠性要求。作為未來網(wǎng)絡(luò)的核心，要求核心交換區(qū)設(shè)備具有高可靠性，優(yōu)先選用采用交換引擎與路由引擎物理分離設(shè)計(jì)的設(shè)備，從而在硬件的體系結(jié)構(gòu)上達(dá)到數(shù)據(jù)中心級的高可靠性。本次項(xiàng)目核心設(shè)備采用2臺H3C S10508數(shù)據(jù)中心級核心交換機(jī)、接入設(shè)備采用H3C 5820V2數(shù)據(jù)中心級接入交換機(jī)，設(shè)備組件層面充分保證高可靠。大二層網(wǎng)絡(luò)部署云計(jì)算數(shù)據(jù)中心內(nèi)服務(wù)器虛擬化已是一種趨勢，而虛擬機(jī)的遷移則是一種必然，目前業(yè)內(nèi)的幾種虛擬化軟件要做到熱遷移時(shí)都是均需要二層網(wǎng)絡(luò)的支撐，隨著未來計(jì)算資源池的不斷擴(kuò)展，二層網(wǎng)絡(luò)的范圍也將同步擴(kuò)大，甚至需要跨數(shù)據(jù)中心部署大二層網(wǎng)絡(luò)。大規(guī)模部暑二層網(wǎng)絡(luò)則帶來一個必然的問題就是二層環(huán)路問題，而傳統(tǒng)解決二層網(wǎng)絡(luò)環(huán)路問題的STP協(xié)議無法滿足云計(jì)算數(shù)據(jù)中心所要求的快收斂，同時(shí)會帶來協(xié)議部署及運(yùn)維管理的復(fù)雜度增加。本次方案中通過部署H3C IRF2虛擬化技術(shù)實(shí)現(xiàn)兩臺或多臺同一層物理交換機(jī)虛擬成一臺邏輯設(shè)備，通過跨設(shè)備鏈路捆綁實(shí)現(xiàn)核心和接入的點(diǎn)對點(diǎn)互聯(lián)，消除二層網(wǎng)絡(luò)的環(huán)路，這樣就直接避免了在網(wǎng)絡(luò)中部暑STP，同時(shí)對于核心的兩臺設(shè)備虛擬化為一臺邏輯設(shè)備之后，網(wǎng)關(guān)也將變成一個，無需部署傳統(tǒng)的VRRP協(xié)議。 在管理層面，通IRF2多虛一之后，管理的設(shè)備數(shù)量減少一半以上，對于本項(xiàng)目，管理點(diǎn)只有核心和接入兩臺設(shè)備，網(wǎng)絡(luò)管理大幅度簡化。如下圖所示：網(wǎng)絡(luò)安全融合云計(jì)算將所有資源進(jìn)行虛擬化，從物理上存在多個用戶訪問同一個物理資源的問題，那么如何保證用戶訪問以及后臺物理資源的安全隔離就成為了一個必須考慮的問題。另一方面由于網(wǎng)絡(luò)變成了一個大的二層網(wǎng)絡(luò)；以前的各個業(yè)務(wù)系統(tǒng)分而治之，各個業(yè)務(wù)系統(tǒng)都是在硬件方面進(jìn)行了隔離，在每個系統(tǒng)之間做安全的防護(hù)可以保證安全的訪問。所以在云計(jì)算環(huán)境下，所有的業(yè)務(wù)和用戶的資源在物理上是融合的，這樣就需要通過在網(wǎng)關(guān)層部署防火墻的設(shè)備，同時(shí)開啟虛擬防火墻的功能，為每個業(yè)務(wù)進(jìn)行安全的隔離和策略的部署。在傳統(tǒng)的數(shù)據(jù)中心網(wǎng)絡(luò)安全部署時(shí)，往往是網(wǎng)絡(luò)與安全各自為戰(zhàn)，在網(wǎng)絡(luò)邊界或關(guān)鍵節(jié)點(diǎn)串接安全設(shè)備(如FW、IPS、LB等)。隨著數(shù)據(jù)中心部署的安全設(shè)備的種類和數(shù)量也越來越多，這將導(dǎo)致數(shù)據(jù)中心機(jī)房布線、空間、能耗、運(yùn)維管理等成本越來越高。本次方案中采用了H3C SecBlade安全插卡可直接插在H3C交換機(jī)的業(yè)務(wù)槽位，通過交換機(jī)背板互連實(shí)現(xiàn)流量轉(zhuǎn)發(fā)，共用交換機(jī)電源、風(fēng)扇等基礎(chǔ)部件。融合部署除了簡化機(jī)房布線、節(jié)市機(jī)架空間、簡化管理之外，還具備以下優(yōu)點(diǎn)：互連帶寬高。SecBlade系列安全插卡采用背板總線與交換機(jī)進(jìn)行互連，背板總線帶寬一般可超過40Gbps，相比傳統(tǒng)的獨(dú)立安全設(shè)備采用普通千兆以太網(wǎng)接口進(jìn)行互連，在互連帶寬上有了很大的提升，而且無需增加布線、光纖和光模塊成本。業(yè)務(wù)接口靈活。SecBlade系列安全插卡上不對外提供業(yè)務(wù)接口（僅提供配置管理接口），當(dāng)交換機(jī)上插有SecBlade安全插卡時(shí)，交換機(jī)上原有的所有業(yè)務(wù)接口均可配置為安全業(yè)務(wù)接口。此時(shí)再也無需擔(dān)心安全業(yè)務(wù)接口不夠而帶來網(wǎng)絡(luò)安全部署的局限性。性能平滑擴(kuò)展。當(dāng)一臺交換機(jī)上的一塊SecBlade安全插卡的性能不夠時(shí)，可以再插入一塊或多塊SecBlade插卡實(shí)現(xiàn)性能的平滑疊加。而且所有SecBlade插卡均支持熱插拔，在進(jìn)行擴(kuò)展時(shí)無需停機(jī)中斷現(xiàn)有的業(yè)務(wù)。 網(wǎng)絡(luò)資源池設(shè)計(jì)本次項(xiàng)目基礎(chǔ)網(wǎng)絡(luò)采用“扁平化”設(shè)計(jì)，核心層直接下聯(lián)接入層，市去了中間匯聚層。隨著網(wǎng)絡(luò)交換技術(shù)的不斷發(fā)展，交換機(jī)的端口接入密度也越來越高，“扁平化”組網(wǎng)的擴(kuò)展性和密度已經(jīng)能夠很好的XXX數(shù)據(jù)中心服務(wù)器接入的要求。同時(shí)在服務(wù)器虛擬化技術(shù)應(yīng)用越來越廣泛的趨勢下，扁平化二層架構(gòu)更容易實(shí)現(xiàn)VLAN的大二層互通，滿足虛擬機(jī)的部署和遷移。相比傳統(tǒng)三層架構(gòu)，扁平化二層架構(gòu)可以大大簡化網(wǎng)絡(luò)的運(yùn)維與管理。基礎(chǔ)網(wǎng)絡(luò)平臺組織結(jié)構(gòu)如下圖所示：網(wǎng)絡(luò)的二、三層邊界在核心層，安全部署在核心層；核心與接入層之間采用二層進(jìn)行互聯(lián)，實(shí)現(xiàn)大二層組網(wǎng)，在接入層構(gòu)建計(jì)算和存儲資源池，滿足資源池內(nèi)虛擬機(jī)可在任意位置的物理服務(wù)器上遷移與集群。實(shí)際組網(wǎng)拓?fù)淙缦聢D所示：2臺S10508構(gòu)建核心層，分別通過10GE鏈路與接入層交換機(jī)S5820VGE鏈路與管理網(wǎng)交換機(jī)和出口路由器互連，未來此核心層將逐步演變成整網(wǎng)大核心，兩臺核心交換機(jī)部署IRF虛擬化。接入層采用2臺5820V2，每臺接入交換機(jī)與核心交換機(jī)采用10GE鏈路交叉互連，兩臺接入交換機(jī)部署IRF虛擬化，與核心交換機(jī)實(shí)現(xiàn)跨設(shè)備鏈路捆綁，消除二層環(huán)路，并實(shí)現(xiàn)鏈路負(fù)載分擔(dān)。管理網(wǎng)交換機(jī)采用1臺S5120SI，分別連接R390服務(wù)器的iLO接口實(shí)現(xiàn)服務(wù)器的帶外管理。同時(shí)與iMC網(wǎng)管服務(wù)器、云平臺管理服務(wù)器互連。上行采用2*GE鏈路與兩臺核心交換機(jī)互連，并實(shí)現(xiàn)鏈路捆綁。分層分區(qū)設(shè)計(jì)思路：根據(jù)業(yè)務(wù)進(jìn)行分區(qū)，分成計(jì)算區(qū)、存儲區(qū)和管理區(qū)。計(jì)算、存儲區(qū)域內(nèi)二層互通，區(qū)域間VLAN隔離；根據(jù)每層工作特點(diǎn)分為核心層和接入層，網(wǎng)關(guān)部署在核心層。 分層網(wǎng)絡(luò)設(shè)計(jì)1. 核心層核心層2臺H3C S10508構(gòu)建，負(fù)責(zé)整個云計(jì)算平臺上應(yīng)用業(yè)務(wù)數(shù)據(jù)的高速交換。兩臺核心交換機(jī)S10508分別與兩臺服務(wù)器接入?yún)^(qū)交換機(jī)間呈“三角形”型連接，與現(xiàn)網(wǎng)出口區(qū)路由器呈“口”字型連接，一臺管理區(qū)接入交換機(jī)雙上行分別與兩臺核心交換機(jī)連接。核心交換機(jī)間及與服務(wù)器接入交換機(jī)、管理區(qū)接入交換機(jī)、現(xiàn)網(wǎng)核心路由器間均采用萬兆接口捆綁互聯(lián)。核心交換機(jī)上部署防火墻插卡和網(wǎng)流分析插卡，實(shí)現(xiàn)云計(jì)算業(yè)務(wù)的安全防護(hù)與流量分析。兩臺S10508部署IRF2虛擬化技術(shù)，簡化路由協(xié)議運(yùn)行狀態(tài)與運(yùn)維管理，同時(shí)大大縮短設(shè)備及鏈路出現(xiàn)故障快速切換，避免網(wǎng)絡(luò)震蕩。IRF2互聯(lián)鏈路采用2*10GE捆綁，保證高可靠及橫向互訪高帶寬。組網(wǎng)拓?fù)淙缦聢D所示：設(shè)備型號單臺設(shè)備端口配置備注H3C S10508，2臺新增16端口10GE接口板，1塊線速板卡新增SecBlade FW插卡，1塊新增SecBlade IPS插卡，1塊2. 接入層接入層分為計(jì)算資源池、存儲資源池和管理區(qū)接入三大部分：計(jì)算資源池接入：采用兩臺5820V2云接入交換機(jī)構(gòu)建，負(fù)責(zé)x86服務(wù)器的網(wǎng)絡(luò)接入，服務(wù)器配置4個千兆接口，其中兩個千兆接口捆綁做業(yè)務(wù)流接口，雙網(wǎng)卡采用捆綁雙活模式；另外兩個千兆接口捆綁做虛擬機(jī)管理流接口，雙網(wǎng)卡采用捆綁雙活模式。兩臺5820V2部署IRF2虛擬化技術(shù)，通過跨設(shè)備鏈路捆綁消除二層環(huán)路、簡化管理，同時(shí)大大縮短設(shè)備及鏈路出現(xiàn)故障快速切換，避免網(wǎng)絡(luò)震蕩。IRF2互聯(lián)鏈路采用2*10GE捆綁，保證高可靠及橫向互訪高帶寬。存儲資源池接入：采用兩臺5820V2云接入交換機(jī)構(gòu)建，負(fù)責(zé)x86服務(wù)器的網(wǎng)絡(luò)接入，服務(wù)器配置4個千兆接口，其中兩個千兆接口捆綁做業(yè)務(wù)流接口，雙網(wǎng)卡采用捆綁雙活模式；另外兩個千兆接口捆綁做虛擬機(jī)管理流接口，雙網(wǎng)卡采用捆綁雙活模式。兩臺5820X部署IRF2虛擬化技術(shù)，通過跨設(shè)備鏈路捆綁消除二層環(huán)路、簡化管理，同時(shí)大大縮短設(shè)備及鏈路出現(xiàn)故障快速切換，避免網(wǎng)絡(luò)震蕩。IRF2互聯(lián)鏈路采用2*10GE捆綁，保證高可靠及橫向互訪高帶寬。管理區(qū)接入：采用一臺S5120SI千兆交換機(jī)，與x86服務(wù)器R390的iLO口以及自帶的千兆網(wǎng)卡口互連，同時(shí)與 iMC網(wǎng)管服務(wù)器、云平臺服務(wù)器互連，上行接口采用兩個GE鏈路分別與兩臺核心交換機(jī)互連。接入層組網(wǎng)拓?fù)淙缦聢D所示：設(shè)備型號單臺設(shè)備端口配置備注H3C 5820V54QS，2臺固定48個GE端口,4個SFP+端口,2個QSFP+端口計(jì)算資源池接入H3C S5820X26S，2臺固定24端口萬兆SFP+接口和2個千兆電口存儲資源池接入H3C S512028PSI，1臺24個10/100/1000BASET,4個 SFP管理區(qū)交換機(jī) 虛擬機(jī)交換網(wǎng)絡(luò)服務(wù)器虛擬化技術(shù)的出現(xiàn)使得計(jì)算服務(wù)提供不再以主機(jī)為基礎(chǔ)，而是以虛擬機(jī)為單位來提供，同時(shí)為了滿足同一物理服務(wù)器內(nèi)虛擬機(jī)之間的數(shù)據(jù)交換需求，服務(wù)器內(nèi)部引入了網(wǎng)絡(luò)功能部件虛擬交換機(jī)vSwitch（Virtual Switch），如下圖所示，虛擬交換機(jī)提供了虛擬機(jī)之間、虛擬機(jī)與外部網(wǎng)絡(luò)之間的通訊能力。，正式將“虛擬交換機(jī)”命名為“Virtual Ethernet Bridge”，簡稱VEB，或稱vSwitch。虛擬機(jī)交換網(wǎng)絡(luò)架構(gòu)vSwitch的引入，給云計(jì)算數(shù)據(jù)中心的運(yùn)行帶來了以下兩大問題：網(wǎng)絡(luò)界面的模糊主機(jī)內(nèi)分布著大量的網(wǎng)絡(luò)功能部件vSwitch，這些vSwitch的運(yùn)行、部署為主機(jī)操作與維護(hù)人員增加了巨大的額外工作量，在云計(jì)算數(shù)據(jù)中心通常由主機(jī)操作人員執(zhí)行，這形成了專業(yè)技能支撐的不足，而網(wǎng)絡(luò)操作人員一般只能管理物理網(wǎng)絡(luò)設(shè)備、無法操作主機(jī)內(nèi)vSwitch，這就使得大量vSwicth具備的網(wǎng)絡(luò)功能并不能發(fā)揮作用。此外，對于服務(wù)器內(nèi)部虛擬機(jī)之間的數(shù)據(jù)交換，在vSwitch內(nèi)有限執(zhí)行，外部網(wǎng)絡(luò)不可見，不論在流量監(jiān)管、策略控制還是安全等級都無法依賴完備的外部硬件功能實(shí)現(xiàn)，這就使得數(shù)據(jù)交換界面進(jìn)入主機(jī)后因?yàn)関Switch的功能、性能、管理弱化而造成了高級網(wǎng)絡(luò)特性與服務(wù)的缺失。虛擬機(jī)的不可感知性物理服務(wù)器與網(wǎng)絡(luò)的連接是通過鏈路狀態(tài)來體現(xiàn)的，但是當(dāng)服務(wù)器被虛擬化后，一個主機(jī)內(nèi)同時(shí)運(yùn)行大量的虛擬機(jī)，而此前的網(wǎng)絡(luò)面對這些虛擬機(jī)的創(chuàng)建與遷移、故障與恢復(fù)等運(yùn)行狀態(tài)完全不感知，同時(shí)對虛擬機(jī)也無法進(jìn)行實(shí)時(shí)網(wǎng)絡(luò)定位，當(dāng)虛擬機(jī)遷移時(shí)網(wǎng)絡(luò)配置也無法進(jìn)行實(shí)時(shí)地跟隨，雖然有些數(shù)據(jù)鏡像、分析偵測技術(shù)可以局部感知虛擬機(jī)的變化，但總體而言目前的虛擬機(jī)交換網(wǎng)絡(luò)架構(gòu)無法滿足虛擬化技術(shù)對網(wǎng)絡(luò)服務(wù)提出的要求。為了解決上述問題， 本次項(xiàng)目H3C的解決思路是將虛擬機(jī)的所有流量都引至外部接入交換機(jī)，此時(shí)因?yàn)樗械牧髁烤?jīng)過物理交換機(jī)，因此與虛擬機(jī)相關(guān)的流量監(jiān)控、訪問控制策略和網(wǎng)絡(luò)配置遷移問題均可以得到很好的解決，此方案最典型的代表是EVB標(biāo)準(zhǔn)。 Edge Virtual Bridging（EVB）是由IEEE ，主要用于解決vSwtich的上述局限性，其核心思想是：將虛擬機(jī)產(chǎn)生的網(wǎng)絡(luò)流量全部交給與服務(wù)器相連的物理交換機(jī)進(jìn)行處理，即使同一臺物理服務(wù)器虛擬機(jī)間的流量，也將發(fā)往外部物理交換機(jī)進(jìn)行查表