【文章內(nèi)容簡介】 關(guān)注資源調(diào)度和分配，這就需要管理系統(tǒng)在業(yè)務(wù)調(diào)度方面實(shí)現(xiàn)開放。為保證服務(wù)器、存儲、網(wǎng)絡(luò)等資源能夠被云計(jì)算運(yùn)營平臺良好的調(diào)度與管理，要求系統(tǒng)提供開放的API接口，云計(jì)算運(yùn)營管理平臺能夠通過API接口、命令行腳本實(shí)現(xiàn)對設(shè)備的配置與策略下發(fā)聯(lián)動。同時云平臺也提供開放的API接口，未來可以基礎(chǔ)這些接口進(jìn)行二次定制開放，將云管理平臺與企業(yè)應(yīng)用相融合，實(shí)現(xiàn)面向云計(jì)算的企業(yè)應(yīng)用管理平臺。 建設(shè)思路隨著XXX信息化的深入，數(shù)據(jù)大集中以及信息交換的要求很高的計(jì)算能力。傳統(tǒng)企業(yè)數(shù)據(jù)中心建設(shè)和運(yùn)維的成本（包括電力成本、空間成本、維護(hù)成本等）在不斷上升。簡單的通過設(shè)備疊加和設(shè)備性能增強(qiáng)已經(jīng)難以適應(yīng)上述的要求。因此，當(dāng)XXX數(shù)據(jù)中心建設(shè)的核心需求為在IT建設(shè)模式上進(jìn)行轉(zhuǎn)變。改變傳統(tǒng)的“豎井式”IT建設(shè)模式而引入云計(jì)算建設(shè)模式來整合優(yōu)化當(dāng)前信息中心內(nèi)的硬件資源，提升數(shù)據(jù)中心的資源彈性、運(yùn)行效率、交付能力以及擴(kuò)展能力，并從根本上降低數(shù)據(jù)中心的建設(shè)成本，如下圖所示。 云計(jì)算架構(gòu)下的IT建設(shè)模式并沒有完全顛覆傳統(tǒng)IT的建設(shè)方式，在硬件資源大集中的前提下，先完成計(jì)算、存儲、網(wǎng)絡(luò)的資源集中化，同時增加虛擬化層與云層解決硬件統(tǒng)一整合以及資源按需分配的問題。有別于傳統(tǒng)建設(shè)模式單機(jī)單用的情況，虛擬化層通過在裸金屬服務(wù)器上加裝虛擬化內(nèi)核Hypervisor這一層從而實(shí)現(xiàn)單個物理計(jì)算節(jié)點(diǎn)能夠虛擬出多個邏輯隔離的計(jì)算節(jié)點(diǎn)即虛擬機(jī)的方式來承載多個應(yīng)用，通過虛擬化層的集中管理能夠?yàn)槠髽I(yè)帶來如下好處：u 提高現(xiàn)有資源的利用率，傳統(tǒng)單機(jī)單用的業(yè)務(wù)部署模式對硬件資源獨(dú)占無法共享，而大部分時間硬件資源利用率都較低部分業(yè)務(wù)甚至不足3%，虛擬化層可通過一虛多的方式，充分利用每一個計(jì)算服務(wù)器的資源，提高現(xiàn)有資源的利用率；u 降低數(shù)據(jù)中心成本，傳統(tǒng)建設(shè)模式業(yè)務(wù)部署或擴(kuò)容更多的都是硬件設(shè)備的追加，通過虛擬化層可以利用現(xiàn)有的服務(wù)器進(jìn)行業(yè)務(wù)整合，未來新建部署的業(yè)務(wù)系統(tǒng)也可以通過虛擬機(jī)承載的方式快速部署，建設(shè)硬件成本的追加，同時硬件設(shè)備數(shù)量的減少也可以帶來數(shù)據(jù)中心空間成本的節(jié)省以及數(shù)據(jù)中心耗電的節(jié)?。籾 提高 業(yè)務(wù)連續(xù)性，基于虛擬化遷移、集群、負(fù)載均衡等技術(shù)，任何虛擬機(jī)或者承載于虛擬機(jī)上的業(yè)務(wù)系統(tǒng)并不依托于某一個硬件節(jié)點(diǎn)存在，所以對于整個數(shù)據(jù)中心計(jì)算資源池節(jié)點(diǎn)，單個物理節(jié)點(diǎn)出現(xiàn)問題并不會出現(xiàn)業(yè)務(wù)服務(wù)的中斷，在不追加任何冗余設(shè)備的技術(shù)上日高了業(yè)務(wù)本身的連續(xù)性；如果說虛擬化層解決的是資源整合管理的技術(shù)問題，那么云層解決的就是資源按需申請分配的管理問題，系統(tǒng)管理員能夠通過云層資源編排的功能把后臺的資源通過模板的方式行程服務(wù)發(fā)布出來，而使用者能夠通過云層自主Portal的方式按需申請資源，真正實(shí)現(xiàn)使用者資源管理者間的流程自動化。需要強(qiáng)調(diào)的是，轉(zhuǎn)變現(xiàn)有的建設(shè)模式而引入云計(jì)算架構(gòu)并不是徹底的推翻現(xiàn)有IT系統(tǒng)進(jìn)行重建，建設(shè)中需要充分考慮對現(xiàn)有業(yè)務(wù)系統(tǒng)的兼容和平滑升級，在方案部分也會重點(diǎn)從虛擬化層以及云層這兩個方面詳細(xì)描述。第4章 建設(shè)方案 系統(tǒng)總體架構(gòu)本項(xiàng)目的總體架構(gòu)如下圖所示：根據(jù)本期工程的需求和建設(shè)目標(biāo)云計(jì)算平臺總體邏輯拓?fù)浣Y(jié)構(gòu)如上圖所示。整個平臺由網(wǎng)絡(luò)資源池、計(jì)算資源池、存儲資源池、管理中心四部分組成，網(wǎng)絡(luò)出口與XXX廣域網(wǎng)相連。網(wǎng)絡(luò)資源池采用業(yè)界主流的“核心+接入”扁平化組網(wǎng)，核心交換機(jī)采用2臺H3C S10508數(shù)據(jù)中心級交換機(jī)，部署IRF2虛擬化技術(shù)，并在機(jī)框內(nèi)部署入侵檢測（IPS）和防火墻（FW）插卡，實(shí)現(xiàn)業(yè)務(wù)的入侵防御和安全隔離防護(hù)，外聯(lián)至2臺廣域網(wǎng)出口路由器SR6602X，實(shí)現(xiàn)與XXX各單位互通；接入交換機(jī)采用2臺H3C 5820V2設(shè)備，部署IRF2虛擬化技術(shù)，通過10G鏈路和2臺核心交換機(jī)相連。管理網(wǎng)交換機(jī)采用1臺H3C S5100EI設(shè)備，與服務(wù)器、存儲設(shè)備的管理接口互聯(lián)。IP SAN交換機(jī)采用2臺H3C 5820X設(shè)備，部署IRF2虛擬化技術(shù)，1套H3C P4500存儲通過10G鏈路和X臺H3C R390服務(wù)器相連。計(jì)算資源池采用H3Cloud云計(jì)算操作系統(tǒng)軟件，將X臺h3C R390機(jī)架服務(wù)器組建HA集群，在虛擬機(jī)上部署企業(yè)業(yè)務(wù)應(yīng)用，并配合HA和動態(tài)負(fù)載均衡等高級功能，實(shí)現(xiàn)業(yè)務(wù)的連續(xù)性，減少計(jì)劃內(nèi)宕機(jī)時間，提高資源利用率。H3C FlexServer R390機(jī)架式服務(wù)器H3C FlexServer R390機(jī)架服務(wù)器系列定義了下一代2U雙插槽機(jī)架式服務(wù)器的標(biāo)準(zhǔn)。借助可維護(hù)性方面的改進(jìn)、無與倫比的性能、強(qiáng)大的配置靈活性和受用戶啟發(fā)的設(shè)計(jì)模式，H3C FlexServer R390所提供的完美解決方案能滿足當(dāng)今不斷擴(kuò)展的數(shù)據(jù)中心所需的動態(tài)計(jì)算機(jī)要求。H3C FlexServer R390服務(wù)器支持iLO管理引擎，這是一套全面的嵌入式管理特性，可支持服務(wù)器的完整生命周期（從初始部署到運(yùn)行管理、再到服務(wù)警報和遠(yuǎn)程支持）。H3C FlexServer R390處理器英特爾至強(qiáng)E52620（6 核、2 GHz、15 MB）處理器數(shù)2內(nèi)存64GB內(nèi)存類型DDR3網(wǎng)絡(luò)控制器1 個 1 Gb 331FLR 以太網(wǎng)適配器（4 端口）存儲控制器1 個智能陣列 P420i/1GB FBWC電源類型2 個 460 瓦通用插槽金級熱插拔電源存儲資源池采用1套H3C p4500存儲陣列，統(tǒng)一存放虛擬機(jī)鏡像文件和業(yè)務(wù)系統(tǒng)數(shù)據(jù)，這樣做不會在運(yùn)行虛擬機(jī)的云計(jì)算計(jì)算節(jié)點(diǎn)主機(jī)上引起任何額外的負(fù)載。H3C FlexStorage P4500 SAS存儲系統(tǒng)H3Cloud云計(jì)算解決方案中的存儲組件提供了經(jīng)濟(jì)實(shí)惠的企業(yè)功能，并具有全面的功能集，簡化了對所有位置的集中管理，是具有各種虛擬服務(wù)器、客戶端虛擬化、數(shù)據(jù)庫、電子郵件和業(yè)務(wù)應(yīng)用程序的環(huán)境的理想選擇。存儲組件中集成了各種出色的應(yīng)用程序可用性和災(zāi)難恢復(fù)功能，在任何情況下都可進(jìn)行自動故障轉(zhuǎn)移/故障恢復(fù)， 并針對虛擬化環(huán)境進(jìn)行了優(yōu)化，并為用戶和應(yīng)用程序提供了即時滿足需求的連續(xù)數(shù)據(jù)可用性。對虛擬環(huán)境來說，F(xiàn)lexStorage P4500 SAS虛擬化SAN提供了優(yōu)化的共享存儲，可確保實(shí)現(xiàn)經(jīng)濟(jì)高效的高可用性、可擴(kuò)展的性能以及無中斷的配置變更。硬盤說明支持24塊LFF SAS硬盤硬盤類型600GB 6G 15K LFF雙端口ENT SAS硬盤；附帶24塊容量存儲擴(kuò)展選件使用存儲集群能力，并向SAN環(huán)境逐步添加FlexStorage P4500存儲系統(tǒng)，以擴(kuò)展存儲容量：H3C FlexStorage P4500 SAS存儲系統(tǒng)。主機(jī)接口1GbE iSCSI （4）端口可升級到10GbE iSCSI （4）端口支持的操作系統(tǒng)Apple OS XCitrix XenServerHPUXIBM AIXMicrosoft Windows 2003Microsoft Windows 2008Novell NetWareOracle Enterprise LinuxRed Hat LinuxSUN SolarisSUSE LinuxVMware基于SAN/IQ的全面的企業(yè)級特性超冗余集群存儲冗余、熱插拔電源；冗余風(fēng)扇；冗余、熱插拔硬盤；集成的存儲控制器（帶電池支持的DDR2高速緩存）；磁盤RAID 6和10；超冗余集群存儲；網(wǎng)絡(luò)RAID級別（每卷） 0、10+1和10+2最多支持4個數(shù)據(jù)拷貝，即使在電源、網(wǎng)絡(luò)、磁盤、控制器、存儲節(jié)點(diǎn)或站點(diǎn)出現(xiàn)故障時，您的數(shù)據(jù)將仍然可用。精簡配置功能集成應(yīng)用的快照遠(yuǎn)程復(fù)制。異步復(fù)制和帶寬遏制；多站點(diǎn)/災(zāi)難恢復(fù)解決方案包和同步復(fù)制。SmartClone集中的管理控制——H3C Integrated LightsOut 2 Remote Management、Baseboard Management Controller IPMI 保修三年部件、三年人工、三年現(xiàn)場、下一工作日管理中心采用2臺H3C R390機(jī)架服務(wù)器，分別部署H3C iMC DCM數(shù)據(jù)中心管理套件和H3Cloud CAS（含CVM、CIC），實(shí)現(xiàn)對云計(jì)算資源池的統(tǒng)一管理及調(diào)度。 計(jì)算資源池服務(wù)器是云計(jì)算平臺的核心，其承擔(dān)著云計(jì)算平臺的“計(jì)算”功能。對于云計(jì)算平臺上的服務(wù)器，通常都是將相同或者相似類型的服務(wù)器組合在一起，作為資源分配的母體，即所謂的服務(wù)器資源池。在這個服務(wù)器資源池上，再通過安裝虛擬化軟件，使得其計(jì)算資源能以一種虛擬服務(wù)器的方式被不同的應(yīng)用使用。這里所提到的虛擬服務(wù)器，是一種邏輯概念。對不同處理器架構(gòu)的服務(wù)器以及不同的虛擬化平臺軟件，其實(shí)現(xiàn)的具體方式不同。在x86系列的芯片上，其主要是以常規(guī)意義上的VMware虛擬機(jī)或者H3Cloud虛擬機(jī)的形式存在。 資源池分類設(shè)計(jì)在搭建服務(wù)器資源池之前，首先應(yīng)該確定資源池的數(shù)量和種類，并對服務(wù)器進(jìn)行歸類。歸類的標(biāo)準(zhǔn)通常是根據(jù)服務(wù)器的CPU類型、型號、配置、物理位置來決定。對云計(jì)算平臺而言，屬于同一個資源池的服務(wù)器，通常就會將其視為一組可互相替代的資源。所以，一般都是將相同處理器、相近型號系列并且配置與物理位置接近的服務(wù)器——比如相近型號、物理距離不遠(yuǎn)的機(jī)架式服務(wù)器或者刀片服務(wù)器。在做資源池規(guī)劃的時候，也需要考慮其規(guī)模和功用。如果單個資源池的規(guī)模越大，可以給云計(jì)算平臺提供更大的靈活性和容錯性：更多的應(yīng)用可以部署在上面，并且單個物理服務(wù)器的宕機(jī)對整個資源池的影響會更小些。但是同時，太大的規(guī)模也會給出口網(wǎng)絡(luò)吞吐帶來更大的壓力，各個不同應(yīng)用之間的干擾也會更大。如果有條件的話，通常推薦先審視一下企業(yè)自身的業(yè)務(wù)應(yīng)用?？梢钥紤]將應(yīng)用分級，將某些級別高的應(yīng)用盡可能地放在某些獨(dú)立而規(guī)模較小的資源池內(nèi)，輔以較高級別的存儲設(shè)備，并配備高級別的運(yùn)維值守。而那些級別比較低的應(yīng)用，則可以被放在那些規(guī)模較大的公用資源池（群）中。初期的資源池規(guī)劃應(yīng)該涵蓋所有可能被納管到云計(jì)算平臺的所有服務(wù)器資源，包括那些為搭建云計(jì)算平臺新購置的服務(wù)器、企業(yè)內(nèi)部那些目前閑置著的服務(wù)器以及那些現(xiàn)有的并正在運(yùn)行著業(yè)務(wù)應(yīng)用的服務(wù)器。在云計(jì)算平臺搭建的初期，那些目前正在為業(yè)務(wù)系統(tǒng)服務(wù)的服務(wù)器并不會直接被納入云計(jì)算平臺的管轄。但是隨著云計(jì)算平臺的上線和業(yè)務(wù)系統(tǒng)的逐漸遷移，這些服務(wù)器也將逐漸地被并入云計(jì)算平臺的資源池中。對于x86系列的服務(wù)器，除了用于生產(chǎn)系統(tǒng)的資源池以外，還需要專門搭建一個測試用資源池，以便云計(jì)算平臺項(xiàng)目實(shí)施過程以及平臺上線以后運(yùn)維過程中使用。在云計(jì)算平臺搭建完畢以后，企業(yè)的服務(wù)器資源池可以如下圖所示：在云計(jì)算平臺上線以后，原有非云計(jì)算平臺上的應(yīng)用會逐步向云計(jì)算平臺遷移，空出的服務(wù)器資源池也會逐漸并入云計(jì)算平臺的資源池中。其狀態(tài)可以用下圖所示：H3Cloud CVM虛擬化管理平臺體系將IT數(shù)據(jù)中心的物理服務(wù)器資源以樹形結(jié)構(gòu)進(jìn)行組織管理，統(tǒng)一稱之為云資源。云資源是H3Cloud云計(jì)算軟件分層管理模型的核心節(jié)點(diǎn)之一，用來統(tǒng)一管理數(shù)據(jù)中心內(nèi)所有的、復(fù)雜的硬件基礎(chǔ)設(shè)施，不僅包括基本的IT基礎(chǔ)設(shè)施（如硬件服務(wù)器系統(tǒng)），還包括其它與之配套的設(shè)備（如網(wǎng)絡(luò)和存儲系統(tǒng)）。默認(rèn)情況下，H3Cloud云計(jì)算管理平臺出廠配置中已經(jīng)添加了一個名為“云資源”的根節(jié)點(diǎn)，準(zhǔn)備使用H3Cloud云計(jì)算軟件進(jìn)行管理的所有物理資源都需要手工逐一添加到該節(jié)點(diǎn)下進(jìn)行統(tǒng)一的管理。云資源中的被管理對象之間的關(guān)系可以用下圖描述： 主機(jī)池設(shè)計(jì)在H3Cloud云計(jì)算軟件體系架構(gòu)中，主機(jī)池是一系列主機(jī)和集群的集合體，主機(jī)有可能已加入到集群中，也可能沒有。沒有加入集群的主機(jī)全部在主機(jī)池中進(jìn)行管理。在H3Cloud云計(jì)算管理平臺主界面導(dǎo)航菜單窗口中點(diǎn)擊“云資源”，在快捷工具欄中選擇增加主機(jī)池按鈕?；蛘哂益I單擊“云資源”，在彈出的上下文菜單中選擇增加主機(jī)池子菜單。在彈出的增加主機(jī)池對話框中，輸入主機(jī)池名稱后，單擊確定按鈕完成主機(jī)池的添加。 HA集群設(shè)計(jì)傳統(tǒng)數(shù)據(jù)中心內(nèi)的服務(wù)器高可靠性保障通常會選擇依賴于集群技術(shù)的部署。而云計(jì)算平臺將計(jì)算資源虛擬化以后，可以利用虛擬服務(wù)器自身虛擬化的特點(diǎn)實(shí)現(xiàn)傳統(tǒng)物理服務(wù)器上無法實(shí)現(xiàn)的高可靠性。為了提升云業(yè)務(wù)系統(tǒng)的可靠性，在云計(jì)算平臺的計(jì)算資源池建設(shè)時，可以將多個物理主機(jī)合并為一個具有共享資源池的集群。CVM HA功能會監(jiān)控該集群下所有的主機(jī)和物理主機(jī)內(nèi)運(yùn)行的虛擬主機(jī)。當(dāng)物理主機(jī)發(fā)生故障，出現(xiàn)宕機(jī)時，HA功能組件會立即響應(yīng)并在集群內(nèi)另一臺主機(jī)上重啟該物理主機(jī)內(nèi)運(yùn)行的虛擬機(jī)。當(dāng)某一虛擬服務(wù)器發(fā)生故障時，HA功能也會自動的將該虛擬機(jī)重新啟動來恢復(fù)中斷的業(yè)務(wù)。具體操作如下圖所示：除了對集群中的物理服務(wù)器節(jié)點(diǎn)進(jìn)行持續(xù)檢測之外，H3C CAS HA軟件模塊還對運(yùn)行于物理服務(wù)器節(jié)點(diǎn)之上的虛擬機(jī)進(jìn)行持續(xù)檢測。在每臺服務(wù)器節(jié)點(diǎn)上都運(yùn)行了一個LRMd（Local Resource Manager daemon，本地資源管理器守護(hù)進(jìn)程），它是HA軟件模塊中直接操作所管理的各種資源的一個子模塊，負(fù)責(zé)對本地的虛擬化資源進(jìn)行狀態(tài)檢測，并通過shell腳本調(diào)用方式實(shí)現(xiàn)對資源的各種操作。當(dāng)LRMd守護(hù)進(jìn)程檢測到本機(jī)的某臺虛擬機(jī)出現(xiàn)通信故障時，首先將事件通知給DC，由DC統(tǒng)一將該虛擬機(jī)狀態(tài)告知集群內(nèi)所有的物理服務(wù)器節(jié)點(diǎn)，并按照一定的策略算法，為該故障的虛擬機(jī)選擇一個空閑的服務(wù)器節(jié)點(diǎn)，在該節(jié)點(diǎn)上重啟該虛擬機(jī)。使用H3C CAS云計(jì)算軟件HA特性進(jìn)行虛擬機(jī)故障切換H3C CAS HA技術(shù)有效的解決了目前其它高可用性解決方案面臨的問題：當(dāng)物理服務(wù)器發(fā)生硬件故障時，所有運(yùn)行于該服務(wù)器的虛擬機(jī)可以自動切換到其它的可用服務(wù)器上，相對傳統(tǒng)的雙機(jī)容錯方案，H3C CAS HA可以最大程度減少因硬件故障造成的服務(wù)器故障和服務(wù)中斷時間。不同于其它HA的雙機(jī)熱備方式，所有參與HA的物理服務(wù)器都在運(yùn)行生產(chǎn)系統(tǒng)，充分利用現(xiàn)有硬件資源。同時，對眾多的操作系統(tǒng)和應(yīng)用程序，H3C CAS提供統(tǒng)一的HA解決方案，避免了針對不同操作系統(tǒng)或者應(yīng)用，采用不同的HA方案帶來的額外開銷和復(fù)雜性。通過H3C CAS HA，I