【文章內(nèi)容簡(jiǎn)介】 關(guān)注資源調(diào)度和分配，這就需要管理系統(tǒng)在業(yè)務(wù)調(diào)度方面實(shí)現(xiàn)開放。為保證服務(wù)器、存儲(chǔ)、網(wǎng)絡(luò)等資源能夠被云計(jì)算運(yùn)營(yíng)平臺(tái)良好的調(diào)度與管理，要求系統(tǒng)提供開放的API接口，云計(jì)算運(yùn)營(yíng)管理平臺(tái)能夠通過API接口、命令行腳本實(shí)現(xiàn)對(duì)設(shè)備的配置與策略下發(fā)聯(lián)動(dòng)。同時(shí)云平臺(tái)也提供開放的API接口，未來可以基礎(chǔ)這些接口進(jìn)行二次定制開放，將云管理平臺(tái)與企業(yè)應(yīng)用相融合，實(shí)現(xiàn)面向云計(jì)算的企業(yè)應(yīng)用管理平臺(tái)。 建設(shè)思路隨著XXX信息化的深入，數(shù)據(jù)大集中以及信息交換的要求很高的計(jì)算能力。傳統(tǒng)企業(yè)數(shù)據(jù)中心建設(shè)和運(yùn)維的成本（包括電力成本、空間成本、維護(hù)成本等）在不斷上升。簡(jiǎn)單的通過設(shè)備疊加和設(shè)備性能增強(qiáng)已經(jīng)難以適應(yīng)上述的要求。因此，當(dāng)XXX數(shù)據(jù)中心建設(shè)的核心需求為在IT建設(shè)模式上進(jìn)行轉(zhuǎn)變。改變傳統(tǒng)的“豎井式”IT建設(shè)模式而引入云計(jì)算建設(shè)模式來整合優(yōu)化當(dāng)前信息中心內(nèi)的硬件資源，提升數(shù)據(jù)中心的資源彈性、運(yùn)行效率、交付能力以及擴(kuò)展能力，并從根本上降低數(shù)據(jù)中心的建設(shè)成本，如下圖所示。 云計(jì)算架構(gòu)下的IT建設(shè)模式并沒有完全顛覆傳統(tǒng)IT的建設(shè)方式，在硬件資源大集中的前提下，先完成計(jì)算、存儲(chǔ)、網(wǎng)絡(luò)的資源集中化，同時(shí)增加虛擬化層與云層解決硬件統(tǒng)一整合以及資源按需分配的問題。有別于傳統(tǒng)建設(shè)模式單機(jī)單用的情況，虛擬化層通過在裸金屬服務(wù)器上加裝虛擬化內(nèi)核Hypervisor這一層從而實(shí)現(xiàn)單個(gè)物理計(jì)算節(jié)點(diǎn)能夠虛擬出多個(gè)邏輯隔離的計(jì)算節(jié)點(diǎn)即虛擬機(jī)的方式來承載多個(gè)應(yīng)用，通過虛擬化層的集中管理能夠?yàn)槠髽I(yè)帶來如下好處：u 提高現(xiàn)有資源的利用率，傳統(tǒng)單機(jī)單用的業(yè)務(wù)部署模式對(duì)硬件資源獨(dú)占無(wú)法共享，而大部分時(shí)間硬件資源利用率都較低部分業(yè)務(wù)甚至不足3%，虛擬化層可通過一虛多的方式，充分利用每一個(gè)計(jì)算服務(wù)器的資源，提高現(xiàn)有資源的利用率；u 降低數(shù)據(jù)中心成本，傳統(tǒng)建設(shè)模式業(yè)務(wù)部署或擴(kuò)容更多的都是硬件設(shè)備的追加，通過虛擬化層可以利用現(xiàn)有的服務(wù)器進(jìn)行業(yè)務(wù)整合，未來新建部署的業(yè)務(wù)系統(tǒng)也可以通過虛擬機(jī)承載的方式快速部署，建設(shè)硬件成本的追加，同時(shí)硬件設(shè)備數(shù)量的減少也可以帶來數(shù)據(jù)中心空間成本的節(jié)省以及數(shù)據(jù)中心耗電的節(jié)?。籾 提高 業(yè)務(wù)連續(xù)性，基于虛擬化遷移、集群、負(fù)載均衡等技術(shù)，任何虛擬機(jī)或者承載于虛擬機(jī)上的業(yè)務(wù)系統(tǒng)并不依托于某一個(gè)硬件節(jié)點(diǎn)存在，所以對(duì)于整個(gè)數(shù)據(jù)中心計(jì)算資源池節(jié)點(diǎn)，單個(gè)物理節(jié)點(diǎn)出現(xiàn)問題并不會(huì)出現(xiàn)業(yè)務(wù)服務(wù)的中斷，在不追加任何冗余設(shè)備的技術(shù)上日高了業(yè)務(wù)本身的連續(xù)性；如果說虛擬化層解決的是資源整合管理的技術(shù)問題，那么云層解決的就是資源按需申請(qǐng)分配的管理問題，系統(tǒng)管理員能夠通過云層資源編排的功能把后臺(tái)的資源通過模板的方式行程服務(wù)發(fā)布出來，而使用者能夠通過云層自主Portal的方式按需申請(qǐng)資源，真正實(shí)現(xiàn)使用者資源管理者間的流程自動(dòng)化。需要強(qiáng)調(diào)的是，轉(zhuǎn)變現(xiàn)有的建設(shè)模式而引入云計(jì)算架構(gòu)并不是徹底的推翻現(xiàn)有IT系統(tǒng)進(jìn)行重建，建設(shè)中需要充分考慮對(duì)現(xiàn)有業(yè)務(wù)系統(tǒng)的兼容和平滑升級(jí)，在方案部分也會(huì)重點(diǎn)從虛擬化層以及云層這兩個(gè)方面詳細(xì)描述。第4章 建設(shè)方案 系統(tǒng)總體架構(gòu)本項(xiàng)目的總體架構(gòu)如下圖所示：根據(jù)本期工程的需求和建設(shè)目標(biāo)云計(jì)算平臺(tái)總體邏輯拓?fù)浣Y(jié)構(gòu)如上圖所示。整個(gè)平臺(tái)由網(wǎng)絡(luò)資源池、計(jì)算資源池、存儲(chǔ)資源池、管理中心四部分組成，網(wǎng)絡(luò)出口與XXX廣域網(wǎng)相連。網(wǎng)絡(luò)資源池采用業(yè)界主流的“核心+接入”扁平化組網(wǎng)，核心交換機(jī)采用2臺(tái)H3C S10508數(shù)據(jù)中心級(jí)交換機(jī)，部署IRF2虛擬化技術(shù)，并在機(jī)框內(nèi)部署入侵檢測(cè)（IPS）和防火墻（FW）插卡，實(shí)現(xiàn)業(yè)務(wù)的入侵防御和安全隔離防護(hù)，外聯(lián)至2臺(tái)廣域網(wǎng)出口路由器SR6602X，實(shí)現(xiàn)與XXX各單位互通；接入交換機(jī)采用2臺(tái)H3C 5820V2設(shè)備，部署IRF2虛擬化技術(shù)，通過10G鏈路和2臺(tái)核心交換機(jī)相連。管理網(wǎng)交換機(jī)采用1臺(tái)H3C S5100EI設(shè)備，與服務(wù)器、存儲(chǔ)設(shè)備的管理接口互聯(lián)。IP SAN交換機(jī)采用2臺(tái)H3C 5820X設(shè)備，部署IRF2虛擬化技術(shù)，1套H3C P4500存儲(chǔ)通過10G鏈路和X臺(tái)H3C R390服務(wù)器相連。計(jì)算資源池采用H3Cloud云計(jì)算操作系統(tǒng)軟件，將X臺(tái)h3C R390機(jī)架服務(wù)器組建HA集群，在虛擬機(jī)上部署企業(yè)業(yè)務(wù)應(yīng)用，并配合HA和動(dòng)態(tài)負(fù)載均衡等高級(jí)功能，實(shí)現(xiàn)業(yè)務(wù)的連續(xù)性，減少計(jì)劃內(nèi)宕機(jī)時(shí)間，提高資源利用率。H3C FlexServer R390機(jī)架式服務(wù)器H3C FlexServer R390機(jī)架服務(wù)器系列定義了下一代2U雙插槽機(jī)架式服務(wù)器的標(biāo)準(zhǔn)。借助可維護(hù)性方面的改進(jìn)、無(wú)與倫比的性能、強(qiáng)大的配置靈活性和受用戶啟發(fā)的設(shè)計(jì)模式，H3C FlexServer R390所提供的完美解決方案能滿足當(dāng)今不斷擴(kuò)展的數(shù)據(jù)中心所需的動(dòng)態(tài)計(jì)算機(jī)要求。H3C FlexServer R390服務(wù)器支持iLO管理引擎，這是一套全面的嵌入式管理特性，可支持服務(wù)器的完整生命周期（從初始部署到運(yùn)行管理、再到服務(wù)警報(bào)和遠(yuǎn)程支持）。H3C FlexServer R390處理器英特爾至強(qiáng)E52620（6 核、2 GHz、15 MB）處理器數(shù)2內(nèi)存64GB內(nèi)存類型DDR3網(wǎng)絡(luò)控制器1 個(gè) 1 Gb 331FLR 以太網(wǎng)適配器（4 端口）存儲(chǔ)控制器1 個(gè)智能陣列 P420i/1GB FBWC電源類型2 個(gè) 460 瓦通用插槽金級(jí)熱插拔電源存儲(chǔ)資源池采用1套H3C p4500存儲(chǔ)陣列，統(tǒng)一存放虛擬機(jī)鏡像文件和業(yè)務(wù)系統(tǒng)數(shù)據(jù)，這樣做不會(huì)在運(yùn)行虛擬機(jī)的云計(jì)算計(jì)算節(jié)點(diǎn)主機(jī)上引起任何額外的負(fù)載。H3C FlexStorage P4500 SAS存儲(chǔ)系統(tǒng)H3Cloud云計(jì)算解決方案中的存儲(chǔ)組件提供了經(jīng)濟(jì)實(shí)惠的企業(yè)功能，并具有全面的功能集，簡(jiǎn)化了對(duì)所有位置的集中管理，是具有各種虛擬服務(wù)器、客戶端虛擬化、數(shù)據(jù)庫(kù)、電子郵件和業(yè)務(wù)應(yīng)用程序的環(huán)境的理想選擇。存儲(chǔ)組件中集成了各種出色的應(yīng)用程序可用性和災(zāi)難恢復(fù)功能，在任何情況下都可進(jìn)行自動(dòng)故障轉(zhuǎn)移/故障恢復(fù)， 并針對(duì)虛擬化環(huán)境進(jìn)行了優(yōu)化，并為用戶和應(yīng)用程序提供了即時(shí)滿足需求的連續(xù)數(shù)據(jù)可用性。對(duì)虛擬環(huán)境來說，F(xiàn)lexStorage P4500 SAS虛擬化SAN提供了優(yōu)化的共享存儲(chǔ)，可確保實(shí)現(xiàn)經(jīng)濟(jì)高效的高可用性、可擴(kuò)展的性能以及無(wú)中斷的配置變更。硬盤說明支持24塊LFF SAS硬盤硬盤類型600GB 6G 15K LFF雙端口ENT SAS硬盤；附帶24塊容量存儲(chǔ)擴(kuò)展選件使用存儲(chǔ)集群能力，并向SAN環(huán)境逐步添加FlexStorage P4500存儲(chǔ)系統(tǒng)，以擴(kuò)展存儲(chǔ)容量：H3C FlexStorage P4500 SAS存儲(chǔ)系統(tǒng)。主機(jī)接口1GbE iSCSI （4）端口可升級(jí)到10GbE iSCSI （4）端口支持的操作系統(tǒng)Apple OS XCitrix XenServerHPUXIBM AIXMicrosoft Windows 2003Microsoft Windows 2008Novell NetWareOracle Enterprise LinuxRed Hat LinuxSUN SolarisSUSE LinuxVMware基于SAN/IQ的全面的企業(yè)級(jí)特性超冗余集群存儲(chǔ)冗余、熱插拔電源；冗余風(fēng)扇；冗余、熱插拔硬盤；集成的存儲(chǔ)控制器（帶電池支持的DDR2高速緩存）；磁盤RAID 6和10；超冗余集群存儲(chǔ)；網(wǎng)絡(luò)RAID級(jí)別（每卷） 0、10+1和10+2最多支持4個(gè)數(shù)據(jù)拷貝，即使在電源、網(wǎng)絡(luò)、磁盤、控制器、存儲(chǔ)節(jié)點(diǎn)或站點(diǎn)出現(xiàn)故障時(shí)，您的數(shù)據(jù)將仍然可用。精簡(jiǎn)配置功能集成應(yīng)用的快照遠(yuǎn)程復(fù)制。異步復(fù)制和帶寬遏制；多站點(diǎn)/災(zāi)難恢復(fù)解決方案包和同步復(fù)制。SmartClone集中的管理控制——H3C Integrated LightsOut 2 Remote Management、Baseboard Management Controller IPMI 保修三年部件、三年人工、三年現(xiàn)場(chǎng)、下一工作日管理中心采用2臺(tái)H3C R390機(jī)架服務(wù)器，分別部署H3C iMC DCM數(shù)據(jù)中心管理套件和H3Cloud CAS（含CVM、CIC），實(shí)現(xiàn)對(duì)云計(jì)算資源池的統(tǒng)一管理及調(diào)度。 計(jì)算資源池服務(wù)器是云計(jì)算平臺(tái)的核心，其承擔(dān)著云計(jì)算平臺(tái)的“計(jì)算”功能。對(duì)于云計(jì)算平臺(tái)上的服務(wù)器，通常都是將相同或者相似類型的服務(wù)器組合在一起，作為資源分配的母體，即所謂的服務(wù)器資源池。在這個(gè)服務(wù)器資源池上，再通過安裝虛擬化軟件，使得其計(jì)算資源能以一種虛擬服務(wù)器的方式被不同的應(yīng)用使用。這里所提到的虛擬服務(wù)器，是一種邏輯概念。對(duì)不同處理器架構(gòu)的服務(wù)器以及不同的虛擬化平臺(tái)軟件，其實(shí)現(xiàn)的具體方式不同。在x86系列的芯片上，其主要是以常規(guī)意義上的VMware虛擬機(jī)或者H3Cloud虛擬機(jī)的形式存在。 資源池分類設(shè)計(jì)在搭建服務(wù)器資源池之前，首先應(yīng)該確定資源池的數(shù)量和種類，并對(duì)服務(wù)器進(jìn)行歸類。歸類的標(biāo)準(zhǔn)通常是根據(jù)服務(wù)器的CPU類型、型號(hào)、配置、物理位置來決定。對(duì)云計(jì)算平臺(tái)而言，屬于同一個(gè)資源池的服務(wù)器，通常就會(huì)將其視為一組可互相替代的資源。所以，一般都是將相同處理器、相近型號(hào)系列并且配置與物理位置接近的服務(wù)器——比如相近型號(hào)、物理距離不遠(yuǎn)的機(jī)架式服務(wù)器或者刀片服務(wù)器。在做資源池規(guī)劃的時(shí)候，也需要考慮其規(guī)模和功用。如果單個(gè)資源池的規(guī)模越大，可以給云計(jì)算平臺(tái)提供更大的靈活性和容錯(cuò)性：更多的應(yīng)用可以部署在上面，并且單個(gè)物理服務(wù)器的宕機(jī)對(duì)整個(gè)資源池的影響會(huì)更小些。但是同時(shí)，太大的規(guī)模也會(huì)給出口網(wǎng)絡(luò)吞吐帶來更大的壓力，各個(gè)不同應(yīng)用之間的干擾也會(huì)更大。如果有條件的話，通常推薦先審視一下企業(yè)自身的業(yè)務(wù)應(yīng)用?？梢钥紤]將應(yīng)用分級(jí)，將某些級(jí)別高的應(yīng)用盡可能地放在某些獨(dú)立而規(guī)模較小的資源池內(nèi)，輔以較高級(jí)別的存儲(chǔ)設(shè)備，并配備高級(jí)別的運(yùn)維值守。而那些級(jí)別比較低的應(yīng)用，則可以被放在那些規(guī)模較大的公用資源池（群）中。初期的資源池規(guī)劃應(yīng)該涵蓋所有可能被納管到云計(jì)算平臺(tái)的所有服務(wù)器資源，包括那些為搭建云計(jì)算平臺(tái)新購(gòu)置的服務(wù)器、企業(yè)內(nèi)部那些目前閑置著的服務(wù)器以及那些現(xiàn)有的并正在運(yùn)行著業(yè)務(wù)應(yīng)用的服務(wù)器。在云計(jì)算平臺(tái)搭建的初期，那些目前正在為業(yè)務(wù)系統(tǒng)服務(wù)的服務(wù)器并不會(huì)直接被納入云計(jì)算平臺(tái)的管轄。但是隨著云計(jì)算平臺(tái)的上線和業(yè)務(wù)系統(tǒng)的逐漸遷移，這些服務(wù)器也將逐漸地被并入云計(jì)算平臺(tái)的資源池中。對(duì)于x86系列的服務(wù)器，除了用于生產(chǎn)系統(tǒng)的資源池以外，還需要專門搭建一個(gè)測(cè)試用資源池，以便云計(jì)算平臺(tái)項(xiàng)目實(shí)施過程以及平臺(tái)上線以后運(yùn)維過程中使用。在云計(jì)算平臺(tái)搭建完畢以后，企業(yè)的服務(wù)器資源池可以如下圖所示：在云計(jì)算平臺(tái)上線以后，原有非云計(jì)算平臺(tái)上的應(yīng)用會(huì)逐步向云計(jì)算平臺(tái)遷移，空出的服務(wù)器資源池也會(huì)逐漸并入云計(jì)算平臺(tái)的資源池中。其狀態(tài)可以用下圖所示：H3Cloud CVM虛擬化管理平臺(tái)體系將IT數(shù)據(jù)中心的物理服務(wù)器資源以樹形結(jié)構(gòu)進(jìn)行組織管理，統(tǒng)一稱之為云資源。云資源是H3Cloud云計(jì)算軟件分層管理模型的核心節(jié)點(diǎn)之一，用來統(tǒng)一管理數(shù)據(jù)中心內(nèi)所有的、復(fù)雜的硬件基礎(chǔ)設(shè)施，不僅包括基本的IT基礎(chǔ)設(shè)施（如硬件服務(wù)器系統(tǒng)），還包括其它與之配套的設(shè)備（如網(wǎng)絡(luò)和存儲(chǔ)系統(tǒng)）。默認(rèn)情況下，H3Cloud云計(jì)算管理平臺(tái)出廠配置中已經(jīng)添加了一個(gè)名為“云資源”的根節(jié)點(diǎn)，準(zhǔn)備使用H3Cloud云計(jì)算軟件進(jìn)行管理的所有物理資源都需要手工逐一添加到該節(jié)點(diǎn)下進(jìn)行統(tǒng)一的管理。云資源中的被管理對(duì)象之間的關(guān)系可以用下圖描述： 主機(jī)池設(shè)計(jì)在H3Cloud云計(jì)算軟件體系架構(gòu)中，主機(jī)池是一系列主機(jī)和集群的集合體，主機(jī)有可能已加入到集群中，也可能沒有。沒有加入集群的主機(jī)全部在主機(jī)池中進(jìn)行管理。在H3Cloud云計(jì)算管理平臺(tái)主界面導(dǎo)航菜單窗口中點(diǎn)擊“云資源”，在快捷工具欄中選擇增加主機(jī)池按鈕?；蛘哂益I單擊“云資源”，在彈出的上下文菜單中選擇增加主機(jī)池子菜單。在彈出的增加主機(jī)池對(duì)話框中，輸入主機(jī)池名稱后，單擊確定按鈕完成主機(jī)池的添加。 HA集群設(shè)計(jì)傳統(tǒng)數(shù)據(jù)中心內(nèi)的服務(wù)器高可靠性保障通常會(huì)選擇依賴于集群技術(shù)的部署。而云計(jì)算平臺(tái)將計(jì)算資源虛擬化以后，可以利用虛擬服務(wù)器自身虛擬化的特點(diǎn)實(shí)現(xiàn)傳統(tǒng)物理服務(wù)器上無(wú)法實(shí)現(xiàn)的高可靠性。為了提升云業(yè)務(wù)系統(tǒng)的可靠性，在云計(jì)算平臺(tái)的計(jì)算資源池建設(shè)時(shí)，可以將多個(gè)物理主機(jī)合并為一個(gè)具有共享資源池的集群。CVM HA功能會(huì)監(jiān)控該集群下所有的主機(jī)和物理主機(jī)內(nèi)運(yùn)行的虛擬主機(jī)。當(dāng)物理主機(jī)發(fā)生故障，出現(xiàn)宕機(jī)時(shí)，HA功能組件會(huì)立即響應(yīng)并在集群內(nèi)另一臺(tái)主機(jī)上重啟該物理主機(jī)內(nèi)運(yùn)行的虛擬機(jī)。當(dāng)某一虛擬服務(wù)器發(fā)生故障時(shí)，HA功能也會(huì)自動(dòng)的將該虛擬機(jī)重新啟動(dòng)來恢復(fù)中斷的業(yè)務(wù)。具體操作如下圖所示：除了對(duì)集群中的物理服務(wù)器節(jié)點(diǎn)進(jìn)行持續(xù)檢測(cè)之外，H3C CAS HA軟件模塊還對(duì)運(yùn)行于物理服務(wù)器節(jié)點(diǎn)之上的虛擬機(jī)進(jìn)行持續(xù)檢測(cè)。在每臺(tái)服務(wù)器節(jié)點(diǎn)上都運(yùn)行了一個(gè)LRMd（Local Resource Manager daemon，本地資源管理器守護(hù)進(jìn)程），它是HA軟件模塊中直接操作所管理的各種資源的一個(gè)子模塊，負(fù)責(zé)對(duì)本地的虛擬化資源進(jìn)行狀態(tài)檢測(cè)，并通過shell腳本調(diào)用方式實(shí)現(xiàn)對(duì)資源的各種操作。當(dāng)LRMd守護(hù)進(jìn)程檢測(cè)到本機(jī)的某臺(tái)虛擬機(jī)出現(xiàn)通信故障時(shí)，首先將事件通知給DC，由DC統(tǒng)一將該虛擬機(jī)狀態(tài)告知集群內(nèi)所有的物理服務(wù)器節(jié)點(diǎn)，并按照一定的策略算法，為該故障的虛擬機(jī)選擇一個(gè)空閑的服務(wù)器節(jié)點(diǎn)，在該節(jié)點(diǎn)上重啟該虛擬機(jī)。使用H3C CAS云計(jì)算軟件HA特性進(jìn)行虛擬機(jī)故障切換H3C CAS HA技術(shù)有效的解決了目前其它高可用性解決方案面臨的問題：當(dāng)物理服務(wù)器發(fā)生硬件故障時(shí)，所有運(yùn)行于該服務(wù)器的虛擬機(jī)可以自動(dòng)切換到其它的可用服務(wù)器上，相對(duì)傳統(tǒng)的雙機(jī)容錯(cuò)方案，H3C CAS HA可以最大程度減少因硬件故障造成的服務(wù)器故障和服務(wù)中斷時(shí)間。不同于其它HA的雙機(jī)熱備方式，所有參與HA的物理服務(wù)器都在運(yùn)行生產(chǎn)系統(tǒng)，充分利用現(xiàn)有硬件資源。同時(shí)，對(duì)眾多的操作系統(tǒng)和應(yīng)用程序，H3C CAS提供統(tǒng)一的HA解決方案，避免了針對(duì)不同操作系統(tǒng)或者應(yīng)用，采用不同的HA方案帶來的額外開銷和復(fù)雜性。通過H3C CAS HA，I