【文章內(nèi)容簡(jiǎn)介】 以通過虛擬架構(gòu)，讓服務(wù)器24小時(shí)*365天運(yùn)行，避免因?yàn)閭浞莼蚍?wù)器維護(hù)而帶來的停機(jī)。對(duì)于X86虛擬化，有兩種常見的架構(gòu)：寄居架構(gòu)和裸金屬架構(gòu)。n 寄居架構(gòu)：將虛擬化層運(yùn)行在操作系統(tǒng)之上，當(dāng)作一個(gè)應(yīng)用來運(yùn)行，對(duì)硬件的支持很廣泛。n 裸金屬架構(gòu)：直接將虛擬化層運(yùn)行在X86的硬件系統(tǒng)上，可以直接訪問硬件資源，無需通過操作系統(tǒng)實(shí)現(xiàn)硬件訪問，因此效率更高。 虛擬化層虛擬化層是運(yùn)行在虛擬機(jī)監(jiān)控器（VMM，Virtual Machine Monitor）上面、負(fù)責(zé)管理所有虛擬機(jī)的軟件。如下圖所示，虛擬化層就是Hypervisor（管理程序）直接運(yùn)行在硬件上，因此，Hypervisor的功能極大地取決于虛擬化架構(gòu)和實(shí)現(xiàn)。運(yùn)行在Hypervisor（管理程序）上的每個(gè)VMM進(jìn)行了硬件抽取，負(fù)責(zé)運(yùn)行傳統(tǒng)的操作系統(tǒng)。每個(gè)VMM必須進(jìn)行分區(qū)和CPU、內(nèi)存和I/O設(shè)備的共享，從而實(shí)現(xiàn)系統(tǒng)的虛擬化。圖：Hypervisor通過VMM管理虛擬機(jī) CPU虛擬化根據(jù)最初設(shè)計(jì)，X86上的操作系統(tǒng)需要直接運(yùn)行在裸機(jī)上，因此默認(rèn)擁有和控制所有的硬件。如下圖所示，X86架構(gòu)提供了四種特權(quán)級(jí)別Ring 0、2和3，通過這四種級(jí)別來控制和管理對(duì)硬件的訪問。通常，用戶級(jí)的應(yīng)用一般運(yùn)行在Ring 3級(jí)別，操作系統(tǒng)需要直接訪問內(nèi)存和硬件，需要在Ring 0執(zhí)行它的特權(quán)指令。為了虛擬X86架構(gòu)，需要在操作系統(tǒng)下面運(yùn)行虛擬化層，由虛擬化層來創(chuàng)建和管理虛擬機(jī)，進(jìn)行共享資源分配。而有些敏感指令不能很好的進(jìn)行虛擬化，它們?cè)赗ing 0以外級(jí)別執(zhí)行時(shí)，會(huì)出現(xiàn)不同的結(jié)果。如何在運(yùn)行時(shí)捕獲和翻譯這些敏感指令成為X86虛擬化的一大挑戰(zhàn)，使得X86架構(gòu)虛擬化最初難以實(shí)現(xiàn)。圖：X86架構(gòu)虛擬化前的特權(quán)級(jí)別到目前為止，有三種典型的技術(shù)來解決X86虛擬化的難題：n 完全虛擬化；n 操作系統(tǒng)幫助下的虛擬化，即半虛擬化；n 硬件幫助的虛擬化。 完全虛擬化完全虛擬化技術(shù)翻譯核心指令來代替那些不能虛擬化的指令，通過翻譯后的指令直接訪問虛擬硬件。同時(shí)，所有用戶級(jí)指令還是可以直接在CPU上執(zhí)行來確保虛擬化的性能。每個(gè)VMM為每個(gè)虛擬機(jī)提供完整的硬件支持服務(wù)，包括虛擬BIOS、虛擬設(shè)備和虛擬內(nèi)存管理。完全虛擬化實(shí)現(xiàn)后，客戶操作系統(tǒng)可以通過虛擬化層從物理硬件上完全抽取出來，客戶操作系統(tǒng)感知不到是否發(fā)生虛擬化，完全不需進(jìn)行修改。完全虛擬化是迄今為止唯一不需硬件或操作系統(tǒng)協(xié)助來進(jìn)行敏感和特權(quán)指令虛擬化的技術(shù)，Hypervisor（管理程序）可以翻譯所有的操作系統(tǒng)特權(quán)指令，并保存在緩存里備用，而用戶級(jí)指令完全可以全速直接執(zhí)行。完全虛擬化提供了最好的虛擬機(jī)隔離和安全性，簡(jiǎn)化了客戶操作系統(tǒng)遷移和移植能力。 半虛擬化半虛擬化需要修改操作系統(tǒng)內(nèi)核，替換掉不能虛擬化的指令，通過超級(jí)調(diào)用（Hypercall）直接和底層的虛擬化層Hypervisor來通訊，Hypervisor同時(shí)也提供了超級(jí)調(diào)用接口來滿足其他關(guān)鍵內(nèi)核操作，比如內(nèi)存管理、中斷和時(shí)間保持，如下圖所示：圖：操作系統(tǒng)協(xié)助的X86架構(gòu)虛擬化半虛擬化和全虛擬化不同，全虛擬化不需要修改上面的操作系統(tǒng)，敏感的操作系統(tǒng)指令可直接處理。半虛擬化的價(jià)值在于降低了虛擬化的損耗，基于Xen的虛擬化是半虛擬化的代表，可通過修改Linux的內(nèi)核來實(shí)現(xiàn)CPU和內(nèi)存的虛擬化，通過定制的操作系統(tǒng)驅(qū)動(dòng)來實(shí)現(xiàn)I/O的虛擬化。 硬件輔助虛擬化硬件廠商面對(duì)虛擬化投入了大量的精力來開發(fā)新的特性用以簡(jiǎn)化虛擬化技術(shù)應(yīng)用。第一代的虛擬化增強(qiáng)包括Intel VirtualizationTechnology(VTx)和AMD的AMDV，這兩種技術(shù)都為CPU增加了新的執(zhí)行模式root模式，可以讓VMM運(yùn)行在root模式下，而root模式位于Ring 0的下面。如下圖所示，特權(quán)和敏感指令自動(dòng)在Hypervisor上執(zhí)行。客戶操作系統(tǒng)的狀態(tài)保存在VTx（Virtual Machine Control Structure，虛擬機(jī)控制結(jié)構(gòu)）中或AMDv(Virtual Machine Control Block，虛擬機(jī)控制塊)。支持Intel VT和AMDV的CPU從2006年開始推向市場(chǎng)。圖：硬件輔助的X86架構(gòu)虛擬化 內(nèi)存虛擬化除了CPU虛擬化，下一個(gè)關(guān)鍵是內(nèi)存虛擬化，通過內(nèi)存虛擬化共享物理系統(tǒng)內(nèi)存，動(dòng)態(tài)分配給虛擬機(jī)。虛擬機(jī)的內(nèi)存虛擬化很像現(xiàn)在的操作系統(tǒng)支持的虛擬內(nèi)存方式，應(yīng)用程序看到鄰近的內(nèi)存地址空間，這個(gè)地址空間無需和下面的物理機(jī)器內(nèi)存直接對(duì)應(yīng)，操作系統(tǒng)保持著虛擬頁到物理頁的映射?，F(xiàn)在所有的X86 CPU都包括了一個(gè)稱為內(nèi)存管理的模塊MMU（Memory Management Unit）和TLB(Translation Lookaside Buffer)，通過MMU和TLB來優(yōu)化虛擬內(nèi)存的性能。圖：內(nèi)存虛擬化為了在一臺(tái)機(jī)器上運(yùn)行多個(gè)虛擬機(jī)，需要增加一個(gè)新的內(nèi)存虛擬化層，也就是說，必須虛擬MMU來支持客戶操作系統(tǒng)?？蛻舨僮飨到y(tǒng)繼續(xù)控制虛擬地址到客戶內(nèi)存物理地址的映射，但是客戶操作系統(tǒng)不能直接訪問實(shí)際機(jī)器內(nèi)存。VMM負(fù)責(zé)映射客戶物理內(nèi)存到實(shí)際機(jī)器內(nèi)存，它通過影子頁表來加速映射。VMM使用TLB硬件來映射虛擬內(nèi)存直接到機(jī)器內(nèi)存，從而避免了每次訪問進(jìn)行兩次翻譯。當(dāng)客戶操作系統(tǒng)更改了虛擬內(nèi)存到物理內(nèi)存的映射表，VMM也會(huì)更新影子頁表來啟動(dòng)直接查詢。MMU虛擬化引入了虛擬化損耗，第二代的硬件輔助虛擬化將支持內(nèi)存的虛擬化輔助，從而大大降低因此而帶來的虛擬化損耗，讓內(nèi)存虛擬化更高效。 設(shè)備和I/O虛擬化最后一個(gè)模塊是設(shè)備和I/O虛擬化，也就是如何管理和路由物理設(shè)備和虛擬設(shè)備之間的I/O請(qǐng)求。圖：設(shè)備和I/O虛擬化基于軟件的I/O虛擬化和管理為設(shè)備管理帶來了新的特性和功能，讓設(shè)備的管理更容易。就拿網(wǎng)絡(luò)為例，通過虛擬網(wǎng)卡和交換機(jī)可以在一臺(tái)物理機(jī)上不同虛擬機(jī)之間建立虛擬網(wǎng)絡(luò)，而這不會(huì)在物理網(wǎng)絡(luò)上產(chǎn)生任何的流量；允許多個(gè)物理網(wǎng)卡綁定成一個(gè)虛擬機(jī)網(wǎng)卡，提供了很好的容錯(cuò)能力，同時(shí)保持了同一MAC地址。I/O虛擬化的關(guān)鍵是保持虛擬化優(yōu)勢(shì)的同時(shí)，盡量降低虛擬化給CPU造成的負(fù)擔(dān)。Hypervisor虛擬化物理硬件，為每臺(tái)虛擬機(jī)提供一套標(biāo)準(zhǔn)的虛擬設(shè)備，如上圖所示。這些虛擬設(shè)備高效模擬常見的物理硬件，將虛擬機(jī)的請(qǐng)求發(fā)送到物理硬件。該硬件標(biāo)準(zhǔn)化的過程也讓虛擬機(jī)標(biāo)準(zhǔn)化，讓虛擬機(jī)更容易在各種平臺(tái)上自由移動(dòng)，而無需關(guān)心下面實(shí)際的物理硬件類型。 計(jì)算資源池總體設(shè)計(jì) 設(shè)計(jì)原則1) 可靠性云計(jì)算中心作為一種公共IT基礎(chǔ)設(shè)施，就如同水和電一樣，成為人們生活的必須，因此，云計(jì)算中心能否可靠運(yùn)轉(zhuǎn)成為云計(jì)算中心設(shè)計(jì)方案最重要的目標(biāo)。2) 高性能為了滿足高并發(fā)、高吞吐率的訪問，云計(jì)算中心的基礎(chǔ)平臺(tái)必須有足夠的處理能力。3) 動(dòng)態(tài)化云計(jì)算中心需要負(fù)載多種業(yè)務(wù)，而各種業(yè)務(wù)的壓力峰值出現(xiàn)的時(shí)機(jī)可能不同，因此，云計(jì)算中心基礎(chǔ)平臺(tái)就需要做到動(dòng)態(tài)可伸縮，從而保證按需平衡資源供給。4) 可擴(kuò)展必須保證計(jì)算子系統(tǒng)具有高可擴(kuò)展的能力，從而保護(hù)投資，作為分期建設(shè)。5) 自動(dòng)化實(shí)際上，自動(dòng)化是數(shù)據(jù)中心永恒的追求目標(biāo)，更高的自動(dòng)化意味著更低的運(yùn)維成本。6) 節(jié)能降耗大型數(shù)據(jù)中心需要大量的電力，計(jì)算子系統(tǒng)作為電力消耗的大頭，需要有切實(shí)的措施保證節(jié)能。 整體架構(gòu)大連市交通云計(jì)算中心通過虛擬化技術(shù)，將物理的計(jì)算資源虛擬成計(jì)算資源池，以支撐上層業(yè)務(wù)應(yīng)用。如下圖所示：圖：計(jì)算資源池示意圖如上圖，本項(xiàng)目建設(shè)的計(jì)算資源池同樣包括兩部分區(qū)域的計(jì)算資源池，一部分是GNC區(qū)計(jì)算資源池，另一部分是CEGN區(qū)計(jì)算資源池。計(jì)算資源池主要由基于X86架構(gòu)的服務(wù)器設(shè)備組成。根據(jù)基礎(chǔ)平臺(tái)總體架構(gòu)以及網(wǎng)絡(luò)架構(gòu)設(shè)計(jì)中對(duì)功能區(qū)的劃分原則，將計(jì)算設(shè)備按照需要實(shí)現(xiàn)的功能劃分為多個(gè)功能分區(qū)，支撐不同的上層業(yè)務(wù)應(yīng)用，同時(shí)也對(duì)應(yīng)不同的安全和管理功能。根據(jù)基礎(chǔ)平臺(tái)所承擔(dān)的大連市交通云計(jì)算中心應(yīng)用系統(tǒng)的特點(diǎn)和未來35年的業(yè)務(wù)規(guī)劃，可以把計(jì)算資源池分為數(shù)據(jù)庫區(qū)、大數(shù)據(jù)量系統(tǒng)支撐區(qū)、DMZ區(qū)、業(yè)務(wù)應(yīng)用邏輯資源區(qū)、Web服務(wù)發(fā)布區(qū)、管理區(qū)。每個(gè)區(qū)域部署的位置見如上計(jì)算資源池示意圖。其中，數(shù)據(jù)庫區(qū)和大數(shù)據(jù)量系統(tǒng)支撐區(qū)用物理機(jī)的形式進(jìn)行支撐。數(shù)據(jù)庫區(qū)因?yàn)閿?shù)據(jù)庫應(yīng)用對(duì)業(yè)務(wù)并發(fā)量以及安全性等的要求，建議使用X86服務(wù)器集群架構(gòu)進(jìn)行支撐，而且選用8路X86高性能服務(wù)器以支撐。大連市交通云計(jì)算中心支撐各委辦局的業(yè)務(wù)應(yīng)用系統(tǒng)，交通、社保、醫(yī)療等相關(guān)領(lǐng)域存在若干業(yè)務(wù)壓力較大的應(yīng)用系統(tǒng)，這些應(yīng)用系統(tǒng)不適用于通過切分提高資源利用率實(shí)現(xiàn)而的虛擬化分區(qū)以支撐，因此這些應(yīng)用系統(tǒng)也要用物理機(jī)支撐，同時(shí)考慮節(jié)能降耗等因素，考慮用高性能X86刀片服務(wù)器支撐。另外的業(yè)務(wù)應(yīng)用邏輯資源區(qū)、Web服務(wù)發(fā)布區(qū)和DMZ區(qū)通過虛擬化技術(shù)以支撐。Hypervisor通過主機(jī)虛擬化技術(shù)，將物理計(jì)算資源進(jìn)行精細(xì)切分，可以有效提高計(jì)算資源的利用率，通常適用于這些業(yè)務(wù)邏輯計(jì)算應(yīng)用等。業(yè)務(wù)資源邏輯區(qū)、Web服務(wù)發(fā)布區(qū)和DMZ區(qū)基于X86架構(gòu)機(jī)架式服務(wù)器，通過部署云操作系統(tǒng)的虛擬化管理中心模塊，基于Xen、Vmware等主流虛擬化技術(shù)，提供基本的虛擬機(jī)管理、監(jiān)控、分配和使用功能，提供資源靜態(tài)分配及動(dòng)態(tài)調(diào)度管理功能，如下圖所示：圖：虛擬化管理中心管理區(qū)基于雙路X86服務(wù)器進(jìn)行構(gòu)建，部署具備HA架構(gòu)的云操作系統(tǒng)，基于云管理平臺(tái)的虛擬組織功能，可以根據(jù)計(jì)算資源池上運(yùn)行的應(yīng)用之間的關(guān)聯(lián)關(guān)系，形成虛擬數(shù)據(jù)中心，為大連市交通各委辦局用戶提供更好的使用體驗(yàn)。如下圖：圖：云管理平臺(tái) 實(shí)現(xiàn)功能本項(xiàng)目建設(shè)的云計(jì)算中心計(jì)算資源池相關(guān)分區(qū)主要可實(shí)現(xiàn)如下五方面功能：1) 按需自助服務(wù)大連市交通相關(guān)委辦局用戶可以根據(jù)需要通過云計(jì)算服務(wù)門戶自助獲取云計(jì)算資源，如服務(wù)器的使用時(shí)間和網(wǎng)絡(luò)存儲(chǔ)，這個(gè)過程對(duì)本項(xiàng)目云計(jì)算服務(wù)提供者來說可不需人工干預(yù)。2) 廣泛網(wǎng)絡(luò)接入云計(jì)算能力可以通過網(wǎng)絡(luò)獲取，并利用標(biāo)準(zhǔn)的機(jī)制來促進(jìn)對(duì)各種胖或瘦的客戶平臺(tái)的使用。本項(xiàng)目相關(guān)委辦局用戶可以通過包括移動(dòng)電話、平板電腦、筆記本電腦和工作站等多樣化的終端通過網(wǎng)絡(luò)使用云計(jì)算服務(wù)。3) 資源池本項(xiàng)目建設(shè)的計(jì)算資源池是一個(gè)遵循多租戶模型，為眾多委辦局用戶按需分配和重分配物理的以及虛擬的資源的資源池。用戶可以獲取并使用池中的資源包括：存儲(chǔ)、計(jì)算、內(nèi)存和網(wǎng)絡(luò)帶寬。4) 快速彈性獲取資源在某些情況下，計(jì)算資源可以自動(dòng)地被獲取和釋放，以快速的滿足用戶的需求。對(duì)于用戶，在任何時(shí)間都可以無限制地獲取任意數(shù)量的資源。5) 服務(wù)可測(cè)量云計(jì)算運(yùn)營中心自動(dòng)控制和優(yōu)化資源的使用，其機(jī)制是根據(jù)測(cè)量，并在某些抽象級(jí)別上影響分配給不同類型服務(wù)資源的數(shù)量（如存儲(chǔ)、計(jì)算、帶寬、活動(dòng)用戶數(shù)等）。資源的利用率可以被測(cè)量、控制和報(bào)告，無論是提供者還是使用者，都可以獲得服務(wù)使用方面的透明度。尤其是從服務(wù)提供者的角度，可以通過可計(jì)量的服務(wù)，準(zhǔn)確衡量需要的計(jì)算資源量以及未來的需要量，有利于信息化整體規(guī)劃。 計(jì)算資源池建設(shè)方案智能高速公路支撐平臺(tái)建設(shè)可用若干臺(tái)X86服務(wù)器組成虛擬計(jì)算資源平臺(tái)。業(yè)務(wù)節(jié)點(diǎn)為能承載更多的虛擬機(jī)并保證虛擬機(jī)性能，建議配置4路處理器，每顆處理器核心數(shù)盡可能多、主頻盡可能高，同時(shí)配置大容量?jī)?nèi)存，配置4個(gè)千兆自適應(yīng)網(wǎng)口（電口），用于業(yè)務(wù)與管理。同時(shí)還考慮兩方面：n 高可用性：即承載某臺(tái)虛擬機(jī)的物理節(jié)點(diǎn)如果出現(xiàn)故障需要維護(hù)，那么需要進(jìn)行虛擬機(jī)動(dòng)態(tài)遷移，將故障節(jié)點(diǎn)承載的虛擬機(jī)動(dòng)態(tài)遷移到核心應(yīng)用邏輯資源分區(qū)中其他正常工作的物理節(jié)點(diǎn)上以實(shí)現(xiàn)高可用性，保證應(yīng)用系統(tǒng)的不中斷；n 彈性擴(kuò)展：即考慮到未來35年內(nèi)部分部門會(huì)上新的應(yīng)用系統(tǒng)，從而需要新的虛擬機(jī)資源，到時(shí)核心應(yīng)用邏輯資源分區(qū)還有資源可彈性分配給新的應(yīng)用系統(tǒng)。業(yè)務(wù)節(jié)點(diǎn)放置在業(yè)務(wù)區(qū)機(jī)柜中。為保證虛擬化動(dòng)態(tài)遷移時(shí)的系統(tǒng)性能，業(yè)務(wù)區(qū)域內(nèi)的若干臺(tái)業(yè)務(wù)承載節(jié)點(diǎn)建議按照每個(gè)邏輯分區(qū)5~10臺(tái)物理節(jié)點(diǎn)的劃分方式分為相應(yīng)數(shù)目的邏輯分區(qū)。 選型建議天闊A620rG是一款2U雙路路64位機(jī)架式服務(wù)器，該機(jī)型支持AMD Opteron 6200、6300系列處理器。四通道DDR3 ECC內(nèi)存技術(shù)，內(nèi)存容量最大可達(dá)1TB。A840rG采用4U機(jī)架式設(shè)計(jì)，優(yōu)良的外觀工藝水平，模塊化設(shè)計(jì)，智能散熱系統(tǒng)和監(jiān)控系統(tǒng)，大大提升了機(jī)器可靠性、易用性。能穩(wěn)定運(yùn)行Windows，Redhat，Vmware等多種主流操作系統(tǒng)，是能適應(yīng)核心級(jí)應(yīng)用的新一代服務(wù)器，具有處理速度快、可用性強(qiáng)、易管理、可靠性高等特點(diǎn)。系統(tǒng)還提供多種獨(dú)特功能部件，包括熱插拔大功率高效電源，熱插拔風(fēng)扇冗余模組，智能故障指示系統(tǒng)等。TC6600 是一款 10U14 片融合架構(gòu)刀片服務(wù)器，實(shí)現(xiàn)了高性能、高密度、可伸縮、方案靈活的產(chǎn)品設(shè)計(jì)要求。 TC6600 刀片系統(tǒng)目前支持基于 Intel Grantley 平臺(tái)。即 E52600V3 系列的雙路計(jì)算刀片、Intel E74800V2 的四路計(jì)算刀片、AMD 6300 系列的四路計(jì)算刀片，單箱刀片可支持高達(dá) 14 片半高計(jì)算節(jié)點(diǎn)或 7 片全高計(jì)算節(jié)點(diǎn)；可通過模塊化設(shè)計(jì)，為計(jì)算刀片提供多種網(wǎng)絡(luò)接口：系統(tǒng)可支持 1Gb 以太網(wǎng)絡(luò)，10G 以太網(wǎng)，8G 或 16G FC 網(wǎng)絡(luò)，100G 高速網(wǎng)絡(luò)。對(duì)于系統(tǒng)的關(guān)鍵部件和功能模塊，TC6600 采用冗余設(shè)計(jì)，實(shí)現(xiàn)了企業(yè)級(jí)的 RAS 特性，可滿足關(guān)鍵應(yīng)用的需求。曙光“龍芯操作風(fēng)險(xiǎn)管理系統(tǒng)（OperaFirm）”是基于龍芯軟硬件一體的系統(tǒng)設(shè)備，是同類中唯一全國產(chǎn)自主知識(shí)產(chǎn)權(quán)安全產(chǎn)品。OperaFirm是一款采用全新設(shè)計(jì)理念的新一代運(yùn)維堡壘機(jī)系統(tǒng)，可以實(shí)現(xiàn)強(qiáng)認(rèn)證身份管理、細(xì)粒度訪問控制、全面的操作追蹤、自適應(yīng)的口令托管和完備的合規(guī)報(bào)表等功能，支持UNIX、LINUX、WINDOWS服務(wù)器以及各類網(wǎng)絡(luò)設(shè)備。OperaFirm可廣泛應(yīng)用于政府、公檢法司、軍工、部隊(duì)、金融、能源、運(yùn)營商、交通和互聯(lián)網(wǎng)等對(duì)數(shù)據(jù)安全要求較高的領(lǐng)域。曙光XData 大數(shù)據(jù)一體機(jī)將數(shù)據(jù)存儲(chǔ)單元和處理單元分離，通過構(gòu)架高效的服務(wù)中間件，將底層采用無共享(sharednothing)結(jié)構(gòu)的數(shù)據(jù)存儲(chǔ)節(jié)點(diǎn)，聚合成一個(gè)單一的數(shù)據(jù)處理系統(tǒng)映像，達(dá)到較高的