【文章內(nèi)容簡介】 以通過虛擬架構(gòu)，讓服務(wù)器24小時*365天運行，避免因為備份或服務(wù)器維護而帶來的停機。對于X86虛擬化，有兩種常見的架構(gòu)：寄居架構(gòu)和裸金屬架構(gòu)。n 寄居架構(gòu)：將虛擬化層運行在操作系統(tǒng)之上，當(dāng)作一個應(yīng)用來運行，對硬件的支持很廣泛。n 裸金屬架構(gòu)：直接將虛擬化層運行在X86的硬件系統(tǒng)上，可以直接訪問硬件資源，無需通過操作系統(tǒng)實現(xiàn)硬件訪問，因此效率更高。 虛擬化層虛擬化層是運行在虛擬機監(jiān)控器（VMM，Virtual Machine Monitor）上面、負責(zé)管理所有虛擬機的軟件。如下圖所示，虛擬化層就是Hypervisor（管理程序）直接運行在硬件上，因此，Hypervisor的功能極大地取決于虛擬化架構(gòu)和實現(xiàn)。運行在Hypervisor（管理程序）上的每個VMM進行了硬件抽取，負責(zé)運行傳統(tǒng)的操作系統(tǒng)。每個VMM必須進行分區(qū)和CPU、內(nèi)存和I/O設(shè)備的共享，從而實現(xiàn)系統(tǒng)的虛擬化。圖：Hypervisor通過VMM管理虛擬機 CPU虛擬化根據(jù)最初設(shè)計，X86上的操作系統(tǒng)需要直接運行在裸機上，因此默認擁有和控制所有的硬件。如下圖所示，X86架構(gòu)提供了四種特權(quán)級別Ring 0、2和3，通過這四種級別來控制和管理對硬件的訪問。通常，用戶級的應(yīng)用一般運行在Ring 3級別，操作系統(tǒng)需要直接訪問內(nèi)存和硬件，需要在Ring 0執(zhí)行它的特權(quán)指令。為了虛擬X86架構(gòu)，需要在操作系統(tǒng)下面運行虛擬化層，由虛擬化層來創(chuàng)建和管理虛擬機，進行共享資源分配。而有些敏感指令不能很好的進行虛擬化，它們在Ring 0以外級別執(zhí)行時，會出現(xiàn)不同的結(jié)果。如何在運行時捕獲和翻譯這些敏感指令成為X86虛擬化的一大挑戰(zhàn)，使得X86架構(gòu)虛擬化最初難以實現(xiàn)。圖：X86架構(gòu)虛擬化前的特權(quán)級別到目前為止，有三種典型的技術(shù)來解決X86虛擬化的難題：n 完全虛擬化；n 操作系統(tǒng)幫助下的虛擬化，即半虛擬化；n 硬件幫助的虛擬化。 完全虛擬化完全虛擬化技術(shù)翻譯核心指令來代替那些不能虛擬化的指令，通過翻譯后的指令直接訪問虛擬硬件。同時，所有用戶級指令還是可以直接在CPU上執(zhí)行來確保虛擬化的性能。每個VMM為每個虛擬機提供完整的硬件支持服務(wù)，包括虛擬BIOS、虛擬設(shè)備和虛擬內(nèi)存管理。完全虛擬化實現(xiàn)后，客戶操作系統(tǒng)可以通過虛擬化層從物理硬件上完全抽取出來，客戶操作系統(tǒng)感知不到是否發(fā)生虛擬化，完全不需進行修改。完全虛擬化是迄今為止唯一不需硬件或操作系統(tǒng)協(xié)助來進行敏感和特權(quán)指令虛擬化的技術(shù)，Hypervisor（管理程序）可以翻譯所有的操作系統(tǒng)特權(quán)指令，并保存在緩存里備用，而用戶級指令完全可以全速直接執(zhí)行。完全虛擬化提供了最好的虛擬機隔離和安全性，簡化了客戶操作系統(tǒng)遷移和移植能力。 半虛擬化半虛擬化需要修改操作系統(tǒng)內(nèi)核，替換掉不能虛擬化的指令，通過超級調(diào)用（Hypercall）直接和底層的虛擬化層Hypervisor來通訊，Hypervisor同時也提供了超級調(diào)用接口來滿足其他關(guān)鍵內(nèi)核操作，比如內(nèi)存管理、中斷和時間保持，如下圖所示：圖：操作系統(tǒng)協(xié)助的X86架構(gòu)虛擬化半虛擬化和全虛擬化不同，全虛擬化不需要修改上面的操作系統(tǒng)，敏感的操作系統(tǒng)指令可直接處理。半虛擬化的價值在于降低了虛擬化的損耗，基于Xen的虛擬化是半虛擬化的代表，可通過修改Linux的內(nèi)核來實現(xiàn)CPU和內(nèi)存的虛擬化，通過定制的操作系統(tǒng)驅(qū)動來實現(xiàn)I/O的虛擬化。 硬件輔助虛擬化硬件廠商面對虛擬化投入了大量的精力來開發(fā)新的特性用以簡化虛擬化技術(shù)應(yīng)用。第一代的虛擬化增強包括Intel VirtualizationTechnology(VTx)和AMD的AMDV，這兩種技術(shù)都為CPU增加了新的執(zhí)行模式root模式，可以讓VMM運行在root模式下，而root模式位于Ring 0的下面。如下圖所示，特權(quán)和敏感指令自動在Hypervisor上執(zhí)行?？蛻舨僮飨到y(tǒng)的狀態(tài)保存在VTx（Virtual Machine Control Structure，虛擬機控制結(jié)構(gòu)）中或AMDv(Virtual Machine Control Block，虛擬機控制塊)。支持Intel VT和AMDV的CPU從2006年開始推向市場。圖：硬件輔助的X86架構(gòu)虛擬化 內(nèi)存虛擬化除了CPU虛擬化，下一個關(guān)鍵是內(nèi)存虛擬化，通過內(nèi)存虛擬化共享物理系統(tǒng)內(nèi)存，動態(tài)分配給虛擬機。虛擬機的內(nèi)存虛擬化很像現(xiàn)在的操作系統(tǒng)支持的虛擬內(nèi)存方式，應(yīng)用程序看到鄰近的內(nèi)存地址空間，這個地址空間無需和下面的物理機器內(nèi)存直接對應(yīng)，操作系統(tǒng)保持著虛擬頁到物理頁的映射?，F(xiàn)在所有的X86 CPU都包括了一個稱為內(nèi)存管理的模塊MMU（Memory Management Unit）和TLB(Translation Lookaside Buffer)，通過MMU和TLB來優(yōu)化虛擬內(nèi)存的性能。圖：內(nèi)存虛擬化為了在一臺機器上運行多個虛擬機，需要增加一個新的內(nèi)存虛擬化層，也就是說，必須虛擬MMU來支持客戶操作系統(tǒng)?？蛻舨僮飨到y(tǒng)繼續(xù)控制虛擬地址到客戶內(nèi)存物理地址的映射，但是客戶操作系統(tǒng)不能直接訪問實際機器內(nèi)存。VMM負責(zé)映射客戶物理內(nèi)存到實際機器內(nèi)存，它通過影子頁表來加速映射。VMM使用TLB硬件來映射虛擬內(nèi)存直接到機器內(nèi)存，從而避免了每次訪問進行兩次翻譯。當(dāng)客戶操作系統(tǒng)更改了虛擬內(nèi)存到物理內(nèi)存的映射表，VMM也會更新影子頁表來啟動直接查詢。MMU虛擬化引入了虛擬化損耗，第二代的硬件輔助虛擬化將支持內(nèi)存的虛擬化輔助，從而大大降低因此而帶來的虛擬化損耗，讓內(nèi)存虛擬化更高效。 設(shè)備和I/O虛擬化最后一個模塊是設(shè)備和I/O虛擬化，也就是如何管理和路由物理設(shè)備和虛擬設(shè)備之間的I/O請求。圖：設(shè)備和I/O虛擬化基于軟件的I/O虛擬化和管理為設(shè)備管理帶來了新的特性和功能，讓設(shè)備的管理更容易。就拿網(wǎng)絡(luò)為例，通過虛擬網(wǎng)卡和交換機可以在一臺物理機上不同虛擬機之間建立虛擬網(wǎng)絡(luò)，而這不會在物理網(wǎng)絡(luò)上產(chǎn)生任何的流量；允許多個物理網(wǎng)卡綁定成一個虛擬機網(wǎng)卡，提供了很好的容錯能力，同時保持了同一MAC地址。I/O虛擬化的關(guān)鍵是保持虛擬化優(yōu)勢的同時，盡量降低虛擬化給CPU造成的負擔(dān)。Hypervisor虛擬化物理硬件，為每臺虛擬機提供一套標(biāo)準(zhǔn)的虛擬設(shè)備，如上圖所示。這些虛擬設(shè)備高效模擬常見的物理硬件，將虛擬機的請求發(fā)送到物理硬件。該硬件標(biāo)準(zhǔn)化的過程也讓虛擬機標(biāo)準(zhǔn)化，讓虛擬機更容易在各種平臺上自由移動，而無需關(guān)心下面實際的物理硬件類型。 計算資源池總體設(shè)計 設(shè)計原則1) 可靠性云計算中心作為一種公共IT基礎(chǔ)設(shè)施，就如同水和電一樣，成為人們生活的必須，因此，云計算中心能否可靠運轉(zhuǎn)成為云計算中心設(shè)計方案最重要的目標(biāo)。2) 高性能為了滿足高并發(fā)、高吞吐率的訪問，云計算中心的基礎(chǔ)平臺必須有足夠的處理能力。3) 動態(tài)化云計算中心需要負載多種業(yè)務(wù)，而各種業(yè)務(wù)的壓力峰值出現(xiàn)的時機可能不同，因此，云計算中心基礎(chǔ)平臺就需要做到動態(tài)可伸縮，從而保證按需平衡資源供給。4) 可擴展必須保證計算子系統(tǒng)具有高可擴展的能力，從而保護投資，作為分期建設(shè)。5) 自動化實際上，自動化是數(shù)據(jù)中心永恒的追求目標(biāo)，更高的自動化意味著更低的運維成本。6) 節(jié)能降耗大型數(shù)據(jù)中心需要大量的電力，計算子系統(tǒng)作為電力消耗的大頭，需要有切實的措施保證節(jié)能。 整體架構(gòu)大連市交通云計算中心通過虛擬化技術(shù)，將物理的計算資源虛擬成計算資源池，以支撐上層業(yè)務(wù)應(yīng)用。如下圖所示：圖：計算資源池示意圖如上圖，本項目建設(shè)的計算資源池同樣包括兩部分區(qū)域的計算資源池，一部分是GNC區(qū)計算資源池，另一部分是CEGN區(qū)計算資源池。計算資源池主要由基于X86架構(gòu)的服務(wù)器設(shè)備組成。根據(jù)基礎(chǔ)平臺總體架構(gòu)以及網(wǎng)絡(luò)架構(gòu)設(shè)計中對功能區(qū)的劃分原則，將計算設(shè)備按照需要實現(xiàn)的功能劃分為多個功能分區(qū)，支撐不同的上層業(yè)務(wù)應(yīng)用，同時也對應(yīng)不同的安全和管理功能。根據(jù)基礎(chǔ)平臺所承擔(dān)的大連市交通云計算中心應(yīng)用系統(tǒng)的特點和未來35年的業(yè)務(wù)規(guī)劃，可以把計算資源池分為數(shù)據(jù)庫區(qū)、大數(shù)據(jù)量系統(tǒng)支撐區(qū)、DMZ區(qū)、業(yè)務(wù)應(yīng)用邏輯資源區(qū)、Web服務(wù)發(fā)布區(qū)、管理區(qū)。每個區(qū)域部署的位置見如上計算資源池示意圖。其中，數(shù)據(jù)庫區(qū)和大數(shù)據(jù)量系統(tǒng)支撐區(qū)用物理機的形式進行支撐。數(shù)據(jù)庫區(qū)因為數(shù)據(jù)庫應(yīng)用對業(yè)務(wù)并發(fā)量以及安全性等的要求，建議使用X86服務(wù)器集群架構(gòu)進行支撐，而且選用8路X86高性能服務(wù)器以支撐。大連市交通云計算中心支撐各委辦局的業(yè)務(wù)應(yīng)用系統(tǒng)，交通、社保、醫(yī)療等相關(guān)領(lǐng)域存在若干業(yè)務(wù)壓力較大的應(yīng)用系統(tǒng)，這些應(yīng)用系統(tǒng)不適用于通過切分提高資源利用率實現(xiàn)而的虛擬化分區(qū)以支撐，因此這些應(yīng)用系統(tǒng)也要用物理機支撐，同時考慮節(jié)能降耗等因素，考慮用高性能X86刀片服務(wù)器支撐。另外的業(yè)務(wù)應(yīng)用邏輯資源區(qū)、Web服務(wù)發(fā)布區(qū)和DMZ區(qū)通過虛擬化技術(shù)以支撐。Hypervisor通過主機虛擬化技術(shù)，將物理計算資源進行精細切分，可以有效提高計算資源的利用率，通常適用于這些業(yè)務(wù)邏輯計算應(yīng)用等。業(yè)務(wù)資源邏輯區(qū)、Web服務(wù)發(fā)布區(qū)和DMZ區(qū)基于X86架構(gòu)機架式服務(wù)器，通過部署云操作系統(tǒng)的虛擬化管理中心模塊，基于Xen、Vmware等主流虛擬化技術(shù)，提供基本的虛擬機管理、監(jiān)控、分配和使用功能，提供資源靜態(tài)分配及動態(tài)調(diào)度管理功能，如下圖所示：圖：虛擬化管理中心管理區(qū)基于雙路X86服務(wù)器進行構(gòu)建，部署具備HA架構(gòu)的云操作系統(tǒng)，基于云管理平臺的虛擬組織功能，可以根據(jù)計算資源池上運行的應(yīng)用之間的關(guān)聯(lián)關(guān)系，形成虛擬數(shù)據(jù)中心，為大連市交通各委辦局用戶提供更好的使用體驗。如下圖：圖：云管理平臺 實現(xiàn)功能本項目建設(shè)的云計算中心計算資源池相關(guān)分區(qū)主要可實現(xiàn)如下五方面功能：1) 按需自助服務(wù)大連市交通相關(guān)委辦局用戶可以根據(jù)需要通過云計算服務(wù)門戶自助獲取云計算資源，如服務(wù)器的使用時間和網(wǎng)絡(luò)存儲，這個過程對本項目云計算服務(wù)提供者來說可不需人工干預(yù)。2) 廣泛網(wǎng)絡(luò)接入云計算能力可以通過網(wǎng)絡(luò)獲取，并利用標(biāo)準(zhǔn)的機制來促進對各種胖或瘦的客戶平臺的使用。本項目相關(guān)委辦局用戶可以通過包括移動電話、平板電腦、筆記本電腦和工作站等多樣化的終端通過網(wǎng)絡(luò)使用云計算服務(wù)。3) 資源池本項目建設(shè)的計算資源池是一個遵循多租戶模型，為眾多委辦局用戶按需分配和重分配物理的以及虛擬的資源的資源池。用戶可以獲取并使用池中的資源包括：存儲、計算、內(nèi)存和網(wǎng)絡(luò)帶寬。4) 快速彈性獲取資源在某些情況下，計算資源可以自動地被獲取和釋放，以快速的滿足用戶的需求。對于用戶，在任何時間都可以無限制地獲取任意數(shù)量的資源。5) 服務(wù)可測量云計算運營中心自動控制和優(yōu)化資源的使用，其機制是根據(jù)測量，并在某些抽象級別上影響分配給不同類型服務(wù)資源的數(shù)量（如存儲、計算、帶寬、活動用戶數(shù)等）。資源的利用率可以被測量、控制和報告，無論是提供者還是使用者，都可以獲得服務(wù)使用方面的透明度。尤其是從服務(wù)提供者的角度，可以通過可計量的服務(wù)，準(zhǔn)確衡量需要的計算資源量以及未來的需要量，有利于信息化整體規(guī)劃。 計算資源池建設(shè)方案智能高速公路支撐平臺建設(shè)可用若干臺X86服務(wù)器組成虛擬計算資源平臺。業(yè)務(wù)節(jié)點為能承載更多的虛擬機并保證虛擬機性能，建議配置4路處理器，每顆處理器核心數(shù)盡可能多、主頻盡可能高，同時配置大容量內(nèi)存，配置4個千兆自適應(yīng)網(wǎng)口（電口），用于業(yè)務(wù)與管理。同時還考慮兩方面：n 高可用性：即承載某臺虛擬機的物理節(jié)點如果出現(xiàn)故障需要維護，那么需要進行虛擬機動態(tài)遷移，將故障節(jié)點承載的虛擬機動態(tài)遷移到核心應(yīng)用邏輯資源分區(qū)中其他正常工作的物理節(jié)點上以實現(xiàn)高可用性，保證應(yīng)用系統(tǒng)的不中斷；n 彈性擴展：即考慮到未來35年內(nèi)部分部門會上新的應(yīng)用系統(tǒng)，從而需要新的虛擬機資源，到時核心應(yīng)用邏輯資源分區(qū)還有資源可彈性分配給新的應(yīng)用系統(tǒng)。業(yè)務(wù)節(jié)點放置在業(yè)務(wù)區(qū)機柜中。為保證虛擬化動態(tài)遷移時的系統(tǒng)性能，業(yè)務(wù)區(qū)域內(nèi)的若干臺業(yè)務(wù)承載節(jié)點建議按照每個邏輯分區(qū)5~10臺物理節(jié)點的劃分方式分為相應(yīng)數(shù)目的邏輯分區(qū)。 選型建議天闊A620rG是一款2U雙路路64位機架式服務(wù)器，該機型支持AMD Opteron 6200、6300系列處理器。四通道DDR3 ECC內(nèi)存技術(shù)，內(nèi)存容量最大可達1TB。A840rG采用4U機架式設(shè)計，優(yōu)良的外觀工藝水平，模塊化設(shè)計，智能散熱系統(tǒng)和監(jiān)控系統(tǒng)，大大提升了機器可靠性、易用性。能穩(wěn)定運行Windows，Redhat，Vmware等多種主流操作系統(tǒng)，是能適應(yīng)核心級應(yīng)用的新一代服務(wù)器，具有處理速度快、可用性強、易管理、可靠性高等特點。系統(tǒng)還提供多種獨特功能部件，包括熱插拔大功率高效電源，熱插拔風(fēng)扇冗余模組，智能故障指示系統(tǒng)等。TC6600 是一款 10U14 片融合架構(gòu)刀片服務(wù)器，實現(xiàn)了高性能、高密度、可伸縮、方案靈活的產(chǎn)品設(shè)計要求。 TC6600 刀片系統(tǒng)目前支持基于 Intel Grantley 平臺。即 E52600V3 系列的雙路計算刀片、Intel E74800V2 的四路計算刀片、AMD 6300 系列的四路計算刀片，單箱刀片可支持高達 14 片半高計算節(jié)點或 7 片全高計算節(jié)點；可通過模塊化設(shè)計，為計算刀片提供多種網(wǎng)絡(luò)接口：系統(tǒng)可支持 1Gb 以太網(wǎng)絡(luò)，10G 以太網(wǎng)，8G 或 16G FC 網(wǎng)絡(luò)，100G 高速網(wǎng)絡(luò)。對于系統(tǒng)的關(guān)鍵部件和功能模塊，TC6600 采用冗余設(shè)計，實現(xiàn)了企業(yè)級的 RAS 特性，可滿足關(guān)鍵應(yīng)用的需求。曙光“龍芯操作風(fēng)險管理系統(tǒng)（OperaFirm）”是基于龍芯軟硬件一體的系統(tǒng)設(shè)備，是同類中唯一全國產(chǎn)自主知識產(chǎn)權(quán)安全產(chǎn)品。OperaFirm是一款采用全新設(shè)計理念的新一代運維堡壘機系統(tǒng)，可以實現(xiàn)強認證身份管理、細粒度訪問控制、全面的操作追蹤、自適應(yīng)的口令托管和完備的合規(guī)報表等功能，支持UNIX、LINUX、WINDOWS服務(wù)器以及各類網(wǎng)絡(luò)設(shè)備。OperaFirm可廣泛應(yīng)用于政府、公檢法司、軍工、部隊、金融、能源、運營商、交通和互聯(lián)網(wǎng)等對數(shù)據(jù)安全要求較高的領(lǐng)域。曙光XData 大數(shù)據(jù)一體機將數(shù)據(jù)存儲單元和處理單元分離，通過構(gòu)架高效的服務(wù)中間件，將底層采用無共享(sharednothing)結(jié)構(gòu)的數(shù)據(jù)存儲節(jié)點，聚合成一個單一的數(shù)據(jù)處理系統(tǒng)映像，達到較高的