【文章內(nèi)容簡介】 會(huì)在CPU和NUMA節(jié)點(diǎn)之間遷移工作負(fù)載。 SRIOV功能描述：通常針對(duì)虛擬化服務(wù)器的技術(shù)是通過軟件模擬共享和虛擬化網(wǎng)絡(luò)適配器的一個(gè)物理端口，以滿足虛擬機(jī)的 I/O 需求，模擬軟件的多個(gè)層為虛擬機(jī)作了 I/O 決策，因此導(dǎo)致環(huán)境中出現(xiàn)瓶頸并影響 I/O 性能。FusionSphere 虛擬化平臺(tái)提供的 SRIOV 是一種不需要軟件模擬就可以共享 I/O 設(shè)備 I/O 端口的物理功能的方法，主要利用 iNIC 實(shí)現(xiàn)網(wǎng)橋卸載虛擬網(wǎng)卡，允許將物理網(wǎng)絡(luò)適配器的 SRIOV 虛擬功能直接分配給虛擬機(jī)，可以提高網(wǎng)絡(luò)吞吐量，并縮短網(wǎng)絡(luò)延遲，同時(shí)減少處理網(wǎng)絡(luò)流量所需的主機(jī) CPU 開銷。技術(shù)原理：SRIOV（Single Root I/O Virtualization）是 PCISIG 推出的一項(xiàng)標(biāo)準(zhǔn)，是虛擬通道（在物理網(wǎng)卡上對(duì)上層軟件系統(tǒng)虛擬出多個(gè)物理通道，每個(gè)通道具備獨(dú)立的 I/O 功能）的一個(gè)技術(shù)實(shí)現(xiàn)，用于將一個(gè) PCIe 設(shè)備虛擬成多個(gè) PCIe 設(shè)備，每個(gè)虛擬 PCIe 設(shè)備如同物理 PCIe 設(shè)備一樣向上層軟件提供服務(wù)。通過 SRIOV 一個(gè) PCIe 設(shè)備不僅可以導(dǎo)出多個(gè)PCI 物理功能，還可以導(dǎo)出共享該 I/O 設(shè)備上的資源的一組虛擬功能，每個(gè)虛擬功能都可以被直接分配到一個(gè)虛擬機(jī)，能夠讓網(wǎng)絡(luò)傳輸繞過軟件模擬層，直接分配到虛擬機(jī)，實(shí)現(xiàn)了將 PCI 功能分配到多個(gè)虛擬接口以在虛擬化環(huán)境中共享一個(gè) PCI 設(shè)備的目的，并且降低了軟加模擬層中的 I/O 開銷，因此實(shí)現(xiàn)了接近本機(jī)的性能。如圖所示，在這個(gè)模型中，不需要任何透傳，因?yàn)樘摂M化在終端設(shè)備上發(fā)生，允許管理程序簡單地將虛擬功能映射到 VM 上以實(shí)現(xiàn)本機(jī)設(shè)備性能和隔離安全。SRIOV 虛擬出的通道分為兩個(gè)類型：PF(Physical Function) 是完整的 PCIe 設(shè)備，包含了全面的管理、配置功能， Hypervisor通過 PF 來管理和配置網(wǎng)卡的所有 I/O 資源。VF(Virtual Funciton)是一個(gè)簡化的 PCIe 設(shè)備，僅僅包含了 I/O 功能，通過 PF 衍生而來好象物理網(wǎng)卡硬件資源的一個(gè)切片，對(duì)于 Hypervisor 來說，這個(gè) VF 同一塊普通的 PCIe網(wǎng)卡一模一樣?？蛻魞r(jià)值：可滿足高網(wǎng)絡(luò) IO 應(yīng)用要求，無需特別安裝驅(qū)動(dòng)，且無損熱遷移、內(nèi)存復(fù)用、虛擬機(jī)網(wǎng)絡(luò)管控等虛擬化特性。 Faikraid一般情況下，當(dāng)主機(jī)系統(tǒng)有多塊硬盤時(shí)，通過組建Raid以提升磁盤性能或提供磁盤冗余，往往成為人們的首選考量。 當(dāng)今主流raid實(shí)現(xiàn)方案大致可分為三種：硬件raid(hardware raid)：通過購買昂貴的raid卡實(shí)現(xiàn)。軟件raid(software raid)：通過操作系統(tǒng)內(nèi)軟件創(chuàng)建陣列，raid處理開銷由CPU負(fù)責(zé)。主板raid(fake raid)：通過主板內(nèi)建raid控制器創(chuàng)建陣列，由操作系統(tǒng)驅(qū)動(dòng)識(shí)別。相對(duì)于昂貴的硬件，主板raid(fake raid)就成了我們不錯(cuò)的選擇。Fake raid僅提供廉價(jià)的控制器，raid處理開銷仍由CPU負(fù)責(zé)，因此性能與CPU占用基本與software raid持平。 如果只有單個(gè)linux系統(tǒng)，使用software raid一般比fake raid更健壯，但是，在多啟動(dòng)環(huán)境中(例如windows與linux雙系統(tǒng))，為了使各個(gè)系統(tǒng)都能正確操作相同的raid分區(qū)，就必須使用fake raid了。Linux下最重要的raid管理程序?yàn)镸D RAID。MD RAID是過濾不同文件系統(tǒng)（比如說ext2）和比較低級(jí)的磁盤驅(qū)動(dòng)（比如說AHCI驅(qū)動(dòng)和SAS驅(qū)動(dòng)）之間數(shù)據(jù)的塊設(shè)備驅(qū)動(dòng)程序。以Intel的主板為例，在BIOS中有一塊可選的只讀存儲(chǔ)器元件（或者光學(xué)只讀存儲(chǔ)器）可以創(chuàng)建Intel 快速存儲(chǔ)RAID卷并且在啟動(dòng)之前的環(huán)境中提供管理Intel 快速存儲(chǔ)RAID卷的界面。在BIOS把控制權(quán)交給系統(tǒng)啟動(dòng)引導(dǎo)程序之前，這個(gè)只讀存儲(chǔ)在系統(tǒng)內(nèi)存中留下自己支持的RAID類型，比如RAID 5。RAID管理程序MD RAID會(huì)讀到這份數(shù)據(jù)，并決定當(dāng)創(chuàng)建Intel 快速存儲(chǔ)RAID卷時(shí)該使用哪種RAID類型。aSV 融入了對(duì)FakeRAID的支持，現(xiàn)可支持FakeRAID安裝與使用FakeRAID存儲(chǔ)，目前可以使用intel模式的raid0，raid1，raid5，raid10，LSI模式的raid0 虛擬機(jī)生命周期管理aSV提供了虛擬機(jī)從創(chuàng)建至刪除整個(gè)過程中的全面管理，就像人類的生命周期一樣，虛擬機(jī)最基本的生命周期就是創(chuàng)建、使用和刪除這三個(gè)狀態(tài)。當(dāng)然還包含如下幾個(gè)狀態(tài)：創(chuàng)建虛擬機(jī)在虛擬機(jī)中安裝操作系統(tǒng)創(chuàng)建模板更新虛擬機(jī)硬件遷移虛擬機(jī)及/或虛擬機(jī)的存儲(chǔ)資源分析虛擬機(jī)的資源利用情況為虛擬機(jī)選擇數(shù)量合適的內(nèi)存或磁盤資源/調(diào)整資源數(shù)量虛擬機(jī)備份虛擬機(jī)恢復(fù)刪除虛擬機(jī)在虛擬機(jī)生命周期內(nèi)，虛擬機(jī)可能會(huì)在某一個(gè)時(shí)間點(diǎn)經(jīng)歷上述這些狀態(tài)。aSV提供了完善的虛擬機(jī)生命周期管理工具，我們可以通過對(duì)虛擬機(jī)生命周期的規(guī)劃，想要最大化的發(fā)揮虛擬機(jī)的作用。 虛擬交換機(jī)虛擬交換機(jī)是虛擬網(wǎng)絡(luò)和物理網(wǎng)絡(luò)的紐帶，虛擬交換機(jī)運(yùn)行在虛擬服務(wù)器的Hypervisor內(nèi)部， 虛擬機(jī)之間的流量、 虛擬機(jī)到物理網(wǎng)絡(luò)之間的流量均通過vSwitch轉(zhuǎn)發(fā)。如圖：aSV提供了完善的虛擬交換機(jī)功能，包括：虛擬交換機(jī)端口Vlan的劃分，二層端口的類型切換，廣播風(fēng)暴的抑制，端口流量的統(tǒng)計(jì)，端口的狀態(tài)監(jiān)控。 動(dòng)態(tài)資源調(diào)度在虛擬化環(huán)境中，如果生產(chǎn)環(huán)境的應(yīng)用整合到硬件資源相對(duì)匱乏的物理主機(jī)上，虛擬機(jī)的資源需求往往會(huì)成為瓶頸，全部資源需求很有可能超過主機(jī)的可用資源，這樣業(yè)務(wù)系統(tǒng)的性能也無法保障。aSV虛擬化管理平臺(tái)提供的動(dòng)態(tài)資源調(diào)度特性引入一個(gè)自動(dòng)化機(jī)制，通過持續(xù)地動(dòng)態(tài)平衡資源能力，將虛擬機(jī)遷移到有更多可用資源的主機(jī)上，確保每個(gè)虛擬機(jī)在任何節(jié)點(diǎn)都能及時(shí)地調(diào)用相應(yīng)的資源。即便大量運(yùn)行對(duì)CPU和內(nèi)存占用較高的虛擬機(jī)（比如數(shù)據(jù)庫虛擬機(jī)），只要開啟了動(dòng)態(tài)資源調(diào)度功能，就可實(shí)現(xiàn)全自動(dòng)化的資源分配和負(fù)載平衡功能，也可以顯著地降低數(shù)據(jù)中心的成本與運(yùn)營費(fèi)用。aSV的動(dòng)態(tài)資源調(diào)度功能通過跨越集群之間的心跳機(jī)制，定時(shí)監(jiān)測(cè)集群內(nèi)主機(jī)的CPU和內(nèi)存等計(jì)算資源的利用率，并根據(jù)用戶自定義的規(guī)則來判斷是否需要為該主機(jī)在集群內(nèi)尋找有更多可用資源的主機(jī)，以將該主機(jī)上的虛擬機(jī)遷移到另外一臺(tái)具有更多合適資源的服務(wù)器上，或者將該服務(wù)器上其它的虛擬機(jī)遷移出去，從而保證某個(gè)關(guān)鍵虛擬機(jī)的資源需求。 aSV的特色技術(shù) 快虛在實(shí)際的IT應(yīng)用系統(tǒng)在部署虛擬化的時(shí)候，會(huì)存在虛擬化遷移的需求，為了實(shí)現(xiàn)將windows主機(jī)系統(tǒng)下的應(yīng)用系統(tǒng)平滑的遷移至VM環(huán)境中，除了傳統(tǒng)的P2V、V2V工具，深信服采用技術(shù)創(chuàng)新，基于Windows環(huán)境中，推出了獨(dú)有的快虛技術(shù)?？焯摷夹g(shù)實(shí)現(xiàn)原理為：在Windows環(huán)境下，先創(chuàng)建一個(gè)虛擬磁盤文件, 并使用Windows驅(qū)動(dòng)程序?qū)μ摂M磁盤進(jìn)行保護(hù)，保證虛擬磁盤文件占用的物理扇區(qū)不會(huì)被移動(dòng). 獲取虛擬磁盤文件所占的物理簇信息，并保存到當(dāng)前系統(tǒng)盤下的配置文件中, 安裝aSV的引導(dǎo)程序以及內(nèi)核到當(dāng)前Windows系統(tǒng)盤下，安裝系統(tǒng)引導(dǎo)程序，并向系統(tǒng)引導(dǎo)中添加aSV的引導(dǎo)項(xiàng)，默認(rèn)引導(dǎo)到aSV系統(tǒng). 當(dāng)在aSV中向虛擬磁盤讀寫數(shù)據(jù)時(shí)，虛擬磁盤驅(qū)動(dòng)根據(jù)讀寫的扇區(qū)位置重新定位到虛擬磁盤文件所對(duì)應(yīng)的物理扇區(qū)，實(shí)現(xiàn)數(shù)據(jù)的存取，下次進(jìn)入aSV系統(tǒng)后仍然可以讀寫已有數(shù)據(jù)。通過快虛技術(shù)，既實(shí)現(xiàn)了將應(yīng)用環(huán)境遷移到了虛擬機(jī)環(huán)境中，同時(shí)在現(xiàn)有的物理主機(jī)服務(wù)器之上，快速的構(gòu)建了虛擬化底層的hypervisor。 虛擬機(jī)熱遷移虛擬化環(huán)境中，物理服務(wù)器和存儲(chǔ)上承載更多的業(yè)務(wù)和數(shù)據(jù)，設(shè)備故障時(shí)造成的影響更大。 aSV虛擬化平臺(tái)提供虛擬機(jī)熱遷移和虛擬機(jī)熱備份技術(shù)，降低宕機(jī)帶來的風(fēng)險(xiǎn)、減少業(yè)務(wù)中斷的時(shí)間。aSV虛擬化平臺(tái)熱遷移技術(shù)是指把一個(gè)虛擬機(jī)從一臺(tái)物理服務(wù)器遷移到另一臺(tái)物理服務(wù)器上，即虛擬機(jī)保存/恢復(fù)(Save/Restore)。首先將整個(gè)虛擬機(jī)的運(yùn)行狀態(tài)完整保存下來，同時(shí)可以快速的恢復(fù)到目標(biāo)硬件平臺(tái)上，恢復(fù)以后虛擬機(jī)仍舊平滑運(yùn)行，用戶不會(huì)察覺到任何差異。虛擬機(jī)的熱遷移技術(shù)主要被用于雙機(jī)容錯(cuò)、負(fù)載均衡和節(jié)能降耗等應(yīng)用場景。 aSV虛擬化平臺(tái)熱遷移提供內(nèi)存壓縮技術(shù)，使熱遷移效率提升一倍，可支持并發(fā) 8 臺(tái)虛擬機(jī)同時(shí)遷移。功能價(jià)值：1. 在設(shè)備維護(hù)過程中，通過熱遷移手動(dòng)將應(yīng)用遷移至另一臺(tái)服務(wù)器，維護(hù)結(jié)束后再遷回來，中間應(yīng)用不停機(jī)，減少計(jì)劃內(nèi)宕機(jī)時(shí)間。2. 可結(jié)合資源動(dòng)態(tài)調(diào)度策略，例如在夜晚虛擬機(jī)負(fù)荷減少時(shí)，通過預(yù)先配置自動(dòng)將虛擬機(jī)遷移集中至部分服務(wù)器，減少服務(wù)器的運(yùn)行數(shù)量，從而降低設(shè)備運(yùn)營能耗上的支出。 虛擬磁盤加密在虛擬化環(huán)境中，虛擬機(jī)的磁盤文件是沒有加密的，磁盤中的業(yè)務(wù)數(shù)據(jù)會(huì)存在泄漏的威脅。而對(duì)于數(shù)據(jù)保密程度要求較高的場景，可采用磁盤加密技術(shù)，保證即使磁盤文件被竊取了，也無法獲取其中的數(shù)據(jù)。aSV提供了磁盤加密技術(shù)，保障用戶業(yè)務(wù)的磁盤數(shù)據(jù)的安全防泄漏。aSV環(huán)境中，虛擬機(jī)鏡像是Qcow2格式的，Qcow2自身就支持用戶數(shù)據(jù)加密功能，VMP在其加密功能的基礎(chǔ)上進(jìn)行了修改，使其更加健壯。Qcow2只支持AES加密算法，VMP為其添加了RC4加密算法。VMP環(huán)境中僅支持對(duì)Qcow2格式的鏡像文件進(jìn)行加密，加密算法選用RC4，且不可以更換。虛擬機(jī)鏡像文件的密鑰（以下簡稱密碼）由VDC管理，當(dāng)VDC通過VMP接口操作虛擬機(jī)時(shí)，可以指定磁盤是否需要加密及對(duì)應(yīng)的密碼。如果一個(gè)虛擬機(jī)有多個(gè)磁盤需要加密，各磁盤可以分別指定密碼。虛擬機(jī)一旦創(chuàng)建成功，密碼不允許修改。VMP環(huán)境中使用密碼時(shí)，會(huì)修改命令行參數(shù)中的密碼字符串為“*”，防止管理員通過ps命令查看到密碼。前面提到的保存在鏡像文件中的經(jīng)過加密的密鑰，為了防止使用密碼字典或窮舉等方式暴力破解加密的鏡像文件，要求加密函數(shù)的執(zhí)行時(shí)間不能太短，可以使用重復(fù)加密的方式來達(dá)到這個(gè)目的。 虛擬機(jī)的HAHA全稱是High Availability(高可用性)。在aSV環(huán)境中，HA虛擬機(jī)所連接的物理口網(wǎng)線被拔出、或存儲(chǔ)不能訪問時(shí)，會(huì)將此虛擬機(jī)切換到其他的主機(jī)運(yùn)行，保障虛擬機(jī)上的業(yè)務(wù)正常使用。aSV存在后臺(tái)進(jìn)程，通過輪詢的機(jī)制，每隔5s檢測(cè)一次虛擬機(jī)狀態(tài)是否異常，發(fā)現(xiàn)異常時(shí)，切換HA虛擬機(jī)到其他主機(jī)運(yùn)行。下面任意一種情況發(fā)生，都會(huì)觸發(fā)HA虛擬機(jī)切換主機(jī)，連續(xù)三次檢測(cè)到，虛擬機(jī)所連接的物理網(wǎng)卡被拔出（不包括網(wǎng)卡被禁用情況）連續(xù)兩次檢測(cè)到，虛擬機(jī)當(dāng)前主機(jī)無法訪問虛擬機(jī)的存儲(chǔ)通過aSV的HA技術(shù)，對(duì)業(yè)務(wù)系統(tǒng)提供了高可用性，極大縮短了由于各種故障引起的業(yè)務(wù)中斷時(shí)間。 多USB映射當(dāng)物理服務(wù)器部署虛擬化之后。其中類似金蝶等需要通過usb key進(jìn)行應(yīng)用加密的服務(wù)器，轉(zhuǎn)化到虛擬化后，需要將插在虛擬化平臺(tái)上的硬件key，映射給虛擬機(jī)，而且需要滿足虛擬機(jī)熱遷移、跨主機(jī)映射的需求。 業(yè)界給出的方案有三種：一、采用主機(jī)映射：直接采用主機(jī)映射的方式來完成，缺點(diǎn)是不支持網(wǎng)絡(luò)映射,無法支持熱遷移、網(wǎng)絡(luò)映射的需求。二、采用Usb Anywhere：通過使用中間設(shè)備，將中間設(shè)備IP化，然后在虛擬機(jī)上安裝驅(qū)動(dòng)并配置對(duì)端設(shè)備的方式進(jìn)行的。缺點(diǎn)是需要guest虛擬機(jī)內(nèi)部進(jìn)行修改安裝特定軟件，與第三方應(yīng)用進(jìn)行配合才能完成。三、采用底層硬件虛擬化加網(wǎng)絡(luò)代理：支持熱遷移、網(wǎng)絡(luò)映射、無需修改guest機(jī)內(nèi)部。最終實(shí)現(xiàn)，物理設(shè)備遷移到虛擬化平臺(tái)后，可以直接無縫的操作讀取原usb硬件設(shè)備。同時(shí)解決上述兩種方案中的缺陷，破除了在虛擬化推廣中，外設(shè)映射造成的阻礙。熱遷移功能的實(shí)現(xiàn)機(jī)制：由于整體方案是基于網(wǎng)絡(luò)代理處理，所以在遷移到對(duì)端設(shè)備，進(jìn)行虛擬機(jī)切換時(shí)，發(fā)送消息，觸發(fā)usb服務(wù)程序修改連接的目的端ip，然后發(fā)起網(wǎng)絡(luò)重連。隧道一旦重連成功，usb設(shè)備通信隨即恢復(fù)，保障了guest上層來說，是無感知的。aSV采用上述的第三種方案，融入了對(duì)多USB的支持，帶來的優(yōu)勢(shì)有：usb設(shè)備動(dòng)態(tài)插入提示guest虛擬機(jī)無需安裝插件；能支持熱遷移，跨主機(jī)映射，適應(yīng)VMP集群環(huán)境；虛擬機(jī)遷移完成可以自動(dòng)掛載上原usb設(shè)備；可以簡化集成為類似usb hub的小設(shè)備，與VMP配套，搭建usb映射環(huán)境；虛擬機(jī)故障重啟、目標(biāo)端usb設(shè)備網(wǎng)絡(luò)中斷等異常情況恢復(fù)后自動(dòng)重映射。 aSAN存儲(chǔ)虛擬化 存儲(chǔ)虛擬化概述 虛擬后對(duì)存儲(chǔ)帶來的挑戰(zhàn)虛擬機(jī)技術(shù)給服務(wù)器帶來更高的利用率、給業(yè)務(wù)帶來更便捷的部署，降低了TCO，與此同時(shí)，虛擬機(jī)應(yīng)用給存儲(chǔ)帶來以下挑戰(zhàn)：第一，相比傳統(tǒng)的物理服務(wù)器方式，單個(gè)存儲(chǔ)系統(tǒng)承載了更多的業(yè)務(wù)，存儲(chǔ)系統(tǒng)需要更強(qiáng)勁的性能來支撐；第二，采用共享存儲(chǔ)方式部署虛擬機(jī)，單個(gè)卷上可能承載幾十或上百的虛擬機(jī)，導(dǎo)致卷IO呈現(xiàn)更多的隨機(jī)特征，這對(duì)傳統(tǒng)的Cache技術(shù)提出挑戰(zhàn)；第三，單個(gè)卷承載多個(gè)虛擬機(jī)業(yè)務(wù)，要求存儲(chǔ)系統(tǒng)具備協(xié)調(diào)虛擬機(jī)訪問競爭，保證對(duì)QoS要求高的虛擬機(jī)獲取到資源實(shí)現(xiàn)性能目標(biāo)；第四，單個(gè)卷上承載較多的虛擬機(jī)，需要卷具有很高的IO性能，這對(duì)傳統(tǒng)受限于固定硬盤的RAID技術(shù)提出挑戰(zhàn)；第五，虛擬機(jī)的廣泛使用，需要更加高效的技術(shù)來提高虛擬機(jī)的部署效率，加快新業(yè)務(wù)的上線時(shí)間。 分布式存儲(chǔ)技術(shù)的發(fā)展業(yè)界典型的分布式存儲(chǔ)技術(shù)主要有分布式文件系統(tǒng)存儲(chǔ)、分布式對(duì)象存儲(chǔ)和分布式塊設(shè)備存儲(chǔ)等幾種形式。分布式存儲(chǔ)技術(shù)及其軟件產(chǎn)品已經(jīng)日趨成熟，并在IT行業(yè)得到了廣泛的使用和驗(yàn)證，例如互聯(lián)網(wǎng)搜索引擎中使用的分布式文件存儲(chǔ)，商業(yè)化公有云中使用的分布式塊存儲(chǔ)等。分布式存儲(chǔ)軟件系統(tǒng)具有以下特點(diǎn)：第一，高性能：數(shù)據(jù)分散存放，實(shí)現(xiàn)全局負(fù)載均衡，不存在集中的數(shù)據(jù)熱點(diǎn)，大容量分布式緩存；第二，高可靠：采用集群管理方式，不存在單點(diǎn)故障，靈活配置多數(shù)據(jù)副本，不同數(shù)據(jù)副本存放在不同的機(jī)架、服務(wù)器和硬盤上，單個(gè)物理設(shè)備故障不影響業(yè)務(wù)的使用，系統(tǒng)檢測(cè)到設(shè)備故障后可以自動(dòng)重建數(shù)據(jù)副本；第三，高擴(kuò)展：沒有集中式機(jī)頭，支持平滑擴(kuò)容，容量幾乎不受限制；第四，易管理：存儲(chǔ)軟件直接部署在服務(wù)器上，沒有單獨(dú)的存儲(chǔ)專用硬件設(shè)備，通過Web UI的