【正文】 近訪問原則，即最近寫入的數(shù)據(jù)在不久的將來被讀出的概率會(huì)比較高，例如文件共享服務(wù)器，某人傳到文件服務(wù)器的文件，很快會(huì)其他人讀出來下載。至此，對(duì)緩存數(shù)據(jù)塊[A1，A2]的重復(fù)讀取直接在客戶端返回，避免了服務(wù)端通信的流程，從而減少了延時(shí)和減輕了底層磁盤的IO壓力。2. 由于該數(shù)據(jù)塊[A1，A2]已經(jīng)有緩存，在SSD讀緩存模塊里面命中索引，從而直接向SSD磁盤發(fā)起讀出緩存數(shù)據(jù)塊[A1，A2]的操作。5. 至此，數(shù)據(jù)塊[A1，A2]就被保存到SSD磁盤內(nèi)，以備下次讀取直接從SSD磁盤讀取。原數(shù)據(jù)塊[A1，A2]繼續(xù)往上返回到上層響應(yīng)讀操作。該讀操作會(huì)直接傳遞到下去，進(jìn)入流程2。下面分別針對(duì)首次文件讀取、二次文件讀取、文件寫入3個(gè)過程說明工作流程。簡(jiǎn)單地看，SSD讀緩存模塊工作在文件訪問入口和服務(wù)端通信層之間。 SSD讀緩存的緩存顆粒度是按文件數(shù)據(jù)塊緩存，不是文件整體。aSAN SSD讀緩存工作在客戶端,（注意：aSAN的SSD寫緩存則工作在服務(wù)端）。首先需要區(qū)分aSAN客戶端和服務(wù)端概念。邏輯視圖如下：從邏輯視圖上，可以看出來和前面提到的單主機(jī)邏輯視圖并沒有本質(zhì)上的區(qū)別，只是最底層的磁盤分組時(shí)，保證了復(fù)制卷內(nèi)下面的磁盤不在同一主機(jī)內(nèi)，從而達(dá)到了文件跨主機(jī)副本的目標(biāo)。以下面場(chǎng)景為列（兩臺(tái)主機(jī)，每臺(tái)主機(jī)各三塊磁盤組建兩個(gè)副本）：當(dāng)構(gòu)建兩副本，并且兩臺(tái)主機(jī)磁盤數(shù)相同時(shí)。即需要做到跨主機(jī)副本。 磁盤管理aSAN磁盤管理服務(wù)根據(jù)集群內(nèi)主機(jī)數(shù)和aSAN初始化時(shí)所選擇的副本數(shù)決定集群內(nèi)所有受管磁盤的組織策略。如果對(duì)文件A進(jìn)行修改，如寫入一段數(shù)據(jù)，這段數(shù)據(jù)會(huì)被同時(shí)寫到兩個(gè)副本文件。磁盤管理、副本分布由底層服務(wù)負(fù)責(zé)，副本顆粒度是文件級(jí)。技術(shù)特點(diǎn)：存儲(chǔ)池可用空間=集群全部機(jī)械磁盤空間/副本數(shù)（同構(gòu)情況），因此副本是會(huì)降低實(shí)際可用容量的。例如兩個(gè)副本，即把文件A同時(shí)保存到磁盤1和磁盤2上。所謂文件副本，即將文件數(shù)據(jù)保存多份的一種冗余技術(shù)。 主機(jī)管理aSAN需要基于VMP集群獲取集群內(nèi)主機(jī)信息，因此在構(gòu)建aSAN時(shí)，首先會(huì)要求建立VMP集群，所以在aSAN的環(huán)境中，至少需要2臺(tái)主機(jī)節(jié)點(diǎn)來構(gòu)建aSAN。 深信服aSAN概述aSAN是深信服在充分掌握了用戶對(duì)虛擬化環(huán)境存儲(chǔ)方面的需求基礎(chǔ)上，推出以aSAN分布式存儲(chǔ)軟件為核心的解決方案， aSAN是基于分布式文件系統(tǒng)Glusterfs開發(fā)的面對(duì)存儲(chǔ)虛擬化的一款產(chǎn)品， 并作為超融合架構(gòu)中的重要組成部分，為云計(jì)算環(huán)境而設(shè)計(jì)，融合了分布式緩存、SSD讀寫緩存加速、多副本機(jī)制保障、故障自動(dòng)重構(gòu)機(jī)制等諸多存儲(chǔ)技術(shù)，能夠滿足關(guān)鍵業(yè)務(wù)的存儲(chǔ)需求，保證客戶業(yè)務(wù)高效穩(wěn)定可靠的運(yùn)行。分布式存儲(chǔ)技術(shù)ServerSAN及其相關(guān)產(chǎn)品已經(jīng)日趨成熟，并在IT行業(yè)得到了廣泛的使用和驗(yàn)證，例如互聯(lián)網(wǎng)搜索引擎中使用的分布式文件存儲(chǔ)，商業(yè)化公有云中使用的分布式塊存儲(chǔ)等。 aSAN存儲(chǔ)虛擬化 存儲(chǔ)虛擬化概述 虛擬后對(duì)存儲(chǔ)帶來的挑戰(zhàn)采用計(jì)算虛擬化技術(shù)給服務(wù)器帶來更高的資源利用率、給業(yè)務(wù)帶來更便捷的部署，降低了TCO，與此同時(shí)，服務(wù)器虛擬化的部署給存儲(chǔ)帶來以下挑戰(zhàn)：相比傳統(tǒng)的物理服務(wù)器方式，單個(gè)存儲(chǔ)系統(tǒng)承載了更多的業(yè)務(wù)，存儲(chǔ)系統(tǒng)需要更強(qiáng)勁的性能來支撐；采用共享存儲(chǔ)方式部署虛擬機(jī)，單個(gè)卷上可能承載幾十或上百的虛擬機(jī)，導(dǎo)致卷IO呈現(xiàn)更多的隨機(jī)特征，這對(duì)傳統(tǒng)的Cache技術(shù)提出挑戰(zhàn)；單個(gè)卷承載多個(gè)虛擬機(jī)業(yè)務(wù)，要求存儲(chǔ)系統(tǒng)具備協(xié)調(diào)虛擬機(jī)訪問競(jìng)爭(zhēng)，保證對(duì)IO吞吐要求高的虛擬機(jī)獲取到資源實(shí)現(xiàn)性能目標(biāo)；單個(gè)卷上承載較多的虛擬機(jī)，需要卷具有很高的IO性能，這對(duì)傳統(tǒng)受限于固定硬盤的RAID技術(shù)提出挑戰(zhàn)。隧道一旦重連成功，usb設(shè)備通信隨即恢復(fù)，對(duì)于guest上層來說，是無感知的。同時(shí)解決上述兩種方案中的缺陷，破除了在虛擬化推廣中外設(shè)映射造成的阻礙。三、采用底層硬件虛擬化加網(wǎng)絡(luò)代理：支持熱遷移、網(wǎng)絡(luò)映射、無需修改guest機(jī)內(nèi)部。二、采用Usb Anywhere：通過使用中間設(shè)備，將中間設(shè)備IP化，然后在虛擬機(jī)上安裝驅(qū)動(dòng)并配置對(duì)端設(shè)備的方式進(jìn)行的。其中類似金蝶等需要通過usb key進(jìn)行應(yīng)用加密的服務(wù)器，轉(zhuǎn)化到虛擬化后，需要將插在虛擬化平臺(tái)上的硬件key，映射給虛擬機(jī)，而且需要滿足虛擬機(jī)熱遷移、跨主機(jī)映射的需求。aSV的動(dòng)態(tài)資源調(diào)度功能其實(shí)現(xiàn)原理：通過跨越集群之間的心跳機(jī)制，定時(shí)監(jiān)測(cè)集群內(nèi)主機(jī)的CPU和內(nèi)存等計(jì)算資源的利用率，并根據(jù)用戶自定義的規(guī)則來判斷是否需要為該主機(jī)在集群內(nèi)尋找有更多可用資源的主機(jī)，以將該主機(jī)上的虛擬機(jī)通過虛擬機(jī)遷移技術(shù)遷移到另外一臺(tái)具有更多合適資源的服務(wù)器上，或者將該服務(wù)器上其它的虛擬機(jī)遷移出去，從而保證某個(gè)關(guān)鍵虛擬機(jī)的資源需求。aSV虛擬化管理平臺(tái)提供的動(dòng)態(tài)資源調(diào)度技術(shù)，通過引入一個(gè)自動(dòng)化機(jī)制，持續(xù)地動(dòng)態(tài)平衡資源能力，將虛擬機(jī)遷移到有更多可用資源的主機(jī)上，確保每個(gè)虛擬機(jī)在任何節(jié)點(diǎn)都能及時(shí)地調(diào)用相應(yīng)的資源。下面任意一種情況發(fā)生，都會(huì)觸發(fā)HA虛擬機(jī)切換主機(jī)，連續(xù)三次檢測(cè)到，虛擬機(jī)所連接的物理網(wǎng)卡被拔出（不包括網(wǎng)卡被禁用情況）連續(xù)兩次檢測(cè)到，虛擬機(jī)當(dāng)前主機(jī)無法訪問虛擬機(jī)的存儲(chǔ)通過aSV的HA技術(shù)，對(duì)業(yè)務(wù)系統(tǒng)提供了高可用性，極大縮短了由于各種主機(jī)物理或者鏈路故障引起的業(yè)務(wù)中斷時(shí)間。在aSV環(huán)境中，如果出現(xiàn)部署了HA的虛擬機(jī)所在主機(jī)的物理口網(wǎng)線被拔出、或存儲(chǔ)不能訪問等出現(xiàn)的物理故障時(shí)，會(huì)將此虛擬機(jī)切換到其他的主機(jī)上運(yùn)行，保障虛擬機(jī)上的業(yè)務(wù)正常使用。通過快虛技術(shù)，既實(shí)現(xiàn)了將應(yīng)用環(huán)境遷移到了虛擬機(jī)環(huán)境中，同時(shí)在現(xiàn)有的物理主機(jī)服務(wù)器之上，快速的構(gòu)建了虛擬化底層的hypervisor。 aSV的特色技術(shù) 快虛在實(shí)際的IT應(yīng)用系統(tǒng)在部署虛擬化的時(shí)候，會(huì)存在虛擬化遷移的需求，為了實(shí)現(xiàn)將windows主機(jī)系統(tǒng)下的應(yīng)用系統(tǒng)平滑的遷移至VM環(huán)境中，除了傳統(tǒng)的P2V、V2V工具，深信服采用技術(shù)創(chuàng)新，基于Windows環(huán)境中，推出了獨(dú)有的快虛技術(shù)。功能價(jià)值：1. 在設(shè)備維護(hù)過程中，通過熱遷移手動(dòng)將應(yīng)用遷移至另一臺(tái)服務(wù)器，維護(hù)結(jié)束后再遷回來，中間應(yīng)用不停機(jī)，減少計(jì)劃內(nèi)宕機(jī)時(shí)間。虛擬機(jī)的熱遷移技術(shù)主要被用于雙機(jī)容錯(cuò)、負(fù)載均衡和節(jié)能降耗等應(yīng)用場(chǎng)景。aSV虛擬機(jī)熱遷移技術(shù)是指把一個(gè)虛擬機(jī)從一臺(tái)物理服務(wù)器遷移到另一臺(tái)物理服務(wù)器上，即虛擬機(jī)保存/恢復(fù)(Save/Restore)。 虛擬機(jī)熱遷移虛擬化環(huán)境中，物理服務(wù)器和存儲(chǔ)上承載更多的業(yè)務(wù)和數(shù)據(jù)，設(shè)備故障時(shí)造成的影響更大。 刪除虛擬機(jī)在虛擬機(jī)生命周期內(nèi)，虛擬機(jī)可能會(huì)在某一個(gè)時(shí)間點(diǎn)經(jīng)歷上述這些狀態(tài)。 虛擬機(jī)備份216。 遷移虛擬機(jī)及/或虛擬機(jī)的存儲(chǔ)資源216。 創(chuàng)建模板216。 虛擬機(jī)開關(guān)機(jī)、重啟、掛起216。當(dāng)然還包含如下幾個(gè)狀態(tài)：216。Fake raid僅提供廉價(jià)的控制器，raid處理開銷仍由CPU負(fù)責(zé)，因此性能與CPU占用基本與software raid持平。主板raid(fake raid)：通過主板內(nèi)建raid控制器創(chuàng)建陣列，由操作系統(tǒng)驅(qū)動(dòng)識(shí)別。 當(dāng)今主流raid實(shí)現(xiàn)方案大致可分為三種：硬件raid(hardware raid)：通過購(gòu)買昂貴的raid卡實(shí)現(xiàn)。通過SRIOV可滿足高網(wǎng)絡(luò) IO 應(yīng)用要求，無需特別安裝驅(qū)動(dòng)，且無損熱遷移、內(nèi)存復(fù)用、虛擬機(jī)網(wǎng)絡(luò)管控等虛擬化特性。SRIOV 虛擬出的通道分為兩個(gè)類型：PF(Physical Function) 是完整的 PCIe 設(shè)備，包含了全面的管理、配置功能， Hypervisor通過 PF 來管理和配置網(wǎng)卡的所有 I/O 資源。通過 SRIOV 一個(gè) PCIe 設(shè)備不僅可以導(dǎo)出多個(gè)PCI 物理功能，還可以導(dǎo)出共享該 I/O 設(shè)備上的資源的一組虛擬功能，每個(gè)虛擬功能都可以被直接分配到一個(gè)虛擬機(jī)，能夠讓網(wǎng)絡(luò)傳輸繞過軟件模擬層，直接分配到虛擬機(jī)，實(shí)現(xiàn)了將 PCI 功能分配到多個(gè)虛擬接口以在虛擬化環(huán)境中共享一個(gè) PCI 設(shè)備的目的，并且降低了軟加模擬層中的 I/O 開銷，因此實(shí)現(xiàn)了接近本機(jī)的性能。aSV虛擬化平臺(tái)提供的 SRIOV 是一種不需要軟件模擬就可以共享 I/O 設(shè)備 I/O 端口的物理功能的方法，主要利用 iNIC 實(shí)現(xiàn)網(wǎng)橋卸載虛擬網(wǎng)卡，允許將物理網(wǎng)絡(luò)適配器的 SRIOV 虛擬功能直接分配給虛擬機(jī)，可以提高網(wǎng)絡(luò)吞吐量，并縮短網(wǎng)絡(luò)延遲，同時(shí)減少處理網(wǎng)絡(luò)流量所需的主機(jī) CPU 開銷。深信服的aSV支持NUMA技術(shù)，使得hypervisor和上層OS內(nèi)存互連，這樣OS不會(huì)在CPU和NUMA節(jié)點(diǎn)之間遷移工作負(fù)載。NUMA對(duì)虛擬機(jī)負(fù)載不存在任何兼容性問題，但是理論上虛擬機(jī)最完美的方式應(yīng)該是在某個(gè)NUMA節(jié)點(diǎn)內(nèi)。某個(gè)處理器當(dāng)然可以訪問位于不同區(qū)域上的內(nèi)存數(shù)據(jù)，但是需要更多本地NUMA節(jié)點(diǎn)之外的傳輸，并且需要目標(biāo)NUMA節(jié)點(diǎn)的確認(rèn)。NUMA本質(zhì)上為每個(gè)處理器配置了獨(dú)有的整體系統(tǒng)緩存，減少了多處理器試圖訪問統(tǒng)一內(nèi)存空間時(shí)的爭(zhēng)用和延遲。NUMA的概念跟緩存相關(guān)。這是通過對(duì)服務(wù)器每個(gè)CPU的內(nèi)存進(jìn)行分區(qū)來實(shí)現(xiàn)的。實(shí)際上，CPU僅需要訪問工作負(fù)載實(shí)際運(yùn)行時(shí)所需的內(nèi)存空間就可以了。但是這種傳統(tǒng)的統(tǒng)一訪問方式，在多核心同時(shí)訪問內(nèi)存空間時(shí)會(huì)導(dǎo)致資源爭(zhēng)用和性能問題。 aSV的技術(shù)特性 內(nèi)存NUMA技術(shù) 非統(tǒng)一內(nèi)存訪問（NUMA）是服務(wù)器CPU和內(nèi)存設(shè)計(jì)的新架構(gòu)。直接劃分：即直接將物理設(shè)備分配給某個(gè) Guest OS，由 Guest OS 直接訪問 I/O 設(shè)備（不經(jīng) VMM），目前與此相關(guān)的技術(shù)有 IOMMU（Intel VTd, PCISIG 之 SRIOV 等），旨在建立高效的I/O 虛擬化直通道。前端／后端模擬：VMM 提供一個(gè)簡(jiǎn)化的驅(qū)動(dòng)程序（后端, BackEnd），Guest OS 中的驅(qū)動(dòng)程序?yàn)榍岸?FrontEnd, FE)，前端驅(qū)動(dòng)將來自其他模塊的請(qǐng)求通過與 Guest OS 間的特殊通信機(jī)制直接發(fā)送給 Guest OS 的后端驅(qū)動(dòng)，后端驅(qū)動(dòng)在處理完請(qǐng)求后再發(fā)回通知給前端，VMM 即采用該方法。設(shè)備接口完全模擬：即軟件精確模擬與物理設(shè)備完全一樣的接口，Guest OS 驅(qū)動(dòng)無須修改就能驅(qū)動(dòng)這個(gè)虛擬設(shè)備。使用內(nèi)存的硬件輔助虛擬化技術(shù)，客戶機(jī)運(yùn)行過程中無需 VMM 干預(yù)，去除了大量軟件開銷，內(nèi)存訪問性能接近物理機(jī)。內(nèi)存硬件輔助虛擬化內(nèi)存硬件輔助虛擬化技術(shù)原理圖內(nèi)存的硬件輔助虛擬化技術(shù)是用于替代虛擬化技術(shù)中軟件實(shí)現(xiàn)的“影子頁(yè)表”的一種硬件輔助虛擬化技術(shù)，其基本原理是：GVA（客戶操作系統(tǒng)的虛擬地址） GPA（客戶操作系統(tǒng)的物理地址） HPA（宿主操作系統(tǒng)的物理地址）兩次地址轉(zhuǎn)換都由 CPU 硬件自動(dòng)完成（軟件實(shí)現(xiàn)內(nèi)存開銷大、性能差）。后VMM 會(huì)根據(jù)自己所維護(hù)的映射關(guān)系，將頁(yè)表項(xiàng)中的物理地址替換為相應(yīng)的機(jī)器地址，最后再把修改過的頁(yè)表載入 MMU。MMU Paravirtualization其基本原理是：當(dāng) Guest OS 創(chuàng)建一個(gè)新的頁(yè)表時(shí)，會(huì)從它所維護(hù)的空閑內(nèi)存中分配一個(gè)頁(yè)面，并向 VMM 注冊(cè)該頁(yè)面，VMM 會(huì)剝奪 Guest OS 對(duì)該頁(yè)表的寫權(quán)限，之后 GuestOS 對(duì)該頁(yè)表的寫操作都會(huì)陷入到 VMM 加以驗(yàn)證和轉(zhuǎn)換。如果虛擬機(jī)的每個(gè)內(nèi)存訪問都需要 VMM 介入，并由軟件模擬地址轉(zhuǎn)換的效率是很低下的，幾乎不具有實(shí)際可用性，為實(shí)現(xiàn)虛擬地址到機(jī)器地址的高效轉(zhuǎn)換，現(xiàn)普遍采用的思想是：由 VMM 根據(jù)映射 f 和g 生成復(fù)合的映射 fg，并直接將這個(gè)映射關(guān)系寫入 MMU。l 頁(yè)表虛擬化技術(shù)普通 MMU 只能完成一次虛擬地址到物理地址的映射，在虛擬機(jī)環(huán)境下，經(jīng)過 MMU 轉(zhuǎn)換所得到的“物理地址”并不是真正的機(jī)器地址。Guest OS 維護(hù)一套頁(yè)表，負(fù)責(zé) VA 到PA 的映射。內(nèi)存虛擬化內(nèi)存虛擬化三層模型因?yàn)?VMM (Virtual Machine Monitor) 掌控所有系統(tǒng)資源，因此 VMM 握有整個(gè)內(nèi)存資源，其負(fù)責(zé)頁(yè)式內(nèi)存管理，維護(hù)虛擬地址到機(jī)器地址的映射關(guān)系。vCPU 調(diào)度器負(fù)責(zé)物理處理器資源在各個(gè)虛擬機(jī)之間的分配與調(diào)度,本質(zhì)上即把各個(gè)虛擬機(jī)中的 vCPU 按照一定的策略和機(jī)制調(diào)度在物理處理單元上可以采用任意的策略來分配物理資源, 滿足虛擬機(jī)的不同需求。虛擬機(jī)監(jiān)視器負(fù)責(zé)第 1 級(jí)調(diào)度, 即 vCPU 在物理處理單元上的調(diào)度。 從虛擬機(jī)系統(tǒng)的結(jié)構(gòu)與功能劃分可以看出，客戶操作系統(tǒng)與虛擬機(jī)監(jiān)視器共同構(gòu)成了虛擬機(jī)系統(tǒng)的兩級(jí)調(diào)度框架，如圖所示是一個(gè)多核環(huán)境下虛擬機(jī)系統(tǒng)的兩級(jí)調(diào)度框架。在 VMM 中，每個(gè) vCPU 對(duì)應(yīng)一個(gè) VMCS（VirtualMachineControl Structure）結(jié)構(gòu)，當(dāng) vcpu 被從物理 CPU 上切換下來的時(shí)候，其運(yùn)行上下文會(huì)被保存在其對(duì)應(yīng)的 VMCS 結(jié)構(gòu)中；當(dāng) vcpu 被切換到 pcpu 上運(yùn)行時(shí)，其運(yùn)行上下文會(huì)從對(duì)應(yīng)的 VMCS 結(jié)構(gòu)中導(dǎo)入到物理 CPU 上。l vCPU 機(jī)制vCPU 調(diào)度機(jī)制對(duì)虛擬機(jī)來說，不直接感知物理 CPU，虛擬機(jī)的計(jì)算單元通過 vCPU 對(duì)象來呈現(xiàn)。硬件輔助虛擬化技術(shù)消除了操作系統(tǒng)的 ring 轉(zhuǎn)換問題，降低了虛擬化門檻，支持任何操作系統(tǒng)的虛擬化而無須修改 OS 內(nèi)核，得到了虛擬化軟件廠商的支持。這樣，既能使 VMM運(yùn)行在 0 環(huán)，也能使 Guest OS 運(yùn)行在 0 環(huán)，避免了修改 Guest OS。VMM 運(yùn)作在 Root 操作模式下，而 Guest OS 運(yùn)行在 Nonroot 操作模式下。X86“硬件輔助虛擬化”：其基本思想就是引入新的處理器運(yùn)行模式和新的指令，使得 VMM 和 Guest OS 運(yùn)行于不同的模式下，Guest OS 運(yùn)行于受控模式，原來的一些敏感指令在受控模式下全部會(huì)陷入 VMM，這樣就解決了部分非特權(quán)的敏感指令的“陷入模擬”難題，而且模式切換時(shí)上下文的保存恢復(fù)由硬件來完成，這樣就大大提高了“陷入模擬”時(shí)上下文切換的效率。X86“半虛擬化”（指需 OS 協(xié)助的虛擬化，在其上運(yùn)行的 OS 需要修改）半虛擬化的基本思想是通過修改 Guest OS 的代碼，將含有敏感指令的操作，替換為對(duì) VMM的超調(diào)用 Hypercall，類似 OS 的系統(tǒng)調(diào)用，將控制