【正文】 SSD寫緩存模塊結構SSD寫緩存原理是在機械硬盤上增加一層SSD寫緩存層，見下圖：13上層IO輸入模塊SSD磁盤52SSD寫緩存模塊機械磁盤4SSD寫緩存數(shù)據(jù)流分成藍色和紅色兩部分。這兩部分是同時在運行的，沒有先后關系。藍色部分是虛擬機有數(shù)據(jù)寫入SSD緩存，紅色部分是從SSD緩存讀出數(shù)據(jù)回寫到機械磁盤。流程如下： 上層寫入數(shù)據(jù)請求到達SSD寫緩存模塊 SSD寫緩存模塊把數(shù)據(jù)寫入到SSD磁盤，并獲得返回值。 SSD寫緩存模塊在確定數(shù)據(jù)寫入SSD磁盤后，即立即返回上層模塊寫入成功 SSD寫緩存模塊在緩存數(shù)據(jù)累計到一定量后，從SSD磁盤讀出數(shù)據(jù) SSD寫緩存把從SSD磁盤讀出的數(shù)據(jù)回寫到機械磁盤。其中，第5步是在后臺自動進行的，不會干擾第3步的邏輯。 SSD寫緩存數(shù)據(jù)讀命中從SSD磁盤回寫到機械磁盤是需要累積一定數(shù)據(jù)量后才會進行觸發(fā)的。這時如果來了一個讀數(shù)據(jù)的請求，SSD寫緩存模塊會先確認該讀請求是否在SSD寫緩存數(shù)據(jù)內，如果有則從SSD緩存內返回；如果沒有則透到機械硬盤去讀取。上層IO輸入模塊4. Return from cache2. Check cahce1. Read3. Hit cacheSSD磁盤SSD寫緩存模塊流程說明： 上層下發(fā)讀請求 SSD寫緩存模塊先檢查數(shù)據(jù)是否還在緩存內未回寫 命中緩存，返回數(shù)據(jù)（如果不命中緩存，則會返回從底層數(shù)據(jù)盤讀取） 向上層返回數(shù)據(jù) SSD寫緩存寫滿后處理如果上層持續(xù)對SSD寫緩存進行大量不間斷的數(shù)據(jù)寫入，直到SSD寫緩存空間用完。這時的上次繼續(xù)寫入數(shù)據(jù)的速度就會下降至約等于寫緩存回寫機械盤的速度。上層寫入數(shù)據(jù)流寫入數(shù)據(jù)流5SSD磁盤回寫數(shù)據(jù)流機械磁盤當SSD磁盤用滿時會出現(xiàn)寫入數(shù)據(jù)流速度 = 回寫數(shù)據(jù)流速度。在虛擬機層面看，就是寫入數(shù)據(jù)下降到機械盤速度。如果持續(xù)出現(xiàn)這種情況，說明SSD磁盤容量不足以應對業(yè)務IO寫性能，需要增加SSD緩存盤解決。 當SSD磁盤故障或離線時的處理如前文所說，SSD寫緩存工作于brick服務端，有多副本機制。在多主機多副本場景下，如果一個SSD磁盤損壞后，其他副本的SSD還正常情況下，對數(shù)據(jù)安全不會造成影響。但對寫入性能會有影響。一旦SSD離線超過10分鐘，緩存數(shù)據(jù)就視作失效，進入副本修復流程。由于所有數(shù)據(jù)都是被SSD接管的，這時的數(shù)據(jù)修復量會非常大。因此如果是誤拔出SSD硬盤，需要在10分鐘內插回來，否則會認為該副本數(shù)據(jù)全部需要重建 磁盤故障處理機制 人工介入替換故障磁盤當磁盤出現(xiàn)故障后，在WEBUI上可以看到如下提示：（或顯示為磁盤損壞）這時拔出故障磁盤，插入容量不低于故障磁盤的新磁盤，點擊“更新磁盤”按步驟操作即可。主機A磁盤A1磁盤A2磁盤A3主機B磁盤B1磁盤B2磁盤B3復制卷1復制卷2復制卷3新磁盤副本重建過程復制卷繼續(xù)向上提供服務，不中斷業(yè)務復制卷磁盤2磁盤1文件X（副本1）文件X（重建副本2）更換故障磁盤的內部過程： 故障磁盤在出現(xiàn)故障時，對應磁盤的服務會先停止 完成新磁盤替換后，服務會重新啟動 新磁盤對應的服務啟動后，發(fā)現(xiàn)其所在復制卷1上的另一個磁盤是A1，會根據(jù)A1的數(shù)據(jù)重建副本，即復制所有文件建立新副本。整個重建過程在線進行，無需關停機，副本重建過程不中斷業(yè)務。對比RAID系統(tǒng)，需要關機中斷業(yè)務重建數(shù)據(jù)是一大優(yōu)勢。 磁盤故障超時后aSAN自動重建如果在磁盤故障后，超過了設置的超時時間依然沒有人工介入處理，aSAN將會自動進行數(shù)據(jù)重建，以保證數(shù)據(jù)副本數(shù)完備，確保數(shù)據(jù)可靠性。這時分兩種方式，無熱備盤和有熱備盤。 無熱備盤自動重建（、）、還不支持熱備盤功能，因此，但磁盤故障自動重建的原則是磁盤空間借用原則，即借用其他數(shù)據(jù)盤的空間重建副本。例子如下：主機A磁盤A1磁盤A2磁盤A3主機B磁盤B1磁盤B2磁盤B3復制卷1復制卷2復制卷3B1故障離線后，借用B2空間重建副本借用原則：選擇與同復制卷下其他磁盤不在一個主機的，并且剩余空間最大的磁盤，保證跨主機副本這一最高原則。例如，因為B1原來的復制配對硬盤是A主機上A1磁盤，因此借用時不能借用A主機下的任何硬盤，保證跨主機副本最高原則。借用空間重建后，效果如下：主機A磁盤A1磁盤A2磁盤A3主機B磁盤B2磁盤B2磁盤B3復制卷1復制卷2復制卷3實際上，所謂借用是把在B2上新建了一個邏輯目錄，以達到公用空間目的。如果B2空間不足以存放所有副本，aSAN不會再借用其他盤，目的是不把影響面繼續(xù)大。在aSAN自動重建后，再去替換故障硬盤（或顯示為磁盤損壞）在aSAN自動重建后，UI上依然會顯示原來的故障磁盤損壞，可以進行更換磁盤。這時進行更新磁盤，實際是把已經重建的數(shù)據(jù)再次搬回新硬盤上，并釋放借用的空間，簡稱數(shù)據(jù)回遷。過程如下：主機A磁盤A1磁盤A2磁盤A3主機B磁盤B2磁盤B2磁盤B3復制卷1復制卷2復制卷3數(shù)據(jù)回遷并釋放B2借用空間新磁盤綜上所述，在磁盤故障的情況下，aSAN通過借用空間自動重建是有性能和容量代價的。首先磁盤B2空間會被共用，使得B2空間很快用完。其次磁盤B2的性能也被共用，從而影響原來其復制卷2的性能。所以在條件允許情況下，應盡快用新硬盤人工介入替換故障硬盤。 有熱備盤自動重建（），在初始化階段會自動配置至少把集群里副本數(shù)個磁盤作為熱備盤。注意不是每個主機一個熱備盤，而是一個集群里面全局使用。熱備盤在初始化時不會納入aSAN復制卷內，只是作為一個不使用的磁盤帶電存在，因此熱備盤的空間不會反映到aSAN的空間里面。例如2副本時會至少保留2個熱備盤，3副本時會至少保留3個熱備盤。這些熱備盤不會集中在一個主機上面，而是分布在不同主機上（符合副本跨主機原則）。下面以3主機2副本，每主機4個硬盤為例子。復制卷3主機B主機C主機AA1A2A3B1B2B3C1C2C3*復制卷1復制卷2C4B4A4*復制卷5復制卷4上圖是3主機2副本，每主機4磁盤的分組例子。其中磁盤A磁盤C3是作為熱備盤保留的，并沒有組成復制卷加入到aSAN存儲池內。當任何一個主機的任意一個硬盤發(fā)生故障時，都可以按照跨主機副本原則自動使用A4或者C3來替換。例1：C2損壞（C3或者A4均可以用作替換）復制卷3主機B主機C主機AA1A2A3B1B2B3C1C2C3*復制卷1復制卷2C4B4A4*復制卷5復制卷4例2：A3損壞（C3或者A4均可以用作替換）復制卷3主機B主機C主機AA1A2A3B1B2B3C1C2C3*復制卷1復制卷2C4B4A4*復制卷5復制卷4例3：B4損壞（注意：這時只能用A4替換，原因是C3和C4同主機）復制卷3主機B主機C主機AA1A2A3B1B2B3C1C2C3*復制卷1復制卷2C4B4A4*復制卷5復制卷4在aSAN自動使用熱備盤替換故障磁盤后，再去UI替換故障硬盤（或顯示為磁盤損壞）在aSAN自動使用熱備盤替換故障磁盤后，UI上依然會顯示原來的故障磁盤損壞，可以進行更換磁盤。這時新替換的硬盤會作為新熱備盤使用，不需要執(zhí)行數(shù)據(jù)回遷。這一點與前文沒有熱備盤會做數(shù)據(jù)回遷是不一樣的。復制卷3主機C主機B復制卷1C1B1復制卷2C2B2復制卷4C4新B4*C3*B3新復制卷5主機AA1A2A4A3以上面例子3為例，B4損壞后，熱備盤A4自動替換B4和C4建成新復制卷5。然后人工介入，把損壞的B4用新磁盤替換，這時新B4會直接做熱備盤使用，不再由數(shù)據(jù)回遷。故障磁盤替換所有過程都可以帶業(yè)務進行，不需要停機停止業(yè)務，就可以完成故障磁盤的替換，數(shù)據(jù)重建，相比RAID系統(tǒng)停業(yè)務重建有更大的可用性。 主機故障處理aSAN在多主機集群下，復制卷有個最高原則：跨主機建立復制卷。該原則的目的是為了達到在主機出現(xiàn)故障時，數(shù)據(jù)依然可用。最簡單例子如下：主機A磁盤A1磁盤A2磁盤A3主機B磁盤B1磁盤B2磁盤B3復制卷1復制卷2復制卷3在2主機2副本模式下，當主機B整個離線或，可以看到任何一個復制卷都依然有一個副本存在主機A上，數(shù)據(jù)依然可用，影響只是少了個副本。略為復雜的例子（先不考慮有熱備盤）：復制卷3主機B主機C主機AA1A2A3B1B2B3C1C2C3復制卷1復制卷2C4B4A4復制卷5復制卷4復制卷6主機C離線后，剩余在線的復制卷任何一個都依然保持至少一個副本在線，因此這時全局數(shù)據(jù)依然可用。在主機故障后，在aSAN高級設備里面有這樣一個故障時間策略執(zhí)行相應的處理： 主機故障未超時人工介入處理當主機故障未超時時，人工介入處理是通過替換主機功能解決主機故障的。UI操作例子，點擊后按步驟進行即可（詳見部署配置文件）。替換主機的硬件配置要求是新主機配置不可以低于故障主機，包括CPU、內存、磁盤個數(shù)、磁盤容量、網口個數(shù)。替換主機的內部原理：主機C主機B主機A磁盤C1復制卷1磁盤B1磁盤A1磁盤C2復制卷2磁盤B2磁盤A2復制卷3磁盤C3磁盤B3磁盤A3在aSAN層面，主機替換和磁盤替換并無差異，區(qū)別是主機替換是同時執(zhí)行多個磁盤替換。因為前面有新主機的硬件配置不低于故障主機，因此磁盤數(shù)和容量是可以保證替換后足夠的。主機替換完成后，會根據(jù)新復制卷，在新主機的磁盤上重建文件副本。 主機故障超時后aSAN自動處理假如入主機故障后直到超過設定的故障時間依然沒有人工介入處理，那么aSAN會采取自動替換動作在其他主機上重建副本。例子：3主機2副本，主機C出現(xiàn)故障。復制卷3主機B主機C主機AA1A2A3B1B2B3C1C2C3復制卷1復制卷2C4B4A4復制卷5復制卷4復制卷6新復制卷3(借用)主機B主機C主機AA1A2A3B1B2B3C1C2C3復制卷1（不變）C4B4A4新復制卷6(借用)新復制卷5(借用)新復制卷2(借用)復制卷4（不變）對比上面2張圖，可以看出在主機C故障并超時后，aSAN會在集群范圍內尋找最佳借用磁盤組建復制卷，從而重建副本。這里的主機副本自動重建機制和單個故障硬盤的自動重建機制并沒有本質差別，只是同時做了多個故障盤的重建。如果其中有熱備盤，這是會自動使用熱備盤。注意，主機自動重建是有代價的，會復用其他磁盤的空間和性能。因此在條件允許情況下，應盡快替換主機。如果不想aSAN才超時自動重建，可以到高級設置關閉主機自動重建功能。 副本修復副本修復是指當某個磁盤出現(xiàn)離線再上線后，保存在上面的文件副本可能是舊數(shù)據(jù)，需要按照其他在線的文件副本進行修復的一個行為。典型的情況是主機短暫斷網，導致副本不一致。、副本修復是整個文件進行對比修復，會占用比較大的IO。因此保證網絡穩(wěn)定性在aSAN里面是核心要求之一。，支持副本快速修復，對于短暫離線的副本，可以做到只修復少量差異數(shù)據(jù)，達到快速修改的目的。文件A磁盤2不一定是本地磁盤，也可以是其他主機的磁盤，由管理服務通過網絡訪問磁盤2磁盤1文件A(副本2)文件A(副本1)例如，上圖磁盤2和磁盤1不在一個主機上。 由于網絡原因離線了1分鐘。 這一分鐘內，虛擬鏡像文件A有修改，這時修改只會寫入到副本1上。 一分鐘后，磁盤2上線，aSAN會感知到副本1和副本2有差異并且副本1是在用副本，即啟動副本修復流程，以副本1為源修復到副本2上。 在修復過程中，任何讀動作都是從副本1去讀取的，寫動作依然同時寫到2個副本 修復完成后，副本副本2會達到完全一致的狀態(tài)。，副本修復支持快速修復。aSAN會記錄副本離線時的數(shù)據(jù)更改記錄，短時間的副本離線，當離線副本上線時，直接修復差異部分數(shù)據(jù)。同時，aSAN對業(yè)務IO和修復IO做了優(yōu)先級控制，副本修復IO對業(yè)務IO的降低影響平均不超過20%。當然，即使有快速修復，數(shù)據(jù)校驗和傳輸依然會占用CPU和網絡帶寬，因此建議盡量保證aSAN存儲網絡穩(wěn)定，減少副本修復的產生。 深信服aSAN功