【正文】 ..............5 編碼 ........................................................................................................................................5 解碼 ........................................................................................................................................6 EVENODD 碼 ............................................................................................................................7 編碼 ........................................................................................................................................7 解碼 ........................................................................................................................................8 RDP 碼 ..........................................................................................................................................9 編碼 ........................................................................................................................................9 解碼 ......................................................................................................................................10 幾種編碼方式的比較 ............................................................................................................11 編碼實現(xiàn) ....................................................................................................................................12 以校驗字為中心還是以數(shù)據(jù)字為中心 ..................................................................12 采用行優(yōu)先的方式還是采用列優(yōu)先的方式 .........................................................133. 高效 RAID6 編碼在 ZFS 中的實現(xiàn) .........................................................................15 ZFS 簡介 ....................................................................................................................................15 容錯編碼在 ZFS 中的位置 ................................................................................................15 總體結構 ............................................................................................................................15 存儲設備的組織方式 ....................................................................................................16 raidz 組件剖析 ..................................................................................................................16IV 實現(xiàn)中需要注意的問題 .......................................................................................................18 問題由來 ............................................................................................................................18 解決方案 ............................................................................................................................20 EVENODD 碼在 ZFS 中的實現(xiàn) ......................................................................................21 編碼 ......................................................................................................................................21 解碼 ......................................................................................................................................22 RDP 碼在 ZFS 中的實現(xiàn) ....................................................................................................23 編碼 ......................................................................................................................................23 解碼 ......................................................................................................................................25 使用 SSE 指令加速編碼過程 ............................................................................................274. 實驗驗證 ......................................................................................................................................29 實驗環(huán)境 ....................................................................................................................................29 正確性驗證 ...............................................................................................................................29 性能測試 ....................................................................................................................................305. 總結和展望 .................................................................................................................................33參考文獻 ..................................................................................................................................................34致 謝 ......................................................................................................................................................3611. 緒論 課題背景隨著信息化的不斷發(fā)展，人們對存儲的需求越來越高。1988 年，加州大學伯克利分校的 David A. Patterson 等人提出 RAID[2]（Redundant Arrays of Inexpensive Disks）技術，即采用多塊廉價磁盤構成磁盤陣列，形成邏輯上的一塊大容量存儲設備提供給系統(tǒng)，十分易于管理[3]。2 RAID 介紹RAID 體系可以分成從 0 級到 6 級的 7 個級別[4,5,6]，下面進行簡要的介紹。在這種方式下，只要鏡像對中的兩個磁盤不同時發(fā)生故障，即可以進行數(shù)據(jù)的恢復。對于由 N 塊磁盤組成的磁盤陣列，只需要其中一塊磁盤作為校驗盤存放冗余數(shù)據(jù)，冗余度僅為 1/N。這樣一來，就避免了校驗盤成為系統(tǒng)瓶頸的問題。4當前，RAID0、鏡像機制和基于 RAID5 的單容錯陣列技術都已經(jīng)比較成熟，而且獲得了廣泛的使用，而 RAID6 還有待研究，如何提高雙容錯陣列的性能成為 RAID 研究的熱點。全文一共分為五章：第一章是數(shù)據(jù)存儲的發(fā)展情況和 RAID 的簡介，以及全文的主要工作與組織結構的概要。因此本章對于每種碼字都從編碼、解碼兩個方面去說明。比如需要在 GF(28)下計算，那么計算方法如公式（） 。具體如下：如果 中僅有一塊磁盤數(shù)據(jù)丟失，P 沒有數(shù)據(jù)丟失，那么只需要按01~n?照類似 RAID5 的方法利用奇偶校驗重構。由于 RS 碼的編碼、解碼計算都要在伽羅瓦域上進行，計算比較復雜。首先要將各個數(shù)據(jù)盤中相同的校驗組數(shù)據(jù)塊進行異或計算，然后將 S異或進去，才能得到位于對角線校驗盤中該校驗組的最終校驗數(shù)據(jù)。即一個條紋單元的更新一般會導致 2 個校驗單元更新。記丟失數(shù)據(jù)盤是第 x 塊。首先計算 S，而后利用 S 和對角線校驗數(shù)據(jù)恢復 packet[3,3]，再利用行校驗數(shù)據(jù)恢復 packet[3,2]，接著恢復 packet[2,3]，如此進行下去，直到數(shù)據(jù)盤 2 和數(shù)據(jù)盤 3 在這個條紋中的數(shù)據(jù)都被恢復。圖 23 給出了 p=5的時候，由 6 個磁盤組成的 RDP 陣列的示意圖，每個塊用一個數(shù)字表示所屬的對角線校驗組。首先使用對角線校驗數(shù)據(jù)恢復 x，利用行校驗數(shù)據(jù)恢復 y，反復進行下去，直到磁盤 x 不能通過對角線數(shù)據(jù)恢復為止（磁盤 x 中不參加對角線校驗的數(shù)據(jù)塊） 。磁盤 2 和磁盤 3 在該條紋中的所有數(shù)據(jù)均被恢復。因而從理論上，對于全條紋的覆寫，RDP 碼的編碼計算復雜度會稍低于 EVENODD 碼。其主要思想，是把 GF(28)上的單個字節(jié)的校驗數(shù)據(jù)計算，轉化成為多個字節(jié)存放在一個字中同時計算：對于 32 位系統(tǒng)采用 4 字節(jié)同時計算；對于 64 位系統(tǒng)采用8 字節(jié)同時計算。我們知13道，在計算機系統(tǒng)中，訪問內存數(shù)據(jù)時，首先會將數(shù)據(jù)讀入 cache，然后才會由 CPU 進行處理。一種是行優(yōu)先的方式：首先處理第一個數(shù)據(jù)盤的第一個packet，接著處理第二個數(shù)據(jù)盤的第一個 packet，依此類推，直至完成水平校