【文章內容簡介】 20 GBytes 97 cu. ft. 3 KW 15 MB/s 600 I/Os/s 250 KHrs $250K IBM 0061 320 MBytes cu. ft. 11 W MB/s 55 I/Os/s 50 KHrs $2K x70 23 GBytes 11 cu. ft. 1 KW 120 MB/s 3900 IOs/s ??? Hrs $150K 磁盤陣列的潛力 高 數據 和 I/O 速率 高 MB/立方英尺，高 MB/KW 可靠性 ? 北京大學計算機科學技術系 計算機系統結構教研室 磁盤陣列的可靠性 ? N個磁盤的可靠性 = 1個磁盤的可靠性 ? N 50,000小時 ? 70 磁盤 = 700 小時 磁盤系統的平均無故障時間：從 6 年 跌至 1個月！ ? 沒有冗余的陣列 在使用中 太不可靠！ 可與訪問過程 并行 進行重構的熱備份：可以達到很高的媒體可用性 北京大學計算機科學技術系 計算機系統結構教研室 冗余存盤陣列 （ RAID) ? 文件分布到多個磁盤上 數據冗余 達到 高數據可用性 如果磁盤出錯 就利用陣列上存儲的冗余數據來重建它的內容 需要更多的額外容量來存儲冗余數據 需要更多的額外帶寬來實現修改 Mirroring/Shadowing (高容量耗損 ) Horizontal Hamming Codes (過度耗費 ) Parity amp。 ReedSolomon Codes Failure Prediction (無容量開銷 !) VaxSimPlus 技術上有爭議 關鍵技術 : 北京大學計算機科學技術系 計算機系統結構教研室 冗余磁盤陣列 RAID 1: 磁盤鏡像 /影像 每個磁盤都完全復制到它的“影子” 可以達到非常高的可用性 完成寫操作需要犧牲帶寬 : 邏輯寫 = 兩次物理寫 對于讀操作 ,可以進行優(yōu)化 代價很高的一種解決方案： 100%的容量開銷 面向：高 I/O速率、高可用性的環(huán)境 恢復組 北京大學計算機科學技術系 計算機系統結構教研室 冗余磁盤陣列 RAID 3: 位交織奇偶校驗磁盤 P 10010011 11001101 10010011 . . . 邏輯記錄 1 0 0 1 0 0 1 1 1 1 0 0 1 1 0 1 1 0 0 1 0 0 1 1 0 0 1 1 0 0 0 0 條狀物理 記錄 ?在恢復組上進行奇偶計算 以防 硬盤失效 在上述配置中，維存儲奇偶位需要增加 33%的容量開銷 更寬的陣列將相對降低容量開銷、降低預想的可用性、增加數據重建時間 ?盤臂邏輯上同步、轉軸轉動同步 邏輯上是一個單一高容量的、高傳輸率的磁盤 面向高帶寬應用：科學計算、圖像處理 北京大學計算機科學技術系 計算機系統結構教研室 冗余磁盤陣列 RAID 5+:塊 交織分布奇偶校驗磁盤 一次邏輯寫變成 四次物理 I/O 由于交叉奇偶位存放，因而可以進行獨立寫操作 在數據重建中，為數據保護采用 ReedSolomon Codes (Q) D0 D1 D2 D3 P D4 D5 D6 P D7 D8 D9 P D10 D11 D12 P D13 D14 D15 P D16 D17 D18 D19 D20 D21 D22 D23 P . . . . . . . . . . . . . . . Disk Columns 增大邏輯 磁盤地址 信息條 （ Stripe） 信息條單位 （ Stripe Unit） 面向混合應用 北京大學計算機科學技術系 計算機系統結構教研室 磁盤陣列的難題 : 寫操作少 D0 D1 D2 D3 P D039。 + + D039。 D1 D2 D3 P39。 新數據 舊數據 舊奇偶位 XOR XOR (1. 讀 ) (2. 讀 ) (3. 寫 ) (4. 寫 ) RAID5: Small Write Algorithm 1次邏輯寫 = 2次物理讀 + 2次物理寫 北京大學計算機科學技術系 計算機系統結構教研室 子系統組成 主機 陣列 控制器 單板 磁盤控制器 單板 磁盤控制器 單板 磁盤控制器 單板 磁盤控制器 主機 適配器 管理 與主機的接口、 DMA 控制、緩沖、 奇偶邏輯 物理設備控制 often piggybacked in small format devices 條塊化軟件從主機下載到陣列控制器 不修改應用程序 不降低主機性能 北京大學計算機科學技術系 計算機系統結構教研室 系統可用性：正交 RAID Array Controller String Controller String Controller String Controller String Controller String Controller String Controller . . . . . . . . . . . . . . . . . . 數據恢復組：數據冗余的單位 冗余支持部件：風扇、供電設施、控制器、電纜 端點到端點的數據完整性：具有內在奇偶保護的數據通路 北京大學計算機科學技術系 計算機系統結構教研室 系統級可用性 完全雙冗余 I/O控制器 I/O控制器 陣列控制器 陣列控制器 . . . . . . . . . . . . . . . . . . 恢復組 目標：無單失效點 主機 主機 通過備份的通路，在沒有失效時可以達到更高的性能 北京大學計算機科學技術系 計算機系統結構教研室 Berkeley History: RAIDI ? RAIDI (1989) ? Consisted of a Sun 4/280 workstation with 128 MB of DRAM, four dualstring SCSI controllers, 28 SCSI disks and specialized disk striping software ? Today RAID is $24 billion dollar industry, 80% nonPC disks sold in RAIDs 北京大學計算機科學技術系 計算機系統結構教研室 小結 : RAID技術 ? Disk Mirroring, Shadowing (RAID 1) Each disk is fully duplicated onto its shadow Logical write = two physical writes 100% capacity overhead ? Parity Data Bandwidth Array (RAID 3) Parity puted horizontally Logically a single high data bw disk ? High I/O Rate Parity Array (RAID 5) Interleaved parity blocks Independent reads and writes Logical write = 2 reads + 2 writes 1 0 0 1 0 0 1 1 1 1 0 0 1 1 0 1 1 0 0 1 0 0 1 1 0 0 1 1 0 0 1 0 1 0 0 1 0 0 1 1 1 0 0 1 0 0 1 1 北京大學計算機科學技術系 計算機系統結構教研室 磁盤 I/O性能 響應時間 = 排隊 + 設備服務時間 100% 響應時間 (ms) 吞吐率 （總帶寬百分比） 0 100 200 300 0% 處理器 隊列 I/O控制 設備 度量： 響應時間 吞吐率 北京大學計算機科學技術系 計算機系統結構教研室 響應時間 與 服務能力 ? 當響應時間從 ，事務處理時間會發(fā)生什么變化？ ? 鍵盤： ， ? 圖形： ， ? 交互式環(huán)境 每次交互 或 事務處理（ transaction）由 3 部分組成： ? 報交時間（ Entry Time） ：用戶輸入命令的時間 ? 系統響應時間（ System Response Time） ： 用戶報交和系統應答之間的時間 ? 思考時間（ Think Time） ： 從系統應答到用戶開始下一命令之間的時間 第一次事務 第二次事務 北京大學計算機科學技術系 計算機系統結構教研室 T i m e0 .0 0 5 .0 0 1 0. 0 0 1 5. 0 0gr a ph ic s1 .0 sgr a ph ic s0 .3 sc on ve n tio n al1 .0 sc on ve n tio n al0 .3 se n try re s p th ink響應時間 與 服務能力（緒） ? 響應時間減少 (34%)和 秒 (70%) = 提高服務能力 ? 另一方面的考慮：人們對于更快的響應都可以做更多的事，但是對快速響應領域卻比較陌生 = 對較慢的響應很在行 北京大學計算機科