【正文】 磁盤陣列的制造上優(yōu)勢(shì) 14 10 磁盤陣列： 1種磁盤設(shè)計(jì) 常規(guī)： 4種磁盤設(shè)計(jì) 低端 高端 Katz and Patterson asked in 1987: “Can smaller disks be used to close gap in performance between disks and CPUs?” 北京大學(xué)計(jì)算機(jī)科學(xué)技術(shù)系 計(jì)算機(jī)系統(tǒng)結(jié)構(gòu)教研室 用大量小容量磁盤 替代 少量 大容量磁盤 ! (1988磁盤 ) 數(shù)據(jù)容量 大小 功耗 數(shù)據(jù)傳輸率 I/O傳輸率 平均無(wú)故障時(shí)間 成本 IBM 3390 (K) 20 GBytes 97 cu. ft. 3 KW 15 MB/s 600 I/Os/s 250 KHrs $250K IBM 0061 320 MBytes cu. ft. 11 W MB/s 55 I/Os/s 50 KHrs $2K x70 23 GBytes 11 cu. ft. 1 KW 120 MB/s 3900 IOs/s ??? Hrs $150K 磁盤陣列的潛力 高 數(shù)據(jù) 和 I/O 速率 高 MB/立方英尺，高 MB/KW 可靠性 ? 北京大學(xué)計(jì)算機(jī)科學(xué)技術(shù)系 計(jì)算機(jī)系統(tǒng)結(jié)構(gòu)教研室 磁盤陣列的可靠性 ? N個(gè)磁盤的可靠性 = 1個(gè)磁盤的可靠性 ? N 50,000小時(shí) ? 70 磁盤 = 700 小時(shí) 磁盤系統(tǒng)的平均無(wú)故障時(shí)間：從 6 年 跌至 1個(gè)月！ ? 沒有冗余的陣列 在使用中 太不可靠！ 可與訪問過程 并行 進(jìn)行重構(gòu)的熱備份：可以達(dá)到很高的媒體可用性 北京大學(xué)計(jì)算機(jī)科學(xué)技術(shù)系 計(jì)算機(jī)系統(tǒng)結(jié)構(gòu)教研室 冗余存盤陣列 （ RAID) ? 文件分布到多個(gè)磁盤上 數(shù)據(jù)冗余 達(dá)到 高數(shù)據(jù)可用性 如果磁盤出錯(cuò) 就利用陣列上存儲(chǔ)的冗余數(shù)據(jù)來(lái)重建它的內(nèi)容 需要更多的額外容量來(lái)存儲(chǔ)冗余數(shù)據(jù) 需要更多的額外帶寬來(lái)實(shí)現(xiàn)修改 Mirroring/Shadowing (高容量耗損 ) Horizontal Hamming Codes (過度耗費(fèi) ) Parity amp。 + + D039。 新數(shù)據(jù) 舊數(shù)據(jù) 舊奇偶位 XOR XOR (1. 讀 ) (2. 讀 ) (3. 寫 ) (4. 寫 ) RAID5: Small Write Algorithm 1次邏輯寫 = 2次物理讀 + 2次物理寫 北京大學(xué)計(jì)算機(jī)科學(xué)技術(shù)系 計(jì)算機(jī)系統(tǒng)結(jié)構(gòu)教研室 子系統(tǒng)組成 主機(jī) 陣列 控制器 單板 磁盤控制器 單板 磁盤控制器 單板 磁盤控制器 單板 磁盤控制器 主機(jī) 適配器 管理 與主機(jī)的接口、 DMA 控制、緩沖、 奇偶邏輯 物理設(shè)備控制 often piggybacked in small format devices 條塊化軟件從主機(jī)下載到陣列控制器 不修改應(yīng)用程序 不降低主機(jī)性能 北京大學(xué)計(jì)算機(jī)科學(xué)技術(shù)系 計(jì)算機(jī)系統(tǒng)結(jié)構(gòu)教研室 系統(tǒng)可用性：正交 RAID Array Controller String Controller String Controller String Controller String Controller String Controller String Controller . . . . . . . . . . . . . . . . . . 數(shù)據(jù)恢復(fù)組：數(shù)據(jù)冗余的單位 冗余支持部件：風(fēng)扇、供電設(shè)施、控制器、電纜 端點(diǎn)到端點(diǎn)的數(shù)據(jù)完整性：具有內(nèi)在奇偶保護(hù)的數(shù)據(jù)通路 北京大學(xué)計(jì)算機(jī)科學(xué)技術(shù)系 計(jì)算機(jī)系統(tǒng)結(jié)構(gòu)教研室 系統(tǒng)級(jí)可用性 完全雙冗余 I/O控制器 I/O控制器 陣列控制器 陣列控制器 . . . . . . . . . . . . . . . . . . 恢復(fù)組 目標(biāo)：無(wú)單失效點(diǎn) 主機(jī) 主機(jī) 通過備份的通路，在沒有失效時(shí)可以達(dá)到更高的性能 北京大學(xué)計(jì)算機(jī)科學(xué)技術(shù)系 計(jì)算機(jī)系統(tǒng)結(jié)構(gòu)教研室 Berkeley History: RAIDI ? RAIDI (1989) ? Consisted of a Sun 4/280 workstation with 128 MB of DRAM, four dualstring SCSI controllers, 28 SCSI disks and specialized disk striping software ? Today RAID is $24 billion dollar industry, 80% nonPC disks sold in RAIDs 北京大學(xué)計(jì)算機(jī)科學(xué)技術(shù)系 計(jì)算機(jī)系統(tǒng)結(jié)構(gòu)教研室 小結(jié) : RAID技術(shù) ? Disk Mirroring, Shadowing (RAID 1) Each disk is fully duplicated onto its shadow Logical write = two physical writes 100% capacity overhead ? Parity Data Bandwidth Array (RAID 3) Parity puted horizontally Logically a single high data bw disk ? High I/O Rate Parity Array (RAID 5) Interleaved parity blocks Independent reads and writes Logical write = 2 reads + 2 writes 1 0 0 1 0 0 1 1 1 1 0 0 1 1 0 1 1 0 0 1 0 0 1 1 0 0 1 1 0 0 1 0 1 0 0 1 0 0 1 1 1 0 0 1 0 0 1 1 北京大學(xué)計(jì)算機(jī)科學(xué)技術(shù)系 計(jì)算機(jī)系統(tǒng)結(jié)構(gòu)教研室 磁盤 I/O性能 響應(yīng)時(shí)間 = 排隊(duì) + 設(shè)備服務(wù)時(shí)間 100% 響應(yīng)時(shí)間 (ms) 吞吐率 （總帶寬百分比） 0 100 200 300 0% 處理器 隊(duì)列 I/O控制 設(shè)備 度量： 響應(yīng)時(shí)間 吞吐率 北京大學(xué)計(jì)算機(jī)科學(xué)技術(shù)系 計(jì)算機(jī)系統(tǒng)結(jié)構(gòu)教研室 響應(yīng)時(shí)間 與 服務(wù)能力 ? 當(dāng)響應(yīng)時(shí)間從 ，事務(wù)處理時(shí)間會(huì)發(fā)生什么變化？ ? 鍵盤： ， ? 圖形： ， ? 交互式環(huán)境 每次交互 或 事務(wù)處理（ transaction）由 3 部分組成： ? 報(bào)交時(shí)間（ Entry Time） ：用戶輸入命令的時(shí)間 ? 系統(tǒng)響應(yīng)時(shí)間（ System Response Time） ： 用戶報(bào)交和系統(tǒng)應(yīng)答之間的時(shí)間 ? 思考時(shí)間（ Think Time） ： 從系統(tǒng)應(yīng)答到用戶開始下一命令之間的時(shí)間 第一次事務(wù) 第二次事務(wù) 北京大學(xué)計(jì)算機(jī)科學(xué)技術(shù)系 計(jì)算機(jī)系統(tǒng)結(jié)構(gòu)教研室 T i m e0 .0 0 5 .0 0 1 0. 0 0 1 5. 0 0gr a ph ic s1 .0 sgr a ph ic s0 .3 sc on ve n tio n al1 .0 sc on ve n tio n al0 .3 se n try re s p th ink響應(yīng)時(shí)間 與 服務(wù)能力（緒） ? 響應(yīng)時(shí)間減少 (34%)和 秒 (70%) = 提高服務(wù)能力 ? 另一方面的考慮：人們對(duì)于更快的響應(yīng)都可以做更多的事，但是對(duì)快速響應(yīng)領(lǐng)域卻比較陌生 = 對(duì)較慢的響應(yīng)很在行 北京大學(xué)計(jì)算機(jī)科學(xué)技術(shù)系 計(jì)算機(jī)系統(tǒng)結(jié)構(gòu)教研室 磁盤時(shí)間示例 ? 磁盤參數(shù)： ? 傳輸大小 為 8K bytes ? 廣告申稱的平均尋道時(shí)間 為 12 ms ? 磁盤旋轉(zhuǎn)速度 為 7200 RPM ? 傳輸速率 為 4 MB/sec ? 控制器開銷 為 2 ms ? 假設(shè)磁盤空閑，因而沒有排隊(duì)延遲 ? 那么，對(duì)于一個(gè)扇區(qū)的平均磁盤訪問時(shí)間為多少？ ? 平均尋道 + 平均旋轉(zhuǎn)延遲 + 傳輸時(shí)間 + 控制器開銷 ? 12 ms + (7200 RPM/60) + 8 KB/4 MB/s + 2 ms ? 12 + + 2 + 2 = 20 ms ? 廣告中的尋道時(shí)間假設(shè)沒有位置問題：現(xiàn)實(shí)中，通常為廣告尋道時(shí)間的 1/4至 1/3： 20 ms = 12 ms 北京大學(xué)計(jì)算機(jī)科學(xué)技術(shù)系 計(jì)算機(jī)系統(tǒng)結(jié)構(gòu)教研室 處理器接口 ? 處理器接口 ? 中斷 ? 存儲(chǔ)器映射 I/O ? I/O控制結(jié)構(gòu) ? 輪詢（ Polling） ? 中斷（ Interrupts） ? 直接存儲(chǔ)器訪問（ DMA） ? I/O控制器 ? I/O處理器 ? 容量、訪問時(shí)間、帶寬 ? 互聯(lián) ? 總線 北京大學(xué)計(jì)算機(jī)科學(xué)技術(shù)系 計(jì)算機(jī)系統(tǒng)結(jié)構(gòu)教研室 I/O 接口 獨(dú)立 I/O總線 CPU Interface Interface Peripheral Peripheral Memory 存儲(chǔ)器總線 獨(dú)立的 I/O指令 (in,out) CPU Interface Interface Peripheral Peripheral Memory I/O和存儲(chǔ)器傳輸?shù)穆?lián)線不同 公共存儲(chǔ)器 amp。I/O總線 沒有獨(dú)立的 I/O指令 CPU Interface Interface Perip