【文章內(nèi)容簡(jiǎn)介】 ice Commands (OSD)” [12][13]。參與的公司包括 EMC， HP， IBM， Intel， Panasas，Seagate 和 Veritas 等。目前正在制訂該標(biāo)準(zhǔn)的第 2 版。本文所參考的是 OSD 標(biāo)準(zhǔn)草案修訂版本 10。 ObjectStone 是 IBM 實(shí)現(xiàn)的基于對(duì)象的控制器原型，運(yùn)行于 Linux 服務(wù)器環(huán)境，整個(gè)對(duì)象存儲(chǔ)實(shí)現(xiàn)于塊設(shè)備之上。 ObjectStone 的主要特點(diǎn)是它實(shí)現(xiàn)了標(biāo)準(zhǔn)的 T10 SCSI OSD 協(xié)議，并使用 iSCSI 作為 SCSI 命令的傳輸層。 iSCSI 目標(biāo)器、 OSD 協(xié)議前端、對(duì)象控制器和 OSD 仿真器是 ObjectStone 的主要組成部分。除此之外， IBM還實(shí)現(xiàn)了 OSD 啟動(dòng)器 [14]。 Lustre 是 Cluster File System 公司開發(fā)的開放源代碼項(xiàng)目，目標(biāo)是高性能、可擴(kuò)展的 SAN 文件系統(tǒng) [15]。其組成部分包括客戶端、集群控制系統(tǒng)和存儲(chǔ)目標(biāo)器。 OST（ Object Storage Target）是 Lustre 的對(duì)象存儲(chǔ)設(shè)備，存儲(chǔ)用戶數(shù)據(jù)，使用專有的協(xié) 1 T10 是 INCITS (InterNational Committee on Information Technology Standards)的技術(shù)委員會(huì)之一，負(fù)責(zé) SCSI 相關(guān)標(biāo)準(zhǔn)的制訂。 INCITS 由 ANSI (American National Standards Institute)任命。而 SNIA (Storage Networking Industry Association)是一個(gè)非盈利性質(zhì)的商業(yè)組織。 6 畢 業(yè) 設(shè) 計(jì) （ 論 文 ） 議。集群控制系統(tǒng)管理名字空間、文件系統(tǒng)元數(shù)據(jù)一致性、安全性、集群恢復(fù)和存儲(chǔ)管理。 Lustre 針對(duì)的市場(chǎng)是高性能計(jì)算。 類似的項(xiàng)目還有 Panasas（ Panasas Inc. 象存儲(chǔ)的文件系統(tǒng)，稱為 PanFS。 PanFS 由網(wǎng)絡(luò)、元數(shù)據(jù)服務(wù)器、對(duì)象存儲(chǔ)設(shè)備和客戶端構(gòu)成?？蛻舳送ㄟ^(guò)專有的協(xié)議直接與對(duì)象存儲(chǔ)設(shè)備連接。目前其對(duì)象存儲(chǔ)設(shè)備仍然是非標(biāo)準(zhǔn)化的，但是 Panasas 公司是 T10 OSD 標(biāo)準(zhǔn)委員會(huì)的成員，表示將努力使其設(shè)備支持 OSD 標(biāo)準(zhǔn)。 隨著對(duì)象存儲(chǔ)的產(chǎn)生和發(fā)展，存儲(chǔ)設(shè)備有必要主動(dòng)學(xué)習(xí)其運(yùn)行環(huán)境的重要特征?；跀?shù)據(jù)塊的存儲(chǔ)設(shè)備大多不了解使用存儲(chǔ)的用戶和應(yīng)用。而基于對(duì)象的存儲(chǔ)設(shè)備能夠理解數(shù)據(jù)塊之間的關(guān)系，并利用這些信息更好地組織數(shù)據(jù)。 課題要求 本課題所涉及模塊的設(shè)計(jì)目標(biāo)是使用超級(jí)終端通過(guò)串口（ RS232 接口）對(duì) RAID控制器進(jìn)行配置管理。要求實(shí)現(xiàn)配置管理基本菜 單的所有功能（詳見附錄 Menu Tree），包括： （ 1）查看磁盤陣列當(dāng)前狀態(tài)； （ 2）利用文字菜單通過(guò)簡(jiǎn)單操作對(duì)陣列進(jìn)行配置； （ 3）保證用戶配置過(guò)程中的安全性和穩(wěn)定性。 研究目的和主要內(nèi)容 基于對(duì)象的存儲(chǔ)是為了克服當(dāng)前基于塊的存儲(chǔ)存在的諸多難題，在存儲(chǔ)接口和結(jié)構(gòu)層次的重要發(fā)展?；趯?duì)象的存儲(chǔ)設(shè)備可以具有更多智能性，可以根據(jù)應(yīng)用負(fù)載選擇優(yōu)化的存儲(chǔ)策略。本文研究的目的，是在基于對(duì)象的存儲(chǔ)設(shè)備（ OSD）中實(shí)現(xiàn)屬性控制的存儲(chǔ)策略，關(guān)鍵需要解決兩個(gè)方面的問題：第一，屬性表達(dá)什么信息，怎樣影響存儲(chǔ)策略？第二，屬性怎 樣從用戶應(yīng)用傳遞給存儲(chǔ)設(shè)備？ 7 畢 業(yè) 設(shè) 計(jì) （ 論 文 ） 本文的主要內(nèi)容如下： 第一章我們首先介紹了當(dāng)前存儲(chǔ) 系統(tǒng)面臨的挑戰(zhàn)和 技術(shù)發(fā)展趨勢(shì)，然后分析了對(duì)象存儲(chǔ) 技術(shù)的 產(chǎn)生 及發(fā)展現(xiàn)狀， 介紹了國(guó)內(nèi)外在存儲(chǔ)策略和智能存儲(chǔ)領(lǐng)域的相關(guān)研究工作， 并對(duì)本文的主要研究?jī)?nèi)容及工作意義作了具體說(shuō)明。 第二章首先介紹幾種存儲(chǔ)技術(shù)、特別是存儲(chǔ)區(qū)域網(wǎng)（ SAN）在安全性、數(shù)據(jù)共享和設(shè)備管理等方面的存在問題。然后詳細(xì)論述了基于對(duì)象的存儲(chǔ)如何解決當(dāng)前的問題。另外，還討論了對(duì)象、屬性與感應(yīng)存儲(chǔ)和屬性管理存儲(chǔ)的關(guān)系。最后討論了對(duì)象存儲(chǔ)的實(shí)現(xiàn)途徑， OSD 標(biāo)準(zhǔn)和 Lustre 文件 系統(tǒng)代表了兩種發(fā)展方向。本文將重點(diǎn)以 OSD 為基礎(chǔ)進(jìn)行有關(guān)研究。 第三章以磁盤陣列作為研究對(duì)象，描述了屬性控制的數(shù)據(jù)放置策略。我們建立了基于閉環(huán) forkjoin 排隊(duì)網(wǎng)絡(luò)（ CFJQN）的 RAID5 讀寫模型，對(duì)最優(yōu)分條單元大小進(jìn)行了定量分析。另一方面，我們研究了文件系統(tǒng)負(fù)載的特征，并歸納得到可以用來(lái)準(zhǔn)確描述一個(gè)負(fù)載的若干屬性（包括存儲(chǔ)需求和行為）。 第四章說(shuō)明了屬性的傳遞機(jī)制。首先從比較基于對(duì)象的 OSD 與基于塊的 SBC命令集入手，說(shuō)明在 OSD 協(xié)議中屬性的組織方式，提供了建立屬性傳遞機(jī)制的基礎(chǔ)。其次，通過(guò)對(duì) I/O 路徑進(jìn)行分析，明確給出了兩種從應(yīng)用程序傳遞屬性信息到設(shè)備的途徑。最后，描述了我們自定義的三個(gè)擴(kuò)展屬性頁(yè)。 第五章比較詳細(xì)的描述了一個(gè)原型系統(tǒng)的設(shè)計(jì)和實(shí)現(xiàn)。 iSCSIOSDRAID 成功地對(duì)傳統(tǒng)的 RAID 控制器進(jìn)行了擴(kuò)展，增加了支持 iSCSI 和 OSD 協(xié)議的訪問接口。除了軟件方面的工作之外，我們還實(shí)現(xiàn)了基于 Intel IOP321 處理器的控制器硬件，本章對(duì)硬件結(jié)構(gòu)和交叉開發(fā)環(huán)境也進(jìn)行了介紹。最后還給出了部分測(cè)試結(jié)果。 第六章總結(jié)了我們所做的工作，并計(jì)劃了下一步的工作以及展望了 基于對(duì)象 存儲(chǔ)的前景。 課題的來(lái)源 本課題受國(guó)家自然科學(xué)基金項(xiàng)目“進(jìn)化存儲(chǔ)系統(tǒng)”（項(xiàng)目編號(hào)： 60273073）和“ 973” 8 畢 業(yè) 設(shè) 計(jì) （ 論 文 ） 國(guó)家 重點(diǎn)基礎(chǔ)研究發(fā)展項(xiàng)目 “下一代互聯(lián)網(wǎng)信息存儲(chǔ)的組織模式和核心技術(shù)研究”（項(xiàng)目編號(hào)： 2020CB318203）資助。 9 畢 業(yè) 設(shè) 計(jì) （ 論 文 ） 2 方案論證 （或具體背景技術(shù)概述） 如果畢業(yè)設(shè)計(jì)是一個(gè)大項(xiàng)目的一個(gè)模塊，本章可以介紹整體項(xiàng)目結(jié)構(gòu)以及相關(guān)背景知識(shí) ，如果畢業(yè)設(shè)計(jì)是科學(xué)研討型，第二章，第三章都可以介紹理論背景知識(shí)。 傳統(tǒng)存儲(chǔ)系統(tǒng)中數(shù)據(jù)的可靠性通常是采用冗余技術(shù)或者備份技術(shù)來(lái)實(shí)現(xiàn)的，如果存儲(chǔ)節(jié)點(diǎn)出現(xiàn)了如風(fēng)扇損毀，磁盤溫度過(guò)高、誤碼率過(guò)高、 性能下降等問題，系統(tǒng)通常不會(huì)進(jìn)行主動(dòng)處理，而是等待設(shè)備或者磁盤完全故障后才通過(guò)數(shù)據(jù)重建或熱切換到鏡像節(jié)點(diǎn)的方式保持存儲(chǔ)系統(tǒng)的持續(xù)工作，這大大增加了數(shù)據(jù)風(fēng)險(xiǎn)性。本文提出了主動(dòng)監(jiān)控的思想，它對(duì)存儲(chǔ)系統(tǒng)進(jìn)行及時(shí)的控管，定時(shí)對(duì)系統(tǒng)中的各個(gè)存儲(chǔ)節(jié)點(diǎn)工作溫度、節(jié)點(diǎn)能耗、數(shù)據(jù)誤碼率、傳輸性能等健康指標(biāo)進(jìn)行分析，當(dāng)健康指標(biāo)超出正常閾值時(shí)，及時(shí)產(chǎn)生預(yù)警信息，系統(tǒng)隨后自動(dòng)啟動(dòng)數(shù)據(jù)遷移，將數(shù)據(jù)遷移到適當(dāng)?shù)墓?jié)點(diǎn)或磁盤，這就是存儲(chǔ)設(shè)備健康預(yù)警及數(shù)據(jù)遷移技術(shù)。 系統(tǒng)需求分析 系統(tǒng)可行性分析 10 畢 業(yè) 設(shè) 計(jì) （ 論 文 ） 開發(fā)工具分析及選擇 關(guān)鍵技術(shù)分析 基本方案制定 多層次存儲(chǔ)設(shè)備健康預(yù)警 當(dāng)存儲(chǔ)系統(tǒng)產(chǎn)生預(yù)警后，可將數(shù)據(jù)主動(dòng)遷移到合適的節(jié)點(diǎn)和位置，存儲(chǔ)系統(tǒng)安全預(yù)警及數(shù)據(jù)主動(dòng)遷移技術(shù)分為如下四個(gè)層次，（ 1）磁盤數(shù)據(jù)自愈技術(shù)，（ 2）磁盤間數(shù)據(jù)移植技術(shù)、（ 3）陣列級(jí)數(shù)據(jù)自愈、（ 4）系統(tǒng)級(jí)數(shù)據(jù)主動(dòng)遷移。具體見 圖 所示。 ?NE W虛擬陣列虛擬陣列全局熱備多控陣列存儲(chǔ)池虛擬陣列工作磁盤熱備磁盤312 1 、磁盤數(shù)據(jù)自愈2 、磁盤數(shù)據(jù)移植虛擬陣列其他存儲(chǔ)節(jié)點(diǎn)其他存儲(chǔ)節(jié)點(diǎn)44 、系統(tǒng)級(jí)數(shù)據(jù)主動(dòng)遷移 3 、陣列級(jí)數(shù)據(jù)自愈 圖 預(yù)警轉(zhuǎn)移層次模型 11 畢 業(yè) 設(shè) 計(jì) （ 論 文 ） 磁盤數(shù)據(jù)自愈技術(shù) 目前陣列算法遇到磁盤介質(zhì)錯(cuò)誤時(shí)即判斷整盤錯(cuò)誤，立 即將陣列降級(jí)處理，如有空閑盤即可開始重建處理，但盤的故障并不是一下子全部失效，而可能是部分介質(zhì)缺陷，按照這種方式進(jìn)行重建處理極有可能由于成員盤部分介質(zhì)的損壞導(dǎo)致重建失敗甚至邏輯卷數(shù)據(jù)丟失，為解決磁盤數(shù)據(jù)部分介質(zhì)錯(cuò)誤的問題，提出了磁盤數(shù)據(jù)自愈技術(shù)，它力圖對(duì)出現(xiàn)的磁盤介質(zhì)錯(cuò)誤進(jìn)行修復(fù)，同時(shí)恢復(fù)出故障區(qū)域的數(shù)據(jù)。 磁盤故障修復(fù)原理 在傳統(tǒng)磁盤壞扇區(qū)修復(fù)方式中，通過(guò)在磁盤中保留部分區(qū)域 (實(shí)際磁盤容量大于報(bào)告給用戶的磁盤容量 )，當(dāng)磁盤在使用過(guò)程中出現(xiàn)部分介質(zhì)缺陷時(shí)，會(huì)從該區(qū)域中分配扇區(qū)替換缺陷扇區(qū)，同時(shí)更新 GList(增長(zhǎng)缺陷表 )[1518]，以達(dá)到修復(fù)的目的。按照類似的方式，磁盤數(shù)據(jù)自愈技術(shù)在磁盤管理策略中，為每個(gè)磁盤預(yù)留一部分空間，用來(lái)修復(fù)磁盤部分介質(zhì)故障時(shí)使用。當(dāng)磁盤出現(xiàn)壞扇區(qū)時(shí)，從預(yù)留空間中分配部分扇區(qū)替換壞扇區(qū)，并在地址映射表保存替換映射信息，使得后續(xù)磁盤訪問壞扇區(qū)時(shí)，操作會(huì)被重定向到保留扇區(qū)中，其原理如 圖 所示。 RAIDRAID1231 2 38 9 1089101 2 38 9 10保留區(qū)域 圖 磁盤數(shù)據(jù)自愈 數(shù)據(jù)重定向 為 保證保留區(qū)域數(shù)據(jù)的可靠性，還可以將保留扇區(qū)擴(kuò)充到其他磁盤中，甚至做 12 畢 業(yè) 設(shè) 計(jì) （ 論 文 ） 多余副本。這種方式使得磁盤陣列可靠性大大提高，當(dāng)保留區(qū)域即將用完時(shí)，即可給出更高級(jí)別的預(yù)警，觸發(fā)更高級(jí)別的磁盤數(shù)據(jù)移植任務(wù)。 壞扇區(qū)數(shù)據(jù)恢復(fù) 磁盤出現(xiàn)壞扇區(qū)，磁盤自愈會(huì)從保留區(qū)域中分配扇區(qū)替換壞扇區(qū)，然后將壞扇區(qū)的數(shù)據(jù)寫入到保留區(qū)，然而如果是讀失敗，那么數(shù)據(jù)將無(wú)法得到，這時(shí)就需要使用 RAID 算法計(jì)算出壞扇區(qū)數(shù)據(jù)，并將其寫入到保留扇區(qū)中。以 RAID5 為例說(shuō)明壞扇區(qū)恢復(fù)方式，其它 RAID 級(jí)別可按照相類似的方式恢復(fù)出數(shù)據(jù)，只是校驗(yàn)計(jì)算上的差異。以 4 個(gè)磁盤的 RAID5 為例描述其數(shù)據(jù)存儲(chǔ)方式以及當(dāng)某個(gè)磁盤出現(xiàn)壞扇區(qū)時(shí)，如何恢復(fù)出數(shù)據(jù)。 圖 為一個(gè) 4 個(gè)磁盤的組成的 RAID5 數(shù)據(jù)存儲(chǔ)示意圖。 P 0DS US US U......S t r i p eAP 1S US US U......BES US US U......CFS US US U......D i s k 0 D i s k 1 D i s k 2 D i s k 3 圖 RAID數(shù)據(jù)塊存儲(chǔ)圖 錯(cuò)誤 !未找到引用源。 中，每個(gè)磁盤都被分成很多塊，即 SU，每個(gè) SU 可以有用來(lái)存儲(chǔ)實(shí)際的數(shù)據(jù)，也可以存儲(chǔ)冗余校驗(yàn)信息。例如 P0 及 P1 為校驗(yàn)信息塊， A、B 代表數(shù)據(jù)塊，校驗(yàn)塊是由數(shù)據(jù)塊是以 Stripe 為單位經(jīng)過(guò) RAID5 校驗(yàn)生成算法生成。在 4 個(gè)磁盤的 RAID5 中，每個(gè) Stripe 由 4 個(gè) SU組成，例如 Stripe0 由 P0、 A、 B 以及 C 構(gòu)成，其中 P0=A⊕ B⊕ C[14]。由于存儲(chǔ)了校驗(yàn)信息，如果一個(gè) Stripe 中任意一塊數(shù)據(jù)丟失，都可以由另外三塊數(shù)據(jù)恢復(fù)出來(lái)，例如數(shù)據(jù)塊 A 所在的磁盤 1 損壞，那么只需要讀出與數(shù)據(jù)塊 A 在同一個(gè) Stripe 的其它 SU，然后對(duì)這些數(shù)據(jù)塊進(jìn)行異或，就可以將 A 恢 復(fù)出來(lái)，其原理是 P0=A⊕ B⊕ C 能夠推導(dǎo)出 A=P0⊕ B⊕ C。 RAID系統(tǒng)降級(jí)重建數(shù)據(jù)也是通過(guò)這樣的方式來(lái)恢復(fù)出故障盤的數(shù)據(jù)的。 13 畢 業(yè) 設(shè) 計(jì) （ 論 文 ） 因此，當(dāng) RAID 系統(tǒng)中磁盤出現(xiàn)壞扇區(qū)時(shí)，先對(duì)其進(jìn)行修復(fù)，然后可以利用冗余信息，將處于同一 Stripe 的其它數(shù)據(jù)塊讀入到內(nèi)存中，然后根據(jù)該磁盤所在 RAID級(jí)別調(diào)用相應(yīng)的重建數(shù)據(jù)算法，將數(shù)據(jù)恢復(fù)出來(lái)并保存到用來(lái)替換壞扇區(qū)的保留扇區(qū)中。 RAID5 分條 技術(shù) RAID 性能模型的構(gòu)建通常采用仿真或者分析技術(shù)。兩種方法都可以用來(lái)預(yù)測(cè)不同設(shè)計(jì)情況下磁盤陣列的性能，分析模型比仿真模型更易于實(shí)現(xiàn)、 速度更快。 Chen等人使用仿真工具通過(guò)大量仿真實(shí)驗(yàn)，研究了 RAID0 和 RAID5 磁盤陣列中的最優(yōu)分條單元大小問題。 Lee 和 Katz建立了 RAID0 的分析模型。 Varki 給出了 RAID10在同步負(fù)載下的分析模型，該模型基于 forkjoin 排隊(duì)網(wǎng)絡(luò)技術(shù)。 Uysal 建立了RAID10 的分析模型，特別是考慮了 cache 的效果，并針對(duì)一個(gè)實(shí)際的磁盤陣列 HP FC60 進(jìn)行了驗(yàn)證。 響應(yīng)時(shí)間的表達(dá)式為： )1()( ??? mSQSOmR S (21) 其中， )1( ?mSQ 表示到達(dá)請(qǐng)求的平均等待時(shí)間。磁盤陣列的吞吐率 )(mX 和隊(duì)列長(zhǎng)度 )1( ?mQ 分別為： ZmR mmX ?? )()(, m=1,2,… (22) )()()( mXmRmQ ?? (23) 其初始值為 0)0( ?Q 。由 錯(cuò)誤 !未找到引用源。 可知 k 個(gè)磁盤的最大定位時(shí)間大約是 kp log2?? ，其中 ? 是標(biāo)準(zhǔn)方差。則這是計(jì)算平均響應(yīng)時(shí)間的基本等式。因?yàn)镽AID5 的操作非常復(fù)雜，我們將模型分為小讀、大讀、小寫和大寫四個(gè)部分分別討論。 14 畢 業(yè) 設(shè) 計(jì) （ 論 文 ） 磁盤故障預(yù)警技術(shù)