【文章內(nèi)容簡(jiǎn)介】 對(duì)象存儲(chǔ)領(lǐng)域進(jìn)行了長(zhǎng)期的研究與開(kāi)發(fā)工作。IBM Haifa 實(shí)驗(yàn)室早期的一個(gè)項(xiàng)目 DSF（Data Sharing Facility） ，是創(chuàng)建無(wú)服務(wù)器文件系統(tǒng)的試驗(yàn)項(xiàng)目，把所有文件和存儲(chǔ)管理分布到網(wǎng)絡(luò)中 [10]。后來(lái)的 Antara 是對(duì)象存儲(chǔ)的一個(gè)概念實(shí)現(xiàn) [5]，其成果用于另一個(gè)項(xiàng)目 zFS。zFS 是一個(gè)基于對(duì)象存儲(chǔ)的分布式文件系統(tǒng) [11]。2022 年底，SNIA（網(wǎng)絡(luò)存儲(chǔ)工業(yè)協(xié)會(huì)）OSD 工作組和 T10 委員會(huì) 1制訂的 OSD標(biāo)準(zhǔn)（第 1 版）獲得通過(guò)，并成為 ANSI 標(biāo)準(zhǔn)，名稱(chēng)為“SCSI ObjectBased Storage Device Commands (OSD)” [12][13]。參與的公司包括EMC， HP，IBM，Intel，Panasas，Seagate 和 Veritas 等。目前正在制訂該標(biāo)準(zhǔn)的第2 版。本文所參考的是 OSD 標(biāo)準(zhǔn)草案修訂版本 10。ObjectStone 是 IBM 實(shí)現(xiàn)的基于對(duì)象的控制器原型，運(yùn)行于 Linux 服務(wù)器環(huán)境，整個(gè)對(duì)象存儲(chǔ)實(shí)現(xiàn)于塊設(shè)備之上。ObjectStone 的主要特點(diǎn)是它實(shí)現(xiàn)了標(biāo)準(zhǔn)的 T10 SCSI OSD 協(xié)議，并使用 iSCSI 作為 SCSI 命令的傳輸層。iSCSI 目標(biāo)器、OSD 協(xié)議前端、對(duì)象控制器和 OSD 仿真器是 ObjectStone 的主要組成部分。除此之外，IBM還實(shí)現(xiàn)了 OSD 啟動(dòng)器 [14]。Lustre 是 Cluster File System 公司開(kāi)發(fā)的開(kāi)放源代碼項(xiàng)目，目標(biāo)是高性能、可擴(kuò)展的 SAN 文件系統(tǒng) [15]。其組成部分包括客戶(hù)端、集群控制系統(tǒng)和存儲(chǔ)目標(biāo)器。OST（ Object Storage Target）是 Lustre 的對(duì)象存儲(chǔ)設(shè)備，存儲(chǔ)用戶(hù)數(shù)據(jù)，使用專(zhuān)有的1 T10 是 INCITS (InterNational Committee on Information Technology Standards)的技術(shù)委員會(huì)之一，負(fù)責(zé) SCSI 相關(guān)標(biāo)準(zhǔn)的制訂。INCITS 由 ANSI (American National Standards Institute)任命。而 SNIA (Storage Networking Industry Association)是一個(gè)非盈利性質(zhì)的商業(yè)組織。協(xié)議。集群控制系統(tǒng)管理名字空間、文件系統(tǒng)元數(shù)據(jù)一致性、安全性、集群恢復(fù)和存儲(chǔ)管理。Lustre 針對(duì)的市場(chǎng)是高性能計(jì)算。類(lèi)似的項(xiàng)目還有 Panasas（Panasas Inc. ，實(shí)現(xiàn)了基于對(duì)象存儲(chǔ)的文件系統(tǒng)，稱(chēng)為 PanFS。PanFS 由網(wǎng)絡(luò)、元數(shù)據(jù)服務(wù)器、對(duì)象存儲(chǔ)設(shè)備和客戶(hù)端構(gòu)成?？蛻?hù)端通過(guò)專(zhuān)有的協(xié)議直接與對(duì)象存儲(chǔ)設(shè)備連接。目前其對(duì)象存儲(chǔ)設(shè)備仍然是非標(biāo)準(zhǔn)化的，但是 Panasas 公司是 T10 OSD 標(biāo)準(zhǔn)委員會(huì)的成員，表示將努力使其設(shè)備支持 OSD 標(biāo)準(zhǔn)。隨著對(duì)象存儲(chǔ)的產(chǎn)生和發(fā)展，存儲(chǔ)設(shè)備有必要主動(dòng)學(xué)習(xí)其運(yùn)行環(huán)境的重要特征?；跀?shù)據(jù)塊的存儲(chǔ)設(shè)備大多不了解使用存儲(chǔ)的用戶(hù)和應(yīng)用。而基于對(duì)象的存儲(chǔ)設(shè)備能夠理解數(shù)據(jù)塊之間的關(guān)系，并利用這些信息更好地組織數(shù)據(jù)。 課題要求本課題所涉及模塊的設(shè)計(jì)目標(biāo)是使用超級(jí)終端通過(guò)串口（RS232 接口）對(duì) RAID控制器進(jìn)行配置管理。要求實(shí)現(xiàn)配置管理基本菜單的所有功能（詳見(jiàn)附錄 Menu Tree） ，包括：（1）查看磁盤(pán)陣列當(dāng)前狀態(tài)；（2）利用文字菜單通過(guò)簡(jiǎn)單操作對(duì)陣列進(jìn)行配置；（3）保證用戶(hù)配置過(guò)程中的安全性和穩(wěn)定性。 研究目的和主要內(nèi)容基于對(duì)象的存儲(chǔ)是為了克服當(dāng)前基于塊的存儲(chǔ)存在的諸多難題，在存儲(chǔ)接口和結(jié)構(gòu)層次的重要發(fā)展?；趯?duì)象的存儲(chǔ)設(shè)備可以具有更多智能性，可以根據(jù)應(yīng)用負(fù)載選擇優(yōu)化的存儲(chǔ)策略。本文研究的目的，是在基于對(duì)象的存儲(chǔ)設(shè)備（OSD）中實(shí)現(xiàn)屬性控制的存儲(chǔ)策略，關(guān)鍵需要解決兩個(gè)方面的問(wèn)題：第一，屬性表達(dá)什么信息，怎樣影響存儲(chǔ)策略？第二，屬性怎樣從用戶(hù)應(yīng)用傳遞給存儲(chǔ)設(shè)備？本文的主要內(nèi)容如下：第一章我們首先介紹了當(dāng)前存儲(chǔ)系統(tǒng)面臨的挑戰(zhàn)和技術(shù)發(fā)展趨勢(shì)，然后分析了對(duì)象存儲(chǔ)技術(shù)的產(chǎn)生及發(fā)展現(xiàn)狀，介紹了國(guó)內(nèi)外在存儲(chǔ)策略和智能存儲(chǔ)領(lǐng)域的相關(guān)研究工作，并對(duì)本文的主要研究?jī)?nèi)容及工作意義作了具體說(shuō)明。第二章首先介紹幾種存儲(chǔ)技術(shù)、特別是存儲(chǔ)區(qū)域網(wǎng)（SAN）在安全性、數(shù)據(jù)共享和設(shè)備管理等方面的存在問(wèn)題。然后詳細(xì)論述了基于對(duì)象的存儲(chǔ)如何解決當(dāng)前的問(wèn)題。另外，還討論了對(duì)象、屬性與感應(yīng)存儲(chǔ)和屬性管理存儲(chǔ)的關(guān)系。最后討論了對(duì)象存儲(chǔ)的實(shí)現(xiàn)途徑，OSD 標(biāo)準(zhǔn)和 Lustre 文件系統(tǒng)代表了兩種發(fā)展方向。本文將重點(diǎn)以 OSD 為基礎(chǔ)進(jìn)行有關(guān)研究。第三章以磁盤(pán)陣列作為研究對(duì)象，描述了屬性控制的數(shù)據(jù)放置策略。我們建立了基于閉環(huán) forkjoin 排隊(duì)網(wǎng)絡(luò)（CFJQN）的 RAID5 讀寫(xiě)模型，對(duì)最優(yōu)分條單元大小進(jìn)行了定量分析。另一方面，我們研究了文件系統(tǒng)負(fù)載的特征，并歸納得到可以用來(lái)準(zhǔn)確描述一個(gè)負(fù)載的若干屬性（包括存儲(chǔ)需求和行為） 。第四章說(shuō)明了屬性的傳遞機(jī)制。首先從比較基于對(duì)象的 OSD 與基于塊的 SBC命令集入手，說(shuō)明在 OSD 協(xié)議中屬性的組織方式，提供了建立屬性傳遞機(jī)制的基礎(chǔ)。其次，通過(guò)對(duì) I/O 路徑進(jìn)行分析，明確給出了兩種從應(yīng)用程序傳遞屬性信息到設(shè)備的途徑。最后，描述了我們自定義的三個(gè)擴(kuò)展屬性頁(yè)。第五章比較詳細(xì)的描述了一個(gè)原型系統(tǒng)的設(shè)計(jì)和實(shí)現(xiàn)。iSCSIOSDRAID 成功地對(duì)傳統(tǒng)的 RAID 控制器進(jìn)行了擴(kuò)展，增加了支持 iSCSI 和 OSD 協(xié)議的訪(fǎng)問(wèn)接口。除了軟件方面的工作之外，我們還實(shí)現(xiàn)了基于 Intel IOP321 處理器的控制器硬件，本章對(duì)硬件結(jié)構(gòu)和交叉開(kāi)發(fā)環(huán)境也進(jìn)行了介紹。最后還給出了部分測(cè)試結(jié)果。第六章總結(jié)了我們所做的工作，并計(jì)劃了下一步的工作以及展望了基于對(duì)象存儲(chǔ)的前景。 課題的來(lái)源本課題受?chē)?guó)家自然科學(xué)基金項(xiàng)目“進(jìn)化存儲(chǔ)系統(tǒng)” （項(xiàng)目編號(hào)：60273073）和“973”國(guó)家重點(diǎn)基礎(chǔ)研究發(fā)展項(xiàng)目“下一代互聯(lián)網(wǎng)信息存儲(chǔ)的組織模式和核心技術(shù)研究” （項(xiàng)目編號(hào)：2022CB318203）資助。Comment [w16]: 第二章可以進(jìn)行項(xiàng)目方案論證或者進(jìn)行具體背景知識(shí)的概述，本章名字可變，每章頁(yè)數(shù)至少 4頁(yè)以上，否則不能成為一章Comment [T17]: 除總結(jié)那一章以外，每章都加一段引言2 方案論證（或具體背景技術(shù)概述）如果畢業(yè)設(shè)計(jì)是一個(gè)大項(xiàng)目的一個(gè)模塊，本章可以介紹整體項(xiàng)目結(jié)構(gòu)以及相關(guān)背景知識(shí)，如果畢業(yè)設(shè)計(jì)是科學(xué)研討型，第二章，第三章都可以介紹理論背景知識(shí)。傳統(tǒng)存儲(chǔ)系統(tǒng)中數(shù)據(jù)的可靠性通常是采用冗余技術(shù)或者備份技術(shù)來(lái)實(shí)現(xiàn)的，如果存儲(chǔ)節(jié)點(diǎn)出現(xiàn)了如風(fēng)扇損毀，磁盤(pán)溫度過(guò)高、誤碼率過(guò)高、性能下降等問(wèn)題，系統(tǒng)通常不會(huì)進(jìn)行主動(dòng)處理，而是等待設(shè)備或者磁盤(pán)完全故障后才通過(guò)數(shù)據(jù)重建或熱切換到鏡像節(jié)點(diǎn)的方式保持存儲(chǔ)系統(tǒng)的持續(xù)工作，這大大增加了數(shù)據(jù)風(fēng)險(xiǎn)性。本文提出了主動(dòng)監(jiān)控的思想，它對(duì)存儲(chǔ)系統(tǒng)進(jìn)行及時(shí)的控管，定時(shí)對(duì)系統(tǒng)中的各個(gè)存儲(chǔ)節(jié)點(diǎn)工作溫度、節(jié)點(diǎn)能耗、數(shù)據(jù)誤碼率、傳輸性能等健康指標(biāo)進(jìn)行分析，當(dāng)健康指標(biāo)超出正常閾值時(shí)，及時(shí)產(chǎn)生預(yù)警信息，系統(tǒng)隨后自動(dòng)啟動(dòng)數(shù)據(jù)遷移，將數(shù)據(jù)遷移到適當(dāng)?shù)墓?jié)點(diǎn)或磁盤(pán)，這就是存儲(chǔ)設(shè)備健康預(yù)警及數(shù)據(jù)遷移技術(shù)。 系統(tǒng)需求分析 系統(tǒng)可行性分析Comment [T18]: 開(kāi)發(fā)工具分析及選擇 關(guān)鍵技術(shù)分析 基本方案制定 多層次存儲(chǔ)設(shè)備健康預(yù)警當(dāng)存儲(chǔ)系統(tǒng)產(chǎn)生預(yù)警后，可將數(shù)據(jù)主動(dòng)遷移到合適的節(jié)點(diǎn)和位置，存儲(chǔ)系統(tǒng)安全預(yù)警及數(shù)據(jù)主動(dòng)遷移技術(shù)分為如下四個(gè)層次， （1）磁盤(pán)數(shù)據(jù)自愈技術(shù)， （2）磁盤(pán)間數(shù)據(jù)移植技術(shù)、 （3）陣列級(jí)數(shù)據(jù)自愈、 （4）系統(tǒng)級(jí)數(shù)據(jù)主動(dòng)遷移。具體見(jiàn) 圖 所示。圖 預(yù)警轉(zhuǎn)移層次模型 磁盤(pán)數(shù)據(jù)自愈技術(shù)目前陣列算法遇到磁盤(pán)介質(zhì)錯(cuò)誤時(shí)即判斷整盤(pán)錯(cuò)誤，立即將陣列降級(jí)處理，如有空閑盤(pán)即可開(kāi)始重建處理，但盤(pán)的故障并不是一下子全部失效，而可能是部分介質(zhì)缺陷，按照這種方式進(jìn)行重建處理極有可能由于成員盤(pán)部分介質(zhì)的損壞導(dǎo)致重建失敗甚至邏輯卷數(shù)據(jù)丟失，為解決磁盤(pán)數(shù)據(jù)部分介質(zhì)錯(cuò)誤的問(wèn)題，提出了磁盤(pán)數(shù)據(jù)自愈技術(shù)，它力圖對(duì)出現(xiàn)的磁盤(pán)介質(zhì)錯(cuò)誤進(jìn)行修復(fù)，同時(shí)恢復(fù)出故障區(qū)域的數(shù)據(jù)。 磁盤(pán)故障修復(fù)原理在傳統(tǒng)磁盤(pán)壞扇區(qū)修復(fù)方式中，通過(guò)在磁盤(pán)中保留部分區(qū)域(實(shí)際磁盤(pán)容量大于報(bào)告給用戶(hù)的磁盤(pán)容量)，當(dāng)磁盤(pán)在使用過(guò)程中出現(xiàn)部分介質(zhì)缺陷時(shí)，會(huì)從該區(qū)域中分配扇區(qū)替換缺陷扇區(qū)，同時(shí)更新 GList(增長(zhǎng)缺陷表 )[1518]，以達(dá)到修復(fù)的目的。按照類(lèi)似的方式，磁盤(pán)數(shù)據(jù)自愈技術(shù)在磁盤(pán)管理策略中，為每個(gè)磁盤(pán)預(yù)留一部分空間，用來(lái)修復(fù)磁盤(pán)部分介質(zhì)故障時(shí)使用。當(dāng)磁盤(pán)出現(xiàn)壞扇區(qū)時(shí)，從預(yù)留空間中分配部分扇區(qū)替換壞扇區(qū)，并在地址映射表保存替換映射信息，使得后續(xù)磁盤(pán)訪(fǎng)問(wèn)壞扇區(qū)時(shí)，操作會(huì)被重定向到保留扇區(qū)中，其原理如 圖 所示。RAID123123890 8910123890保保圖 磁盤(pán)數(shù)據(jù)自愈數(shù)據(jù)重定向?yàn)楸ＷC保留區(qū)域數(shù)據(jù)的可靠性，還可以將保留扇區(qū)擴(kuò)充到其他磁盤(pán)中，甚至做多余副本。這種方式使得磁盤(pán)陣列可靠性大大提高，當(dāng)保留區(qū)域即將用完時(shí)，即可給出更高級(jí)別的預(yù)警，觸發(fā)更高級(jí)別的磁盤(pán)數(shù)據(jù)移植任務(wù)。 壞扇區(qū)數(shù)據(jù)恢復(fù)磁盤(pán)出現(xiàn)壞扇區(qū)，磁盤(pán)自愈會(huì)從保留區(qū)域中分配扇區(qū)替換壞扇區(qū)，然后將壞扇區(qū)的數(shù)據(jù)寫(xiě)入到保留區(qū)，然而如果是讀失敗，那么數(shù)據(jù)將無(wú)法得到，這時(shí)就需要使用 RAID 算法計(jì)算出壞扇區(qū)數(shù)據(jù)，并將其寫(xiě)入到保留扇區(qū)中。以 RAID5 為例說(shuō)明壞扇區(qū)恢復(fù)方式，其它 RAID 級(jí)別可按照相類(lèi)似的方式恢復(fù)出數(shù)據(jù)，只是校驗(yàn)計(jì)算上的差異。以 4 個(gè)磁盤(pán)的 RAID5 為例描述其數(shù)據(jù)存儲(chǔ)方式以及當(dāng)某個(gè)磁盤(pán)出現(xiàn)壞扇區(qū)時(shí)，如何恢復(fù)出數(shù)據(jù)。 圖 為一個(gè) 4 個(gè)磁盤(pán)的組成的 RAID5 數(shù)據(jù)存儲(chǔ)示意圖。P 0DS US US U......S t r i p eAP 1S US US U......BES US US U......CFS US US U......D i s k 0 D i s k 1 D i s k 2 D i s k 3圖 RAID 數(shù)據(jù)塊存儲(chǔ)圖Error! Reference source not ，每個(gè)磁盤(pán)都被分成很多塊，即 SU，每個(gè)SU 可以有用來(lái)存儲(chǔ)實(shí)際的數(shù)據(jù)，也可以存儲(chǔ)冗余校驗(yàn)信息。例如 P0 及 P1 為校驗(yàn)信息塊，A、B 代表數(shù)據(jù)塊，校驗(yàn)塊是由數(shù)據(jù)塊是以 Stripe 為單位經(jīng)過(guò) RAID5 校驗(yàn)生成算法生成。在 4 個(gè)磁盤(pán)的 RAID5 中，每個(gè) Stripe 由 4 個(gè) SU 組成，例如 Stripe0 由P0、A、B 以及 C 構(gòu)成，其中 P0=A⊕B⊕C[14]。由于存儲(chǔ)了校驗(yàn)信息，如果一個(gè)Stripe 中任意一塊數(shù)據(jù)丟失，都可以由另外三塊數(shù)據(jù)恢復(fù)出來(lái)，例如數(shù)據(jù)塊 A 所在的磁盤(pán) 1 損壞，那么只需要讀出與數(shù)據(jù)塊 A 在同一個(gè) Stripe 的其它 SU，然后對(duì)這些數(shù)據(jù)塊進(jìn)行異或，就可以將 A 恢復(fù)出來(lái)，其原理是 P0=A⊕B⊕C 能夠推導(dǎo)出A=P0⊕ B⊕C。RAID 系統(tǒng)降級(jí)重建數(shù)據(jù)也是通過(guò)這樣的方式來(lái)恢復(fù)出故障盤(pán)的數(shù)據(jù)Comment [w19]: 公式必須進(jìn)行標(biāo)注，另外公式中的變量必須用斜體。公式居中Comment [T20]: 文中不得出現(xiàn)這樣的錯(cuò)誤，這是因?yàn)橐迷磩h除引起的的。因此，當(dāng) RAID系統(tǒng)中磁盤(pán)出現(xiàn)壞扇區(qū)時(shí)，先對(duì)其進(jìn)行修復(fù)，然后可以利用冗余信息，將處于同一 Stripe的其它數(shù)據(jù)塊讀入到內(nèi)存中，然后根據(jù)該磁盤(pán)所在 RAID級(jí)別調(diào)用相應(yīng)的重建數(shù)據(jù)算法，將數(shù)據(jù)恢復(fù)出來(lái)并保存到用來(lái)替換壞扇區(qū)的保留扇區(qū)中。 RAID5分條技術(shù)RAID性能模型的構(gòu)建通常采用仿真或者分析技術(shù)。兩種方法都可以用來(lái)預(yù)測(cè)不同設(shè)計(jì)情況下磁盤(pán)陣列的性能，分析模型比仿真模型更易于實(shí)現(xiàn)、速度更快。Chen等人使用仿真工具通過(guò)大量仿真實(shí)驗(yàn)，研究了 RAID0和 RAID5磁盤(pán)陣列中的最優(yōu)分條單元大小問(wèn)題。Lee 和 Katz建立了 RAID0的分析模型。Varki 給出了 RAID10在同步負(fù)載下的分析模型，該模型基于 forkjoin排隊(duì)網(wǎng)絡(luò)技術(shù)。Uysal 建立了 RAID10的分析模型，特別是考慮了 cache的效果，并針對(duì)一個(gè)實(shí)際的磁盤(pán)陣列 HP FC60進(jìn)行了驗(yàn)證。響應(yīng)時(shí)間的表達(dá)式為：(21))1()(???mSQOR其中， 表示到達(dá)請(qǐng)求的平均等待時(shí)間。磁盤(pán)陣列的吞吐率 和隊(duì)列)1(?mSQ )(mX長(zhǎng)度 分別為：, m=1,2,… (22)ZX??)((23))(R?其初始值為 。由 Error! Reference source not k個(gè)磁盤(pán)的最大0)(Q定位時(shí)間大約是 ，其中 是標(biāo)準(zhǔn)方差。則這是計(jì)算平均響應(yīng)時(shí)間的基本kplog2??等式。因?yàn)?RAID5的操作非常復(fù)雜，我們將模型分為小讀、大讀、小寫(xiě)和大寫(xiě)四個(gè)部分分別討論。Comment [T21]: 第二章到倒數(shù)第二章每章都必須要有一個(gè)小結(jié) 磁盤(pán)故障預(yù)警技術(shù)數(shù)據(jù)主動(dòng)遷移技術(shù)需要能夠檢測(cè)磁盤(pán)健康狀態(tài)，使得數(shù)據(jù)遷移發(fā)生在磁盤(pán)完全故障之前。檢測(cè)磁盤(pán)健康狀況的方式有多種，例如可以通過(guò)測(cè)量硬盤(pán)驅(qū)動(dòng)器的震動(dòng)并將產(chǎn)生的震動(dòng)數(shù)據(jù)和參考的震動(dòng)數(shù)據(jù)相對(duì)比，來(lái)判斷硬盤(pán)是否可能出故障，并發(fā)出預(yù)警信號(hào)，詳見(jiàn)文獻(xiàn)[22]。還有其它的方式，例如通過(guò)磁盤(pán) SMART對(duì)磁盤(pán)進(jìn)行健康預(yù)警，本文在實(shí)現(xiàn)磁盤(pán)預(yù)警進(jìn)行數(shù)據(jù)遷移時(shí)，采用的是通過(guò)獲取磁盤(pán) SMART信息，對(duì)磁盤(pán)健康狀況進(jìn)行監(jiān)控，同時(shí)統(tǒng)計(jì) I/O出錯(cuò)次數(shù)，當(dāng)磁盤(pán) I/O