【正文】 由于增加磁盤(pán)自愈后讀寫(xiě)請(qǐng)求都需要查找映射表，以確定所請(qǐng)求的扇區(qū)中是否存在壞扇區(qū)，因此該映射表會(huì)經(jīng)常被查詢(xún)，需要設(shè)計(jì)比較好的查詢(xún)算法，以降低查詢(xún)所帶來(lái)的性能損失，設(shè)計(jì)時(shí)以哈希表的方式，依據(jù)原扇區(qū) LBA 進(jìn)行散列，來(lái)提高查詢(xún)效率。壞 扇 區(qū) 替 換 壞 扇 區(qū) 數(shù) 據(jù) 恢 復(fù)R A I D 算 法 接 口映 射 表 更 新圖 磁盤(pán)自愈功能模塊結(jié)構(gòu)當(dāng)磁盤(pán)屬性管理模塊檢測(cè)到磁盤(pán)讀寫(xiě) I/O 錯(cuò)誤后，會(huì)調(diào)用磁盤(pán)自愈功能模塊，該模塊對(duì)出錯(cuò)的壞扇區(qū)替換，然后結(jié)合 RAID 算法將壞扇區(qū)數(shù)據(jù)恢復(fù)出并寫(xiě)入到替換后的保留扇區(qū)中，并對(duì)替換映射表更新。將磁盤(pán)自愈相關(guān)信息放入磁盤(pán)屬性管理中是為了統(tǒng)一對(duì)磁盤(pán)屬性進(jìn)行管理。數(shù)據(jù)遷移管理：管理數(shù)據(jù)遷移部分信息，提供啟動(dòng)及停止數(shù)據(jù)遷移相關(guān)接口，對(duì)數(shù)據(jù)遷移源磁盤(pán)及遷移目標(biāo)磁盤(pán)信息進(jìn)行維護(hù)，根據(jù)遷移進(jìn)度實(shí)現(xiàn)目標(biāo)磁盤(pán)替換源磁盤(pán)。同時(shí)，磁盤(pán)屬性管理功能模塊還為終端配置接口功能模塊提供交互接口，用于對(duì)磁盤(pán)健康標(biāo)準(zhǔn)參數(shù)的配置，以及狀態(tài)信息的反饋。 磁盤(pán)屬性管理磁盤(pán)屬性管理是整個(gè)磁盤(pán)自愈與數(shù)據(jù)遷移模塊的核心功能模塊，它管理磁盤(pán)的健康狀況信息，并提供接口供磁盤(pán) I/O 過(guò)濾器模塊調(diào)用以報(bào)告對(duì)磁盤(pán)讀寫(xiě)的操作結(jié)果。 SCSI 中間層是 Linux 中 SCSI 子系統(tǒng)一部分， 圖 給出了 SCSI 子系統(tǒng)在 Linux 系統(tǒng)中的位置。 磁盤(pán) I/O 過(guò)濾器讀寫(xiě)過(guò)濾器是磁盤(pán)自愈與數(shù)據(jù)主動(dòng)遷移模塊的驅(qū)動(dòng)器，同時(shí)也是整個(gè)數(shù)據(jù)流動(dòng)的入口，該功能模塊的設(shè)計(jì)對(duì)于整個(gè)模塊的可移植性非常關(guān)鍵?？刂破鬈浖械膯?dòng)器模塊是相對(duì)所連接的磁盤(pán)設(shè)備而言的。我們實(shí)現(xiàn)了 FCFS、CLOOK 和 LOOK 等幾種 I/O 調(diào)度算法，并在原型系統(tǒng)中進(jìn)行了大量測(cè)試。RAID 核心算法模塊的主要任務(wù)是將對(duì)虛擬磁盤(pán)的讀寫(xiě)轉(zhuǎn)換為對(duì)物理磁盤(pán)的讀寫(xiě)。 功能模塊劃分Cache 管理模塊在整個(gè)軟件系統(tǒng)中處于關(guān)鍵位置。而 iSCSI與 OSD 則具有比較緊密的聯(lián)系，兩者使用了同一個(gè) iSCSI 前端驅(qū)動(dòng)，因?yàn)?OSD 目標(biāo)器也依賴(lài) iSCSI 進(jìn)行 SCSI 命令的傳輸。磁盤(pán)陣列與主機(jī)連接之后，對(duì)磁盤(pán)陣列來(lái)說(shuō)主機(jī)就是啟動(dòng)器，而RAID 控制器必須作為主機(jī)的一個(gè) SCSI 設(shè)備，具有目標(biāo)器的功能，從主機(jī)接收 SCSI命令進(jìn)行處理。GC 模塊使系統(tǒng)管理員可以通過(guò)幾種方式對(duì)磁盤(pán)陣列進(jìn)行配置、管理，比如串口1 IBM 已經(jīng)根據(jù) OSDv1 既實(shí)現(xiàn)了啟動(dòng)器、也實(shí)現(xiàn)了目標(biāo)器，但是僅啟動(dòng)器的源代碼是公開(kāi)的。 Cache 管 理 (CM) RAID 核 心 (RK) SCI 啟 動(dòng) 器 (SI) iSCI FETD Agilent TSDK OSD TML 對(duì) 象 管 理 . 全 局 配 置 (GC) iSCI TML FC 啟 動(dòng) 器 OSD 啟 動(dòng) 器 iSCI 啟 動(dòng) 器 RAMdisk (ST) 圖 RAID 控制器軟件結(jié)構(gòu)ST 負(fù)責(zé)接收主機(jī)的 SCSI 命令并返回應(yīng)答和數(shù)據(jù)。這種選擇的優(yōu)點(diǎn)是顯而易見(jiàn)的：以太網(wǎng)涉及的軟件和硬件（TCP/IP 協(xié)議，網(wǎng)絡(luò)接口卡 NIC 以及交換機(jī)等）都是通用的標(biāo)準(zhǔn)組件；而 iSCSI 協(xié)議也已經(jīng)趨于成熟，無(wú)論是啟動(dòng)器還是目標(biāo)器都有大量參考代碼和實(shí)現(xiàn)。最直接的方式是通過(guò) SCSI 扁平電纜，或者還可以使用光纖。整個(gè)系統(tǒng)可以分為啟動(dòng)器（Initiator ）和目標(biāo)器（Target）兩大部分 1。后來(lái)我們又將內(nèi)核升級(jí)到了 。有了這些工具就可以編譯內(nèi)核了，不過(guò)其實(shí)通常情況下還需要 C 庫(kù) glibc，以支持編譯更多的應(yīng)用。我們選擇 Linux 作為嵌入式操作系統(tǒng)。在自己定制的控制器硬件可以使用之前，我們使用了 IQ80321 評(píng)估板作為軟件開(kāi)發(fā)平臺(tái)。Intel IOP321 I/O 處理器的特點(diǎn)是具有 Intel XScale 核心（兼容 ARM 版本 5TE） ，主頻600MHz，提供高性能、PCIX 的數(shù)據(jù)傳輸率和低能耗，性?xún)r(jià)比高。硬 RAID 又有兩種實(shí)現(xiàn)方案：一種是 RAID 適配卡，直接連接磁盤(pán)，并位于主機(jī)機(jī)箱內(nèi)；另一種是 RAID 控制器，一般位于專(zhuān)門(mén)的磁盤(pán)箱體內(nèi)，并通過(guò)外部線(xiàn)纜連接主機(jī)（主機(jī)必須配置有 SCSI 接口 HBA）或者接入 SAN（存儲(chǔ)區(qū)域網(wǎng)） 。磁盤(pán)狀態(tài)檢測(cè)負(fù)責(zé)檢測(cè)磁盤(pán)健康狀況，目前只通過(guò)獲取磁盤(pán) SMART 信息來(lái)分析磁盤(pán)健康狀況。磁盤(pán)自愈功能模塊的子過(guò)濾器通過(guò)截獲磁盤(pán) I/O，分析讀寫(xiě)請(qǐng)求的執(zhí)行狀態(tài)，將這些信息報(bào)告給磁盤(pán)屬性管理功能模塊，如果請(qǐng)求失敗了，說(shuō)明磁盤(pán)出現(xiàn)了故障，這時(shí)磁盤(pán)屬性管理會(huì)記錄相關(guān)信息，并調(diào)用自愈模塊修復(fù)故障并將故障扇區(qū)數(shù)據(jù)恢復(fù)，同時(shí)磁盤(pán)屬性管理模塊根據(jù)健康狀態(tài)屬性決定是否需要啟動(dòng)數(shù)據(jù)遷移來(lái)提高數(shù)據(jù)可靠性。 功能模塊劃分磁盤(pán)自愈與數(shù)據(jù)主動(dòng)遷移模塊提供讀寫(xiě)磁盤(pán)接口供其它模塊調(diào)用，然后再調(diào)用操作系統(tǒng)提供的讀寫(xiě)磁盤(pán)接口，需要對(duì)磁盤(pán)壞扇區(qū)、保留扇區(qū)及磁盤(pán)健康狀況等信息進(jìn)行管理，在磁盤(pán)健康狀態(tài)不滿(mǎn)足標(biāo)準(zhǔn)時(shí)開(kāi)啟數(shù)據(jù)遷移，同時(shí)該模塊還需要提供相關(guān)配置接口，以提供配置及狀態(tài)查詢(xún)等功能，總結(jié)起來(lái)該模塊可以分為六個(gè)功能模塊：磁盤(pán) I/O 過(guò)濾器、數(shù)據(jù)遷移、磁盤(pán)自愈、磁盤(pán)屬性管理、磁盤(pán)狀態(tài)檢測(cè)及終端配置接口，模塊劃分圖如 圖 所示。已經(jīng)移植到 80321的操作系統(tǒng)包括 Nucleus，MontaVista Linux 和 VxWorks 等。 開(kāi)發(fā)環(huán)境整個(gè)系統(tǒng)的軟硬件設(shè)計(jì)是同步進(jìn)行的。（4）RAID 核心算法模塊該模塊會(huì)根據(jù) RAID級(jí)別采用相應(yīng)的算法將用戶(hù)發(fā)來(lái)的讀寫(xiě)請(qǐng)求進(jìn)行分解，并計(jì)算冗余校驗(yàn)信息，將這些信息分別存儲(chǔ)到該 RAID組的各個(gè)磁盤(pán)中，當(dāng)需要讀取數(shù)據(jù)時(shí)，則從各個(gè)磁盤(pán)讀出數(shù)據(jù)一起組合，然后將數(shù)據(jù)發(fā)送給用戶(hù)。下面對(duì)這幾個(gè)模塊功能做簡(jiǎn)單介紹。 系統(tǒng)軟件架構(gòu)JGMSA30型加固磁盤(pán)陣列控制器上運(yùn)行嵌入式 Linux操作系統(tǒng)[2629]，整個(gè)系統(tǒng)的軟件部分是基于 Linux系統(tǒng)開(kāi)發(fā)的。將光纖芯片加入到該平臺(tái)中，以支持光纖訪(fǎng)問(wèn)該陣列，同時(shí)還具有 4塊 SATA芯片，能夠連接多達(dá) 16個(gè) SATA硬盤(pán)。這里我們將以磁盤(pán)陣列為研究對(duì)象，重點(diǎn)是考慮需要獲得什么樣的負(fù)載屬性信息，從而為存儲(chǔ)對(duì)象選擇合適的 RAID級(jí)別和分條單元大小。Comment [T22]: 一般的系統(tǒng)都必須要有需求分析，有功能需求，界面需求，接口需求，性能需求等等。SMART技術(shù)原理是通過(guò)檢測(cè)磁盤(pán)運(yùn)行狀況，包括數(shù)據(jù)吞吐率、磁盤(pán)啟動(dòng)停機(jī)次數(shù)，I/O 出錯(cuò)次數(shù)等，并將這些信息保存在磁盤(pán)特定的位置，提供特殊的訪(fǎng)問(wèn)指令供用戶(hù)獲取磁盤(pán) SMART信息。檢測(cè)磁盤(pán)健康狀況的方式有多種，例如可以通過(guò)測(cè)量硬盤(pán)驅(qū)動(dòng)器的震動(dòng)并將產(chǎn)生的震動(dòng)數(shù)據(jù)和參考的震動(dòng)數(shù)據(jù)相對(duì)比，來(lái)判斷硬盤(pán)是否可能出故障，并發(fā)出預(yù)警信號(hào)，詳見(jiàn)文獻(xiàn)[22]。由 Error! Reference source not k個(gè)磁盤(pán)的最大0)(Q定位時(shí)間大約是 ，其中 是標(biāo)準(zhǔn)方差。Varki 給出了 RAID10在同步負(fù)載下的分析模型，該模型基于 forkjoin排隊(duì)網(wǎng)絡(luò)技術(shù)。 RAID5分條技術(shù)RAID性能模型的構(gòu)建通常采用仿真或者分析技術(shù)。由于存儲(chǔ)了校驗(yàn)信息，如果一個(gè)Stripe 中任意一塊數(shù)據(jù)丟失，都可以由另外三塊數(shù)據(jù)恢復(fù)出來(lái)，例如數(shù)據(jù)塊 A 所在的磁盤(pán) 1 損壞，那么只需要讀出與數(shù)據(jù)塊 A 在同一個(gè) Stripe 的其它 SU，然后對(duì)這些數(shù)據(jù)塊進(jìn)行異或，就可以將 A 恢復(fù)出來(lái)，其原理是 P0=A⊕B⊕C 能夠推導(dǎo)出A=P0⊕ B⊕C。 圖 為一個(gè) 4 個(gè)磁盤(pán)的組成的 RAID5 數(shù)據(jù)存儲(chǔ)示意圖。這種方式使得磁盤(pán)陣列可靠性大大提高，當(dāng)保留區(qū)域即將用完時(shí)，即可給出更高級(jí)別的預(yù)警，觸發(fā)更高級(jí)別的磁盤(pán)數(shù)據(jù)移植任務(wù)。 磁盤(pán)故障修復(fù)原理在傳統(tǒng)磁盤(pán)壞扇區(qū)修復(fù)方式中，通過(guò)在磁盤(pán)中保留部分區(qū)域(實(shí)際磁盤(pán)容量大于報(bào)告給用戶(hù)的磁盤(pán)容量)，當(dāng)磁盤(pán)在使用過(guò)程中出現(xiàn)部分介質(zhì)缺陷時(shí)，會(huì)從該區(qū)域中分配扇區(qū)替換缺陷扇區(qū)，同時(shí)更新 GList(增長(zhǎng)缺陷表 )[1518]，以達(dá)到修復(fù)的目的。本文提出了主動(dòng)監(jiān)控的思想，它對(duì)存儲(chǔ)系統(tǒng)進(jìn)行及時(shí)的控管，定時(shí)對(duì)系統(tǒng)中的各個(gè)存儲(chǔ)節(jié)點(diǎn)工作溫度、節(jié)點(diǎn)能耗、數(shù)據(jù)誤碼率、傳輸性能等健康指標(biāo)進(jìn)行分析，當(dāng)健康指標(biāo)超出正常閾值時(shí)，及時(shí)產(chǎn)生預(yù)警信息，系統(tǒng)隨后自動(dòng)啟動(dòng)數(shù)據(jù)遷移，將數(shù)據(jù)遷移到適當(dāng)?shù)墓?jié)點(diǎn)或磁盤(pán)，這就是存儲(chǔ)設(shè)備健康預(yù)警及數(shù)據(jù)遷移技術(shù)。第六章總結(jié)了我們所做的工作，并計(jì)劃了下一步的工作以及展望了基于對(duì)象存儲(chǔ)的前景。第五章比較詳細(xì)的描述了一個(gè)原型系統(tǒng)的設(shè)計(jì)和實(shí)現(xiàn)。第四章說(shuō)明了屬性的傳遞機(jī)制。本文將重點(diǎn)以 OSD 為基礎(chǔ)進(jìn)行有關(guān)研究。第二章首先介紹幾種存儲(chǔ)技術(shù)、特別是存儲(chǔ)區(qū)域網(wǎng)（SAN）在安全性、數(shù)據(jù)共享和設(shè)備管理等方面的存在問(wèn)題。要求實(shí)現(xiàn)配置管理基本菜單的所有功能（詳見(jiàn)附錄 Menu Tree） ，包括：（1）查看磁盤(pán)陣列當(dāng)前狀態(tài)；（2）利用文字菜單通過(guò)簡(jiǎn)單操作對(duì)陣列進(jìn)行配置；（3）保證用戶(hù)配置過(guò)程中的安全性和穩(wěn)定性。隨著對(duì)象存儲(chǔ)的產(chǎn)生和發(fā)展，存儲(chǔ)設(shè)備有必要主動(dòng)學(xué)習(xí)其運(yùn)行環(huán)境的重要特征。類(lèi)似的項(xiàng)目還有 Panasas（Panasas Inc. ，實(shí)現(xiàn)了基于對(duì)象存儲(chǔ)的文件系統(tǒng)，稱(chēng)為 PanFS。而 SNIA (Storage Networking Industry Association)是一個(gè)非盈利性質(zhì)的商業(yè)組織。Lustre 是 Cluster File System 公司開(kāi)發(fā)的開(kāi)放源代碼項(xiàng)目，目標(biāo)是高性能、可擴(kuò)展的 SAN 文件系統(tǒng) [15]。ObjectStone 是 IBM 實(shí)現(xiàn)的基于對(duì)象的控制器原型，運(yùn)行于 Linux 服務(wù)器環(huán)境，整個(gè)對(duì)象存儲(chǔ)實(shí)現(xiàn)于塊設(shè)備之上。2022 年底，SNIA（網(wǎng)絡(luò)存儲(chǔ)工業(yè)協(xié)會(huì)）OSD 工作組和 T10 委員會(huì) 1制訂的 OSD標(biāo)準(zhǔn)（第 1 版）獲得通過(guò)，并成為 ANSI 標(biāo)準(zhǔn)，名稱(chēng)為“SCSI ObjectBased Storage Device Commands (OSD)” [12][13]。IBM 在對(duì)象存儲(chǔ)領(lǐng)域進(jìn)行了長(zhǎng)期的研究與開(kāi)發(fā)工作。沒(méi)有單獨(dú)一種數(shù)據(jù)分布可以適合所有的數(shù)據(jù)、使所有的負(fù)載達(dá)到最優(yōu)性能。其基本思想有四點(diǎn)：直接向客戶(hù)端傳送數(shù)據(jù)，通過(guò)加密實(shí)現(xiàn)安全接口，異步非臨界通道（客戶(hù)端的大多數(shù)操作不需要向文件管理器發(fā)出同步請(qǐng)求） ，大小可變的數(shù)據(jù)對(duì)象。另一方面，與文件一樣，訪(fǎng)問(wèn)對(duì)象的應(yīng)用也要通過(guò)必要的元數(shù)據(jù)，容易實(shí)現(xiàn)對(duì)象的跨平臺(tái)訪(fǎng)問(wèn)。文件提供給用戶(hù)應(yīng)用一個(gè)高層抽象，允許不同的操作系統(tǒng)平臺(tái)之間安全地共享數(shù)據(jù)，但是其性能往往受到文件服務(wù)器的限制。我們相信一個(gè)基于存儲(chǔ)對(duì)象（object）的接口是該問(wèn)題的解決之道。盡管存儲(chǔ)系統(tǒng)從基于塊的接口（SCSI 和 ATA/IDE）的穩(wěn)定性中獲益不少，而這一點(diǎn)越來(lái)越成為存儲(chǔ)體系結(jié)構(gòu)的制約因素。當(dāng)前廣泛使用的三種存儲(chǔ)結(jié)構(gòu)是直連存儲(chǔ)（DAS） 、存儲(chǔ)區(qū)域網(wǎng)（SAN）和附網(wǎng)存儲(chǔ)（NAS） 。傳統(tǒng)的并行 PCI和 SCSI總線(xiàn)已經(jīng)沒(méi)有性能提升的余地，I/O總線(xiàn)更多地向串行化發(fā)展，比如 PCI Express、串行存儲(chǔ)體系結(jié)構(gòu)（SSA） 、光纖通道（Fibre Channel）等。一是改進(jìn)部件的物理性能。計(jì)算機(jī)系統(tǒng)結(jié)構(gòu)的設(shè)計(jì)重點(diǎn)正在逐漸從傳統(tǒng)的以處理為中心轉(zhuǎn)變?yōu)橐詳?shù)據(jù)為中心。數(shù)據(jù)重建過(guò)程需要大量的磁盤(pán) I/O，增加了磁盤(pán)的 I/O負(fù)載，降低了整個(gè) RAID系統(tǒng)的性能，而且很可能會(huì)再次出現(xiàn)磁盤(pán)故障，這種情況一旦發(fā)生，那么將可能超過(guò) RAID容忍故障的能力，從而導(dǎo)致數(shù)據(jù)丟失。由于 RAID存儲(chǔ)系統(tǒng)的速度、可靠性都較高，在構(gòu)建大規(guī)模存儲(chǔ)系統(tǒng)時(shí)，大多數(shù)都采用磁盤(pán)陣列作為存儲(chǔ)節(jié)點(diǎn)。例如，在現(xiàn)代化戰(zhàn)爭(zhēng)中，如果控制系統(tǒng)數(shù)據(jù)損壞，則會(huì)產(chǎn)生極大地影響，甚至導(dǎo)致戰(zhàn)爭(zhēng)的失??；如果企業(yè)核心數(shù)據(jù)丟失，則會(huì)影響企業(yè)的正常運(yùn)作。關(guān)鍵詞之間用“,”隔開(kāi)，最后一個(gè)關(guān)鍵詞后不用加任何標(biāo)點(diǎn)符號(hào)。注意摘要中不得出現(xiàn)“本文共有 X章，第一章…，第二章…”之類(lèi)的表述。利用iSCSI協(xié)議作為 OSD命令的傳輸層，加快了系統(tǒng)的實(shí)現(xiàn)過(guò)程。另一種是應(yīng)用程序提供文件系統(tǒng)層的信息，設(shè)備內(nèi)部根據(jù)文件的屬性做出相關(guān)預(yù)測(cè)，并用于策略選擇。因此，工業(yè)界和學(xué)術(shù)界正在努力改變目前的存儲(chǔ)技術(shù)，使存儲(chǔ)設(shè)備從非智能的、外部管理發(fā)展成為智能的、自管理的設(shè)備，并且能夠感知設(shè)備所服務(wù)的應(yīng)用。畢業(yè)設(shè)計(jì)（論文）XXX 系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)院 系： 計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院站 點(diǎn)： 武漢學(xué)習(xí)中心專(zhuān) 業(yè)： 計(jì)算機(jī)科學(xué)與技術(shù)學(xué) 號(hào)： 4202209320224指 導(dǎo) 教 師 ： 譚志虎華中科技大學(xué)遠(yuǎn)程與繼續(xù)教育學(xué)院2022 年 9 月畢業(yè)設(shè)計(jì)（論文）任務(wù)書(shū)（應(yīng)由學(xué)生本人按指導(dǎo)教師下達(dá)的任務(wù)認(rèn)真謄寫(xiě)）姓名 專(zhuān)業(yè) 計(jì)算機(jī)科學(xué)與技術(shù) 指導(dǎo)教師 譚志虎 學(xué)號(hào) 4202209320224 入學(xué)時(shí)間 站點(diǎn)（院系） 武漢學(xué)習(xí)中心 一、課題名稱(chēng)一種簡(jiǎn)單分布式網(wǎng)絡(luò)文件系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)二、課題內(nèi)容實(shí)現(xiàn)一個(gè)簡(jiǎn)單的分布式網(wǎng)絡(luò)系統(tǒng)，實(shí)現(xiàn)文件的分布式網(wǎng)絡(luò)化存儲(chǔ)?；趯?duì)象的存儲(chǔ)（ObjectBased Storage）被認(rèn)為是該問(wèn)題的解決之道。比較而言，前者容易實(shí)現(xiàn)，而后者要求新的 OSD文件系統(tǒng)，好處是不需要修改應(yīng)用程序。同時(shí)以一個(gè)正在進(jìn)行的 RAID控制器項(xiàng)目為基礎(chǔ)，增加了新的對(duì)象存儲(chǔ)管理模塊，最終實(shí)現(xiàn)了 OSD接口的磁盤(pán)陣列，并驗(yàn)證了屬性控制的數(shù)據(jù)放置策略。中文摘要須另起一頁(yè)。Comment [T4]: 英文摘要定稿后再寫(xiě)，避免多次修改Examination questions：XXX system Abstract of thesisIn order