【導(dǎo)讀】實現(xiàn)一個簡單的分布式網(wǎng)絡(luò)系統(tǒng)，實現(xiàn)文件的分布式網(wǎng)絡(luò)化存儲。[2]龐麗萍編．操作系統(tǒng)原理（第二版）．武漢：華中理工大學(xué)出版社，[4]（美）TomMitchell著；曾華軍等譯．機(jī)器學(xué)習(xí)．北京：。的、外部管理發(fā)展成為智能的、自管理的設(shè)備，并且能夠感知設(shè)備所服務(wù)的應(yīng)用?；趯ο蟮拇鎯Ρ徽J(rèn)為是該問題的解決之道。以SCSIOSD協(xié)議為基礎(chǔ)，建立屬性的兩種傳遞機(jī)制。程序接口直接提供屬性信息，存儲設(shè)備根據(jù)屬性直接做出存儲策略選擇。比較而言，前者容易實現(xiàn)，而后者要求新的OSD文件系統(tǒng)，好處是不需。同時還給出了三個屬性頁的定義作為OSD標(biāo)準(zhǔn)擴(kuò)展提議。設(shè)計實現(xiàn)了符合T10OSD標(biāo)準(zhǔn)協(xié)議的原型系統(tǒng)。協(xié)議作為OSD命令的傳輸層，加快了系統(tǒng)的實現(xiàn)過程。同時以一個正在進(jìn)行的RAID. 列，并驗證了屬性控制的數(shù)據(jù)放置策略。中文摘要是對論文正文內(nèi)容的高度概括。計過程、實驗手段及取得的成果等。中文摘要須另起一頁。關(guān)鍵詞之間用“,”隔開，最后一個關(guān)鍵詞后不用加任何標(biāo)點符號。

　　

【正文】 開發(fā)環(huán)境 整個系統(tǒng)的軟硬件設(shè)計是同步進(jìn)行的。在自己定制的控制器硬件可以使用之前，我們使用了 IQ80321 評估板作為軟件開發(fā)平臺。該硬件平臺是目 前開發(fā)網(wǎng)絡(luò)存儲設(shè)備比較好的選擇。 ( 操作系統(tǒng)的選擇將對系統(tǒng)性能和開發(fā)過程產(chǎn)生重要影響。已經(jīng)移植到 80321 的操作系統(tǒng)包括 Nucleus， MontaVista Linux 和 VxWorks 等。我們選擇 Linux 作為嵌入式操作系統(tǒng)。創(chuàng)建嵌入式 Linux 系統(tǒng)的基本任務(wù)是在目標(biāo)板上運(yùn)行 Linux 內(nèi)核。參考如 圖 所示的“主機(jī) /目標(biāo)機(jī)”交叉開發(fā)環(huán)境，建立一個嵌入式 ARM Linux 系統(tǒng)需要下面 4 個步 驟。 23 畢 業(yè) 設(shè) 計 （ 論 文 ） 主機(jī) (PC 或 工作站 ) 目標(biāo)板 (IQ 8 0 3 2 1 ) 主機(jī)操作系統(tǒng) (R e d h a t L i n u x ) 交 叉 工具鏈 軟件調(diào)試工 具 遠(yuǎn) 程 控制臺 調(diào)試監(jiān)視器 (R e d Bo o t) BSP , 驅(qū)動程序 , 和內(nèi)核 根文件系統(tǒng) J T AG 并口 以太網(wǎng) 串口 網(wǎng)絡(luò)接口 用戶應(yīng)用 圖 交叉開發(fā)環(huán)境 1. 準(zhǔn)備交叉開發(fā)工具鏈 工具鏈（ toolchain）實際上包含許多部件，其中最重要的一個是 gcc 編譯器，另一個是 binutils（一組操作二進(jìn)制文件的工具）。有了這些工具就可以編譯內(nèi)核了，不過其實通常情況下還需要 C 庫 glibc，以支持編譯更多的應(yīng)用。 2. 編譯 ARM Linux內(nèi)核 為了編譯一個可以在 IOP321 上運(yùn)行的 Linux 內(nèi)核，需要為官 方 Linux 內(nèi)核打上一系列補(bǔ)丁。我們?yōu)? 官方內(nèi)核源代碼打 rmk1， ds0 和 dj9 補(bǔ)丁包，從而得到 版本內(nèi)核。然后使用 make 命令即可調(diào)用 armlinux 工具鏈生成內(nèi)核映像文件 zImage。后來我們又將內(nèi)核升級到了 。 3. 編譯 ARM Linux內(nèi)核 系統(tǒng)軟件 架構(gòu) 為了驗證上述屬性控制的對象放置策略，我們設(shè)計實現(xiàn)了一個原型系統(tǒng)，可以 24 畢 業(yè) 設(shè) 計 （ 論 文 ） 稱為 iSCSIOSDRAID。該系統(tǒng)基于本實驗室自主開發(fā)的磁盤陣列控制器，并 融入了 OSD 研究領(lǐng)域的最新成果。原型系統(tǒng)的整體結(jié)構(gòu)如 圖 所示。 整個系統(tǒng)可以分為啟動器（ Initiator）和目標(biāo)器（ Target）兩大部分 1。應(yīng)用程序的 I/O請求首先送給文件系統(tǒng)，文件系統(tǒng)把對文件的訪問轉(zhuǎn)換為對 OSD對象的訪問。OSD 啟動器（相當(dāng)于 OSD 的設(shè)備驅(qū)動程序）收到請求之后，根據(jù) OSD 標(biāo)準(zhǔn)發(fā)出SCSI 命令給目標(biāo)器。 應(yīng)用 Li nux V F S OSD 文件系統(tǒng) OSD 啟動器 i S C S I 啟動器 T C P / I P T C P / I P i S C S I 目標(biāo)器 OSD 目標(biāo)器 I P 協(xié)議 i S C S I 協(xié)議 S C S I OSD 網(wǎng)絡(luò) R A I D 控制器 啟動器 目標(biāo)器 圖 OSD原型系統(tǒng)結(jié)構(gòu) SCSI 命令從啟動器到目標(biāo)器的傳輸可以采用多種物理途徑。最直接的方式是通過 SCSI 扁平電纜，或者還可以使用光纖。但是這兩種方式都要求有合適的主機(jī)適配卡（ HBA）和驅(qū)動程序，并且需要對標(biāo)準(zhǔn)的驅(qū)動程序進(jìn)行必要的改造，這是比較困難的。因此，在現(xiàn)階段我們采用 iSCSI 和 TCP/IP 協(xié)議，利用以太網(wǎng)來傳輸 SCSI 1在 T10 SCSI 標(biāo)準(zhǔn)中，術(shù)語“應(yīng)用客戶端（ application client）”即表示啟動器，發(fā) 出 SCSI 命令；“設(shè)備服務(wù)器（ device server）”即表示目標(biāo)器，負(fù)責(zé)處理 SCSI 命令。 25 畢 業(yè) 設(shè) 計 （ 論 文 ） 命令。這種選擇的優(yōu)點是顯而易見的：以太網(wǎng)涉及的軟件和硬件（ TCP/IP 協(xié)議，網(wǎng)絡(luò)接口卡 NIC 以及交換機(jī)等）都是通用的標(biāo)準(zhǔn)組件；而 iSCSI 協(xié)議也已經(jīng)趨于成熟，無 論是啟動器還是目標(biāo)器都有大量參考代碼和實現(xiàn)。在原型實現(xiàn)中，最關(guān)鍵的模塊是 OSD Initiator 和 OSD Target。其中 OSD Initiator 我們借用了 IBM 提供的源代碼 1（ ） [5][14][11]。 RAID 控制器軟件分為 5 個模塊，如 圖 所示。 C a ch e 管理 (C M) R A I D 核心 (R K ) S C S I 啟動器 (SI) i S C S I F E T D A g i l e n t T S D K OSD S T ML 對象管理 . 全 局 配 置 (GC) i S C S I S T ML F C 啟動器 OSD 啟動器 i S C S I 啟動器 R A Md i sk (ST ) 圖 RAID控制器軟件結(jié)構(gòu) ST 負(fù)責(zé)接收主機(jī)的 SCSI 命令并返回應(yīng)答和數(shù)據(jù)。為了提高 I/O 數(shù)傳率， CM進(jìn)行預(yù)讀和延遲寫緩存管理，使 I/O 請求盡可能在緩存中完成。 RK 進(jìn)行 RAID 處理，包括常用的 RAID 級別和重構(gòu)。最后，真正的磁盤讀寫操作和磁盤狀態(tài)檢測 由 SI完成。 GC 模塊使系統(tǒng)管理員可以通過幾種方式對磁盤陣列進(jìn)行配置、管理，比如 1 IBM 已經(jīng)根據(jù) OSDv1 既實現(xiàn)了啟動器、也實現(xiàn)了目標(biāo)器，但是僅啟動器的源代碼是公開的。 26 畢 業(yè) 設(shè) 計 （ 論 文 ） 串口控制臺和 GUI 應(yīng)用程序。 SCSI 目標(biāo)器模塊的設(shè)計比較復(fù)雜。在通常的操作系統(tǒng)中， SCSI 子系統(tǒng)都是作為啟動器實現(xiàn)的。磁盤陣列與主機(jī)連接之后，對磁盤陣列來說主機(jī)就是啟動器，而RAID 控制器必須作為主機(jī)的一個 SCSI 設(shè)備，具有目標(biāo)器的功能，從主機(jī)接收 SCSI命令進(jìn)行處理。仿照 SCSI 子系統(tǒng)的結(jié)構(gòu)， ST 也分為目標(biāo)器中間層（ STML）和前端驅(qū)動（ FETD）兩個部分。 我們設(shè)計的 ST 模塊目前支持三種協(xié)議的啟動器，分別是 FC（光纖通道）、 iSCSI 和OSD。 FC 目標(biāo)器的實現(xiàn)相對比較獨立，基于 Agilent 提供的軟件開發(fā)包。而 iSCSI與 OSD 則具有比較緊密的聯(lián)系，兩者使用了同一個 iSCSI 前端驅(qū)動，因為 OSD 目標(biāo)器也依賴 iSCSI 進(jìn)行 SCSI 命令的傳輸。 iSCSI 前端收到 SCSI 命令之后，可以選擇將命令發(fā)送給 iSCSI 或者 OSD 中間層進(jìn)行處理。當(dāng)然，這兩種目標(biāo)器的中間層能夠處理的 SCSI 命令是有區(qū)別的。下一節(jié)詳細(xì)給出 iSCSI 和 OSD 目標(biāo)器的設(shè)計。 功能模塊劃分 Cache 管理模塊在整個軟件系統(tǒng)中處于關(guān)鍵位置。為了盡可能減少內(nèi)存復(fù)制的開銷， 實現(xiàn)了內(nèi)存“零拷貝”。 CM 作為內(nèi)存管理中心，使用伙伴算法、以分條單元（ Stripe Unit）為單位分配內(nèi)存緩沖區(qū)。對于每個 I/O 請求使用紅黑樹算法在 Cache中查找是否命中，該算法能夠以 O(log2 n)的時間復(fù)雜度進(jìn)行搜索、插入、刪除操作。 RAID 核心算法模塊的主要任務(wù)是將對虛擬磁盤的讀寫轉(zhuǎn)換為對物理磁盤的讀寫。在當(dāng)前的 Linux 內(nèi)核中利用文件系統(tǒng)層和磁盤驅(qū)動程序?qū)又g的 MD 模塊實現(xiàn)了軟 RAID 方案，由于涉及文件系統(tǒng)層的同步調(diào)用故效率不高。我們獨立實現(xiàn)了幾種常見 RAID 級別（ 0， 1， 10， 3， 5， 6 等 ）的算法，達(dá)到了比較好的效果。 在最初的設(shè)計中， RK 發(fā)出的讀寫請求在送到磁盤進(jìn)行處理之前，還要經(jīng)過 I/O調(diào)度模塊，目的是通過分析、合并或者重新組織隊列中的 I/O 請求，提高 I/O 通道的數(shù)傳率。我們實現(xiàn)了 FCFS、 CLOOK 和 LOOK 等幾種 I/O 調(diào)度算法，并在原型系統(tǒng)中進(jìn)行了大量測試。但是統(tǒng)計發(fā)現(xiàn)隊列的長度總是小于 3，這樣調(diào)度算法就達(dá)不到預(yù)期的效果。因此目前已經(jīng)取消了 I/O 調(diào)度模塊。 27 畢 業(yè) 設(shè) 計 （ 論 文 ） 最后， SCSI 啟動器模塊負(fù)責(zé)與物理磁盤連接，并實現(xiàn)磁盤例測和熱插拔。控制器軟件中的啟動器模塊是相對所連接的磁盤設(shè)備而言的。目前該 模塊支持 SCSI 磁盤，也支持 SATA 磁盤。 功能模塊設(shè)計 從 錯誤 !未找到引用源。 中可 以看出，磁盤自愈與數(shù)據(jù)主動遷移模塊可以劃分為磁盤 I/O 過濾器、磁盤屬性管理、磁盤自愈、數(shù)據(jù)遷移、磁盤狀態(tài)檢測及配置接口六個功能模塊。磁盤 I/O 過濾器模塊分層過濾磁盤讀寫請求，并分析讀寫請求執(zhí)行情況，然后調(diào)用其它功能模塊進(jìn)行相應(yīng)處理，當(dāng)磁盤請求處理失敗時，會調(diào)用磁盤自愈功能模塊，當(dāng)磁盤健康狀況不滿足標(biāo)準(zhǔn)時，則會調(diào)用數(shù)據(jù)遷移功能模塊，因此，磁盤 I/O 過濾器功能模塊在磁盤自愈與數(shù)據(jù)主動遷移模塊中非常重要。 磁盤 I/O 過濾器 讀寫過濾器是磁盤自愈與數(shù)據(jù)主動遷移模塊的驅(qū)動器，同時也是整個數(shù)據(jù)流動的入口，該功能模塊的設(shè)計對于整個模塊的可移植性非常關(guān)鍵。在設(shè)計中使用了分層次過濾磁盤 I/O 的思想，該功能模塊提供過濾框架及注冊接口，其它功能模塊可調(diào)用該功能模塊提供的注冊接口安裝過濾器，過濾磁盤 I/O。在磁盤 I/O 過濾器的上層，提供讀寫磁盤的接口以供 RAID 系統(tǒng)其它模塊調(diào)用，而在過濾器的最底層，則會調(diào)用操作系統(tǒng)提供的磁盤讀寫接口，真正讀寫磁盤。 在 錯誤 !未找到引用源。 中，操作系統(tǒng)提供的讀寫磁盤接口主要是調(diào)用 SCSI 中間層提供的接口。 SCSI 中間層是 Linux 中 SCSI 子系統(tǒng)一部分， 圖 給出了 SCSI子系統(tǒng)在 Linux 系統(tǒng)中的位置。 SCSI 子系統(tǒng)處于內(nèi)核態(tài)，位于文件系統(tǒng)之下， SCSI子系統(tǒng)又可分為三層，最上層是主要設(shè)備類型的抽象接口，比如磁盤、磁帶以及光驅(qū)等設(shè)備，在該層中看不到設(shè)備任何細(xì)節(jié)，代表的是一類設(shè)備的訪問方式，與具體設(shè)備無關(guān)，中間 一層即上面提過的 SCSI 中間層，該層稱為公共層或統(tǒng)一層，這一層提供了一系列的通用接口，下面一層與具體設(shè)備驅(qū)動相關(guān)。 28 畢 業(yè) 設(shè) 計 （ 論 文 ） 用 戶 態(tài) 程 序 及 服 務(wù)系 統(tǒng) 調(diào) 用 接 口虛 擬 文 件 系 統(tǒng) ( V F S )文 件 系 統(tǒng) ( E x t 3 , J F F S 等 )塊 設(shè) 備 驅(qū) 動 ( S C S I 子 系 統(tǒng) 是 該 層 的一 部 分 )S C S I I D E 其 它 塊 設(shè) 備用 戶 態(tài)內(nèi) 核 態(tài) 圖 SCSI子系統(tǒng)在 Linux系統(tǒng) 中的位置 RAID 系統(tǒng)通過調(diào)用 DH 模塊提供的讀寫磁盤接口來讀寫磁盤，此時磁盤讀寫請求就會進(jìn)入到過濾器，并在過濾器中各子過濾器間流動，最終進(jìn)入 SCSI 中間層，然后調(diào)度磁盤驅(qū)動真正執(zhí)行磁盤讀寫操作。當(dāng) SCSI 中間層 處理完磁盤 I/O 請求后，會調(diào)用請求者提供的回調(diào)函數(shù) (這里讀寫磁盤都是調(diào)用異步讀寫接口 )，回調(diào)函數(shù)會控制該響應(yīng)從低到高 I/O 過濾路徑返回，因此各子過濾器也能夠過濾到響應(yīng)。 磁盤屬性管理 磁盤屬性管理是整個磁盤自愈與數(shù)據(jù)遷移模塊的核心功能模塊，它管理磁盤的健康狀況信息，并提供接口供磁盤 I/O 過濾器模塊調(diào)用以報告對磁盤讀寫的操作結(jié)果。當(dāng)磁盤過濾器完成一個磁盤 I/O 操作時，會將操作結(jié)果發(fā)給該模塊，用以統(tǒng)計I/O 出錯次數(shù)，如果該 I/O 操作正常，則直接往上層返回，否則需要調(diào)用磁盤自愈模塊并重新執(zhí)行該 I/O 請求。當(dāng)該功能 模塊統(tǒng)計的 I/O 出錯次數(shù)超過某一數(shù)值或者磁盤狀態(tài)檢測模塊檢測的 SMART 信息預(yù)測磁盤可能出現(xiàn)故障時，會啟動數(shù)據(jù)遷移來保護(hù)磁盤數(shù)據(jù)的可靠性。磁盤屬性管理模塊會維護(hù)磁盤健康狀態(tài)信息，當(dāng)信息發(fā)生改變時，會將相關(guān)信息存儲到磁盤特定位置，以防止磁盤健康狀況屬性的丟失。同時，磁盤屬性管理功能模塊還為終端配置接口功能模塊提供交互接口，用于對磁盤健康標(biāo)準(zhǔn)參數(shù)的配置，以及狀態(tài)信息的反饋。狀態(tài)信息反饋包括磁盤健康狀況、磁盤自愈工作情況以及數(shù)據(jù)遷移進(jìn)度等。 圖 描述 了磁盤 屬性管理功能模塊的劃分 29 畢 業(yè) 設(shè) 計 （ 論 文 ） 圖。 讀 寫 請 求狀 態(tài) 分 析磁 盤 健 康 狀 況管 理配 置 接 口 及狀 態(tài) 反 饋磁 盤 屬 性 存 取數(shù) 據(jù) 遷 移 管 理磁 盤 自 愈 管 理保 留扇 區(qū)管 理替 換映 射管 理磁 盤 健 康 參數(shù) 設(shè) 置 圖 磁盤屬性管理功能模塊劃分 讀寫請求分析：提供接口供磁盤 I/O 過濾器調(diào)用，分析磁盤讀寫 I/O 執(zhí)行情況，并將相關(guān)信息向磁盤健康管理部分報告。 數(shù)據(jù)遷移管理：管理數(shù)據(jù)遷移部分信息，提供啟動及停止數(shù)據(jù)遷移相關(guān)接口，對數(shù)據(jù)遷移源磁盤及遷移目標(biāo)磁盤信息進(jìn)行維護(hù)，根據(jù)遷移進(jìn)度實現(xiàn)目標(biāo)磁盤替換源磁盤。磁盤自愈管理：管理自愈相關(guān)信息，包括保留 扇區(qū)以及替換映射信息的管理，保留扇區(qū)是每個磁盤都保留一部分扇區(qū)用來替換磁盤壞