【導(dǎo)讀】撰寫(xiě)的成果作品。本人完全意識(shí)到本聲明的法律后果由本人承擔(dān)。關(guān)學(xué)位論文管理部門(mén)或機(jī)構(gòu)送交論文的復(fù)印件和電子版，允許論文被查閱和借閱。以采用影印、縮印或掃描等復(fù)制手段保存和匯編本學(xué)位論文。以獲得云計(jì)算交付的服務(wù)。云存儲(chǔ)伴隨云計(jì)算而產(chǎn)生，與傳統(tǒng)的專(zhuān)用存儲(chǔ)相比，云存儲(chǔ)增。它將成為未來(lái)最值得期待推廣和應(yīng)用的技術(shù)之一。云計(jì)算系統(tǒng)不但能對(duì)數(shù)據(jù)進(jìn)行處理和。計(jì)算系統(tǒng)中配置相應(yīng)的存儲(chǔ)設(shè)備，該計(jì)算系統(tǒng)即擁有了云存儲(chǔ)系統(tǒng)功能。更易于管理，因?yàn)閷⒋蟛糠謹(jǐn)?shù)據(jù)遷移到云存儲(chǔ)上去后，所有的升級(jí)維。目前已知存儲(chǔ)密度最高的磁盤(pán)陣列。是云存儲(chǔ)最核心的部分，也是云存儲(chǔ)中最難以實(shí)現(xiàn)的部分。

　　

【正文】 般遠(yuǎn)大于失效數(shù)據(jù)大小 ,修復(fù)成本較高。 武漢理工大學(xué)畢業(yè)設(shè)計(jì)（論文） 13 4云存儲(chǔ)的 架構(gòu)技術(shù) GFS(Google File System)， 是 Google公司為了存儲(chǔ)海量搜索數(shù)據(jù)而設(shè)計(jì)的專(zhuān)用文件系統(tǒng) 。 GFS是一個(gè)可擴(kuò)展的分布式文件系統(tǒng)，用于大型的、分布式的、對(duì)大量數(shù)據(jù)進(jìn)行訪問(wèn)的應(yīng)用。它運(yùn)行于廉價(jià)的普通硬件上，但可以提供容錯(cuò)功能 ， 可以給大量的用戶提供總體性能較高的服務(wù)。 GFS提供了一個(gè)類(lèi)似傳統(tǒng)文件系統(tǒng)的接口，雖然它沒(méi)有向 POSIX（ Portable Operating System Interface， 可移植 操作系統(tǒng)接口 ） ， 那樣實(shí)現(xiàn)標(biāo)準(zhǔn)的 API（ Application Programming Interface,應(yīng)用程序 編程接口） 。 文件在目錄中按照層次組織，用路徑名來(lái)標(biāo)識(shí) ， 可應(yīng)用在Linux和 Windows等各種平臺(tái) 。 GFS系統(tǒng)架構(gòu) [17]如圖 ： 圖 GFS 系統(tǒng)架構(gòu) 客戶端在訪問(wèn) GFS時(shí)，首先訪問(wèn) Master節(jié)點(diǎn)，獲取將要與之進(jìn)行交互的 Chunk Server信息，然后直接訪問(wèn)這些 Chunk Server完成數(shù)據(jù)存取。 GFS的這種設(shè)計(jì)方法實(shí)現(xiàn)了控制流和數(shù)據(jù)流的分離。 Client與 Master之間只有控制流，而無(wú)數(shù)據(jù)流，這樣就極大地降低了 Master的負(fù)載，使之不成為系統(tǒng)性能的一個(gè)瓶頸。 Client與 Chunk Server之間直接傳輸數(shù)據(jù)流，同時(shí)由于文件被分成多個(gè) Chunk進(jìn)行分布式存儲(chǔ)， Client可以同時(shí)訪問(wèn)多個(gè) Chunk Server，從而使得整個(gè)系統(tǒng)的 I/O高度并行，系統(tǒng)整體性能得到提高。具體來(lái)說(shuō)， GFS具有以下幾個(gè)特點(diǎn)。 （ 1） 采用中心服 務(wù)器模式 GFS采用中心服務(wù)器模式來(lái)管理整個(gè)文件系統(tǒng)，可以大大簡(jiǎn)化設(shè)計(jì)，從而降低實(shí)現(xiàn)難度。 Master管理了分布式文件系統(tǒng)中的所有元數(shù)據(jù)。文件劃分為 Chunk進(jìn)行存儲(chǔ)，對(duì)于 Master來(lái)說(shuō)，每個(gè) Chunk Server只是一個(gè)存儲(chǔ)空間。 Client發(fā)起的所有操作都需要先通過(guò) Master才能執(zhí)行。這樣做有許多好處，增加新的 Chunk Server是一件十分容易的事情， Chunk Server武漢理工大學(xué)畢業(yè)設(shè)計(jì)（論文） 14 只需要注冊(cè)到 Master上即可， Chunk Server之間無(wú)任何關(guān)系。 Master維護(hù)了一個(gè)統(tǒng)一的命名空間，同時(shí)掌握整 個(gè)系統(tǒng)內(nèi) Chunk Server的情況，據(jù)此可以實(shí)現(xiàn)整個(gè)系統(tǒng)范圍內(nèi)數(shù)據(jù)存儲(chǔ)的負(fù)載均衡。由于只有一個(gè)中心服務(wù)器，元數(shù)據(jù)的一致性問(wèn)題自然解決。當(dāng)然，中心服務(wù)器模式也帶來(lái)一些固有的缺點(diǎn)，比如極易成為整個(gè)系統(tǒng)的瓶頸等。 GFS采用多種機(jī)制來(lái)避免 Master成為系統(tǒng)性能和可靠性上的瓶頸，如盡量控制元數(shù)據(jù)的規(guī)模、對(duì) Master進(jìn)行遠(yuǎn)程備份、控制信息和數(shù)據(jù)分流等。 （ 2） 不緩存數(shù)據(jù) 緩存（ Cache）機(jī)制是提升文件系統(tǒng)性能的一個(gè)重要手段，通用文件系統(tǒng)為了提高性能，一般需要實(shí)現(xiàn)復(fù)雜的緩存機(jī)制。 GFS文件系統(tǒng)根據(jù)應(yīng)用的特點(diǎn)，沒(méi) 有實(shí)現(xiàn)緩存，這是從必要性和可行性?xún)煞矫婵紤]的。從必要性上講，客戶端大部分是流式順序讀寫(xiě)，并不存在大量的重復(fù)讀寫(xiě)，緩存這部分?jǐn)?shù)據(jù)對(duì)系統(tǒng)整體性能的提高作用不大；而對(duì)于 Chunk Server，由于 GFS的數(shù)據(jù)在 Chunk Server上以文件的形式存儲(chǔ)，如果對(duì)某塊數(shù)據(jù)讀取頻繁，本地的文件系統(tǒng)自然會(huì)將其緩存。從可行性上講，如何維護(hù)緩存與實(shí)際數(shù)據(jù)之間的一致性是一個(gè)極其復(fù)雜的問(wèn)題，在 GFS中各個(gè) Chunk Server的穩(wěn)定性都無(wú)法確保，加之網(wǎng)絡(luò)等多種不確定因素，一致性問(wèn)題尤為復(fù)雜。此外由于讀取的數(shù)據(jù)量巨大，以當(dāng)前的 內(nèi)存容量無(wú)法完全緩存。對(duì)于存儲(chǔ)在 Master中的元數(shù)據(jù)， GFS采取了緩存策略， GFS中 Client發(fā)起的所有操作都需要先經(jīng)過(guò) Master。 Master需要對(duì)其元數(shù)據(jù)進(jìn)行頻繁操作，為了提高操作的效率，Master的元數(shù)據(jù)都是直接保存在內(nèi)存中進(jìn)行操作。同時(shí)采用相應(yīng)的壓縮機(jī)制降低元數(shù)據(jù)占用空間的大小，提高內(nèi)存的利用率。 （ 3） 在用戶態(tài)下實(shí)現(xiàn) 文件系統(tǒng)作為操作系統(tǒng)的重要組成部分，其實(shí)現(xiàn)通常位于操作系統(tǒng)底層。以 Linux為例，無(wú)論是本地文件系統(tǒng)，還是分布式文件系統(tǒng)，都是在內(nèi)核態(tài)實(shí)現(xiàn)的。在內(nèi)核態(tài)實(shí)現(xiàn)文件系統(tǒng)，可以更好地 和操作系統(tǒng)本身結(jié)合，向上提供兼容的 POSIX接口。然而， GFS卻選擇在用戶態(tài)下實(shí)現(xiàn)。 （ 4） 只提供專(zhuān)用接口 通常的分布式文件系統(tǒng)一般都會(huì)提供一組與 POSIX規(guī)范兼容的接口。其優(yōu)點(diǎn)是應(yīng)用程序可以通過(guò)操作系統(tǒng)的統(tǒng)一接口來(lái)透明地訪問(wèn)文件系統(tǒng)，而不需要重新編譯程序。 GFS在設(shè)計(jì)之初，是完全面向 Google的應(yīng)用的，采用了專(zhuān)用的文件系統(tǒng)訪問(wèn)接口。接口以庫(kù)文件的形式提供，應(yīng)用程序與庫(kù)文件一起編譯， Google應(yīng)用程序在代碼中通過(guò)調(diào)用這些庫(kù)文件的 API，完成對(duì) GFS文件系統(tǒng)的訪問(wèn)。 由以上分析可以看出， GFS并不是一個(gè)通 用的云存儲(chǔ)系統(tǒng)，它更適合于大型的搜索業(yè)務(wù)以至于 GFS的設(shè)計(jì)考慮了許多具體業(yè)務(wù)特性，如文件的大小、讀寫(xiě)頻率等，這些將限制GFS的業(yè)務(wù)應(yīng)用。同時(shí)，主從式結(jié)構(gòu)的單點(diǎn)失效和性能瓶頸問(wèn)題也是業(yè)內(nèi)關(guān)注的 中心 。當(dāng)然， GFS本身也在優(yōu)化和改進(jìn)之中。 武漢理工大學(xué)畢業(yè)設(shè)計(jì)（論文） 15 GPFS(General Parallel File System, GPFS)是 IBM公司第一個(gè) 共享文件 系統(tǒng)，起源于 IBM SP系統(tǒng)上使用的虛擬共享 磁盤(pán)技術(shù) ( VSD )。 作為這項(xiàng)技術(shù)的核心， GPFS是一個(gè)并行的 磁盤(pán)文件系統(tǒng) ，它保證在資源組內(nèi)的所有 節(jié)點(diǎn) 可以并行訪問(wèn)整個(gè)文件系統(tǒng)；而且針對(duì)此文件系統(tǒng)的服務(wù)操作，可以同時(shí)安全地在使用此文件系統(tǒng)的多個(gè)節(jié)點(diǎn)上實(shí)現(xiàn)。 GPFS允許客戶 共享文件 ，而這些文件可能分布在不同節(jié)點(diǎn)的不同 硬盤(pán) 上 。 GPFS提供了許多標(biāo)準(zhǔn)的 UNIX文件系統(tǒng)接口，允許應(yīng)用不需修改或者重新編輯就可以在其上運(yùn)行。 GPFS也支持 UNIX文件系統(tǒng)的工具，即：用戶可以像使用普通文件系統(tǒng)一樣使用基于 GPFS的文件系統(tǒng)，唯一不同的在于管理 GPFS文件系統(tǒng)的命令。 GPFS提供的文件系統(tǒng)操作服務(wù)可以支持并行應(yīng)用和串行應(yīng)用，它允許任何節(jié)點(diǎn)（這些節(jié)點(diǎn)屬于同一 個(gè)節(jié)點(diǎn)組）上的并行應(yīng)用同時(shí)訪問(wèn)同一個(gè)文件或者不同的文件 [18]。 GPFS的架構(gòu)如圖 。 圖 GPFS架構(gòu) GPFS文件系統(tǒng)由三層架構(gòu)組成： GPFS文件設(shè)備、網(wǎng)絡(luò)共享磁盤(pán)（ NSD）和磁盤(pán) 。 （ 1） GPFS文件設(shè)備（ GPFS File System Device） ： 由 NSD創(chuàng)建，是可以被多個(gè)節(jié)點(diǎn)并行同時(shí)掛載的文件設(shè)備 （ 2） 網(wǎng)絡(luò)共享磁盤(pán)（ NSD） ： 是由物理磁盤(pán)映射出來(lái)的虛擬設(shè)備，與磁盤(pán)之間是 一一對(duì)應(yīng)的關(guān)系。并且 ， NSD將虛擬設(shè)備按照不同的屬性劃分了不同的用途。 NSD虛擬設(shè)備具有 4種不同的磁盤(pán)屬性： a、 Desc Only：表示該磁盤(pán)存儲(chǔ) GPFS文件系統(tǒng)的描述信息 ； b、 Data Only：表示該磁盤(pán)只存儲(chǔ) GPFS文件系統(tǒng)的數(shù)據(jù)信息 ； 武漢理工大學(xué)畢業(yè)設(shè)計(jì)（論文） 16 c、 Meta Data Only：表示該磁盤(pán)只存儲(chǔ) GPFS文件系統(tǒng)的目錄結(jié)構(gòu)信息 ； d、 Meta And Data：表示該磁盤(pán)存儲(chǔ) GPFS文件系統(tǒng)中的所有信息（默認(rèn)情況） 。 （ 3） 磁盤(pán)（ Disk):用來(lái)存儲(chǔ)數(shù)據(jù)的物理磁盤(pán)。 GPFS文件系統(tǒng) 具有以下 特點(diǎn) ： （ 1） 高性能 由于 GPFS文件系統(tǒng) 允許在同一個(gè)節(jié)點(diǎn)內(nèi)的多個(gè)進(jìn)程使用標(biāo)準(zhǔn)的 UNIX文件系統(tǒng)接口，并行的訪問(wèn)相同文件。并且，可以將節(jié)點(diǎn)的讀寫(xiě)操作分布到不同的物理磁盤(pán)上，因此避免了對(duì)某個(gè)磁盤(pán)過(guò)多讀寫(xiě)操作，增加了整個(gè)系統(tǒng)的吞吐量，提高了系統(tǒng)的整體性能。 （ 2） 跨平臺(tái) GPFS文件系統(tǒng)本身可以看成與具體系統(tǒng)無(wú)關(guān)的一個(gè)單獨(dú)系統(tǒng)，通過(guò)集群方式可以支持多種操作系統(tǒng)，比如 AIX、 Linux等。 （ 3） 保證數(shù)據(jù)一致性 GPFS文件系統(tǒng)采用信令管理機(jī)制保證數(shù)據(jù)的一致性。信令機(jī)制允許各個(gè)節(jié)點(diǎn)通過(guò)獨(dú)自的路徑到達(dá)同一個(gè)文件。因此，當(dāng)某個(gè)節(jié)點(diǎn)的某條路徑無(wú)法正常工作，依舊 可以通過(guò)鏈路冗余達(dá)到 GPFS文件系統(tǒng)。并且 GPFS本身設(shè)計(jì)成為一種日志文件系統(tǒng)，為不同的節(jié)點(diǎn)建立了各自獨(dú)立的日志（保存了 Meta Data的分布信息）。因此，一但節(jié)點(diǎn)發(fā)生故障后，可以通過(guò)日志記錄的 Meta Data的分布信息，快速的找到相應(yīng)的 Meta Data然后恢復(fù)。 （ 4） 可擴(kuò)展性 GPFS可以動(dòng)態(tài)調(diào)整系統(tǒng)資源，支持在文件系統(tǒng)掛載的情況下動(dòng)態(tài)的添加和刪除硬盤(pán)，而無(wú)須重啟。 （ 5） 方便管理 GPFS文件系統(tǒng)，可以自動(dòng)的同步各個(gè)節(jié)點(diǎn)的配置文件和文件系統(tǒng)信息，因此可以在任意一個(gè)節(jié)點(diǎn)上管理 GPFS。 Hadoop [19]分布式文件系統(tǒng) (HDFS)被設(shè)計(jì)成適合運(yùn)行在通用硬件 (modity hardware)上的分布式文件系統(tǒng) ，即 HDFS(Hadoop Distributed File System)。 Hadoop是 Apache基金會(huì)支持的一個(gè)開(kāi)源的分布式計(jì)算平臺(tái)項(xiàng)目 ， 是 GFS的開(kāi)源實(shí)現(xiàn) 。 HDFS是一個(gè)高度容錯(cuò)性的系統(tǒng)，適合部署在廉價(jià)的機(jī)器上 ， 能提供高吞吐量的數(shù)據(jù)訪問(wèn)，非常適合大規(guī)模數(shù)據(jù)集上的應(yīng)用 。 HDFS放寬了一部分 POSIX約束，來(lái)實(shí)現(xiàn)流式讀取文件系統(tǒng)數(shù)據(jù)的目的。 它 給應(yīng)用提供了多種訪 問(wèn)方式，可以通過(guò) Java API調(diào)用，也可以通過(guò) C語(yǔ)言的封裝 API訪問(wèn)，并且提供了瀏覽器訪問(wèn)的方式。正在開(kāi)發(fā)通過(guò) Web Dav（ Web分布式創(chuàng)作和版本控制 ）協(xié)議訪 問(wèn)的方式 [20]。 HDFS采用 master/slave架構(gòu)，如圖 。 武漢理工大學(xué)畢業(yè)設(shè)計(jì)（論文） 17 圖 HDFS 系統(tǒng)架構(gòu) 一個(gè) HDFS集群是由一個(gè) Namenode和一定數(shù)目的 Datanodes組成。 Namenode是一個(gè)中心服務(wù)器，負(fù)責(zé)管理文件系統(tǒng)的名字空間以及客戶端對(duì)文 件的訪問(wèn) [21]。集群中的 Datanode一般是一個(gè)節(jié)點(diǎn)一個(gè)，負(fù)責(zé)管理它所在節(jié)點(diǎn)上的存儲(chǔ)。 HDFS暴露了文件系統(tǒng)的名字空間，用戶能夠以文件的形式在上面存儲(chǔ)數(shù)據(jù)。從內(nèi)部看，一個(gè)文件其實(shí)被分成一個(gè)或多個(gè)數(shù)據(jù)塊，這些塊存儲(chǔ)在一組 Datanode上。 Namenode執(zhí)行文件系統(tǒng)的名字空間操作，比如打開(kāi)、關(guān)閉、重命名文件或目錄 ， 它也負(fù)責(zé)確定數(shù)據(jù)塊到具體 Datanode節(jié)點(diǎn)的映射。 Datanode負(fù)責(zé)處理文件系統(tǒng)客戶端的讀寫(xiě)請(qǐng)求。在 Namenode的統(tǒng)一調(diào)度下進(jìn)行數(shù)據(jù)塊的創(chuàng)建、刪除和復(fù)制。 Namenode和 Datanode被設(shè)計(jì)成可以在普通的商用機(jī)器上運(yùn)行。這些機(jī)器一般運(yùn)行著GNU/Linux操作系統(tǒng)。 圖 Hadoop平臺(tái)的分布式文件系統(tǒng)主要架構(gòu)模式 [22]，它具有可拓展、經(jīng)濟(jì)可靠等優(yōu)勢(shì)。然而， Hadoop目前最新的版本為 ， 顯然處于發(fā)展初期 ， 其平臺(tái)的運(yùn)行還不夠穩(wěn)定，服務(wù)的可靠性是其不能被大規(guī)模商用的主要顧慮之一。在 Hadoop的集群架構(gòu)中，主節(jié)點(diǎn) NameNode只有一個(gè)，它進(jìn)程負(fù)責(zé)數(shù)據(jù)存儲(chǔ)與調(diào)用的統(tǒng)籌。這使得將 Hadoop分布式計(jì)算平臺(tái)應(yīng)用于云計(jì)算系統(tǒng)時(shí)，存在以下不可靠的因素： （ 1） 單一的主控節(jié)點(diǎn)制使 得系統(tǒng)的負(fù)載不均 ； （ 2） 盡管監(jiān)控進(jìn)程保證了計(jì)算向存儲(chǔ)的轉(zhuǎn)移，但是沒(méi)有實(shí)現(xiàn)任務(wù)處理中的計(jì)算和存儲(chǔ)的同時(shí)轉(zhuǎn)移。否則可能會(huì)造成任務(wù)的重啟 —— 對(duì)于巨型任務(wù)來(lái)說(shuō)，損失巨大。 架構(gòu) Dynamo是一個(gè)完全分布式的、無(wú)中心節(jié)點(diǎn) 、 松散耦合，由數(shù)百個(gè)服務(wù)組成的面向服務(wù)架構(gòu) 。相比傳統(tǒng)的集中式存儲(chǔ)系統(tǒng)， Dynamo在設(shè)計(jì)之初就被定位為一個(gè)高可靠、高可用且具有良好容錯(cuò)性的系統(tǒng)。盡管這是一個(gè)很有爭(zhēng)議的系統(tǒng)，然而，實(shí)踐表明 Dynamo作為亞馬遜的 keyvalue模式的存儲(chǔ)平臺(tái)，可用性和擴(kuò)展性較高：讀寫(xiě)訪問(wèn)中 ％的響應(yīng)時(shí)間都在武漢理工大學(xué)畢業(yè)設(shè)計(jì)（論文） 18 300ms內(nèi) [23]。 Dynamo提供幾個(gè)簡(jiǎn)單接口： get(key)操作在存儲(chǔ)系統(tǒng)中定位與 key關(guān)聯(lián)的對(duì)象副本，并返回一個(gè)對(duì)象或一個(gè)包含沖突的版本和對(duì)應(yīng)的上下文對(duì)象列表。 put(key,context,object)操作基于關(guān)聯(lián)的 key決定將對(duì)象的副本放在哪，并將副本寫(xiě)入到磁盤(pán)。該 context包含對(duì)象的系統(tǒng)元數(shù)據(jù)并對(duì)于調(diào)用者是不透明的 (opaque)。上下文信息是與對(duì)象一起存儲(chǔ)，以便系統(tǒng)可以驗(yàn)證請(qǐng)求中提供的上下文的有效性。 Dynamo的 架構(gòu)如圖 。 圖 Dynamo 架構(gòu) Dynamo采用了一些技術(shù)，解決了其對(duì)等式架構(gòu)下的一致性問(wèn)題。如表 。 表 Dynamo 使用的技術(shù)概要和其優(yōu)勢(shì) 問(wèn)題 采取的相關(guān)技術(shù) 優(yōu)勢(shì) 數(shù)據(jù) 劃分 改進(jìn)的一致性哈希算法 增量可伸縮性 寫(xiě)的高可用性 矢量時(shí)鐘與讀取過(guò)程中的協(xié)調(diào) 版本大小與更新操作速率脫鉤 臨時(shí)故障處理 Hinted handoff 數(shù)據(jù)回傳機(jī)制，可調(diào)的弱 quorum 機(jī)制 提供高可用性和耐用性的保證，即 使一些副本不可用時(shí) 永久故障回復(fù) Merkle 哈希樹(shù) 在后臺(tái)同步不同的副本 成員資格和錯(cuò)誤檢測(cè) 基于 Gossip 的錯(cuò)誤檢查