【正文】 ge will not only keep up on trends, but also has a high application value. Cloud storage is a distributed file system with plicated architecture． Firstly， it is implemented on top of the cloud puting infrastructure which is based on cheap， virtualized and unreliable physical hardware． Secondly， it should supports huge server scale， efficient heavy data storage． All of these challenge the key technologies of the system architecture and modules design． This article discusses the background of the development of cloud storage, gives the definition of cloud storage,describes the characteristics of cloud storage, proposes the mode of cloud storage architecture,exposed the key technologies of cloud storage systematically, pared the features of GFS, GPFS, HDFS, Dynamo architecture , and simulated the cloud puting system with CloudSim. Key Words:cloud storage,the key technologies,the mode of cloud storage architecture,HDFS,CloudSim 武漢理工大學(xué)畢業(yè)設(shè)計(jì)（論文） 1 1緒論 近年來(lái)，隨著云計(jì)算 [12]和軟件即時(shí)服務(wù) [35]的興起，云存儲(chǔ)成為信息存儲(chǔ)領(lǐng)域的一個(gè)研究熱點(diǎn)。用戶(hù)無(wú)需關(guān)心存儲(chǔ)設(shè)備型號(hào)、數(shù)量、網(wǎng)絡(luò)結(jié)構(gòu)、存儲(chǔ)協(xié)議、應(yīng)用接口等，應(yīng)用簡(jiǎn)單透明。用戶(hù)必須連接到主機(jī)，獲得適當(dāng)?shù)臋?quán)限后才能訪問(wèn)數(shù)據(jù)。當(dāng)一臺(tái)計(jì)算用于某個(gè)分布式項(xiàng)目時(shí) ，需要在機(jī)器上安裝軟件，它會(huì)利用空閑的時(shí)間進(jìn)行數(shù)據(jù)的存儲(chǔ)與運(yùn)算并定期傳送到分布式計(jì)算網(wǎng)絡(luò)中與該項(xiàng)目中的其它計(jì)算合并結(jié)果。由于單機(jī)存儲(chǔ)方案無(wú)法滿(mǎn)足數(shù)據(jù)拓展和協(xié)作性，而產(chǎn)生了分布式存儲(chǔ)系統(tǒng) [10]。 Amazon公司推出彈性塊存儲(chǔ)技術(shù)支持?jǐn)?shù)據(jù)持久性存儲(chǔ)； Google推出在線存儲(chǔ)服務(wù) GDrive；內(nèi)容分發(fā)網(wǎng)絡(luò)服務(wù)提供商 CDNetworks和云存儲(chǔ)平臺(tái)服務(wù)商 Nirvanix結(jié)成戰(zhàn)略伙伴關(guān)系，提供云存儲(chǔ)和內(nèi)容傳送服務(wù)集 成平臺(tái)； EMC公司收購(gòu) Berkeley Data Systems，取得該公司的 Mozy在線服務(wù)軟件，并開(kāi)展 SaaS業(yè)務(wù)； Microsoft公司推出 Windows Azure，并在美國(guó)各地建立龐大的數(shù)據(jù)中心；IBM也將云計(jì)算標(biāo)準(zhǔn)作為全球備份中心擴(kuò)展方案的一部分。一些云存儲(chǔ)系統(tǒng)是小規(guī)模操作的，其它一些是超大集群的以至于物理設(shè)備能填滿(mǎn)整個(gè)倉(cāng)庫(kù)。目前云存儲(chǔ)研究的熱點(diǎn)仍集中在安全性、可用性、可靠性三個(gè)方面。 與傳統(tǒng)的存儲(chǔ)設(shè)備相比，云存儲(chǔ)不僅僅是一個(gè)硬件，而是一個(gè)網(wǎng)絡(luò)設(shè)備、存儲(chǔ)設(shè)備、服務(wù)器、應(yīng)用軟件、公用訪問(wèn)接口、接入網(wǎng)和客戶(hù)端程序等多個(gè)部分組成的系統(tǒng) [12]。 相比于傳統(tǒng)的集中存儲(chǔ)方式，云存儲(chǔ)系統(tǒng)具有以下幾點(diǎn)優(yōu)勢(shì)： （ 1）更容易擴(kuò)容 (包括帶寬 ) 云存儲(chǔ)的 擴(kuò)容過(guò)程將變得簡(jiǎn)單：新設(shè)備僅需安裝操作系統(tǒng)及云存儲(chǔ)軟件后，打開(kāi)電源接上網(wǎng)絡(luò)，云存儲(chǔ)系統(tǒng)便能自動(dòng)識(shí)別，自動(dòng)把容量加入存儲(chǔ)池中完成擴(kuò)展。 （ 3）成本更低廉 傳統(tǒng)的存儲(chǔ)系統(tǒng)對(duì)硬盤(pán) 的 要求近乎苛刻，必須同 廠家 、同容量、同型號(hào)，否則系統(tǒng)很容易出問(wèn)題?？蓪?shí)現(xiàn)長(zhǎng)久合作關(guān)系下，設(shè)備商采購(gòu)的穩(wěn)定渠道，便于實(shí)現(xiàn)對(duì)成本及服務(wù)質(zhì)量的控制。 另外， 傳統(tǒng)存儲(chǔ)系統(tǒng)在升級(jí)時(shí)，往往需要把舊的存儲(chǔ)設(shè)備文件備份出來(lái)后，停機(jī)換上新的存儲(chǔ)設(shè)備，這通常會(huì)導(dǎo)致服務(wù)的短暫停止。云系統(tǒng)統(tǒng)一調(diào)配、協(xié)調(diào)、處理來(lái)自不同客戶(hù)的運(yùn)算需求，通過(guò)云系統(tǒng)計(jì)算后對(duì)外輸出運(yùn)算結(jié)果。在云計(jì)算系統(tǒng)中配置相應(yīng)的存儲(chǔ)設(shè)備，該計(jì)算系統(tǒng)即擁有了云存儲(chǔ)系統(tǒng)功能。 （ 1）存儲(chǔ)層 存儲(chǔ)層是云存儲(chǔ)最基礎(chǔ)的部分。應(yīng)用接口層通過(guò)集群系統(tǒng)、分 布式文件系統(tǒng)和網(wǎng)格計(jì)算等技術(shù)，實(shí)現(xiàn)云存儲(chǔ)中多個(gè)存儲(chǔ)設(shè)備之間的協(xié)同工作，使多個(gè)的存儲(chǔ)設(shè)備可以對(duì)外提供同一種服務(wù)，并提供更大、更強(qiáng)、更好的數(shù)據(jù)訪問(wèn)性能。數(shù)據(jù)備份和容 災(zāi)技術(shù)可保證云存儲(chǔ)中的數(shù)據(jù)多份保存不會(huì)丟失，保證云存儲(chǔ)數(shù)據(jù)自身的安全和穩(wěn)定。 （ 4）訪問(wèn)層 云存儲(chǔ)運(yùn)營(yíng)單位不同，提供的訪問(wèn)類(lèi)型和訪問(wèn)手段也不同?？傮w來(lái)說(shuō)，存儲(chǔ)虛擬化技術(shù)可概括 為基于主機(jī)虛擬化、基于存儲(chǔ)設(shè)備虛擬化和基于存儲(chǔ)網(wǎng)絡(luò)虛擬化三種技術(shù)。 缺點(diǎn) 占用主機(jī)資源，降低應(yīng)用性能； 存在越權(quán)訪問(wèn)的數(shù)據(jù)安全隱患 ；主機(jī)數(shù)量越多，管理成本越高。 異構(gòu)存儲(chǔ)系統(tǒng)整合和統(tǒng)一數(shù)據(jù)管理（災(zāi)備） 異構(gòu)存儲(chǔ)系統(tǒng)整合和統(tǒng)一數(shù)據(jù)管理（災(zāi)備） 適用場(chǎng)景 主機(jī)采用 SF 卷管理，需要新接多臺(tái)存儲(chǔ)設(shè)備；存儲(chǔ)系統(tǒng)中包含異構(gòu)陣列設(shè)備；業(yè)務(wù)持續(xù)能力與數(shù)據(jù)吞吐要求較高。 對(duì)業(yè)務(wù)持續(xù)性能力和穩(wěn)定性要求苛刻。 （ 3）基于存儲(chǔ)網(wǎng)絡(luò)虛擬化 該 的技術(shù)的核心是在存儲(chǔ)區(qū)域網(wǎng)中增加虛擬化引擎實(shí)現(xiàn)存儲(chǔ)資源的集中管理，其具體實(shí)施一般是通過(guò)具有虛擬化支持能力的路由器或交換機(jī)實(shí)現(xiàn)。目前比較流行的分布式存儲(chǔ)技術(shù)為：分布式塊存儲(chǔ)、分布式文件系統(tǒng)存儲(chǔ)、分布式對(duì)象存儲(chǔ)和分布式表存儲(chǔ)。 （ 2） 分布式文件系統(tǒng)存儲(chǔ) 文件存儲(chǔ)系統(tǒng)可提供通用的文件訪問(wèn)接口，如 POSIX等，實(shí)現(xiàn)文件與目錄操作、文件訪問(wèn)、文件訪問(wèn)控制等功能。 （ 4） 分布式表存儲(chǔ) 武漢理工大學(xué)畢業(yè)設(shè)計(jì)（論文） 8 表結(jié)構(gòu)存儲(chǔ)是一種結(jié)構(gòu)化數(shù)據(jù)存儲(chǔ)， 與 傳統(tǒng)數(shù)據(jù)庫(kù)相比，它提供的表空間訪問(wèn)功能受限，但更強(qiáng)調(diào)系統(tǒng)的可擴(kuò)展性。 數(shù)據(jù)備份 技術(shù) 典型的用戶(hù)備份流程是這樣的：每天都要在凌晨進(jìn)行一次增量備份，然后每周末凌晨進(jìn)行全備份。 副本數(shù)據(jù)布局 該方法 通過(guò)集中式的存儲(chǔ)目錄來(lái)定位數(shù)據(jù)對(duì)象的存儲(chǔ)位置。 連續(xù)數(shù)據(jù)保護(hù) 連續(xù)數(shù)據(jù)保護(hù)是一種連續(xù)捕獲和保存數(shù)據(jù)變化，并將變化后的數(shù)據(jù)獨(dú)立于初始數(shù)據(jù)進(jìn)行保存的方法，可以實(shí)現(xiàn)過(guò)去任意一個(gè)時(shí)間點(diǎn)的數(shù)據(jù)恢復(fù)。 盡管一些廠商推出了 連續(xù)數(shù)據(jù)保護(hù) 產(chǎn)品，然而從它們的功能上分析，還做不到真正連續(xù)的數(shù)據(jù)保護(hù)，比如有的產(chǎn)品備份時(shí)間間隔為一小時(shí)，那么在這一小時(shí)內(nèi)仍然存在數(shù)據(jù)丟失的風(fēng)險(xiǎn)，因此，嚴(yán)格地講，它們還不是完全意義上的 連續(xù)數(shù)據(jù)保護(hù) 產(chǎn)品，目前我們只能稱(chēng)之為類(lèi)似 連續(xù)數(shù)據(jù)保護(hù) 產(chǎn)品。利用自動(dòng)精簡(jiǎn)配置技術(shù)，用戶(hù)不需要了解存儲(chǔ)空間分配的細(xì)節(jié)，能幫助用戶(hù)在不降低性能的情況下，大幅度提高存儲(chǔ)空間利用效率；需求變化時(shí)，無(wú)需更改存儲(chǔ)容量設(shè)置 ，通過(guò)虛擬化技術(shù)集成存儲(chǔ)，減少超量配置，降低總功耗。自動(dòng)存儲(chǔ)分層技術(shù)的特點(diǎn)則是其分層的自動(dòng)化和智能化。自動(dòng)存儲(chǔ)分層使用戶(hù)數(shù)據(jù)保留在合適的存儲(chǔ)層級(jí)，而不需要用戶(hù)定義的策略，因此減少了存儲(chǔ)需求的總量并實(shí)質(zhì)上減少了成本，提升了性能。這樣，一個(gè)物理文件在存儲(chǔ)系統(tǒng)中就只對(duì)應(yīng)一個(gè)邏輯表示。該技術(shù)還可以在數(shù)據(jù)寫(xiě)入到存儲(chǔ)系統(tǒng)前壓縮數(shù)據(jù)，進(jìn)一步提高了存儲(chǔ)系統(tǒng)中的磁盤(pán)和緩存的性能和效率。 數(shù)據(jù)壓縮中使用的 LZ77算法，主要由 2部分構(gòu)成，滑窗（ Sliding Window）和自適應(yīng)編碼（ Adaptive Coding）。數(shù)據(jù)壓縮的應(yīng)用可以顯著降低待處理和存儲(chǔ)的數(shù)據(jù)量，一般情況下可實(shí)現(xiàn) 2:1～ 3:1的壓縮比。 武漢理工大學(xué)畢業(yè)設(shè)計(jì)（論文） 11 可擴(kuò)展和高性能的存儲(chǔ)安全技術(shù)，是推動(dòng)云存儲(chǔ)最根本的保證，已經(jīng)成為當(dāng)前網(wǎng)絡(luò)存儲(chǔ)領(lǐng)域的研究熱點(diǎn)。 （ 2） 加密存儲(chǔ) ： 是對(duì)指定的目錄和文件進(jìn)行加密后保存，實(shí)現(xiàn)敏感數(shù)據(jù)存儲(chǔ)和傳送過(guò)程中的機(jī)密性保護(hù)。必須研究適用于網(wǎng)絡(luò)存儲(chǔ)系統(tǒng)的加密存儲(chǔ)技術(shù)，提供端到端加密存儲(chǔ)技術(shù)及密鑰長(zhǎng)期存儲(chǔ)和共享機(jī)制，以確保用戶(hù)數(shù)據(jù)的機(jī)密性和隱私性，提高密鑰存儲(chǔ)的安全性、分發(fā)的高效性及加密策略的靈活性。在搜索過(guò)程中，用戶(hù)提交明文信息對(duì)應(yīng)的密文信息序列。但其有一個(gè)致命的缺點(diǎn)，即逐次匹配密文信息，這使得這種檢索方法在大數(shù)據(jù)集的情況下難以應(yīng) 用。 （ 3） 安全索引 [15] 由 Park等人提出，其機(jī)制是每次加密所用的密鑰是事先生成的一組逆 Hash序 列，加密后的索引被放入布隆過(guò)濾器中。但其存在的缺陷是需要生成大量的密鑰序列，隨著檢索次數(shù)的增加，每多進(jìn)行一次檢索，其計(jì)算復(fù)雜度均線性增加。提交查詢(xún) 給服務(wù)器端后，首先計(jì)算檢索出含有關(guān)鍵詞密文的加密文檔；然后對(duì)用保序算法加密的詞頻對(duì)應(yīng)的密文信息進(jìn)行排序處理；最后把評(píng)價(jià)值高的加密文檔返回給用戶(hù)，由用戶(hù)對(duì)其進(jìn)行解密。冗余提高了容錯(cuò)性，但是也增加了存儲(chǔ)資源的 消耗。當(dāng)若干數(shù)據(jù)對(duì)象失效以后 ， 可以通過(guò)訪問(wèn)其他有效的副本獲取數(shù)據(jù)。 武漢理工大學(xué)畢業(yè)設(shè)計(jì)（論文） 13 4云存儲(chǔ)的 架構(gòu)技術(shù) GFS(Google File System)， 是 Google公司為了存儲(chǔ)海量搜索數(shù)據(jù)而設(shè)計(jì)的專(zhuān)用文件系統(tǒng) 。 文件在目錄中按照層次組織，用路徑名來(lái)標(biāo)識(shí) ， 可應(yīng)用在Linux和 Windows等各種平臺(tái) 。 Client與 Chunk Server之間直接傳輸數(shù)據(jù)流，同時(shí)由于文件被分成多個(gè) Chunk進(jìn)行分布式存儲(chǔ)， Client可以同時(shí)訪問(wèn)多個(gè) Chunk Server，從而使得整個(gè)系統(tǒng)的 I/O高度并行，系統(tǒng)整體性能得到提高。文件劃分為 Chunk進(jìn)行存儲(chǔ)，對(duì)于 Master來(lái)說(shuō)，每個(gè) Chunk Server只是一個(gè)存儲(chǔ)空間。由于只有一個(gè)中心服務(wù)器，元數(shù)據(jù)的一致性問(wèn)題自然解決。 GFS文件系統(tǒng)根據(jù)應(yīng)用的特點(diǎn)，沒(méi) 有實(shí)現(xiàn)緩存，這是從必要性和可行性?xún)煞矫婵紤]的。對(duì)于存儲(chǔ)在 Master中的元數(shù)據(jù)， GFS采取了緩存策略， GFS中 Client發(fā)起的所有操作都需要先經(jīng)過(guò) Master。以 Linux為例，無(wú)論是本地文件系統(tǒng)，還是分布式文件系統(tǒng)，都是在內(nèi)核態(tài)實(shí)現(xiàn)的。其優(yōu)點(diǎn)是應(yīng)用程序可以通過(guò)操作系統(tǒng)的統(tǒng)一接口來(lái)透明地訪問(wèn)文件系統(tǒng)，而不需要重新編譯程序。同時(shí)，主從式結(jié)構(gòu)的單點(diǎn)失效和性能瓶頸問(wèn)題也是業(yè)內(nèi)關(guān)注的 中心 。 GPFS允許客戶(hù) 共享文件 ，而這些文件可能分布在不同節(jié)點(diǎn)的不同 硬盤(pán) 上 。 GPFS的架構(gòu)如圖 。 NSD虛擬設(shè)備具有 4種不同的磁盤(pán)屬性： a、 Desc Only：表示該磁盤(pán)存儲(chǔ) GPFS文件系統(tǒng)的描述信息 ； b、 Data Only：表示該磁盤(pán)只存儲(chǔ) GPFS文件系統(tǒng)的數(shù)據(jù)信息 ； 武漢理工大學(xué)畢業(yè)設(shè)計(jì)（論文） 16 c、 Meta Data Only：表示該磁盤(pán)只存儲(chǔ) GPFS文件系統(tǒng)的目錄結(jié)構(gòu)信息 ； d、 Meta And Data：表示該磁盤(pán)存儲(chǔ) GPFS文件系統(tǒng)中的所有信息（默認(rèn)情況） 。 （ 2） 跨平臺(tái) GPFS文件系統(tǒng)本身可以看成與具體系統(tǒng)無(wú)關(guān)的一個(gè)單獨(dú)系統(tǒng)，通過(guò)集群方式可以支持多種操作系統(tǒng)，比如 AIX、 Linux等。并且 GPFS本身設(shè)計(jì)成為一種日志文件系統(tǒng)，為不同的節(jié)點(diǎn)建立了各自獨(dú)立的日志（保存了 Meta Data的分布信息）。 Hadoop [19]分布式文件系統(tǒng) (HDFS)被設(shè)計(jì)成適合運(yùn)行在通用硬件 (modity hardware)上的分布式文件系統(tǒng) ，即 HDFS(Hadoop Distributed File System)。 它 給應(yīng)用提供了多種訪 問(wèn)方式，可以通過(guò) Java API調(diào)用，也可以通過(guò) C語(yǔ)言的封裝 API訪問(wèn)，并且提供了瀏覽器訪問(wèn)的方式。 Namenode是一個(gè)中心服務(wù)器，負(fù)責(zé)管理文件系統(tǒng)的名字空間以及客戶(hù)端對(duì)文 件的訪問(wèn) [21]。 Namenode執(zhí)行文件系統(tǒng)的名字空間操作，比如打開(kāi)、關(guān)閉、重命名文件或目錄 ， 它也負(fù)責(zé)確定數(shù)據(jù)塊到具體 Datanode節(jié)點(diǎn)的映射。這些機(jī)器一般運(yùn)行著GNU/Linux操作系統(tǒng)。這使得將 Hadoop分布式計(jì)算平臺(tái)應(yīng)用于云計(jì)算系統(tǒng)時(shí)，存在以下不可靠的因素： （ 1） 單一的主控節(jié)點(diǎn)制使 得系統(tǒng)的負(fù)載不均 ； （ 2） 盡管監(jiān)控進(jìn)程保證了計(jì)算向存儲(chǔ)的轉(zhuǎn)移，但是沒(méi)有實(shí)現(xiàn)任務(wù)處理中的計(jì)算和存儲(chǔ)的同時(shí)轉(zhuǎn)移。盡管這是一個(gè)很有爭(zhēng)議的系統(tǒng)，然而，實(shí)踐表明 Dynamo作為亞馬遜的 keyvalue模式的存儲(chǔ)平臺(tái)，可用性和擴(kuò)展性較高：讀寫(xiě)訪問(wèn)中 ％的響應(yīng)時(shí)間都在武漢理工大學(xué)畢業(yè)設(shè)計(jì)（論文） 18 300ms內(nèi) [23]。上下文信息是與對(duì)象一起存儲(chǔ)，以便系統(tǒng)可以驗(yàn)證請(qǐng)求中提供的上下文的有效性。 表 Dynamo 使用的技術(shù)概要和其優(yōu)勢(shì) 問(wèn)題 采取的相關(guān)技術(shù) 優(yōu)勢(shì) 數(shù)據(jù) 劃分 改進(jìn)的一致性哈希算法 增量可伸縮性 寫(xiě)的高可用性 矢量時(shí)鐘與讀取過(guò)程中的協(xié)調(diào) 版本大小與更新操作速率脫鉤 臨時(shí)故障處理 Hinted handoff 數(shù)據(jù)回傳機(jī)制，可調(diào)的弱 quorum 機(jī)制 提供高可用性和耐用性的保證，即 使一些副本不可用時(shí) 永久故障回復(fù) Merkle 哈希樹(shù) 在后臺(tái)同步不同的副本 成員資格和錯(cuò)誤檢測(cè) 基于 Gossip 的錯(cuò)誤