【文章內(nèi)容簡介】 操作、文件訪問、文件訪問控制等功能。目前的分布式文件系統(tǒng)存儲的實現(xiàn)有軟硬件一體和軟硬件分離兩種方式。（3）分布式對象存儲對象存儲引入對象元數(shù)據(jù)來描述對象特征，對象元數(shù)據(jù)具有豐富的語義，支持數(shù)據(jù)的并發(fā)讀寫，一般不支持數(shù)據(jù)的隨機寫操作。對象存儲技術相對成熟，對底層硬件要求不高，存儲系統(tǒng)可靠性和容錯通過軟件實現(xiàn)，同時其訪問接口簡單，適合處理海量、小數(shù)據(jù)的非結構化數(shù)據(jù)，如：郵箱、網(wǎng)盤、相冊、音頻視頻存儲等。（4）分布式表存儲表結構存儲是一種結構化數(shù)據(jù)存儲，與傳統(tǒng)數(shù)據(jù)庫相比，它提供的表空間訪問功能受限，但更強調(diào)系統(tǒng)的可擴展性。提供表存儲的云存儲系統(tǒng)的特征就是同時提供高并發(fā)的數(shù)據(jù)訪問性能和可伸縮的存儲和計算架構。提供表存儲的云存儲系統(tǒng)有兩類接口訪問方式：一類是標準的SQL數(shù)據(jù)庫接口，一類是Mapreduce的數(shù)據(jù)庫應用處理接口。前者目前以開源技術為主，尚未有成熟的商業(yè)軟件，后者已有商業(yè)軟件和成功的商業(yè)應用案例。 數(shù)據(jù)備份技術典型的用戶備份流程是這樣的：每天都要在凌晨進行一次增量備份，然后每周末凌晨進行全備份。采用這種方法，一旦出現(xiàn)了數(shù)據(jù)災難，用戶可以恢復到某天（注意是以天為單位的）的數(shù)據(jù)，因此在最壞的情況下，可能丟失整整一天的數(shù)據(jù)。該備份策略在備份的數(shù)據(jù)量很大的情況下，備份時間窗口很大，需要繁忙的業(yè)務系統(tǒng)停機很長時間才能做到。因此，為了確保數(shù)據(jù)的更高安全性，用戶必須對在線系統(tǒng)實行在線實時復制，盡可能多地采用快照等磁盤管理技術維持數(shù)據(jù)的高可用性，這樣勢必需要增加很大一部分投資。 副本數(shù)據(jù)布局該方法通過集中式的存儲目錄來定位數(shù)據(jù)對象的存儲位置。這種方法可以利用存儲目錄中存放的存儲節(jié)點信息，將數(shù)據(jù)對象的多個副本放置在不同機架上，這樣可大大提高系統(tǒng)的數(shù)據(jù)可靠性。然而，它存在以下兩個缺陷：（1）隨著存儲目錄的增長，查找數(shù)據(jù)對象所需的開銷也會越來越大；（2）為提高數(shù)據(jù)對象的定位速度，一般情況下都會將存儲目錄存放在服務器內(nèi)存中，對于PB級的云存儲系統(tǒng)來說，文件的數(shù)量可能達到上億級，這導致存儲目錄將會占用上百GB的內(nèi)存。因此，當數(shù)據(jù)對象數(shù)量達到上億級別時，基于集中式存儲目錄的數(shù)據(jù)放置方法在存儲開銷和數(shù)據(jù)定位的時間開銷上都是難以接受的，此外，還會大大限制系統(tǒng)的擴展性。 連續(xù)數(shù)據(jù)保護連續(xù)數(shù)據(jù)保護是一種連續(xù)捕獲和保存數(shù)據(jù)變化，并將變化后的數(shù)據(jù)獨立于初始數(shù)據(jù)進行保存的方法，可以實現(xiàn)過去任意一個時間點的數(shù)據(jù)恢復。連續(xù)數(shù)據(jù)保護系統(tǒng)可能基于塊、文件或應用，并且為數(shù)量無限的可變恢復點提供精細的可恢復對象。連續(xù)數(shù)據(jù)保護可以提供更快的數(shù)據(jù)檢索、更強的數(shù)據(jù)保護和更高的業(yè)務連續(xù)性能力，而與傳統(tǒng)的備份解決方案相比，連續(xù)數(shù)據(jù)保護的總體成本和復雜性都要低。連續(xù)數(shù)據(jù)保護解決方案應當具備以下幾個基本特性：數(shù)據(jù)的改變受到連續(xù)的捕獲和跟蹤；所有的數(shù)據(jù)改變都存儲在一個與主存儲地點不同的獨立地點中；恢復點目標是任意的，而且不需要在實際恢復之前事先定義。盡管一些廠商推出了連續(xù)數(shù)據(jù)保護產(chǎn)品，然而從它們的功能上分析，還做不到真正連續(xù)的數(shù)據(jù)保護，比如有的產(chǎn)品備份時間間隔為一小時，那么在這一小時內(nèi)仍然存在數(shù)據(jù)丟失的風險，因此，嚴格地講，它們還不是完全意義上的連續(xù)數(shù)據(jù)保護產(chǎn)品，目前我們只能稱之為類似連續(xù)數(shù)據(jù)保護產(chǎn)品。 數(shù)據(jù)縮減技術數(shù)據(jù)量的急劇增長為存儲技術提出了新的問題和要——怎樣低成本高效快速地解決無限增長的信息的存儲和計算。通過云存儲技術不僅解決了存儲中的高安全性、可靠性、可擴展、易管理等存儲的基本要求，同時也利用云存儲中的數(shù)據(jù)縮減技術，滿足海量信息爆炸式增長趨勢，一定程度上節(jié)約企業(yè)存儲成本，提高效率。 自動精簡配置該技術是利用虛擬化方法減少物理存儲空間的分配，通過“欺騙”操作系統(tǒng)，造成的好像存儲空間有足夠大，而實際物理存儲空間并沒有那么大，會減少已分配但未使用的存儲容量的浪費，在分配存儲空間時，按需分配，最大限度提升存儲空間利用率，利用率超90％。利用自動精簡配置技術，用戶不需要了解存儲空間分配的細節(jié)，能幫助用戶在不降低性能的情況下，大幅度提高存儲空間利用效率；需求變化時，無需更改存儲容量設置，通過虛擬化技術集成存儲，減少超量配置，降低總功耗。這項技術已經(jīng)成為選擇存儲系統(tǒng)的關鍵標準之一。隨著自動精簡配置的存儲越來越多，物理存儲的耗盡成為自動精簡配置環(huán)境中經(jīng)常出現(xiàn)的風險，因此，告警、通知和存儲分析成為必要的功能。 自動存儲分層在過去，數(shù)據(jù)移動主要依靠手工操作，由管理員來判斷數(shù)據(jù)訪問壓力，遷移的時候只能一個整卷一起遷移。自動存儲分層技術的特點則是其分層的自動化和智能化。一個磁盤陣列能夠把活動數(shù)據(jù)保留在快速、昂貴的存儲上，把不活躍的數(shù)據(jù)遷移到廉價的低速層上，以限制存儲的花費總量。數(shù)據(jù)從一層遷移到另一層的粒度越精細，使用的昂貴存儲的效率就越高。自動存儲分層的重要性隨著固態(tài)存儲在當前磁盤陣列中的采用而提升，并隨著云存儲的來臨而補充內(nèi)部部署的存儲。自動存儲分層使用戶數(shù)據(jù)保留在合適的存儲層級，而不需要用戶定義的策略，因此減少了存儲需求的總量并實質(zhì)上減少了成本，提升了性能。 重復數(shù)據(jù)刪除該技術通過刪除集中重復的數(shù)據(jù)，只保留其中一份，從而消除冗余數(shù)據(jù)，可以將數(shù)據(jù)縮減到原來的2%~5%。按照消重的粒度重復數(shù)據(jù)刪除技術可以分為文件級和數(shù)據(jù)塊級。該技術計算數(shù)據(jù)指紋，具有相同指紋的數(shù)據(jù)塊即可認為是相同的數(shù)據(jù)塊，存儲系統(tǒng)中僅需要保留一份。這樣，一個物理文件在存儲系統(tǒng)中就只對應一個邏輯表示。由于大幅度減少了物理存儲空間的信息量，進而減少傳輸過程中的網(wǎng)絡帶寬、節(jié)約設備成本、降低能耗。 數(shù)據(jù)壓縮數(shù)據(jù)壓縮就是將收到的數(shù)據(jù)通過存儲算法存儲到更小的空間中去。隨著目前CPU處理能力的大幅提高，應用實時壓縮技術來節(jié)省數(shù)據(jù)占用空間成為現(xiàn)實，這項新技術就是最新研發(fā)出的在線壓縮，它與傳統(tǒng)壓縮技術不同，當數(shù)據(jù)在首次寫入時即被壓縮，以幫助系統(tǒng)控制大量數(shù)據(jù)在主存中雜亂無章地存儲的情形，特別是多任務工作時更加明顯。該技術還可以在數(shù)據(jù)寫入到存儲系統(tǒng)前壓縮數(shù)據(jù)，進一步提高了存儲系統(tǒng)中的磁盤和緩存的性能和效率。壓縮算法分為無損壓縮和有損壓縮。相對于有損壓縮來說，無損壓縮的占用空間大，壓縮比不高，但是它有效地保存了原始信息，沒有任何信號丟失。但是隨著限制無損格式的種種因素逐漸被消除，使得無損壓縮格式具有廣闊的應用前景。數(shù)據(jù)壓縮中使用的LZ77算法，主要由2部分構成，滑窗（Sliding Window）和自適應編碼（Adaptive Coding）。壓縮處理時，在滑窗中查找與待處理數(shù)據(jù)相同的塊，并用該塊在滑窗中的偏移值及塊長度替代待處理數(shù)據(jù)，從而實現(xiàn)壓縮編碼。如果滑窗中沒有與待處理數(shù)據(jù)塊相同的字段，或偏移值及長度數(shù)據(jù)超過被替代數(shù)據(jù)塊的長度，則不進行替代處理。該算法的實現(xiàn)非常簡潔，處理比較簡單，能夠適應各種高速應用。數(shù)據(jù)壓縮的應用可以顯著降低待處理和存儲的數(shù)據(jù)量，一般情況下可實現(xiàn)2:1～3:1的壓縮比。 LZ77算法示意圖壓縮和去重是互補性的技術，提供去重的廠商通常也提供壓縮。而對于虛擬服務器卷、電子郵件附件、文件和備份環(huán)境來說，去重通常更加有效，壓縮對于隨機數(shù)據(jù)效果更好，像數(shù)據(jù)庫。換句話說，在數(shù)據(jù)重復性比較高的地方，去重比壓縮有效?？蓴U展和高性能的存儲安全技術，是推動云存儲最根本的保證，已經(jīng)成為當前網(wǎng)絡存儲領域的研究熱點。云存儲應用中的存儲安全包括認證服務、數(shù)據(jù)加密存儲、安全管理、安全日志和審計。（1）認證服務：訪問控制服務實現(xiàn)用戶身份認證、授權，防止非法訪問和越權訪問。主要功能包括：用戶只能對經(jīng)管理員或文件所有者授權的許可文件進行被許可的操作；管理員只能進行必要的管理操作，如用戶管理、數(shù)據(jù)備份、熱點對象遷移，而不能訪問用戶加密了的私有數(shù)據(jù)。（2）加密存儲：是對指定的目錄和文件進行加密后保存，實現(xiàn)敏感數(shù)據(jù)存儲和傳送過程中的機密性保護。（3）安全管理：主要功能是用戶信息和權限的維護，如用戶帳戶注冊和注銷等，授權用戶、緊急情況下對用戶權限回收等。（4）安全日志和審計：是記錄用戶和系統(tǒng)與安全相關的主要活動事件，為系統(tǒng)管理員監(jiān)控系統(tǒng)和活動用戶提供必要的審計信息。隨著存儲系統(tǒng)和存儲設備越來越網(wǎng)絡化，存儲系統(tǒng)在保證敏感數(shù)據(jù)機密性的同時，必須提供相應的加密數(shù)據(jù)共享技術。必須研究適用于網(wǎng)絡存儲系統(tǒng)的加密存儲技術，提供端到端加密存儲技術及密鑰長期存儲和共享機制，以確保用戶數(shù)據(jù)的機密性和隱私性，提高密鑰存儲的安全性、分發(fā)的高效性及加密策略的靈活性。在海量的加密信息存儲中，加密檢索是實現(xiàn)信息共享的主要手段，是加密存儲中必須解決的問題之一。加密檢索技術有線性搜索算法、基于關鍵詞的公鑰加密搜索、安全索引、引入相關排序的加密搜索算法。（1）線性搜索算法首先用對稱加密算法對明文信息加密，對于每個關鍵詞對應的密文信息，生成一串長度小于密文信息長度的偽隨機序列，并生成一由偽隨機序列及密文信息確定的校驗序列，偽隨機序列的長度與檢驗序列長度之和等于密文信息的長度，偽隨機序列及檢驗序列對密文信息再次加密。在搜索過程中，用戶提交明文信息對應的密文信息序列。在服務器端，密文信息序列被線性的同每一段序列模2加。如果得到的結果滿足校驗關系，那么說明密文信息序列出現(xiàn)，否則，說明密文信息不存在。線性搜索方法是一次一密的加密信息檢索算法，因此有極強的抵抗統(tǒng)計分析的能力。但其有一個致命的缺點，即逐次匹配密文信息，這使得這種檢索方法在大數(shù)據(jù)集的情況下難以應用。（2）基于關鍵詞的公鑰加密搜索算法[14]由Boneh等人提出的，其目的是可以在用戶端存儲、計算資源不足的情況下，通過訪問遠端數(shù)據(jù)庫獲取數(shù)據(jù)信息。此算法首先生成公鑰、私鑰，然后對存儲的明文關鍵詞用公鑰進行加密，生成可搜索的密文信息。此算法可以解決兩方面的問題：第一，存儲、計算資源分布的不對稱性，即用戶的計算存儲能力不能實時滿足其需求；第二，用戶在移動情況下對存儲、檢索數(shù)據(jù)的需求，比如Email服務等。（3）安全索引[15]由Park等人提出，其機制是每次加密所用的密鑰是事先生成的一組逆Hash序列，加密后的索引被放入布隆過濾器中。當檢索的時候，首先用逆Hash序列密鑰生成多個陷門，然后進行布隆檢測。對返回的密文文檔解密即可得到所需檢索的文檔。針對有新用戶加入、舊用戶退出的多用戶加密信息檢索，這是一種解決方法。但其存在的缺陷是需要生成大量的密鑰序列，隨著檢索次數(shù)的增加，每多進行一次檢索，其計算復雜度均線性增加。這在實際應用中很難被接受。（4）引入相關排序的加密搜索算法[16]Swaminathan等人提出了保護隱私的排序搜索算法。在這一算法中，每一文檔中關鍵詞的詞頻都被保序加密算法加密。提交查詢給服務器端后，首先計算檢索出含有關鍵詞密文的加密文檔；然后對用保序算法加密的詞頻對應的密文信息進行排序處理；最后把評價值高的加密文檔返回給用戶，由用戶對其進行解密。這一種方法可以在給定多個可能相關文檔的情況下對加密文檔進行排序，進而把最可能相關的文檔返回給用戶。但這一種算法首先不適用于一個查詢包含多個查詢詞的情況，其次算法只利用了文檔中的詞頻信息，無法利用詞的逆文檔頻率，進而向量空間模型無法直接應用。 容錯技術數(shù)據(jù)容錯技術一般都是通過增加數(shù)據(jù)冗余來實現(xiàn)的。冗余提高了容錯性，但是也增加了存儲資源的消耗。因此，在保證系統(tǒng)容錯性的同時，要盡可能地提高存儲資源的利用率，以降低成本。目前,常用的容錯技術主要有基于復制(replication)的容錯技術和基于糾刪碼(erasure code)的容錯技術兩種。（1）基于復制的容錯技術該技術對一個數(shù)據(jù)對象創(chuàng)建多個相同的數(shù)據(jù)副本,并把得到的多個副本散布到不同的存儲節(jié)點上。當若干數(shù)據(jù)對象失效以后，可以通過訪問其他有效的副本獲取數(shù)據(jù)。基于復制的容錯技術簡單直觀，易于實現(xiàn)和部署，但是存儲空間開銷很大；當數(shù)據(jù)失效以后，只需要從其他副本下載同樣大小的數(shù)據(jù)即可進行修復。（2）基于糾刪碼的容錯技術該技術源于信道傳輸?shù)木幋a技術，因為能夠容忍多個數(shù)據(jù)幀的丟失，被引入到分布存儲領域，使得基于糾刪碼的容錯技術成為能夠容忍多個數(shù)據(jù)塊同時失效的、最常用的基于編碼的容錯技術。基于編碼的容錯技術通過對多個數(shù)據(jù)對象進行編碼產(chǎn)生編碼數(shù)據(jù)對象，能夠把多個數(shù)據(jù)塊的信息融合到較少的冗余信息中，因此能夠有效地節(jié)省存儲空間，但是對數(shù)據(jù)的讀寫操作要分別進行編碼和解碼操作，需要一些計算開銷；當數(shù)據(jù)失效以后，需要下載的數(shù)據(jù)量一般遠大于失效數(shù)據(jù)大小,修復成本較高。4云存儲的架構技術GFS(Google File System)，是Google公司為了存儲海量搜索數(shù)據(jù)而設計的專用文件系統(tǒng)。GFS是一個可擴展的分布式文件系統(tǒng)，用于大型的、分布式的、對大量數(shù)據(jù)進行訪問的應用。它運行于廉價的普通硬件上，但可以提供容錯功能，可以給大量的用戶提供總體性能較高的服務。GFS提供了一個類似傳統(tǒng)文件系統(tǒng)的接口，雖然它沒有向POSIX（Portable Operating System Interface，可移植操作系統(tǒng)接口），那樣實現(xiàn)標準的API（Application Programming Interface,應用程序編程接口）。文件在目錄中按照層次組織，用路徑名來標識，可應用在Linux和Windows等各種平臺。GFS系統(tǒng)架構[17]： GFS系統(tǒng)架構客戶端在訪問GFS時，首先訪問Master節(jié)點，獲取將要與之進行交互的Chunk Server信息，然后直接訪問這些Chunk Server完成數(shù)據(jù)存取。GFS的這種設計方法實現(xiàn)了控制流和數(shù)據(jù)流的分離。Client與Master之間只有控制流，而無數(shù)據(jù)流，這樣就極大地降低了Master的負載，使之不成為系統(tǒng)性能的一個瓶頸。Client與Chunk Server之間直接傳輸數(shù)據(jù)流，同時由于文件被分成多個Chunk進行分布式存儲，Client可以同時訪問多個Chunk Server，從而使得整個系統(tǒng)的I/O高度并行，系統(tǒng)整體性能得到提高。具體來說，GFS具有以下幾個特點。（1）采用中心服務器模式GFS采用中心服務器模式來管理整個文件系統(tǒng)，可以大大簡化設計，從而降低實現(xiàn)難度。Master管理了分布式文件系統(tǒng)中的所有元數(shù)據(jù)。文件劃分為Chunk進行存儲，對于Master來說，每個Chunk Se