【正文】 對系統(tǒng)整體性能的提高作用不大；而對于 Chunk Server，由于 GFS的數(shù)據(jù)在 Chunk Server上以文件的形式存儲，如果對某塊數(shù)據(jù)讀取頻繁，本地的文件系統(tǒng)自然會將其緩存。當然，中心服務器模式也帶來一些固有的缺點，比如極易成為整個系統(tǒng)的瓶頸等。 Client發(fā)起的所有操作都需要先通過 Master才能執(zhí)行。具體來說， GFS具有以下幾個特點。 GFS系統(tǒng)架構 [17]如圖 ： 圖 GFS 系統(tǒng)架構 客戶端在訪問 GFS時，首先訪問 Master節(jié)點，獲取將要與之進行交互的 Chunk Server信息，然后直接訪問這些 Chunk Server完成數(shù)據(jù)存取。 GFS是一個可擴展的分布式文件系統(tǒng)，用于大型的、分布式的、對大量數(shù)據(jù)進行訪問的應用。基于復制的容錯技術簡單直觀 ， 易于實現(xiàn)和部署 ， 但是存儲空間開銷很大；當數(shù)據(jù)失效以后 ， 只需要從其他副本下載同樣大小的數(shù)據(jù)即可進行修復 。因此 ， 在保證系統(tǒng)容錯性的同時，要盡可能地提高存儲資源的利用率，以降低成本。 這一種方法可以在給定多個可能相關文檔的情況下對加密文檔進行排序，進而把最可能相關的文檔返回給用戶。這在實際應用中很難被接受。當檢索的時候，首先用逆 Hash序列密鑰生成多個陷門，然后進行布隆檢測。 （ 2） 基于關鍵詞的公鑰加密搜索算法 [14] 由 Boneh等人提出的， 其目的是可以在用戶端存儲、計算資源不足的情況下，通過訪問遠端數(shù)據(jù)庫獲取數(shù)據(jù)信 息。在服務器端，密文信息序列被線性的同每一段序列模 2加。在海量的加密信息存儲中，加密檢索是實現(xiàn)信息共享的主要手段，是加密存儲中必須解決的問題之一。 （ 3） 安全管理 ： 主要功能是用戶信息和權限的維護，如用戶帳戶注冊和注銷等，授權用戶、緊急情況下對用戶權限回收等。云存儲應用中的存儲安全包括認證服務、數(shù)據(jù)加密存儲、安全管理、安全日志和審計。 圖 LZ77 算法示意圖 壓縮和去 重是互補性的技術，提供去重的廠商通常也提供壓縮。壓縮處理時，在滑窗中查找與待處理數(shù)據(jù)相同的塊，并用該塊在滑窗中的偏移值及塊長度替代待處理數(shù)據(jù)，從而實現(xiàn)壓縮編碼。壓縮算法分為無損壓縮和有損壓縮。由于大幅度減少了物理存儲空間的信息量，進而減少傳輸過程中的網(wǎng)絡帶寬、節(jié)約設備成本、降低能耗。 武漢理工大學畢業(yè)設計（論文） 10 重復數(shù)據(jù)刪除 該技術 通過刪除集 中重復的數(shù)據(jù)，只保留其中一份，從而消除冗余數(shù)據(jù) ， 可以將數(shù)據(jù)縮減到原來的 2%~5%。一個磁盤陣列能夠把活動數(shù)據(jù)保留在快速、昂貴的存儲上，把不活躍的數(shù)據(jù)遷移到廉價的低速層上，以限制存儲的花費總量 。這項技術已經(jīng)成為選擇存儲系統(tǒng)的關鍵標準之一。 數(shù)據(jù)縮減技術 數(shù)據(jù)量的急劇增長為存儲技術提出了新的問題和要 —— 怎樣低成本高效快速地解決無限增長的信息的存儲和計算。 連續(xù)數(shù)據(jù)保護 系統(tǒng)可能基于塊、文件或應用，并且為數(shù)量無限的可變恢復點提供精細的可恢復對象。這種方法可以利用存儲目錄中存放的存儲節(jié)點信息，將數(shù)據(jù)對象的多個副本放置在不同機架上，這樣可大大提高系統(tǒng)的數(shù)據(jù)可靠性。采用這種方法，一旦出現(xiàn)了數(shù)據(jù)災難，用戶可以恢復到某天（注意是以天為單位的）的數(shù)據(jù)，因此在最壞的情況下，可能丟失整整一天的數(shù)據(jù)。提供表存儲的云存儲系統(tǒng)的特征就是同時提供高并發(fā)的數(shù)據(jù)訪問性能和可伸縮的存儲和計算架構。目前的分布式文件系統(tǒng)存儲的實現(xiàn)有軟硬件一體和軟硬件分離兩種方式。 （ 1） 分布式塊存儲 塊存儲就是服務器直接通過讀寫存儲空間中的一個或一段地址來存取數(shù)據(jù)。存儲網(wǎng)絡虛擬化又可以分為帶內虛擬化與帶外虛擬化兩類，二者主要的區(qū)別在于：帶內虛擬化使用同一數(shù)據(jù)通道傳送存儲數(shù)據(jù)和控制信號，而帶外虛擬化使用不同的通道傳送數(shù)據(jù)和命令信息。 需要新購機頭時，費用較高；存在更高端的存儲設備。 系統(tǒng)包括不同品牌和型號的主機和存儲設備；對數(shù)據(jù)無縫遷移及數(shù)據(jù)格式轉換有較高時間性保證。 消耗 存儲控制器 資源；存儲設備兼容性需要嚴格 驗證；原有的磁盤陣列的高級存儲功能將不能使用。 用表格的方式對三種存儲虛擬化技術的技術優(yōu)點與缺點、適應場景等進行了分析對比，結果如下： 表 存儲虛擬化技術對比 實現(xiàn)層面 主機 網(wǎng)絡 設備 優(yōu)點 支持異構的存儲系統(tǒng)； 不需要額外的硬件支持，便于部署 。云存儲使用者采用的應用軟件客戶端不同，享受到的服務類型也不同，比如個人空間租賃服務、運營商空間租賃服務、數(shù)據(jù)遠程容災和遠程備份、 視頻監(jiān)控應用平臺、 IPTV和視頻點播應用平臺、網(wǎng)絡硬盤引用平臺，遠程數(shù)據(jù)備份應用平臺等。 （ 3）應用接口層 應用接口層是云存儲最靈活多變的部分。云存儲系統(tǒng)通過集群文件 操作系統(tǒng) 實現(xiàn)后端存儲設備的集群工作，并通過系統(tǒng)的控制單元和管理單元實現(xiàn)整個系統(tǒng)的管理，數(shù)據(jù)的分發(fā)、處理，處理結果的反饋。數(shù)量龐大的云存儲設備分布在不同地域，彼此之間通過廣域網(wǎng)、互聯(lián)網(wǎng)或者 FC光纖通道網(wǎng)絡連接。由此可以理解 ， 云存儲是云計算系統(tǒng)的延伸，是配置了大容量存儲空間的云計算系統(tǒng) ， 可以說云存儲是云計算服務的一種，即 SaaS[13](storage as a service，存儲即服務 )， 甚至可以說，利用云計算系統(tǒng)來建立存儲系統(tǒng)，此時的云存儲概念相當于一個云計算服務，它往往稱之為“存儲云”。云計算的一個核心理念就是通過不斷提高 “ 云 ” 的處理能力 ， 進而減少用戶終端的處理負擔 ， 最終使用戶終端簡化成一個單純的輸入輸出設備 ， 并能按需享受“ 云 ” 的強大計算處理能力。云存儲并不單獨依賴一臺存儲服務器，因此存儲服務器硬件的更新、升級并不會影響存儲服務的提供，系統(tǒng)會將舊存儲服務器上的文件遷移到別的存儲服務器，等新的存儲服務器上線后，文件會再遷移回來。 （ 4）數(shù)據(jù)更安全，服務不中斷 傳統(tǒng)存儲系統(tǒng)會因為硬件損壞而導致服務停止，雖然可以設計全冗余的環(huán)境 ， 但成本相對太高且工作 復雜 。面對升級換代較快的 IT產(chǎn)業(yè)，硬盤在使用 2～ 3年后很難找到同型號產(chǎn)品更換。相比傳統(tǒng)的存儲擴容，云存儲架構采用的是并行擴容方式，即當容量不夠時，采購新的存儲服務器即可，擴容環(huán)節(jié)無任何限制。 云存儲不是存儲 , 而是服務 。云存儲安全特別是用戶數(shù)據(jù)的隱私問題，即服務商也不能得到用戶的數(shù)據(jù)，至今沒有較好的解決方案。 盡管對于云存儲來說有很多優(yōu)勢值得我們選擇和研究， 然而云存儲仍面臨著許多技術的難題，特別是安全性。 目前有近百種云存儲系統(tǒng)。分布式存儲 系統(tǒng) 是 基于硬件的存儲技術 ， 由于 其 較大的成本和較差的靈活性而逐漸被大型企業(yè)放棄 [9]。只要有足夠的計算機參與， 這種 做法足以比擬更大的主機和超級計算機的處理能力 ， 用戶可以共享文件并同時在相同的文件上工作。 （ 2） 存儲資源共享 —— 對等計算 無須經(jīng)由服務器，將一臺計算機連接到另一臺計算機 ， 導致了 P2P對等計算的發(fā)展。 因此，云 存儲 的研究不但緊跟發(fā)展的趨勢，同時還具有較高的應用價值。與傳統(tǒng)的存儲設備相比，云存儲不僅僅是一個硬件，而是一個網(wǎng)絡設備、存儲設備、服務器、應用軟件、公用訪問接口、接入網(wǎng)和客戶端程序等多個部分組成的系統(tǒng) [6]。因此，云 存儲 的研究不但緊跟發(fā)展的趨勢，同時還具有較高的應用價值。云存儲使用者采用的應用軟件客戶端不同，享受到的服務類型也不同。不同的云存儲運營單位可以根據(jù)實際業(yè)務類型，開發(fā)不同的應用服務接口，提供不同的應用服務。基礎管理層通過集群、分布式文件系統(tǒng)和網(wǎng)格計算等技術，實現(xiàn)云存儲中多個存儲設備之間的協(xié)同工作，使多個的存儲設備可以對外提供同一種服務，并提供更大更強更好的數(shù)據(jù)訪問性能。 云存儲系統(tǒng)的結構模型由 4層組成 ，如圖 1所示 ： 圖 1 （ 1）存儲層 存儲層是云存儲最基礎的部分。技術的不斷進步必將推動存儲向更高容量發(fā)展，而重復數(shù)據(jù)刪除、壓縮等技術的引入，可以進一步提升存儲空間的利用率。 IDC研究表明，從 2020年到 2020年，全球信息總量將增長 6倍以上，從 161EB增加到 988EB(1EB=1024PB)。云存儲的核心是應用軟件與存儲設備相結合，通過應用軟件來實現(xiàn)存儲設備向存儲服務的轉變。 云存儲不是存儲，而是服務。ller, Alexander optimal cloud storage Generation Computer Systems 29 (2020) 1062– 1072. 指導教師簽名 系主任簽名 院長簽名 (章 ) 武漢理工大學 本科生畢業(yè)設計（論文）開題報告 目的及意義（含國內外的研究現(xiàn)狀分析） 云存儲是一個以數(shù)據(jù)存儲和管理為核心的云計算系統(tǒng)，可以認為是以數(shù)據(jù)處理、數(shù)據(jù)運算為中心的系統(tǒng)， 是指通過集群應用、 網(wǎng)格技術 或分布式文件系統(tǒng)等功能，將網(wǎng)絡中大量各種不同類型的存儲設備通過應用軟件集合起來協(xié)同工作，共同對外提供數(shù)據(jù)存儲和業(yè)務訪問功能的一個系統(tǒng)。 7. 在設計中完成不少于 3張 1~2圖紙的描繪。 2. 完成開題報告。 （請在以上相應方框內打 “√”） 作者簽名： 年 月 日 導師簽名： 年 月 日 本科生畢業(yè)設計（論文）任務書 學生姓名： 專業(yè)班級： 通信 0906 班 指導教師： 許建霞 工作單位： 信息工程學院 設計 (論文 )題目 : 云環(huán)境下存儲技術的研究 設計（論文）主要內容： 云計算主要是利用現(xiàn)有的各種資源，使用虛擬化等多種技術，構建由大量計算機組成的稱之為“云”的資源池，它具有強大的資源控制和監(jiān)督管理能力，能夠根據(jù)用戶的不同需求來動態(tài)切割和分配計算資源 ， 用戶不需要去了解云的具體構成，只需要定制需求就可以獲得云計算交付的服務 。本人完全意識到本聲明的法律后果由本人承擔。除了文中特別加以標注引用的內容外，本論文不包括任何其他個人或集體已經(jīng)發(fā)表或撰寫的成果作品。 本學位論文屬于 保密囗，在 年解密后適用本授權書 不保密囗 。 要求完成的主要任務 : 1. 查閱不少于 15篇相關資料，其中英文文獻不少于 2篇。 6. 完成不少于 20200字的論文的撰寫并完成答辯的相關工作 。 必讀參考資料： [1]晏強 , 張曉鋒 , 丁蕊 .云存儲技術研究 [J]. 上計算機與信息技術 .2020. 第 5期 : 2224. [2] 成靜靜 . 基于 Hadoop的分布式云計算 /云存儲方案的研究與設計 [J]. 數(shù)據(jù)通信 , 2020, 第 5期 : 1418. [3] PENG Yong, ZHAO Wei, Secure cloud storage based on cryptographic techniques [J]. ScienceDirect 89(2020)174– 180 October 2020, 19(Suppl. 2): 182– 189. [4] Josef Spillner, Johannes M252。在云計算系統(tǒng)中配置相應的存儲設備，該計算系 統(tǒng)即擁有了云存儲系統(tǒng)功能。所以嚴格來講，云存儲不是存儲，而是一種服務。成本更低廉，就目前來說，企業(yè)在數(shù)據(jù)存儲上所付出的成本是相當大的，而且這個成本還在隨著數(shù)據(jù)的暴增而不斷增加。最新一代 LTO4磁帶的單盒磁帶存儲容量也達到了 (壓縮比為 2∶1)。各部分以存儲設備為核心，通過應用軟件來對外提供數(shù)據(jù)存儲和業(yè)務訪問服務。 （ 2）基礎管理層 是云存儲最核心的部分，也是云存儲中最難以實現(xiàn)的部分。 （ 3）應用接口層 應用接口層是云存儲最靈活多變的部分。云存儲運營單位不同，云存儲提供的訪問類型和訪問手段也不同。云存儲作為云計算的底層服務，對上層服務提供重要的支持；同時，云存儲可以有效的存儲和管理海量數(shù)據(jù)，所以更是成為專家學者們關注的焦點。 關鍵詞 ：云存儲， 關鍵技術，架構模型， HDFS， CloudSim 武漢理工大學畢業(yè)設計（論文） II Abstract Cloud puting is a hot topic in recent research and applications． Up to now, Google、Microsoft、 IBM、 Amazon and some other famous cooperations have proposed their cloud puting application, and take cloud puting as one of the most important strategy in the future． Cloud storage is the lower layer of cloud puting system which supports the service of the other layers above it． Meanwhile， it is an effective way to store and manage heavy data． So it focused even more attentions from some researchers． Therefore, the research of cloud stora