【正文】
主要依靠手工操作,由管理員來判斷數(shù)據(jù)訪問壓力,遷移的時(shí)候只能一個(gè)整卷一起遷移。自動(dòng)存儲(chǔ)分層的重要性隨著固態(tài)存儲(chǔ)在當(dāng)前磁盤陣列中的采用而提升,并隨著云存儲(chǔ)的來臨而補(bǔ)充內(nèi)部部署的存儲(chǔ)。該技術(shù)計(jì)算數(shù)據(jù)指紋,具有相同指紋的數(shù)據(jù)塊即可認(rèn)為是相同的數(shù)據(jù)塊,存儲(chǔ)系統(tǒng)中僅需要保留一份。隨著目前CPU處理能力的大幅提高,應(yīng)用實(shí)時(shí)壓縮技術(shù)來節(jié)省數(shù)據(jù)占用空間成為現(xiàn)實(shí),這項(xiàng)新技術(shù)就是最新研發(fā)出的在線壓縮,它與傳統(tǒng)壓縮技術(shù)不同,當(dāng)數(shù)據(jù)在首次寫入時(shí)即被壓縮,以幫助系統(tǒng)控制大量數(shù)據(jù)在主存中雜亂無章地存儲(chǔ)的情形,特別是多任務(wù)工作時(shí)更加明顯。但是隨著限制無損格式的種種因素逐漸被消除,使得無損壓縮格式具有廣闊的應(yīng)用前景。該算法的實(shí)現(xiàn)非常簡(jiǎn)潔,處理比較簡(jiǎn)單,能夠適應(yīng)各種高速應(yīng)用。換句話說,在數(shù)據(jù)重復(fù)性比較高的地方,去重比壓縮有效。主要功能包括:用戶只能對(duì)經(jīng)管理員或文件所有者授權(quán)的許可文件進(jìn)行被許可的操作;管理員只能進(jìn)行必要的管理操作,如用戶管理、數(shù)據(jù)備份、熱點(diǎn)對(duì)象遷移,而不能訪問用戶加密了的私有數(shù)據(jù)。隨著存儲(chǔ)系統(tǒng)和存儲(chǔ)設(shè)備越來越網(wǎng)絡(luò)化,存儲(chǔ)系統(tǒng)在保證敏感數(shù)據(jù)機(jī)密性的同時(shí),必須提供相應(yīng)的加密數(shù)據(jù)共享技術(shù)。(1)線性搜索算法首先用對(duì)稱加密算法對(duì)明文信息加密,對(duì)于每個(gè)關(guān)鍵詞對(duì)應(yīng)的密文信息,生成一串長(zhǎng)度小于密文信息長(zhǎng)度的偽隨機(jī)序列,并生成一由偽隨機(jī)序列及密文信息確定的校驗(yàn)序列,偽隨機(jī)序列的長(zhǎng)度與檢驗(yàn)序列長(zhǎng)度之和等于密文信息的長(zhǎng)度,偽隨機(jī)序列及檢驗(yàn)序列對(duì)密文信息再次加密。線性搜索方法是一次一密的加密信息檢索算法,因此有極強(qiáng)的抵抗統(tǒng)計(jì)分析的能力。此算法可以解決兩方面的問題:第一,存儲(chǔ)、計(jì)算資源分布的不對(duì)稱性,即用戶的計(jì)算存儲(chǔ)能力不能實(shí)時(shí)滿足其需求;第二,用戶在移動(dòng)情況下對(duì)存儲(chǔ)、檢索數(shù)據(jù)的需求,比如Email服務(wù)等。針對(duì)有新用戶加入、舊用戶退出的多用戶加密信息檢索,這是一種解決方法。在這一算法中,每一文檔中關(guān)鍵詞的詞頻都被保序加密算法加密。 容錯(cuò)技術(shù)數(shù)據(jù)容錯(cuò)技術(shù)一般都是通過增加數(shù)據(jù)冗余來實(shí)現(xiàn)的。(1)基于復(fù)制的容錯(cuò)技術(shù)該技術(shù)對(duì)一個(gè)數(shù)據(jù)對(duì)象創(chuàng)建多個(gè)相同的數(shù)據(jù)副本,并把得到的多個(gè)副本散布到不同的存儲(chǔ)節(jié)點(diǎn)上?;诰幋a的容錯(cuò)技術(shù)通過對(duì)多個(gè)數(shù)據(jù)對(duì)象進(jìn)行編碼產(chǎn)生編碼數(shù)據(jù)對(duì)象,能夠把多個(gè)數(shù)據(jù)塊的信息融合到較少的冗余信息中,因此能夠有效地節(jié)省存儲(chǔ)空間,但是對(duì)數(shù)據(jù)的讀寫操作要分別進(jìn)行編碼和解碼操作,需要一些計(jì)算開銷;當(dāng)數(shù)據(jù)失效以后,需要下載的數(shù)據(jù)量一般遠(yuǎn)大于失效數(shù)據(jù)大小,修復(fù)成本較高。GFS提供了一個(gè)類似傳統(tǒng)文件系統(tǒng)的接口,雖然它沒有向POSIX(Portable Operating System Interface,可移植操作系統(tǒng)接口),那樣實(shí)現(xiàn)標(biāo)準(zhǔn)的API(Application Programming Interface,應(yīng)用程序編程接口)。Client與Master之間只有控制流,而無數(shù)據(jù)流,這樣就極大地降低了Master的負(fù)載,使之不成為系統(tǒng)性能的一個(gè)瓶頸。Master管理了分布式文件系統(tǒng)中的所有元數(shù)據(jù)。Master維護(hù)了一個(gè)統(tǒng)一的命名空間,同時(shí)掌握整個(gè)系統(tǒng)內(nèi)Chunk Server的情況,據(jù)此可以實(shí)現(xiàn)整個(gè)系統(tǒng)范圍內(nèi)數(shù)據(jù)存儲(chǔ)的負(fù)載均衡。(2)不緩存數(shù)據(jù)緩存(Cache)機(jī)制是提升文件系統(tǒng)性能的一個(gè)重要手段,通用文件系統(tǒng)為了提高性能,一般需要實(shí)現(xiàn)復(fù)雜的緩存機(jī)制。此外由于讀取的數(shù)據(jù)量巨大,以當(dāng)前的內(nèi)存容量無法完全緩存。(3)在用戶態(tài)下實(shí)現(xiàn)文件系統(tǒng)作為操作系統(tǒng)的重要組成部分,其實(shí)現(xiàn)通常位于操作系統(tǒng)底層。(4)只提供專用接口通常的分布式文件系統(tǒng)一般都會(huì)提供一組與POSIX規(guī)范兼容的接口。由以上分析可以看出,GFS并不是一個(gè)通用的云存儲(chǔ)系統(tǒng),它更適合于大型的搜索業(yè)務(wù)以至于GFS的設(shè)計(jì)考慮了許多具體業(yè)務(wù)特性,如文件的大小、讀寫頻率等,這些將限制GFS的業(yè)務(wù)應(yīng)用。作為這項(xiàng)技術(shù)的核心,GPFS是一個(gè)并行的磁盤文件系統(tǒng),它保證在資源組內(nèi)的所有節(jié)點(diǎn)可以并行訪問整個(gè)文件系統(tǒng);而且針對(duì)此文件系統(tǒng)的服務(wù)操作,可以同時(shí)安全地在使用此文件系統(tǒng)的多個(gè)節(jié)點(diǎn)上實(shí)現(xiàn)。GPFS提供的文件系統(tǒng)操作服務(wù)可以支持并行應(yīng)用和串行應(yīng)用,它允許任何節(jié)點(diǎn)(這些節(jié)點(diǎn)屬于同一個(gè)節(jié)點(diǎn)組)上的并行應(yīng)用同時(shí)訪問同一個(gè)文件或者不同的文件[18]。并且,NSD將虛擬設(shè)備按照不同的屬性劃分了不同的用途。并且,可以將節(jié)點(diǎn)的讀寫操作分布到不同的物理磁盤上,因此避免了對(duì)某個(gè)磁盤過多讀寫操作,增加了整個(gè)系統(tǒng)的吞吐量,提高了系統(tǒng)的整體性能。因此,當(dāng)某個(gè)節(jié)點(diǎn)的某條路徑無法正常工作,依舊可以通過鏈路冗余達(dá)到GPFS文件系統(tǒng)。(5)方便管理GPFS文件系統(tǒng),可以自動(dòng)的同步各個(gè)節(jié)點(diǎn)的配置文件和文件系統(tǒng)信息,因此可以在任意一個(gè)節(jié)點(diǎn)上管理GPFS。HDFS放寬了一部分POSIX約束,來實(shí)現(xiàn)流式讀取文件系統(tǒng)數(shù)據(jù)的目的。 HDFS系統(tǒng)架構(gòu)一個(gè)HDFS集群是由一個(gè)Namenode和一定數(shù)目的Datanodes組成。從內(nèi)部看,一個(gè)文件其實(shí)被分成一個(gè)或多個(gè)數(shù)據(jù)塊,這些塊存儲(chǔ)在一組Datanode上。Namenode和Datanode被設(shè)計(jì)成可以在普通的商用機(jī)器上運(yùn)行。在Hadoop的集群架構(gòu)中,主節(jié)點(diǎn)NameNode只有一個(gè),它進(jìn)程負(fù)責(zé)數(shù)據(jù)存儲(chǔ)與調(diào)用的統(tǒng)籌。相比傳統(tǒng)的集中式存儲(chǔ)系統(tǒng),Dynamo在設(shè)計(jì)之初就被定位為一個(gè)高可靠、高可用且具有良好容錯(cuò)性的系統(tǒng)。該context包含對(duì)象的系統(tǒng)元數(shù)據(jù)并對(duì)于調(diào)用者是不透明的(opaque)。 Dynamo使用的技術(shù)概要和其優(yōu)勢(shì)問題采取的相關(guān)技術(shù)優(yōu)勢(shì)數(shù)據(jù)劃分改進(jìn)的一致性哈希算法增量可伸縮性寫的高可用性矢量時(shí)鐘與讀取過程中的協(xié)調(diào)版本大小與更新操作速率脫鉤臨時(shí)故障處理Hinted handoff 數(shù)據(jù)回傳機(jī)制,可調(diào)的弱quorum機(jī)制提供高可用性和耐用性的保證,即使一些副本不可用時(shí)永久故障回復(fù)Merkle哈希樹在后臺(tái)同步不同的副本成員資格和錯(cuò)誤檢測(cè)基于Gossip的錯(cuò)誤檢查保持對(duì)稱性并且避免了一個(gè)用于存儲(chǔ)會(huì)員和節(jié)點(diǎn)活性信息的集中注冊(cè)服務(wù)節(jié)點(diǎn)。為了解決這個(gè)問題,亞馬遜在Dynamo中引入了節(jié)點(diǎn)虛擬化的概念。也可以理解為,它放在環(huán)上作為一個(gè)節(jié)點(diǎn)的是一組機(jī)器,這一組機(jī)器是通過同步機(jī)制保證數(shù)據(jù)一致的。一個(gè)云基礎(chǔ)設(shè)施上的應(yīng)用和服務(wù)模型的負(fù)載、能量耗費(fèi)(電力耗費(fèi)和熱力耗費(fèi))和系統(tǒng)規(guī)模都在不斷地發(fā)生變化,如何對(duì)這些動(dòng)態(tài)變化中的應(yīng)用及服務(wù)模型的調(diào)度及分配策略的性能進(jìn)行量化是極富挑戰(zhàn)性的問題。(2)提供一個(gè)平臺(tái),可供數(shù)據(jù)中心、服務(wù)代理、調(diào)度和分配策略進(jìn)行建模。使用戶無需付費(fèi)便可在一個(gè)可控的環(huán)境內(nèi)反復(fù)測(cè)試他們的服務(wù),并能夠在部署之前調(diào)節(jié)性能瓶頸。(2)系統(tǒng)變量新建變量名:JAVA_HOME 變量值:在路徑中加入C:\Program Files\Java\(3)系統(tǒng)變量編輯變量名:Path 變量值:在路徑中加入%JAVA_HOME%\bin。單擊開始搜索“cmd”,在彈出的dos窗口中輸入“java version”如果屏幕上顯示了Java語(yǔ)言的版本號(hào),說明JKD配置成功,可以關(guān)閉dos窗口。MyEclipse安裝及配置。本文創(chuàng)建兩個(gè)數(shù)據(jù)中心,每個(gè)數(shù)據(jù)中心有一臺(tái)主機(jī),并在其上運(yùn)行兩個(gè)云任務(wù)。代碼清單1:int num_user = 1。 // 初始化CloudSim包(2)創(chuàng)建數(shù)據(jù)中心在CloudSim仿真平臺(tái)中,數(shù)據(jù)中心是在VM的生命周期內(nèi)負(fù)責(zé)管理VM的一組主機(jī)。1)首先創(chuàng)建一個(gè)機(jī)器列表對(duì)象,其中可包含一個(gè)或多個(gè)機(jī)器對(duì)象。3)創(chuàng)建PE并將其添加到上一步創(chuàng)建的PE列表中,可對(duì)其ID和MIPS進(jìn)行設(shè)置,如下:(new PE(PE id,MIPS Rating))。DatacenterCharacteristics resConfig=new DatacenterCharacteristics(arch,os,vmm, mList ,time_zone,cost,costPerMe costPerStorage,costPerBw)。 代碼清單2:Datacenter datacenter0 = createDatacenter(Datacenter_0)。// 3. 創(chuàng)建PE并將其添加到PE列表中. int mips = 1000。 //內(nèi)存 long storage = 1000000。 // 體系結(jié)構(gòu) String os = Linux。 // 處理器資源費(fèi)用 double costPerMem = 。 DatacenterCharacteristics characteristics = new DatacenterCharacteristics(arch, os, vmm, hostList, time_zone, cost, costPerMem, costPerStorage, costPerBw)。 //打印異常發(fā)生處的堆棧軌跡 } return datacenter。 DatacenterBroker broker = createBroker()。代碼清單3:DatacenterBroker broker = createBroker()。 } catch (Exception e) { ()。對(duì)虛擬機(jī)的參數(shù)進(jìn)行設(shè)置,主要包括ID、鏡像大小(MB)、分配內(nèi)存大小(MB)、帶寬、CPU數(shù)量、優(yōu)先級(jí)、虛擬機(jī)名、調(diào)度策略。這是虛擬機(jī)實(shí)例的建模。 //ID int mips = int pesNumber = 1。 Vm vm2 = new Vm(vmid, brokerId, mips, pesNumber, ram, bw, size, vmm, new CloudletSchedulerTimeShared())。(5)創(chuàng)建云任務(wù)//創(chuàng)建云任務(wù)列表cloudletList=new CloudletList()。//向代理Broker提交任務(wù)列表(cloudletList)。 long length = 40000。 Cloudlet cloudlet1 = new Cloudlet(id, length, pesNumber, fileSize, outputSize, utilizationModel, utilizationModel, utilizationModel)。 (brokerId)。 //綁定云任務(wù)到虛擬機(jī). ((),())。(7)在仿真結(jié)束后統(tǒng)計(jì)結(jié)果CloudletList newList = ()。運(yùn)行完成的CloudSim實(shí)例程序即可實(shí)現(xiàn)云計(jì)算程序的模擬。 //打印賬單 ()。 (Unwanted errors happen)。 ()。// 格式化十進(jìn)制數(shù)字 for (int i = 0。 if (() == ){ (SUCCESS)??傮w來說,本文的貢獻(xiàn)主要在以下三個(gè)方面:(1) 調(diào)研了云存儲(chǔ)的發(fā)展背景及現(xiàn)狀,云存儲(chǔ)的定義及其特點(diǎn),給出了其架構(gòu)模型,研究了云存儲(chǔ)與傳統(tǒng)存儲(chǔ)技術(shù)、云存儲(chǔ)與云計(jì)算的的關(guān)系。本文的現(xiàn)階段的工作為云存儲(chǔ)的可用性及可靠性增強(qiáng)提供了一個(gè)較好的系統(tǒng)的解決方案。(2) 研究存儲(chǔ)的安全性和用戶的隱私性問題所涉及的關(guān)鍵技術(shù),如PXI應(yīng)用,基于虛擬化的隔離技術(shù)等。參考文獻(xiàn)[1]Hayes B. Cloud Computing[J]. Communications of the ACM, 2008, 51(7): 911.[2]LING, DASMALCHIG, ZHU J. Cloud Computing and IT as a Service Opportunities and Challenges [C]//Proceedings of the IEEE 6th International Conference on Web Services (ICWS’ 08), Sep 2326. 2008. Beijing, China. Los Alamitos, CA, USA: IEEE Computer Society, .[3]NAMJOSHI I GUPTE A . Service Oriented Architecture for Cloud Based Travel Reservation Software as a Service [C] //Proceedings of the 2009 IEEE International Conference on Cloud Computing(CLOUD’ 09). Sep 2125, 2009, Bangalore, India Los Alamitos, CA, USA: IEEE Computer Society, 2009. 147150.[4]LAPLANTE PA, ZHANG J, VOAS J. What’S in a Name? Distinguishing Between SaaS and SOA[J|. T Professional, 2008, 10(3): 4650.[5]CAMPBELLKELLY M HistoricaI Reflections on the Rise, Fall, and Resurrection of Software as a Service[J]. Communications of the . 52(5): 2830.[6]王慶波, 金漳, 何樂, 等. 虛擬化與云計(jì)算[M]. 北京: 電子工業(yè)出版社. 2009.[7]Michael Miller. Cloud Computing: web based applications that change the way you word and collaborate online. US