【正文】 ，支持在文件系統(tǒng)掛載的情況下動態(tài)的添加和刪除硬盤，而無須重啟。HDFS是一個高度容錯性的系統(tǒng)，適合部署在廉價的機器上，能提供高吞吐量的數(shù)據(jù)訪問，非常適合大規(guī)模數(shù)據(jù)集上的應(yīng)用。HDFS采用master/slave架構(gòu)。HDFS暴露了文件系統(tǒng)的名字空間，用戶能夠以文件的形式在上面存儲數(shù)據(jù)。在Namenode的統(tǒng)一調(diào)度下進行數(shù)據(jù)塊的創(chuàng)建、刪除和復(fù)制。然而，顯然處于發(fā)展初期，其平臺的運行還不夠穩(wěn)定，服務(wù)的可靠性是其不能被大規(guī)模商用的主要顧慮之一。Dynamo是一個完全分布式的、無中心節(jié)點、松散耦合，由數(shù)百個服務(wù)組成的面向服務(wù)架構(gòu)。put(key,context,object)操作基于關(guān)聯(lián)的key決定將對象的副本放在哪，并將副本寫入到磁盤。 Dynamo架構(gòu)Dynamo采用了一些技術(shù)，解決了其對等式架構(gòu)下的一致性問題。（2）一致性哈希是一種隨機函數(shù)，在節(jié)點量較少的情況下很有可能造成節(jié)點數(shù)據(jù)分布的不均勻，而且基本的一致性哈希算法在選擇節(jié)點位置時并沒有考慮環(huán)上不同節(jié)點的性能差異。分布在一致性環(huán)上的虛擬節(jié)點有效的解決了性能不均問題。這些應(yīng)用有不同的組成、配置和部署要求。這個模擬框架有如下特性[24]：（1）支持建模和大規(guī)模云計算基礎(chǔ)設(shè)施的實例化，包括在單一物理計算節(jié)點和JAVA虛擬機上的數(shù)據(jù)中心。使用云計算模擬工具，方便了用戶在軟件開發(fā)之前進行評估和模擬，尤其是在云計算環(huán)境下，對基礎(chǔ)設(shè)施的訪問會產(chǎn)生真實的資金耗費。（1）在“計算機”圖標(biāo)上單擊右鍵，單擊“屬性”選項卡，再單擊“高級系統(tǒng)設(shè)置”、“環(huán)境變量”。（5）測試配置是否正確。C:\\jars\。 總流程圖圖 創(chuàng)建數(shù)據(jù)中心流程圖用戶使用CloudSim模擬云計算環(huán)境，可以根據(jù)自己的需求，完成對主機相關(guān)參數(shù)配置(機器數(shù)量及特點)、云計算應(yīng)用(任務(wù)、數(shù)量、資源需求)、VM、用戶和應(yīng)用類型的數(shù)量，以及代理調(diào)度策略，健壯性方面進行模擬測試[24]。這個過程主要是對GridSim庫進行初始化，主要參數(shù)包含用戶數(shù)量、日期、追蹤標(biāo)志、文件列表、進程列表、輸出報告，如下：(num_user,calendar,trace_flag,exclude_from_file,exclude_from_processing, report_name)。 //追蹤標(biāo)志(num_user, calendar, trace_flag)。數(shù)據(jù)中心的創(chuàng)建通常分為以幾個步驟來完成對用戶各項需求的設(shè)定，通過調(diào)用提供的 API函數(shù)，可以輕易地完成這項工作。PEList peList1 = new PEListt( )。5)創(chuàng)建數(shù)據(jù)中心特征對象，用來存儲Grid資源屬性，包含：體系結(jié)構(gòu)、操作系統(tǒng)、機器列表、分配策略（時間、空間共享）、時區(qū)（用戶設(shè)置所在時區(qū)，應(yīng)為GMT12…GMT+13）以及各項費用（內(nèi)存、外存、帶寬以及處理器資源的費用）。datacenter=newDataCenter(name,baud_rate,seed,resConfig,peakLoad,offPeakLoad, holidayLoad,Weekends,Holidays,new SimpleVMProvisioner( ), storageList)。// 2. 創(chuàng)建PE列表 ListPe peList = new ArrayListPe()。 //ID int ram = 2048。 // 5. 創(chuàng)建數(shù)據(jù)中心特征對象 String arch = x86。 // 時區(qū) double cost = 。 // 帶寬費用 LinkedListStorage storageList = new LinkedListStorage()。 } catch (Exception e) { ()。用戶可以對其進行擴展，實現(xiàn)自己的任務(wù)調(diào)度算法?；蛘邔atacenterBroker這個類進行擴展,以進行符合自己要求的試驗，實現(xiàn)自己的調(diào)度策略。 try { broker = new DatacenterBroker(Broker)。 }(4)創(chuàng)建虛擬機vmlist = new VirtualMachine List()。//向相應(yīng)代理提交虛擬機列表(vmlist)。 //虛擬機參數(shù) int vmid = 0。 //內(nèi)存(MB) long bw = 1000。 vmid++。 //虛擬機列表提交給代理 (vmlist)。//將任務(wù)加入任務(wù)列表(cloudlet1)。 //云任務(wù)參數(shù) int id = 0。 UtilizationModel utilizationModel = new UtilizationModelFull()。 Cloudlet cloudlet2 = new Cloudlet(id, length, pesNu。 (brokerId)。 long fileSize = 300。在這一步可以設(shè)置需要創(chuàng)建的云任務(wù)數(shù)量以及任務(wù)長度等信息。//創(chuàng)建時指定任務(wù)的用戶ID,BrokerIDCloudlet cloudlet*=newCloudlet(id,length,file_size,output_size)。 //加入虛擬機列表 (vm1)。 //CPU數(shù)量 String vmm = Xen。 long size = 10000。在這一步可以設(shè)置需要創(chuàng)建的虛擬機的數(shù)量以及虛擬機的內(nèi)存、處理器、外存和虛擬機的內(nèi)部調(diào)度策略。VirtulMachine vm*=new VirtualMachine(new VMCharacteristics(vmid，brokerId,size, memory,bw,Vcpus,pnonty,vmm,new TimeSharedVMScheduler0))。 //打印異常發(fā)生處的堆棧軌跡 return null。 int brokerId = ()。 int brokerid =()。 }(3 )創(chuàng)建數(shù)據(jù)中心代理數(shù)據(jù)中心代理負責(zé)在云計算中根據(jù)用戶的QoS要求協(xié)調(diào)用戶及服務(wù)供應(yīng)商和部署服 務(wù)任務(wù)。// 6. 創(chuàng)建數(shù)據(jù)中心對象. Datacenter datacenter = null。 // 內(nèi)存費用 double costPerStorage = 。 // 操作系統(tǒng) String vmm = Xen。 int bw = 10000。 //每秒處理的百萬級的機器語言指令數(shù) (new Pe(0, new PeProvisionerSimple(mips)))。Datacenter datacenter1 = createDatacenter(Datacenter_1)。6)最后，創(chuàng)建一個數(shù)據(jù)中心對象，它的主要參數(shù)有波特率、峰值負載、非峰值負載、節(jié)假日負載。 4)創(chuàng)建主機，并將其添加到機器列表中，主機的配置參數(shù)有ID、內(nèi)存、帶寬、資源分配策略(時間或空間共享)。MachineList mList( )= new MachineList( )。一個數(shù)據(jù)中心由一個或多個主機組成，一個主機是由一個或多個PE（預(yù)安裝環(huán)境）或CPU組成。 //用戶數(shù)量Calendar calendar = ()。CloudSim仿真一般包括以下步驟。由于java和My Eclipse版本問題，可能會引起如下問題：（1）導(dǎo)入的包中出現(xiàn)好多小叉叉，我們可以做如下處理：MyEclipse界面下WindowPreferencesCompiler，將“Compiler pliance level:”。 JDK配置結(jié)果CloudSim安裝及配置，將其解壓到C:\ 。（4）系統(tǒng)變量編輯變量名：CLASSPATH 變量值：在路徑中加入%JAVA_HOME%\lib\。JDK的安裝及配置。（3）提供虛擬引擎，有助于在一個數(shù)據(jù)中心節(jié)點上創(chuàng)建和管理多個獨立、協(xié)同的虛擬服務(wù)。為了簡化這個過程，墨爾本大學(xué)的研究小組提出了云計算仿真器CloudSim,一個新的通用、可擴展的模擬框架。（3）Dynamo的一個節(jié)點中的同步是由客戶端來“解決”的，使用所謂的(N,R,W)模型，其中，N表示節(jié)點中機器的總數(shù)，R表示一個讀請求需要的機器參與總數(shù)，W代表一個寫請求需要的機器參與總數(shù)，這些值由client端配置。每個虛擬節(jié)點都屬于一個實際的物理節(jié)點。Dynamo架構(gòu)具有如下特點：（1）按分布式系統(tǒng)常用的哈希算法切分數(shù)據(jù)，分放在不同的節(jié)點上。上下文信息是與對象一起存儲，以便系統(tǒng)可以驗證請求中提供的上下文的有效性。盡管這是一個很有爭議的系統(tǒng)，然而，實踐表明Dynamo作為亞馬遜的keyvalue模式的存儲平臺，可用性和擴展性較高：％的響應(yīng)時間都在300ms內(nèi)[23]。這使得將Hadoop分布式計算平臺應(yīng)用于云計算系統(tǒng)時，存在以下不可靠的因素：（1）單一的主控節(jié)點制使得系統(tǒng)的負載不均；（2）盡管監(jiān)控進程保證了計算向存儲的轉(zhuǎn)移，但是沒有實現(xiàn)任務(wù)處理中的計算和存儲的同時轉(zhuǎn)移。這些機器一般運行著GNU/Linux操作系統(tǒng)。Namenode執(zhí)行文件系統(tǒng)的名字空間操作，比如打開、關(guān)閉、重命名文件或目錄，它也負責(zé)確定數(shù)據(jù)塊到具體Datanode節(jié)點的映射。Namenode是一個中心服務(wù)器，負責(zé)管理文件系統(tǒng)的名字空間以及客戶端對文件的訪問[21]。它給應(yīng)用提供了多種訪問方式，可以通過Java API調(diào)用，也可以通過C語言的封裝API訪問，并且提供了瀏覽器訪問的方式。Hadoop [19]分布式文件系統(tǒng)(HDFS)被設(shè)計成適合運行在通用硬件(modity hardware)上的分布式文件系統(tǒng)，即HDFS(Hadoop Distributed File System)。并且GPFS本身設(shè)計成為一種日志文件系統(tǒng)，為不同的節(jié)點建立了各自獨立的日志（保存了Meta Data的分布信息）。（2）跨平臺GPFS文件系統(tǒng)本身可以看成與具體系統(tǒng)無關(guān)的一個單獨系統(tǒng)，通過集群方式可以支持多種操作系統(tǒng)，比如AIX、Linux等。NSD虛擬設(shè)備具有4種不同的磁盤屬性：a、Desc Only：表示該磁盤存儲GPFS文件系統(tǒng)的描述信息；b、Data Only：表示該磁盤只存儲GPFS文件系統(tǒng)的數(shù)據(jù)信息；c、Meta Data Only：表示該磁盤只存儲GPFS文件系統(tǒng)的目錄結(jié)構(gòu)信息；d、Meta And Data：表示該磁盤存儲GPFS文件系統(tǒng)中的所有信息（默認情況）。GPFS允許客戶共享文件，而這些文件可能分布在不同節(jié)點的不同硬盤上。同時，主從式結(jié)構(gòu)的單點失效和性能瓶頸問題也是業(yè)內(nèi)關(guān)注的中心。其優(yōu)點是應(yīng)用程序可以通過操作系統(tǒng)的統(tǒng)一接口來透明地訪問文件系統(tǒng)，而不需要重新編譯程序。以Linux為例，無論是本地文件系統(tǒng)，還是分布式文件系統(tǒng)，都是在內(nèi)核態(tài)實現(xiàn)的。對于存儲在Master中的元數(shù)據(jù)，GFS采取了緩存策略，GFS中Client發(fā)起的所有操作都需要先經(jīng)過Master。GFS文件系統(tǒng)根據(jù)應(yīng)用的特點，沒有實現(xiàn)緩存，這是從必要性和可行性兩方面考慮的。由于只有一個中心服務(wù)器，元數(shù)據(jù)的一致性問題自然解決。文件劃分為Chunk進行存儲，對于Master來說，每個Chunk Server只是一個存儲空間。Client與Chunk Server之間直接傳輸數(shù)據(jù)流，同時由于文件被分成多個Chunk進行分布式存儲，Client可以同時訪問多個Chunk Server，從而使得整個系統(tǒng)的I/O高度并行，系統(tǒng)整體性能得到提高。文件在目錄中按照層次組織，用路徑名來標(biāo)識，可應(yīng)用在Linux和Windows等各種平臺。4云存儲的架構(gòu)技術(shù)GFS(Google File System)，是Google公司為了存儲海量搜索數(shù)據(jù)而設(shè)計的專用文件系統(tǒng)。當(dāng)若干數(shù)據(jù)對象失效以后，可以通過訪問其他有效的副本獲取數(shù)據(jù)。冗余提高了容錯性，但是也增加了存儲資源的消耗。提交查詢給服務(wù)器端后，首先計算檢索出含有關(guān)鍵詞密文的加密文檔；然后對用保序算法加密的詞頻對應(yīng)的密文信息進行排序處理；最后把評價值高的加密文檔返回給用戶，由用戶對其進行解密。但其存在的缺陷是需要生成大量的密鑰序列，隨著檢索次數(shù)的增加，每多進行一次檢索，其計算復(fù)雜度均線性增加。（3）安全索引[15]由Park等人提出，其機制是每次加密所用的密鑰是事先生成的一組逆Hash序列，加密后的索引被放入布隆過濾器中。但其有一個致命的缺點，即逐次匹配密文信息，這使得這種檢索方法在大數(shù)據(jù)集的情況下難以應(yīng)用。在搜索過程中，用戶提交明文信息對應(yīng)的密文信息序列。必須研究適用于網(wǎng)絡(luò)存儲系統(tǒng)的加密存儲技術(shù)，提供端到端加密存儲技術(shù)及密鑰長期存儲和共享機制，以確保用戶數(shù)據(jù)的機密性和隱私性，提高密鑰存儲的安全性、分發(fā)的高效性及加密策略的靈活性。（2）加密存儲：是對指定的目錄和文件進行加密后保存，實現(xiàn)敏感數(shù)據(jù)存儲和傳送過程中的機密性保護?？蓴U展和高性能的存儲安全技術(shù)，是推動云存儲最根本的保證，已經(jīng)成為當(dāng)前網(wǎng)絡(luò)存儲領(lǐng)域的研究熱點。數(shù)據(jù)壓縮的應(yīng)用可以顯著降低待處理和存儲的數(shù)據(jù)量，一般情況下可實現(xiàn)2:1～3:1的壓縮比。數(shù)據(jù)壓縮中使用的LZ77算法，主要由2部分構(gòu)成，滑窗（Sliding Window）和自適應(yīng)編碼（Adaptive Coding）。該技術(shù)還可以在數(shù)據(jù)寫入到存儲系統(tǒng)前壓縮數(shù)據(jù)，進一步提高了存儲系統(tǒng)中的磁盤和緩存的性能和效率。這樣，一個物理文件在存儲系統(tǒng)中就只對應(yīng)一個邏輯表示。自動存儲分層使用戶數(shù)據(jù)保留在合適的存儲層級，而不需要用戶定義的策略，因此減少了存儲需求