【文章內(nèi)容簡介】 數(shù)據(jù)可靠性以及底層設(shè)備內(nèi)存儲數(shù)據(jù)量的均衡等方面都需要繼續(xù)研究完善。云存儲是利用云計算中服務(wù)器集群強大的存儲能力為客戶保存數(shù)據(jù)，用戶不需要知道自己的文件存儲是存儲在一個服務(wù)器節(jié)點還是多個節(jié)點之中，也不需要知道節(jié)點是否可信，這些都將由云服務(wù)器來處理解決。云存儲的實現(xiàn)并不存在技術(shù)上的障礙，它需要云設(shè)備、云軟件、云服務(wù)等有機地集合在一起，為用戶提供無障礙的云服務(wù)。同時云存儲需要真正適合云環(huán)境的文件系統(tǒng)架構(gòu)來支撐文件存儲的合理性與有效性。然而現(xiàn)有的GFS、HDFS、FastDFS等分布式文件系統(tǒng)并不能完全滿足云計算環(huán)境下的存儲需求?，F(xiàn)有的云計算提供商基本都提供基本的云存儲服務(wù)，這些存儲服務(wù)都是基于各自提出的分布式文件存儲系統(tǒng)。Google擁有如今最大的信息庫和知識庫，因此對海量數(shù)據(jù)的存儲有自己的獨特之處，它所提出的GFS文件存儲系統(tǒng)能夠?qū)崿F(xiàn)對文件實時監(jiān)控、容錯檢測、自動恢復(fù)等功能，是建立在不可信節(jié)點的存儲條件下的一個相對很優(yōu)良的文件系統(tǒng)。它對于大型文件的管理是很高效的，優(yōu)化的程度也很高，其對與小文件的存儲并沒有提供有效的優(yōu)化方案。這點使得它并不能完全適應(yīng)云計算環(huán)境下用戶海量的小文件存儲。FastDFS是一個開源的文件系統(tǒng)，它在大容量存儲和負(fù)載均衡上做的很優(yōu)秀，但是在小文件存儲上仍然沒有合理地優(yōu)化。2）數(shù)據(jù)管理技術(shù)云計算系統(tǒng)對大數(shù)據(jù)集進行處理、分析向用戶提供高效的服務(wù)。因此，數(shù)據(jù)管理技術(shù)必須能夠高效地管理大數(shù)據(jù)集。其次，如何在規(guī)模巨大的數(shù)據(jù)中找到特定的數(shù)據(jù)，也是云計算數(shù)據(jù)管理技術(shù)所必須解決的問題。云計算的特點是對海量的數(shù)據(jù)存儲、讀取后進行大量的分析，數(shù)據(jù)的讀操作頻率遠(yuǎn)大于數(shù)據(jù)的更新頻率，云中的數(shù)據(jù)管理是一種讀優(yōu)化的數(shù)據(jù)管理。因此，云系統(tǒng)的數(shù)據(jù)管理往往采用數(shù)據(jù)庫領(lǐng)域中列存儲的數(shù)據(jù)管理模式。將表按照列形式后存儲。研究發(fā)現(xiàn)云計算采用列存儲的方式管理數(shù)據(jù)，如何提高數(shù)據(jù)的更新速率以及進一步提高隨機讀速率是未來的數(shù)據(jù)管理技術(shù)必須解決的問題。而通過資料查詢，采用列存儲的方式，是提高數(shù)據(jù)讀取效率主要形式。以Big Table為例。Big Table數(shù)據(jù)管理方式設(shè)計者——Google給出了如下定義：“Big Table是一種為了管理結(jié)構(gòu)化數(shù)據(jù)而設(shè)計的分布式存儲系統(tǒng)，這些數(shù)據(jù)可以擴展到非常大的規(guī)模，例如在數(shù)千臺商用服務(wù)器上的達(dá)到PB規(guī)模的數(shù)據(jù)。”Big Table對數(shù)據(jù)讀操作進行優(yōu)化，采用列存儲的方式，提高數(shù)據(jù)讀取效率。Big Table管理的數(shù)據(jù)的存儲結(jié)構(gòu)為：string。Big Table的基本元素是：行，列，記錄板和時間戳。其中，記錄板是一段行的集合體。Big Table中的數(shù)據(jù)項按照行關(guān)鍵字的字典序排列，每行動態(tài)地劃分到記錄板中。每個節(jié)點管理大約100個記錄板。時間戳是一個64位的整數(shù)，表示數(shù)據(jù)的不同版本。列族是若干列的集合，Big Table中的存取權(quán)限控制在列族的粒度進行。Big Table在執(zhí)行時需要三個主要的組件：鏈接到每個客戶端的庫，一個主服務(wù)器，多個記錄板服務(wù)器。主服務(wù)器用于分配記錄板到記錄板服務(wù)器以及負(fù)載平衡，垃圾回收等。記錄板服務(wù)器用于直接管理一組記錄板，處理讀寫請求等。為保證數(shù)據(jù)結(jié)構(gòu)的高可擴展性，Big Table采用三級的層次化的方式來存儲位置信息。其中第一級的Chubby file中包含Root Tablet的位置，Root Tablet有且僅有一個，包含所有METADATA tablets的位置信息，每個METADATA tablets包含許多User Table的位置信息。 Big Table中存儲記錄板位置信息的結(jié)構(gòu)當(dāng)客戶端讀取數(shù)據(jù)時，首先從Chubby file中獲取Root Tablet的位置，并從中讀取相應(yīng)METADATA tablet的位置信息。接著從該METADATA tablet中讀取包含目標(biāo)數(shù)據(jù)位置信息的User Table的位置，然后從該User Table中讀取目標(biāo)數(shù)據(jù)的位置信息項。據(jù)此信息到服務(wù)器中特定位置讀取數(shù)據(jù)。這種數(shù)據(jù)管理技術(shù)雖然已經(jīng)投入使用，但是仍然具有部分缺點。例如，對類似數(shù)據(jù)庫中的Join操作效率太低，表內(nèi)數(shù)據(jù)如何切分存儲，數(shù)據(jù)類型限定為string類型過于簡單等。而微軟的Dryad ，這樣有利于對數(shù)據(jù)進行各種操作，同時對Join進行了優(yōu)化，得到了比Big Table +MapReduce更快的Join速率和更易用的數(shù)據(jù)操作方式。3） 編程模型技術(shù)為了使用戶能更輕松地享受云計算帶來的服務(wù)，讓用戶能利用該編程模型編寫簡單的程序來實現(xiàn)特定的目的，云計算上的編程模型必須十分簡單。必須保證后臺復(fù)雜的并行執(zhí)行和任務(wù)調(diào)度向用戶和編程人員透明。云計算主要采用Map—Reduce編程模式，MapReduce不僅僅是一種編程模型，同時也是一種高效的任務(wù)調(diào)度模型。Map—Reduce這種編程模型并不僅適用于云計算，在多核和多處理器、ceil processor以及異構(gòu)機群上同樣有良好的性能。經(jīng)研究發(fā)現(xiàn)編程模式僅適用于編寫任務(wù)內(nèi)部松耦合、能夠高度并行化的程序。如何改進該編程模式，使程序員得能夠輕松地編寫緊耦合的程序，運行時能高效地調(diào)度和執(zhí)行任務(wù)，是MapReduce編程模型未來的發(fā)展方向。，執(zhí)行一個MapReduce程序需要五個步驟：輸入文件、將文件分配給多個worker并行地執(zhí)行、寫中間文件多個Reduce workers并行的運行、輸出最終結(jié)果。本地寫中間文件在減少了對網(wǎng)絡(luò)帶寬的壓力同時減少了寫中間文件的時間耗費。執(zhí)行Reduce時，根據(jù)從Master獲得的中間文件位置信息，Reduce使用遠(yuǎn)程過程調(diào)用，從中間文件所在節(jié)點讀取所需的數(shù)據(jù)。Map—Reduce模型具有很強的容錯性，當(dāng)worker節(jié)點出現(xiàn)錯誤時，只需要將該worker節(jié)點屏蔽在系統(tǒng)外等待修復(fù)，并將該worker上執(zhí)行的程序遷移到其他worker上重新執(zhí)行，同時將該遷移信息通過Master發(fā)送給需要該節(jié)點處理結(jié)果的節(jié)點。MapReduce使用檢查點的方式來處理Master出錯失敗的問題，當(dāng)Master出現(xiàn)錯誤時，可以根據(jù)最近的一個檢查點重新選擇一個節(jié)點作為Master并由此檢查點位置繼續(xù)運行。 MapReduce程序的具體執(zhí)行過程1)云計算系統(tǒng)提供的是服務(wù)。服務(wù)的實現(xiàn)機制對用戶透明，用戶無需了解云計算的具體機制，就可以獲得需要的服務(wù)。2)用冗余方式提供可靠性。云計算系統(tǒng)由大量商用計算機組成集群向用戶提供數(shù)據(jù)處理服務(wù)。隨著計算機數(shù)量的增加，系統(tǒng)出現(xiàn)錯誤的概率大大增加。在沒有專用的硬件可靠性部件的支持下，采用軟件的方式，即數(shù)據(jù)冗余和分布式存儲來保證數(shù)據(jù)的可靠性。3)高可用性。通過集成海量存儲和高性能的計算能力，云能提供較高的服務(wù)質(zhì)量。云計算系統(tǒng)可以自動檢測失效節(jié)點，并將失效節(jié)點排除，不影響系統(tǒng)的正常運行。4)高層次的編程模型。云計算系統(tǒng)提供高層次的編程模型。用戶通過簡單學(xué)習(xí)，就可以編寫自己的云計算程序，在“云”系統(tǒng)上執(zhí)行，滿足自己的需求。5)經(jīng)濟性。組建一個采用大量的商業(yè)機組成的集群相對于同樣性能的超級計算機花費的資金要少很多。6)服務(wù)多樣性。用戶可以支付不同的費用，以獲得不同級別的服務(wù)等。為了更好地定義云計算，必須從云計算的服務(wù)使用者，服務(wù)提供者，組織方式，內(nèi)部實現(xiàn)機制等方面同時定義。 云計算平臺架構(gòu)由于一個可以實用化的云計算基礎(chǔ)架構(gòu)需要解決許多關(guān)鍵的技術(shù)，云計算時代IT技術(shù)人員需要協(xié)調(diào)有史以來最大規(guī)模的服務(wù)器群，并保證整個系統(tǒng)能夠持續(xù)不斷地正常運行。云計算時代用戶的大量關(guān)鍵數(shù)據(jù)、高可靠性、高性能成為對云計算系統(tǒng)的基本要求。要實現(xiàn)上萬臺甚至上百萬臺服務(wù)器的協(xié)調(diào)工作，并向開發(fā)者提供豐富的API，滿足普通用戶和企業(yè)級用戶多樣化的需求是一件非常困難的問題，所以一個可以實用化的云計算系統(tǒng)是一個復(fù)雜的系統(tǒng)工程，甚至不是一個企業(yè)能夠獨立完成的，它需要服務(wù)器提供商、存儲設(shè)備提供商、網(wǎng)絡(luò)設(shè)備提供商、網(wǎng)絡(luò)帶寬提供商、應(yīng)用開發(fā)商共同努力。從Google的經(jīng)驗和未來服務(wù)器集群的龐大規(guī)模來看，將服務(wù)器實效作為云計算系統(tǒng)的服務(wù)器模型是符合實際情況的，這種情況下單個服務(wù)器刻意看作是不可信的節(jié)點，在系統(tǒng)設(shè)計時需要將不可信服務(wù)器節(jié)點的實效屏蔽在系統(tǒng)之內(nèi)，不能向開發(fā)者和普通者用戶傳遞。一個可使用的云計算基礎(chǔ)架構(gòu)一定是面向真實場景的架構(gòu)，如最實際的就是無線通信領(lǐng)域的廣大用戶。云計算的生命力就是面向用戶、以用戶為中心，對于3G移動通信和wifi[19]等無線接入方式提供的運營商來講，困難可想而知，該應(yīng)用場景主要為以下幾點：1）節(jié)點數(shù)量的規(guī)模十分巨大，單個節(jié)點的失控概率比較大，從而整個系統(tǒng)出現(xiàn)某個節(jié)點失效的概率是相當(dāng)大的。這一場景要求系統(tǒng)能對所有的節(jié)點進行有效監(jiān)控和協(xié)調(diào)，及時對節(jié)點失效故障作出迅速的報警，并將故障的詳細(xì)情況向管理節(jié)點匯報，作出相應(yīng)的數(shù)據(jù)和計算遷移操作，保證系統(tǒng)連續(xù)運行。2）云計算中心可能跨區(qū)域的在多個中心之間融合，由于云計算中心會出現(xiàn)在不同地方，中心之間的協(xié)調(diào)[20]和通信是系統(tǒng)必須要考慮好的問題，而且由于存在跨區(qū)域的云計算中心為數(shù)據(jù)存儲提供了一個比跨機更為高級的跨區(qū)域數(shù)據(jù)安全保證級別，對于安全性要求很高的數(shù)據(jù)可以提供跨區(qū)域級的數(shù)據(jù)備份，從而也就可以在重大節(jié)點故障發(fā)生時實現(xiàn)跨區(qū)域的計算和存儲的遷移，系統(tǒng)實現(xiàn)更高的可用性。3）用戶在云計算系統(tǒng)上要求從事數(shù)據(jù)密集和計算密集的工作的，而不是單一的存儲和計算工作?，F(xiàn)有的很多云計算系統(tǒng)未實現(xiàn)數(shù)據(jù)密集應(yīng)用和計算密集應(yīng)用同時支持，而今后云計算系統(tǒng)在面向多樣化的用戶時，不同需求的用戶將在同一個系統(tǒng)運行和工作，有從事科學(xué)計算的、有從事信息挖掘的、有從事簡單辦公的、有從事圖像處理的，這些應(yīng)用既有數(shù)據(jù)密集的也有計算密集的，還有計算和數(shù)據(jù)同時密集的，所以云計算系統(tǒng)必須要靈活應(yīng)對這種多樣化的需求。4）一個云計算基礎(chǔ)架構(gòu)應(yīng)該具備適應(yīng)大量不同應(yīng)用的能力，個人用戶、企業(yè)級用戶、開發(fā)者都能在這個系統(tǒng)中工作。大量的應(yīng)用在系統(tǒng)中運行，系統(tǒng)必須要對不同的應(yīng)用、不同的用戶進行有效的軟硬件隔離，從而保證這些業(yè)務(wù)之間不能出現(xiàn)相互影響，不同用戶的數(shù)據(jù)之間不能相互覆蓋。5）非云計算基礎(chǔ)架構(gòu)的設(shè)計者和提供者是不需要了解任何云計算中心的軟硬件情況的，他們只需要對計算和存儲資源按需使用，云計算中心對他們來講只是一個隨需應(yīng)變的資源池。對普通用戶映射出按需提供的計算和存儲資源池是云計算中的一項核心技術(shù)，虛擬化的方法是解決這一問題的重要手段。以上應(yīng)用場景為云計算基礎(chǔ)架構(gòu)的設(shè)計提出相應(yīng)的要求，在設(shè)計無線云計算系統(tǒng)時必須考慮其對應(yīng)用場景[21]的適應(yīng)性。當(dāng)然所提供的應(yīng)用場景并不是一個非常全面的場景，一個商業(yè)級的產(chǎn)品可能需要考慮更為復(fù)雜的場景情況。根據(jù)上面提出的云計算應(yīng)用場景模型，嘗試性的給出一個云計算的基本架構(gòu)。 基于無線通信的不可信節(jié)點的云計算基礎(chǔ)框架圖在這一框架下主要解決以下幾個問題。1）不可信節(jié)點出現(xiàn)故障時對用戶的隔離。2）計算與存儲的整合，以適應(yīng)計算密集和數(shù)據(jù)密集的任務(wù)。3）計算資源和存儲資源的虛擬化。4）應(yīng)用層不同應(yīng)用和不同用戶之間數(shù)據(jù)存儲和計算的隔離。5）應(yīng)用層接口和操作系統(tǒng)的提供。這一云計算系統(tǒng)是基于不可信節(jié)點[22]設(shè)計的，框架的底層就是由大量的這類節(jié)點組成，各服務(wù)器使用現(xiàn)有的主流操作系統(tǒng)，通過各類網(wǎng)絡(luò)將所有的節(jié)點連接起來成為一個龐大的機群系統(tǒng)，這一部分組成了云計算的物理硬件核心，這一核心的復(fù)雜性將通過云計算的軟件核心層對所有用戶屏蔽。這些復(fù)雜性包括節(jié)點故障、網(wǎng)絡(luò)故障、節(jié)點間的調(diào)度、負(fù)載平衡、數(shù)據(jù)安全、數(shù)據(jù)存儲位置、計算位置、各節(jié)點的具體配置、系統(tǒng)高可用性的實現(xiàn)等。Google的系統(tǒng)給了我們良好的示范，因為我們在搜索框中進行搜索時同時有大量的服務(wù)器在為我們工作，但所有服務(wù)器的工作細(xì)節(jié)我們完全不用知道，我們面對的只是一個簡潔的搜索框。這一框架中計算和虛擬化層實現(xiàn)對計算資源和存儲資源虛擬為用戶提供彈性化的計算和存儲資源。分布式文件系統(tǒng)[23]為系統(tǒng)提供有副本策略的文件存儲服務(wù)，文件存儲的安全級別可分為：單機級、跨服務(wù)器級、跨機柜級和跨區(qū)域級。該文件系統(tǒng)不但為系統(tǒng)提供了一個安全的存儲平臺，而且由于其分布式和帶副本策略所以可以為計算層提供存儲支持，實現(xiàn)計算向存儲的遷移，降低數(shù)據(jù)在網(wǎng)絡(luò)間的傳遞時間，并且在節(jié)點失效時可以實現(xiàn)計算和存儲同時向備份節(jié)點的遷移，從而在節(jié)點不可信的情況下實現(xiàn)系統(tǒng)的高可用性。虛擬化層、文件系統(tǒng)層和計算層構(gòu)成了云計算基礎(chǔ)架構(gòu)的軟件核心層，也是現(xiàn)階段需要主要攻克的技術(shù)層，通過軟件核心層云計算中的存儲、計算和失效將被全部隔離，應(yīng)用層將無法“看”硬件層的工作細(xì)節(jié)，應(yīng)用層通過云操作系統(tǒng)和API與云計算基礎(chǔ)架構(gòu)接口，由于其位于硬件核心層和軟件核心層之上，不同用戶和應(yīng)用程序在使用該平臺時只能“看”到的是一臺“可彈性伸縮的巨型計算機”，下層的軟件和硬件運行的細(xì)節(jié)情況都無法“看”到。這一框架實現(xiàn)了云計算將所有節(jié)點的計算資源和存儲資源細(xì)節(jié)隱藏于云端的功能，體現(xiàn)了云計算“大象無形”的技術(shù)哲學(xué)之妙。云計算按照服務(wù)類型大致可以分為三類：將基礎(chǔ)設(shè)施作為服務(wù)IaaS（Infrastructure as a Service）、將平臺作為服務(wù)PaaS （Platform as a Service） 和將軟件作為服務(wù)SaaS （Software as a Service）。IaaS 將硬件設(shè)備等基礎(chǔ)資源封裝成服務(wù)供用戶使用，如Amazon 云計算AWS(Amazon Web Services)的彈性計算云EC2 和簡單存儲服務(wù)S3。相當(dāng)于用戶操作自己的個人電腦，你可以安裝自己喜歡的操作系統(tǒng)和應(yīng)用程序，唯一的區(qū)別是，享受IaaS 服務(wù)需要的一臺可以上網(wǎng)的PC 即可，并且根據(jù)個人需要，選擇相應(yīng)的計量收費費服務(wù)。相對于IaaS 來說，PaaS 對資源的抽象層次更進一層，它提供用戶應(yīng)用程序的運行環(huán)境，典型的如Google App Engine。簡單的說，用戶在服務(wù)商提供的運行環(huán)境下進行作業(yè)，比如Google App Engine 只允許使用Python 和Java 語言、基于稱作Django的Web 應(yīng)用框架[24]、調(diào)用Google App Engine SDK 來開發(fā)在線應(yīng)用服務(wù)。而SaaS 的針對性較強，它將特定的應(yīng)用軟件功能封裝成服務(wù)，如任我行軟件公司提供的在線客戶關(guān)系管理CR