【正文】 和Reduce。2005年,劉麗艷針對(duì)中國(guó)數(shù)字化虛擬人計(jì)劃(Chinese Digitized Virtual Human Project)所研究的海量數(shù)字人數(shù)據(jù)集的處理,引入了數(shù)據(jù)網(wǎng)格(DataGrid)的思想,研究了基于網(wǎng)格的海量數(shù)據(jù)處理的若干關(guān)鍵技術(shù),為目前許多領(lǐng)域的數(shù)據(jù)處理提供了一種新的解決思路和方法。Prodromidis等在staking分類(lèi)器組合框架的基礎(chǔ)上提出了Metaleaming學(xué)習(xí)模型。其次,如何在規(guī)模巨大的數(shù)據(jù)中找到特定的數(shù)據(jù),也是云計(jì)算數(shù)據(jù)管理技術(shù)所必須解決的問(wèn)題。Hadoop采納了Google存儲(chǔ)和管理海量數(shù)據(jù)的思想,是Apache公司提供的一個(gè)開(kāi)源云計(jì)算平臺(tái),主要由分布式文件系統(tǒng)HDFS, MapReduce以及HBase組成。云計(jì)算因其節(jié)省成本,高計(jì)算能力等優(yōu)點(diǎn),得到很多公司的大力推廣,因此發(fā)展非常迅猛。云計(jì)算的特點(diǎn)是對(duì)海量的數(shù)據(jù)存儲(chǔ)、讀取后進(jìn)行大量的分析,數(shù)據(jù)的讀操作頻率遠(yuǎn)大于數(shù)據(jù)的更新頻率,云中的數(shù)據(jù)管理是一種讀優(yōu)化的數(shù)據(jù)管理。隨著國(guó)內(nèi)外云計(jì)算應(yīng)用及研究的不斷推進(jìn),其研究的技術(shù)要點(diǎn)也日益豐富,主要包括:虛擬化技術(shù),云計(jì)算存儲(chǔ)結(jié)構(gòu)研究,云數(shù)據(jù)管理的研究,云編程模式的演示,云網(wǎng)絡(luò)的研究,云安全的研究以及云應(yīng)用的研究等。Pearson針對(duì)用戶(hù)和企業(yè)隱私信息常被泄露的問(wèn)題提出了云計(jì)算服務(wù)設(shè)計(jì)過(guò)程中設(shè)計(jì)原則。針對(duì)傳統(tǒng)分布式環(huán)境下遙感影像等空間數(shù)據(jù)存儲(chǔ)與管理技術(shù)的不足,康俊鋒整合己有云平臺(tái)技術(shù),結(jié)合高分辨率遙感影像應(yīng)用的特點(diǎn),設(shè)計(jì)云計(jì)算環(huán)境下高分辨率遙感影像存儲(chǔ)模型(CRSM)與管理平臺(tái)(CRSMP) 及在此之上構(gòu)建的高性能計(jì)算服務(wù),對(duì)高分辨率(高空間分辨率,高光譜分辨率,高時(shí)間分辨率)遙感影像的進(jìn)行處理。隨著互聯(lián)網(wǎng)信息量呈現(xiàn)出的爆炸性增長(zhǎng),海量小文件處理的應(yīng)用需求,文本分類(lèi)已經(jīng)成為信息檢索、數(shù)據(jù)挖掘等領(lǐng)域的關(guān)鍵技術(shù)。加拿大多倫多大學(xué)電子與計(jì)算機(jī)工程系,微軟亞洲研究院的自然語(yǔ)言計(jì)算組等也都設(shè)有專(zhuān)門(mén)的文本分類(lèi)研究分支機(jī)構(gòu)。這類(lèi)方法是基于統(tǒng)計(jì)的方法,其基本思路是先搜集一些與待分類(lèi)文本同處一個(gè)領(lǐng)域的文檔作為訓(xùn)練集,并由專(zhuān)家進(jìn)行人工分類(lèi),保證分類(lèi)的準(zhǔn)確性,然后分析這些己經(jīng)分好類(lèi)的文本,從中挖掘關(guān)鍵詞和類(lèi)之間的聯(lián)系,最后再利用這些學(xué)到的知識(shí)對(duì)文本分類(lèi)。該策略通過(guò)將小文件合并為大文件來(lái)有效降低文件的數(shù)目,并為這些小文件建立索引以便對(duì)小文件進(jìn)行存取。索引文件預(yù)取是當(dāng)用戶(hù)訪(fǎng)問(wèn)某個(gè)文件時(shí),該文件所在的block對(duì)應(yīng)的索引文件被加載到內(nèi)存中。否則,交給通用文件處理模塊處理。(5)針對(duì)云存儲(chǔ)的問(wèn)題,分析云存儲(chǔ)中的協(xié)調(diào)機(jī)制和虛擬化,從虛擬節(jié)點(diǎn)的性能引伸出虛擬存儲(chǔ)節(jié)點(diǎn)存儲(chǔ)效率值的概念,并討論了云存儲(chǔ)機(jī)制和任務(wù)調(diào)度,改進(jìn)存儲(chǔ)機(jī)制中的存儲(chǔ)任務(wù)分配策略。由于模型的性能直接決定著系統(tǒng)架構(gòu)解決實(shí)際問(wèn)題的能力,因此本文從研究Hadoop架構(gòu)和MapReduce模型入手,尋找它們解決不同問(wèn)題的優(yōu)勢(shì)和劣勢(shì),在對(duì)模型改進(jìn)之后,著重研究了基于改進(jìn)模型的海量小文件處理方法。(3)針對(duì)文檔查詢(xún)過(guò)程中的復(fù)雜處理及內(nèi)容映射關(guān)系,提出了基于XML和多Value的改進(jìn)MapReduce模型。同時(shí),設(shè)計(jì)基于云平臺(tái)的車(chē)載信息系統(tǒng),把云計(jì)算和車(chē)載應(yīng)用相結(jié)合,使數(shù)據(jù)處理更加快速和車(chē)載系統(tǒng)更加智能化。2海量數(shù)據(jù)處理技術(shù)分析當(dāng)今,數(shù)據(jù)已經(jīng)滲透到每一個(gè)行業(yè)和業(yè)務(wù)職能領(lǐng)域,成為一個(gè)重要的生產(chǎn)因素。至2009年,美國(guó)經(jīng)濟(jì)中幾乎所有部門(mén)中每一個(gè)雇員數(shù)量在1000人以上的企業(yè)所存儲(chǔ)的數(shù)據(jù)平均值至少為200TB,是美國(guó)零售商沃爾瑪1999年的數(shù)據(jù)倉(cāng)庫(kù)的兩倍。這一差距表明,通過(guò)使用海量數(shù)據(jù)來(lái)創(chuàng)造價(jià)值的最大潛力在最發(fā)達(dá)經(jīng)濟(jì)體中。海量數(shù)據(jù)已經(jīng)越來(lái)越廣泛和普及,逐漸成為科學(xué)研究領(lǐng)域以及人們?nèi)粘Ｉ钪幸环N重要的數(shù)據(jù)資源。在互聯(lián)網(wǎng)領(lǐng)域,eBay的分析平臺(tái)每天處理的數(shù)據(jù)量高達(dá)100PB,為了準(zhǔn)確分析用戶(hù)的購(gòu)物行為,eBay定義了超過(guò)500種類(lèi)型的數(shù)據(jù),對(duì)顧客的行為進(jìn)行跟蹤分析。用戶(hù)平均每天在Twitter上發(fā)布9000萬(wàn)個(gè)網(wǎng)帖,并產(chǎn)生大約8TB的數(shù)據(jù)(或每秒80MB的文本數(shù)據(jù))。因此,導(dǎo)致了世界范圍內(nèi)天文觀測(cè)的數(shù)據(jù)量以指數(shù)級(jí)別迅速增長(zhǎng)。在高能物理學(xué)領(lǐng)域(),歐洲原子能研究機(jī)構(gòu)CERN是世界最大的粒子物理研究中心,擁有世界最大的正負(fù)電子對(duì)撞機(jī)LEP (Large ElectronPositron Collider),原始數(shù)據(jù)的產(chǎn)生速率為IMB/sec,。由上述海量數(shù)據(jù)的分析可以看出,目前許多領(lǐng)域所要面對(duì)的數(shù)據(jù)其數(shù)據(jù)量已經(jīng)達(dá)到TB級(jí),并且將很快達(dá)到PB級(jí)。例如遙感領(lǐng)域的實(shí)驗(yàn)數(shù)據(jù)大部分是以圖像的形式存在；而在流體力學(xué)的分析中,數(shù)據(jù)則由上百個(gè)表示不同屬性的參數(shù)組成,例如時(shí)間、溫度、壓力等；即使同一領(lǐng)域也可能包含有來(lái)自多種數(shù)據(jù)源的數(shù)據(jù)。即使在目前的狀況下,高性能計(jì)算機(jī)可以滿(mǎn)足部分領(lǐng)域海量數(shù)據(jù)的存儲(chǔ)需求,但是其價(jià)格相當(dāng)昂貴,運(yùn)行成本,維護(hù)成本也非常高,操作復(fù)雜,難以被推廣應(yīng)用。因此無(wú)論是從技術(shù)角度、成本角度,還是使用角度,都決定了海量數(shù)據(jù)資源的高分布性已經(jīng)成為一種必然?，F(xiàn)代通信和傳播技術(shù),大大提高了信息傳播的速度和廣度。數(shù)據(jù)統(tǒng)合處理即資源整合過(guò)程,是指將某一范圍內(nèi)的,原本離散的、多元的、異構(gòu)的、分布的信息資源通過(guò)邏輯的或物理的方式組織為一個(gè)整體,使之有利于管理、利用和服務(wù)。造成了數(shù)據(jù)冗余、相互關(guān)聯(lián)程度低,大量的信息孤島出現(xiàn),同時(shí)用戶(hù)的檢索負(fù)擔(dān)也日益加重。信息資源的整合方法、途徑和手段多種多樣,但一般來(lái)說(shuō)包括三個(gè)層面:其一是數(shù)據(jù)層(又稱(chēng)資源層),即把有關(guān)信息資源集中為一體；第二是操作層(又稱(chēng)作服務(wù)層或中間層),即通過(guò)軟件或平臺(tái)對(duì)有關(guān)信息資源進(jìn)行統(tǒng)一利用；第三是系統(tǒng)層(又稱(chēng)應(yīng)用層),即包含數(shù)據(jù)內(nèi)容、軟件系統(tǒng)以及基礎(chǔ)設(shè)置的全面整合。數(shù)據(jù)的組織、轉(zhuǎn)換相關(guān)技術(shù)數(shù)據(jù)的組織技術(shù)主要解決不同類(lèi)型、不同結(jié)構(gòu)的數(shù)據(jù)如何組織在一起；如信息資源涉及到的分類(lèi)控制方法:行業(yè)分類(lèi)表、地區(qū)分類(lèi)表、中圖法范疇分類(lèi)體系、用戶(hù)自定義分類(lèi)體系等資源多分類(lèi)組織技術(shù)。數(shù)據(jù)描述技術(shù)信息源的語(yǔ)義內(nèi)容描述、語(yǔ)義的識(shí)別能力及信息重復(fù)率,覆蓋度等研究,也包括如何用元數(shù)據(jù)來(lái)表達(dá)整合后的數(shù)字信息,信息標(biāo)引中所使用的元數(shù)據(jù)標(biāo)準(zhǔn)(如DC),元數(shù)據(jù)之間(如DC與MARC的兼容互換、不同分類(lèi)體系之間(如DDC號(hào)與中圖分類(lèi)號(hào))的自動(dòng)映射技術(shù)等。后者涉及到的核心技術(shù)有用戶(hù)檢索行為的獲取、分析與利用、用戶(hù)反饋檢索、用戶(hù)檢索歷史的應(yīng)用、個(gè)性化推薦服務(wù)、信息協(xié)同過(guò)濾等、定題信息提供(SDI)等。更重要的是,整合后的資源其間關(guān)聯(lián)更加緊密,許多隱藏在信息中的知識(shí)逐漸顯現(xiàn)或能夠被挖掘出來(lái),人們對(duì)知識(shí)服務(wù)的需求已經(jīng)可以得到滿(mǎn)足。網(wǎng)絡(luò)環(huán)境下的數(shù)據(jù)統(tǒng)合系統(tǒng)則可以使主動(dòng)的信息提供很方便的做到和做好。云計(jì)算(Cloud Computing)是在2007年第3季度才誕生的新名詞,但僅僅過(guò)了半年多,其受到關(guān)注的程度就超過(guò)了網(wǎng)格計(jì)算,分布式計(jì)算,并行計(jì)算,?！霸啤蹦苜x予用戶(hù)前所未有的計(jì)算能力。只需要一臺(tái)筆記本或者一個(gè)手機(jī),就可以通過(guò)網(wǎng)絡(luò)服務(wù)來(lái)實(shí)現(xiàn)我們需要的一切,甚至包括超級(jí)計(jì)算這樣的任務(wù)。云計(jì)算平臺(tái)的高可擴(kuò)展可以很好地滿(mǎn)足應(yīng)用負(fù)載和需求變化的要求。這種服務(wù)的概念都是從消費(fèi)方(用戶(hù))角度出發(fā)、而不是從服務(wù)提供方出發(fā)來(lái)考慮問(wèn)題,因此一個(gè)基本特點(diǎn)是要求按需服務(wù),即用戶(hù)可以根據(jù)需求即時(shí)得到服務(wù)。(6)資源池化云計(jì)算帶來(lái)的一個(gè)好處是能夠提高資源的利用率,一般需要通過(guò)共享的方式來(lái)達(dá)到這個(gè)目的,而共享需要先把資源集中到一個(gè)公共的資源池中。根據(jù)這個(gè)資源池中資源的類(lèi)別,我們把云計(jì)算的服務(wù)模型分為三大類(lèi),即所謂的Sn模型SaaS,PaaS和laaS。這些是公共商業(yè)服務(wù),基本模式是免費(fèi)的,用廣告支撐。因?yàn)樽隹蛻?hù)關(guān)系管理是非常大的,如果是小企業(yè),可以定制幾個(gè)模塊,把企業(yè)的客戶(hù)全部關(guān)系裝載其中,不用自己去運(yùn)營(yíng)系統(tǒng),這個(gè)工程非常成功。你實(shí)際上在租用它的互聯(lián)網(wǎng)運(yùn)算資源。企業(yè)級(jí)云計(jì)算應(yīng)用,實(shí)際上有很廣大的市場(chǎng),就是使企業(yè)能夠利用新的技術(shù),更低的成本來(lái)管理它的應(yīng)用。按照中國(guó)電子學(xué)會(huì)云計(jì)算專(zhuān)家委員會(huì)的學(xué)術(shù)定義,云計(jì)算是一種基于互聯(lián)網(wǎng)的、大眾參與的計(jì)算模式,其計(jì)算資源(包括計(jì)算能力、存儲(chǔ)能力、交互能力等)是動(dòng)態(tài)、可伸縮、被虛擬化的,并以服務(wù)的方式提供。它首先為用戶(hù)提供分布式的文件系統(tǒng),使用戶(hù)能方便地處理大規(guī)模數(shù)據(jù)；然后將所有的程序運(yùn)算抽象為Map和Reduce兩個(gè)基本操作,在Map階段模型將問(wèn)題分解為更小規(guī)模的問(wèn)題,并在集群的不同節(jié)點(diǎn)上執(zhí)行,在Reduce階段將結(jié)果歸并匯總。2008年,Hadoop成為Apache的頂級(jí)項(xiàng)目,并逐漸成為一個(gè)進(jìn)行分布式計(jì)算和海量數(shù)據(jù)處理的基礎(chǔ)平臺(tái)。而大量的數(shù)據(jù)密集型應(yīng)用,往往涉及到數(shù)據(jù)降維、程序迭代、近似求解等等復(fù)雜的算法,計(jì)算非常困難。在該框架下,他們實(shí)現(xiàn)了包括線(xiàn)性回歸、樸素貝葉斯、神經(jīng)網(wǎng)絡(luò)、主成分分析和支持向量機(jī)等在內(nèi)的十種經(jīng)典的數(shù)據(jù)挖掘算法。系統(tǒng)選擇電信部門(mén)的大規(guī)模業(yè)務(wù)數(shù)據(jù)為分析對(duì)象,對(duì)電信通話(huà)和數(shù)據(jù)業(yè)務(wù)的大規(guī)模數(shù)據(jù)集進(jìn)行處理,從而向運(yùn)營(yíng)商和普通用戶(hù)提供有價(jià)值的數(shù)據(jù)分析服務(wù)。(3)在海量數(shù)據(jù)存儲(chǔ)方面,沒(méi)能對(duì)于存儲(chǔ)任務(wù)的分配機(jī)制深入研究,應(yīng)用現(xiàn)有經(jīng)典算法融入到云存儲(chǔ)中。虛擬化是實(shí)現(xiàn)云計(jì)算的最重要的技術(shù)基礎(chǔ),虛擬化技術(shù)實(shí)現(xiàn)了物理資源的邏輯抽象和統(tǒng)一表示。,虛擬化平臺(tái)應(yīng)該包含虛擬機(jī)監(jiān)視器Hypervisor,虛擬資源的管理,虛擬機(jī)遷移,故障恢復(fù),策略管理(如提供虛擬機(jī)自動(dòng)部署和資源調(diào)配)等功能實(shí)體。(2)高可用Cluster:用于保證主機(jī)節(jié)點(diǎn)的失效保護(hù),當(dāng)一個(gè)主機(jī)節(jié)點(diǎn)失效后,Cluster自動(dòng)將其上的服務(wù)轉(zhuǎn)移到集群中的其他節(jié)點(diǎn)上繼續(xù)運(yùn)行。(4)動(dòng)態(tài)負(fù)載均衡:兼顧能源消耗和工作負(fù)載的均衡。數(shù)據(jù)的存儲(chǔ)管理功能是云計(jì)算的一個(gè)重要特征,因此存儲(chǔ)資源分配是它的一個(gè)主要研究?jī)?nèi)容,既要充分利用云中空閑的存儲(chǔ)空間,又能夠使用戶(hù)能夠方便、快速地訪(fǎng)問(wèn)數(shù)據(jù)。無(wú)論哪種方法,其目的都是要降低用戶(hù)對(duì)遠(yuǎn)端數(shù)據(jù)的訪(fǎng)問(wèn)延遲和網(wǎng)絡(luò)帶寬消耗,提高訪(fǎng)問(wèn)速度和訪(fǎng)問(wèn)性能。主要用于數(shù)據(jù)集的并行運(yùn)算和并行任務(wù)的調(diào)度處理。用戶(hù)的數(shù)據(jù)請(qǐng)求到達(dá)元數(shù)據(jù)之后,根據(jù)元數(shù)據(jù)中記錄的信息,進(jìn)行適當(dāng)?shù)膮f(xié)議轉(zhuǎn)換,將轉(zhuǎn)換后的數(shù)據(jù)訪(fǎng)問(wèn)請(qǐng)求發(fā)到不同的存儲(chǔ)系統(tǒng),利用適用于該系統(tǒng)的訪(fǎng)問(wèn)方式存取數(shù)據(jù),從而實(shí)現(xiàn)對(duì)異構(gòu)存儲(chǔ)資源的統(tǒng)一訪(fǎng)問(wèn)為保證高可用、高可靠和經(jīng)濟(jì)性,云計(jì)算釆用分布式存儲(chǔ)的方式來(lái)存儲(chǔ)數(shù)據(jù),釆用冗余存儲(chǔ)的方式來(lái)保證存儲(chǔ)數(shù)據(jù)的可靠性,即為同一份數(shù)據(jù)存儲(chǔ)多個(gè)副本。大部分IT廠(chǎng)商,包括雅虎、英特爾釆用的都是HDFS的數(shù)據(jù)存儲(chǔ)技術(shù)。它使用廉價(jià)的商用硬件搭建系統(tǒng),并向大量用戶(hù)提供容錯(cuò)的高性能的服務(wù)。在GFS文件系統(tǒng)中,釆用冗余存儲(chǔ)的方式來(lái)保證數(shù)據(jù)的可靠性。客戶(hù)端從Master獲取目標(biāo)數(shù)據(jù)塊的位置信息后,直接和塊服務(wù)器交互進(jìn)行讀操作。當(dāng)然,云計(jì)算的數(shù)據(jù)存儲(chǔ)技術(shù)并不僅僅只是GFS,其他IT廠(chǎng)商,包括微軟、Hadoop開(kāi)發(fā)團(tuán)隊(duì)也在開(kāi)發(fā)相應(yīng)的數(shù)據(jù)管理工具。BigTable對(duì)數(shù)據(jù)讀操作進(jìn)行優(yōu)化,釆用列存儲(chǔ)的方式,提高數(shù)據(jù)讀取效率。每個(gè)節(jié)點(diǎn)管理大約100個(gè)記錄板。主服務(wù)器用于分配記錄板到記錄板服務(wù)器以及負(fù)載平衡,垃圾回收等。 BigTable中存儲(chǔ)記錄板位置信息的結(jié)構(gòu)當(dāng)客戶(hù)端讀取數(shù)據(jù)時(shí),首先從Chubby file中獲取RootTablet的位置,并從中讀取相應(yīng)METADATA tablet的位置信息。例如,對(duì)類(lèi)似數(shù)據(jù)庫(kù)中的Join操作效率太低,表內(nèi)數(shù)據(jù)如何切分存儲(chǔ),數(shù)據(jù)類(lèi)型限定為string類(lèi)型過(guò)于簡(jiǎn)單等。在第四節(jié)介紹了云計(jì)算和海量數(shù)據(jù)處理,分析了云計(jì)算的特點(diǎn)和應(yīng)用層面；云計(jì)算下的海量數(shù)據(jù)處理的研究進(jìn)展以及特點(diǎn)和不足。美國(guó)西北太平洋國(guó)家實(shí)驗(yàn)室一份研究報(bào)告表明,他們系統(tǒng)中有1200萬(wàn)個(gè)文件,其中94%的文件小于64MB,58%的小于64KB。在系統(tǒng)層面解決小文件的問(wèn)題,需原有HDFS基礎(chǔ)上添加一個(gè)小文件處理模塊,當(dāng)用戶(hù)上傳一個(gè)文件時(shí),判斷該文件是否屬于小文件,如果是,則交給小文件處理模塊處理,否則,交給通用文件處理模塊處理。劉立坤等人對(duì)分布式存儲(chǔ)系統(tǒng)中小文件的并發(fā)訪(fǎng)問(wèn)進(jìn)行了優(yōu)化。CMSFPM模型關(guān)鍵技術(shù)包括:云計(jì)算環(huán)境下的小文件類(lèi)別劃分和預(yù)處理策略,文件信息索引機(jī)制,基于就近原則及權(quán)值相似度的文件合并算法等。如果存儲(chǔ)一億個(gè)文件,則Namenode需要20G空間。最后,處理大量小文件速度遠(yuǎn)遠(yuǎn)小于處理同等大小的大文件的速度。,它可以將眾多小文件打包成一個(gè)大文件進(jìn)行存儲(chǔ),并且打包后原來(lái)的文件仍然可以通過(guò)MapReduce進(jìn)行操作,打包后的文件由索引和存儲(chǔ)兩大部分組成,索引部分記錄了原有的目錄結(jié)構(gòu)和文件狀態(tài)。第二,要?dú)w檔的文件名中不能有空格,否則會(huì)拋出異常,可以將空格用其他符號(hào)替換。(2)Sequence FileSequence File由一系列的二進(jìn)制key/value組成,如果為key小文件名,value為文件內(nèi)容,則可以將大批小文件合并成一個(gè)大文件。Liu等人[48]結(jié)合WebGIS中數(shù)據(jù)相關(guān)性特征,將保存相鄰地理位置信息的小文件合并成一個(gè)大的文件,并為這些小文件建立索引以便對(duì)小文件進(jìn)行存取。并且,提出了一種twolevel prefetching機(jī)制以提高小文件讀取效率,即索引文件預(yù)取和數(shù)據(jù)文件預(yù)取。用戶(hù)通過(guò)應(yīng)用程序發(fā)出獲取信息的請(qǐng)求,云計(jì)算系統(tǒng)據(jù)程序的要求調(diào)度計(jì)算資源來(lái)運(yùn)行這個(gè)應(yīng)用程序。打幵應(yīng)用實(shí)例與本地操作桌面系統(tǒng)一樣。(5)監(jiān)控:監(jiān)控和計(jì)量云系統(tǒng)資源的使用情況,以便做出迅速反應(yīng),完成節(jié)點(diǎn)同步配置、負(fù)載均衡和資源監(jiān)控,確保資源能順利分配給合適的用戶(hù)。可從不同的角度對(duì)于云計(jì)算平臺(tái)進(jìn)行分類(lèi)從云平臺(tái)的使用方式來(lái)分,可以分為在線(xiàn)云平臺(tái)和其他云平臺(tái),在線(xiàn)云平臺(tái)必須通過(guò)Internet才能使用,而其他云平臺(tái)是指可以由開(kāi)發(fā)者自己在其產(chǎn)品搭建機(jī)構(gòu)內(nèi)部云平臺(tái)的產(chǎn)品。本節(jié)我們將介紹幾個(gè)典型的云計(jì)算平臺(tái),并對(duì)部分云計(jì)算平臺(tái)進(jìn)行探討。無(wú)論是個(gè)人還是大型企業(yè),只要是使用AWS的研發(fā)人員都可以在亞馬遜的基礎(chǔ)架構(gòu)上進(jìn)行應(yīng)用軟件的研發(fā)和交付,而無(wú)需實(shí)現(xiàn)配置軟件和服務(wù)器。其使用模式如下_。Google云是幾萬(wàn)甚至大約100萬(wàn)臺(tái)廉價(jià)的服務(wù)器所組成的網(wǎng)絡(luò)。一個(gè)GFS集群包含一個(gè)主服務(wù)器和多個(gè)塊服務(wù)器,被多個(gè)客戶(hù)端訪(fǎng)問(wèn)。主服務(wù)器管理文件系統(tǒng)所有的元數(shù)據(jù),包括名字空間、訪(fǎng)問(wèn)控制信息和文件到塊的映射信息,以及塊當(dāng)前所在的位置。對(duì)于其具體的算法和原理, MapReduce原理進(jìn)行詳