【正文】 form， Windows Azure Platform 是一套云端服務(wù)作業(yè)系統(tǒng)，作為 Windows Azure 平臺(tái)的開發(fā)、服務(wù)代管及服務(wù)管理的環(huán)境。微軟歡迎 Eclipse、Ruby、 PHP 與 Python 第三方工具和語言能夠加入 Windows Azure Platform 行列。 基礎(chǔ)設(shè)施 作為 服務(wù) (IaaS) 在這種交付模式下，用戶將部署處理器、存儲(chǔ)系統(tǒng)、網(wǎng)絡(luò)及其他基本的計(jì)算資源，并按自己的意志運(yùn)行操作系統(tǒng) 和應(yīng)用程序等軟件。 作為 Infrastructure as a Service (IaaS) 在實(shí)際應(yīng)用中的一個(gè)例子， The NewYorkTimes 使用成百上千臺(tái) Amazon EC2 實(shí)例在 36 小時(shí)內(nèi)處理 TB 級的文檔數(shù)據(jù)。 （ 1） 私有云。 在這種模式下，云計(jì)算基礎(chǔ)設(shè)施由數(shù)個(gè)組織共享，并為一個(gè)有共同關(guān)注點(diǎn)的團(tuán)體提供支持，可由團(tuán)體組織或第三 方管理。 （ 3） 公共云。 如 Amazon Web Server 等既為企業(yè)內(nèi)部又為外部用戶提供云計(jì)算服務(wù)。 數(shù)據(jù)存儲(chǔ)技術(shù) 為保證高可用、高可靠和經(jīng)濟(jì)性，云計(jì)算采用分布式存儲(chǔ)的方式來存儲(chǔ)數(shù)據(jù)， 9 采用冗余存儲(chǔ)的方式來保證存儲(chǔ)數(shù)據(jù)的可靠性，即為同 一份數(shù)據(jù)存儲(chǔ)多個(gè)副本。大部分 IT 廠商，包括 yahoo、 Intel 的云計(jì)劃采用的都是 HDFS 的數(shù)據(jù)存儲(chǔ)技術(shù)。其次，如何在規(guī)模巨大的數(shù)據(jù)中找到特定的數(shù)據(jù)，也是云計(jì)算數(shù)據(jù)管理技術(shù)所必須解決的問題。 云計(jì)算的數(shù)據(jù)管理技術(shù)最著名的是谷歌的 BigTable 數(shù)據(jù)管理技術(shù)，同時(shí)Hadoop 開發(fā)團(tuán)隊(duì)正在開發(fā)類似 BigTable 的開源數(shù)據(jù)管理模塊?，F(xiàn)在所有 IT 廠商提出的云計(jì)劃中采用的編程模型，都是基于 MapReduce 的思想開發(fā)的變成工具。如何改進(jìn)編程模式，是程序員能夠輕松的編寫緊耦合的程序，運(yùn)行時(shí)能高效調(diào)度和執(zhí)行任務(wù)是 MapReduce 編程模型未來的發(fā)展方向。 圖 2 計(jì)算機(jī)模式的發(fā)展 具體看來，網(wǎng)格計(jì)算和云計(jì)算的區(qū)別如表 1 所示。 云 計(jì)算的資源相對集中，主要以數(shù)據(jù)中心的形式提供底層資源的使用，并不強(qiáng)調(diào)虛擬組織（ VO）的概念。 云計(jì)算 采用 鏡像或者提供服務(wù)的機(jī)制來解決異構(gòu)性的問題。 應(yīng)用領(lǐng)域 網(wǎng)格計(jì)算更多地面向科研應(yīng)用，商業(yè)模型不清晰。 面向服務(wù)是構(gòu)建應(yīng)用程序的一種方法，而云計(jì)算指的是這種基礎(chǔ)設(shè)施以及那個(gè)應(yīng)用程序的交付模式。而 SOA 是這種方法。 2020 年 11 月 17 日發(fā)布的超級計(jì)算機(jī) Top 500 榜單， IBM 為美國 Los A lamos 國家實(shí)驗(yàn)室建造的計(jì)算機(jī)系統(tǒng)“ Roadrunner”獲得冠軍。 TOP 500 對超級計(jì)算機(jī)的排名方式可以看出，傳統(tǒng)的超級計(jì)算機(jī)注重運(yùn)算速度和任務(wù)的吞吐量，以運(yùn)算速度為核心進(jìn)行計(jì)算機(jī)的研究和開發(fā)。 云計(jì)算系統(tǒng)相比于超級計(jì)算機(jī)具有松耦合的性質(zhì)，可以比較方便的進(jìn)行動(dòng)態(tài)伸縮和擴(kuò)展，而超級計(jì)算機(jī) 不易擴(kuò)展、改造和升級。企業(yè)私有云中，各個(gè)部門之間的信息安全也必須考慮，特別是財(cái)務(wù)數(shù)據(jù)、客戶信息等。 標(biāo)準(zhǔn) 制定 目前云計(jì)算廠商都在各自為戰(zhàn)，并沒有實(shí)現(xiàn)標(biāo)準(zhǔn)化。 13 云計(jì)算的商業(yè)模式 云計(jì)算強(qiáng)調(diào)發(fā)揮集中化的優(yōu)勢，以及應(yīng)用、平臺(tái)和 資源的分層松耦合管理。 手機(jī) 擁有便攜性和通信能力等眾多天然優(yōu)勢，而計(jì)算能力、 存儲(chǔ) 能力弱，雖然正逐漸向智能化演進(jìn)，但受限于體積和便攜性的要求，短時(shí)間內(nèi) 手機(jī) 的處理能力難以和電腦相比。所以，云計(jì)算要落到實(shí)處，必須加強(qiáng)行業(yè)應(yīng)用。 因此， Amazon 在 2020 年 7 月 推出 免費(fèi)的 Amazon 電子商務(wù)服務(wù)（ Amazon Emerce Service），讓零售商可以將自己的商品放在 Amazon 網(wǎng)絡(luò) 商店中，儲(chǔ)存產(chǎn)品價(jià)格、顧客評等資料，進(jìn)行后臺(tái)管理。 亞馬遜的云計(jì)算產(chǎn)品總稱為 Amazon Web Service(亞馬遜網(wǎng)絡(luò)服務(wù) )，主要由4 部分組成，包括 S3(Simple Storage Service，簡單的存儲(chǔ)服務(wù) )、 EC2(Elastic Compute Cloud，可伸縮計(jì)算云 )、 SQS(Simple Queuing Service，簡單信息隊(duì)列服務(wù) )以及 SimpleDB。通過 AWS 可以更多地根據(jù)所解決問題的特點(diǎn)來有彈性地選擇哪種開發(fā)平臺(tái)或者編程模型。 圖 5 所示為面向服務(wù)的亞馬遜平臺(tái)架構(gòu)。 問題 采用的相關(guān)技術(shù) 數(shù)據(jù)均衡分布 改進(jìn)的一致性哈希算法、數(shù)據(jù)備份 數(shù)據(jù)沖突處理 向量時(shí)鐘（ Vector Clock） 臨時(shí)故障處理 Hinted handoff（數(shù)據(jù)回傳機(jī)制），參數(shù)（ W,R,N）可調(diào)的弱 quorum機(jī)制 永久故障后的恢復(fù) Merkle 哈希樹 成員資格以及錯(cuò)誤檢測 給予 Gossip 的成員資格協(xié)議和錯(cuò)誤檢測 16 S3 進(jìn)行存儲(chǔ) Amazon Simple Storage Service (S3) 提供一個(gè)用于數(shù)據(jù)存儲(chǔ)和獲取的 Web 服務(wù)接口。對象存儲(chǔ)在桶中，用戶 可以在 S3 中存儲(chǔ)任意數(shù)量的對象 ，但最多只能創(chuàng)建 100 個(gè)桶 ；存儲(chǔ)的每個(gè)對象的大小可以從 1 字節(jié)到 5 GB。對于存儲(chǔ)在 S3 中的每個(gè)對象，可以指定訪問限制，可以用簡單的 HTTP 請求訪問對象。甚至不必承擔(dān)維護(hù)存儲(chǔ)服務(wù)器的成本。您只需為實(shí)際使用的計(jì)算時(shí)間付費(fèi)。 EC2 環(huán)境本身基于在劍橋大學(xué)開發(fā)的開放源碼的 Xen 系統(tǒng)管理程序。最近， Amazon 宣布與 Sun Microsystems 合作提供 Open Solaris 支持，但是 EC2 可用的大多數(shù)免費(fèi)和商業(yè)預(yù)構(gòu)建映像是基于 Linux 的。服務(wù)器的范圍從普通的單核 x86 服務(wù)器直到八核 x86_64 服務(wù)器。 2）低成本 3）安全性：基于密鑰對機(jī)制的 SSH 方式反問、可配置的防火墻機(jī)制等。在 EC2 中，每個(gè)用戶最多可擁有 30 個(gè)實(shí)例，每個(gè)實(shí)例自身攜帶一個(gè)臨時(shí)存儲(chǔ)模塊。 Amazon Simple Queue Service 實(shí)現(xiàn)可靠的消息傳遞 Amazon Simple Queue Service (SQS) 允許訪問 Amazon 提供的可靠的消息傳遞基礎(chǔ)設(shè)施。 Amazon 把消息存儲(chǔ)在多個(gè)服務(wù)器和數(shù)據(jù)中心中，從而提供消息傳遞系統(tǒng)所需的冗余和可靠性。在超時(shí)周期期滿之后，消息重新出現(xiàn)在隊(duì)列中，另一個(gè)讀者進(jìn)程就可以處理它?？梢允褂? SQS 提供的身份驗(yàn)證機(jī)制保護(hù)隊(duì)列中的消息，防止未授權(quán)的訪問。每個(gè) 19 條目可以包含最多 256 個(gè)鍵 值對。 與傳統(tǒng)的關(guān)系型數(shù)據(jù)庫相比， SDB 無需預(yù)定義模式，單個(gè)屬性允許多個(gè)值，支持自動(dòng)索引， 維護(hù)比典型的數(shù)據(jù)庫簡單得多，因?yàn)椴恍枰O(shè)置或配置任何東西。 然而 SDB 沒有事務(wù)（ Transaction）的概念，不支持連接（ join）操作，且返回的結(jié)果不支持排序操作。 AWS 服務(wù)的綜合使用如圖 8 所示。使用 Google App Engine，將不再需要維護(hù)服務(wù)器：您只需上傳您的應(yīng)用程序，它便可立即為您的用戶提供服務(wù)。 Google App Engine 支持以幾種編程語言編寫的應(yīng)用程序。 圖 9 Google App Engine 架構(gòu)圖 21 在 App Engine 中，您只需為您使用的資源付費(fèi)。 可以免費(fèi)開始使用 App Engine。 （ 1）應(yīng)用程序環(huán)境 通過 Google App Engine，即使在負(fù)載很重和數(shù)據(jù)量極大的情況下，也可以輕松構(gòu)建能安全運(yùn)行的應(yīng)用程序。在這個(gè)環(huán)境中，用戶可以開發(fā)使用自己的應(yīng)用程序，沙盒將開發(fā)者開發(fā)的應(yīng)用程序隔離在自身的安全可靠的環(huán)境中，該環(huán)境和網(wǎng)絡(luò)服務(wù)器的硬件、系統(tǒng)以及物理位置完全無關(guān)，并且沙盒僅提供開發(fā)人員對基礎(chǔ)操作系統(tǒng)的有限訪問權(quán)限。其他計(jì)算機(jī)只能通過在標(biāo)準(zhǔn)端口上進(jìn)行 HTTP（或 HTTPS）請求來連接至該應(yīng)用程序。 ? 應(yīng)用程序代碼僅在 響應(yīng)網(wǎng)絡(luò)請求或 cron job 時(shí)運(yùn)行，且任何情況下必須在 30 秒鐘內(nèi)返回響應(yīng)數(shù)據(jù)。 該環(huán)境包括 Java SE 運(yùn)行時(shí)環(huán)境 (JRE) 6 平臺(tái) 和庫。 您的應(yīng)用程序使用 Java 標(biāo)準(zhǔn) API 來訪 問大多數(shù) App Engine 服務(wù)。 App Engine 還包括低級 API 以使用其服務(wù)實(shí)現(xiàn)額外適配器或直接從應(yīng)用程序使用。 （ 4） Python 運(yùn)行時(shí)環(huán)境 通過 App Engine 的 Python 運(yùn)行時(shí)環(huán)境，您可以使用 Python 編程語言實(shí)現(xiàn)應(yīng)用程序，并在優(yōu)化的 Python 解釋器上運(yùn)行。將 在未來版本中考慮對于 Python 3 的額外支持。 23 為方便起見，主要功能不受該運(yùn)行時(shí)環(huán)境支持的標(biāo)準(zhǔn)庫中的多個(gè)模塊已被禁用，而導(dǎo)入這些模塊的代碼將引發(fā)錯(cuò)誤。 App Engine 還提供了一個(gè)稱為 webapp 的簡單 Python 網(wǎng)絡(luò)應(yīng)用程序框架，從而可以輕松開始構(gòu)建應(yīng)用程序。 該 App Engine 數(shù)據(jù)存儲(chǔ)區(qū)與傳統(tǒng)關(guān)系數(shù)據(jù)庫不同。 數(shù)據(jù)存儲(chǔ)區(qū)實(shí)體是 “無架構(gòu) ”的。 數(shù)據(jù)存儲(chǔ)區(qū)高度 一致 并使用 樂觀并發(fā)控制 。一個(gè)事務(wù)操作一個(gè)組內(nèi)的實(shí)體。應(yīng)用程序使用戶可以通過 Google 帳戶登錄，并可以訪問與該帳戶關(guān)聯(lián)的電子郵件地址和可顯示的名稱。 用戶 API 還可告知應(yīng)用程序當(dāng)前用戶是否是應(yīng)用程序的注冊管理員。網(wǎng)址抓取服務(wù)使用檢索許多其他 Google 產(chǎn)品的網(wǎng)頁的高速 Google 基礎(chǔ)架構(gòu)來檢索網(wǎng)絡(luò)資源。 Memcache 對于那些不需要數(shù)據(jù)存儲(chǔ)區(qū)的持久性存儲(chǔ)和事務(wù)功能的數(shù)據(jù)（例如臨時(shí)數(shù)據(jù)或從數(shù)據(jù)存儲(chǔ)區(qū)復(fù)制到緩存以進(jìn)行高速訪問的數(shù)據(jù)）很有用。 ? 數(shù)據(jù)庫 API： Google App Engine 的數(shù)據(jù)庫使用了簡單的 API 來為童虎提供查詢引擎和事務(wù)存儲(chǔ)服務(wù)，并且這些服務(wù)都運(yùn)行在 Google 的可擴(kuò)展結(jié)構(gòu)上。查詢結(jié)果一 Model 類的實(shí)例形式返回尸體，并且 Model嘞可以被修改并且放到數(shù)據(jù)庫中。該網(wǎng)絡(luò)服務(wù)器還可以模擬安全沙 25 盒環(huán)境，包括檢查是否嘗試訪問在 App Engine 運(yùn)行時(shí)環(huán)境下不允許的系統(tǒng)資源。 構(gòu)建已在 App Engine 上運(yùn)行的應(yīng)用程序的新發(fā)行版 時(shí)，可以將新發(fā)行版作為新版本上傳。 SDK 以 Zip 文件提供。該 SDK 以 Zip 文件形式提供，對于 Windows 和 Mac OS X 還提供安裝程序。通過免費(fèi)帳戶發(fā)布的應(yīng)用程序可使用多達(dá) 500MB 的存儲(chǔ)空間和多達(dá)每月 500 萬次的頁面瀏覽量。配額決定應(yīng)用程序在一個(gè)日歷天中可以使用的給定資源的量。如果該應(yīng)用程序花費(fèi)的時(shí)間過長，則進(jìn)程會(huì)被終止并且服務(wù)器將向用戶返回錯(cuò)誤代碼。本該返回更多結(jié)果的查詢只能返回該最大值。 Google Apps Google 企業(yè)應(yīng)用套件有助于全面提升企業(yè)的運(yùn)作效率。 （ 2） 協(xié)作與發(fā)布 ? Google 文檔 ： 創(chuàng)建并共享文檔，實(shí)現(xiàn)實(shí)時(shí)協(xié)作。 ? API 延展 ： 與現(xiàn)有的 IT 系統(tǒng)或第三方解決方案集成。 GFS 使用廉價(jià)的商用機(jī)器構(gòu)建分布式文件系統(tǒng)，將容錯(cuò)任務(wù)交由文件系統(tǒng)來完成，利用軟件的方法解決系統(tǒng)可靠性問題，這樣可以使得存儲(chǔ)的成本成倍下降。 Chunk Server 負(fù)責(zé)具體的存儲(chǔ)工作，它的數(shù)目直接決定了 GFS 的規(guī)模。 圖 10 GFS 系統(tǒng)架構(gòu)圖 GFS 的系統(tǒng)管理技術(shù)包括： ? 大規(guī)模集群安裝技術(shù) ? 故障檢測技術(shù) ? 節(jié)點(diǎn)動(dòng)態(tài)加入技術(shù) ? 節(jié)能技術(shù) 相對于傳統(tǒng) 的分布式文件系統(tǒng)， GFS 針對 Google 應(yīng)用的特點(diǎn)多方面進(jìn)行了簡化，從而在一定規(guī)模下達(dá)到成本、可靠性、性能的最佳平衡。但是中心服務(wù)器模型使得 Master 極易成為系統(tǒng)性能 和可靠性上的瓶頸。 2) POSIX 接口提供的功能更為豐富，在實(shí)現(xiàn)過程中可以利用更多的特性，而不像內(nèi)核變成那樣首先。 5) 用戶臺(tái)下， GFS 和操作系統(tǒng)運(yùn)行在不同的空間，兩者耦合性降低，從而方便 GFS 自身和內(nèi)核的單獨(dú)升級。 3) 專用接口直接和 Client、 Master、 Chunk Server 交互，減少了操作系統(tǒng)之間上下文的切換，降低了復(fù)雜度，提高了效率。 MapeReduce操作 which 由 M 個(gè) Map 操作和 R 各 Reduce 操作一起完成的。 GFS 使用 Chubby 來選取一個(gè) GFS 主服務(wù)器， Bigtable 使用 Chubby 指定一個(gè)主服務(wù)器并發(fā)現(xiàn)、控制與其相關(guān)的字表服務(wù)器。 30 支持粗粒度的簡易型鎖服務(wù)：建議性的粗粒度鎖服務(wù)在用戶訪問某個(gè)被鎖定的文件時(shí)不會(huì)阻止，且持有鎖的時(shí)間較長，減少頻繁換鎖帶來的系統(tǒng)開銷，提高了系統(tǒng)的性能。服務(wù)器端由五個(gè)副本構(gòu)成一 Chubby 單元。通信過程如圖所示。 Bigtable 不支持一般意義上的事務(wù)，表中數(shù)據(jù)根據(jù)行關(guān)鍵字排序，使用詞典序；列關(guān)鍵字被組織成列族，族是 Bigtable 訪問控制的基本單元；不同版本的數(shù)據(jù)通過時(shí)間戳來區(qū)分。 ? 主服務(wù)器 主服務(wù)器 主要進(jìn)行元數(shù)據(jù)的操作以及子表服務(wù)器之間的負(fù)載調(diào)度問題，幾乎不與客戶端進(jìn)行通信。 SSTable 中的數(shù)據(jù)被劃分成塊（ Block），在 SSTable 的結(jié)尾有一個(gè)索引，保存 SStable 中塊的位置信息。數(shù)據(jù)壓縮氛圍此壓縮、合并壓縮、主壓縮三種壓縮形式。 2）壓縮 33 3）布隆過濾器 ：這是一個(gè)很