【正文】 數(shù)據(jù)壓縮氛圍此壓縮、合并壓縮、主壓縮三種壓縮形式。 ? 主服務(wù)器 主服務(wù)器 主要進(jìn)行元數(shù)據(jù)的操作以及子表服務(wù)器之間的負(fù)載調(diào)度問題，幾乎不與客戶端進(jìn)行通信。通信過程如圖所示。 30 支持粗粒度的簡易型鎖服務(wù)：建議性的粗粒度鎖服務(wù)在用戶訪問某個被鎖定的文件時不會阻止，且持有鎖的時間較長，減少頻繁換鎖帶來的系統(tǒng)開銷，提高了系統(tǒng)的性能。 MapeReduce操作 which 由 M 個 Map 操作和 R 各 Reduce 操作一起完成的。 5) 用戶臺下， GFS 和操作系統(tǒng)運(yùn)行在不同的空間，兩者耦合性降低，從而方便 GFS 自身和內(nèi)核的單獨(dú)升級。但是中心服務(wù)器模型使得 Master 極易成為系統(tǒng)性能 和可靠性上的瓶頸。 Chunk Server 負(fù)責(zé)具體的存儲工作，它的數(shù)目直接決定了 GFS 的規(guī)模。 ? API 延展 ： 與現(xiàn)有的 IT 系統(tǒng)或第三方解決方案集成。 Google Apps Google 企業(yè)應(yīng)用套件有助于全面提升企業(yè)的運(yùn)作效率。如果該應(yīng)用程序花費(fèi)的時間過長，則進(jìn)程會被終止并且服務(wù)器將向用戶返回錯誤代碼。通過免費(fèi)帳戶發(fā)布的應(yīng)用程序可使用多達(dá) 500MB 的存儲空間和多達(dá)每月 500 萬次的頁面瀏覽量。 SDK 以 Zip 文件提供。該網(wǎng)絡(luò)服務(wù)器還可以模擬安全沙 25 盒環(huán)境，包括檢查是否嘗試訪問在 App Engine 運(yùn)行時環(huán)境下不允許的系統(tǒng)資源。 ? 數(shù)據(jù)庫 API： Google App Engine 的數(shù)據(jù)庫使用了簡單的 API 來為童虎提供查詢引擎和事務(wù)存儲服務(wù)，并且這些服務(wù)都運(yùn)行在 Google 的可擴(kuò)展結(jié)構(gòu)上。網(wǎng)址抓取服務(wù)使用檢索許多其他 Google 產(chǎn)品的網(wǎng)頁的高速 Google 基礎(chǔ)架構(gòu)來檢索網(wǎng)絡(luò)資源。應(yīng)用程序使用戶可以通過 Google 帳戶登錄，并可以訪問與該帳戶關(guān)聯(lián)的電子郵件地址和可顯示的名稱。 數(shù)據(jù)存儲區(qū)高度 一致 并使用 樂觀并發(fā)控制 。 該 App Engine 數(shù)據(jù)存儲區(qū)與傳統(tǒng)關(guān)系數(shù)據(jù)庫不同。 23 為方便起見，主要功能不受該運(yùn)行時環(huán)境支持的標(biāo)準(zhǔn)庫中的多個模塊已被禁用，而導(dǎo)入這些模塊的代碼將引發(fā)錯誤。 （ 4） Python 運(yùn)行時環(huán)境 通過 App Engine 的 Python 運(yùn)行時環(huán)境，您可以使用 Python 編程語言實(shí)現(xiàn)應(yīng)用程序，并在優(yōu)化的 Python 解釋器上運(yùn)行。 您的應(yīng)用程序使用 Java 標(biāo)準(zhǔn) API 來訪 問大多數(shù) App Engine 服務(wù)。 ? 應(yīng)用程序代碼僅在 響應(yīng)網(wǎng)絡(luò)請求或 cron job 時運(yùn)行，且任何情況下必須在 30 秒鐘內(nèi)返回響應(yīng)數(shù)據(jù)。在這個環(huán)境中，用戶可以開發(fā)使用自己的應(yīng)用程序，沙盒將開發(fā)者開發(fā)的應(yīng)用程序隔離在自身的安全可靠的環(huán)境中，該環(huán)境和網(wǎng)絡(luò)服務(wù)器的硬件、系統(tǒng)以及物理位置完全無關(guān)，并且沙盒僅提供開發(fā)人員對基礎(chǔ)操作系統(tǒng)的有限訪問權(quán)限。 可以免費(fèi)開始使用 App Engine。 Google App Engine 支持以幾種編程語言編寫的應(yīng)用程序。 AWS 服務(wù)的綜合使用如圖 8 所示。 與傳統(tǒng)的關(guān)系型數(shù)據(jù)庫相比， SDB 無需預(yù)定義模式，單個屬性允許多個值，支持自動索引， 維護(hù)比典型的數(shù)據(jù)庫簡單得多，因?yàn)椴恍枰O(shè)置或配置任何東西?？梢允褂? SQS 提供的身份驗(yàn)證機(jī)制保護(hù)隊(duì)列中的消息，防止未授權(quán)的訪問。 Amazon 把消息存儲在多個服務(wù)器和數(shù)據(jù)中心中，從而提供消息傳遞系統(tǒng)所需的冗余和可靠性。在 EC2 中，每個用戶最多可擁有 30 個實(shí)例，每個實(shí)例自身攜帶一個臨時存儲模塊。服務(wù)器的范圍從普通的單核 x86 服務(wù)器直到八核 x86_64 服務(wù)器。 EC2 環(huán)境本身基于在劍橋大學(xué)開發(fā)的開放源碼的 Xen 系統(tǒng)管理程序。甚至不必承擔(dān)維護(hù)存儲服務(wù)器的成本。對象存儲在桶中，用戶 可以在 S3 中存儲任意數(shù)量的對象 ，但最多只能創(chuàng)建 100 個桶 ；存儲的每個對象的大小可以從 1 字節(jié)到 5 GB。 圖 5 所示為面向服務(wù)的亞馬遜平臺架構(gòu)。 亞馬遜的云計(jì)算產(chǎn)品總稱為 Amazon Web Service(亞馬遜網(wǎng)絡(luò)服務(wù) )，主要由4 部分組成，包括 S3(Simple Storage Service，簡單的存儲服務(wù) )、 EC2(Elastic Compute Cloud，可伸縮計(jì)算云 )、 SQS(Simple Queuing Service，簡單信息隊(duì)列服務(wù) )以及 SimpleDB。所以，云計(jì)算要落到實(shí)處，必須加強(qiáng)行業(yè)應(yīng)用。 13 云計(jì)算的商業(yè)模式 云計(jì)算強(qiáng)調(diào)發(fā)揮集中化的優(yōu)勢，以及應(yīng)用、平臺和 資源的分層松耦合管理。企業(yè)私有云中，各個部門之間的信息安全也必須考慮，特別是財(cái)務(wù)數(shù)據(jù)、客戶信息等。 TOP 500 對超級計(jì)算機(jī)的排名方式可以看出，傳統(tǒng)的超級計(jì)算機(jī)注重運(yùn)算速度和任務(wù)的吞吐量，以運(yùn)算速度為核心進(jìn)行計(jì)算機(jī)的研究和開發(fā)。而 SOA 是這種方法。 應(yīng)用領(lǐng)域 網(wǎng)格計(jì)算更多地面向科研應(yīng)用，商業(yè)模型不清晰。 云 計(jì)算的資源相對集中，主要以數(shù)據(jù)中心的形式提供底層資源的使用，并不強(qiáng)調(diào)虛擬組織（ VO）的概念。如何改進(jìn)編程模式，是程序員能夠輕松的編寫緊耦合的程序，運(yùn)行時能高效調(diào)度和執(zhí)行任務(wù)是 MapReduce 編程模型未來的發(fā)展方向。 云計(jì)算的數(shù)據(jù)管理技術(shù)最著名的是谷歌的 BigTable 數(shù)據(jù)管理技術(shù)，同時Hadoop 開發(fā)團(tuán)隊(duì)正在開發(fā)類似 BigTable 的開源數(shù)據(jù)管理模塊。大部分 IT 廠商，包括 yahoo、 Intel 的云計(jì)劃采用的都是 HDFS 的數(shù)據(jù)存儲技術(shù)。 如 Amazon Web Server 等既為企業(yè)內(nèi)部又為外部用戶提供云計(jì)算服務(wù)。 在這種模式下，云計(jì)算基礎(chǔ)設(shè)施由數(shù)個組織共享，并為一個有共同關(guān)注點(diǎn)的團(tuán)體提供支持，可由團(tuán)體組織或第三 方管理。 作為 Infrastructure as a Service (IaaS) 在實(shí)際應(yīng)用中的一個例子， The NewYorkTimes 使用成百上千臺 Amazon EC2 實(shí)例在 36 小時內(nèi)處理 TB 級的文檔數(shù)據(jù)。微軟歡迎 Eclipse、Ruby、 PHP 與 Python 第三方工具和語言能夠加入 Windows Azure Platform 行列。對于超過此上限的存儲空間，谷歌按 “每 CPU 內(nèi)核每小時 ”10 至 12 美分及 1GB 空間 15 至 18 美分的標(biāo)準(zhǔn)進(jìn)行收費(fèi)。用戶不需管理或控制底層的網(wǎng)絡(luò)、服務(wù)器、操作系統(tǒng)、存儲系統(tǒng)等，但要控制應(yīng)用程序，可能還需要設(shè)置應(yīng)用程序的運(yùn)行環(huán)境。 針對終端用戶谷歌則推出了 Google Apps， 這是一套基于網(wǎng)絡(luò)的文檔、電子數(shù)據(jù)表和其他生產(chǎn)力應(yīng)用軟件。 圖 1 云計(jì)算服務(wù)模式 軟件 作為 服務(wù) (SaaS) 在這種交付模式下，提供商在云計(jì)算設(shè)施上運(yùn)行程序，用戶通過各種客戶端設(shè)備的瘦客戶界面 (如網(wǎng)頁瀏覽器、基于網(wǎng)頁的電子郵件 )使用這些應(yīng) 用程序。 云計(jì)算供應(yīng)商可快速靈活地部署云計(jì)算資源，快速地放大和縮小。 云計(jì)算資源可以通過 網(wǎng)絡(luò)獲取和通過標(biāo)準(zhǔn)機(jī)制訪問，這些訪問機(jī)制能夠促進(jìn)用戶通過異構(gòu)的瘦 (thin)客戶平臺或胖 (thick)客戶平臺 (手機(jī)、筆記本電腦、掌上電腦等 )來使用云計(jì)算 ，也包括其它傳統(tǒng)的或基于云的服務(wù)。云計(jì)算主要提供通用的通過瀏覽器訪問的在線商業(yè)應(yīng)用、軟件和數(shù)據(jù)存儲等服務(wù)。這種特性經(jīng)常被稱為像水電一樣使用 IT 基礎(chǔ)設(shè)施。通過云計(jì)算，用戶將從繁重，復(fù)雜，易錯的計(jì)算機(jī)資源管理中解放出來，而只需關(guān)注業(yè)務(wù)邏輯。 AMAZON .............................................................................................................錯誤 !未定義書簽。繼分布式計(jì)算，并行計(jì)算，網(wǎng)絡(luò)計(jì)算，效用計(jì)算， 等計(jì)算概念與模型的不斷被推出以后，計(jì)算機(jī)工業(yè)界與學(xué)術(shù)界又提出了云計(jì)算模型，在某種意義上實(shí)現(xiàn)對這些計(jì)算概念與模型的泛化與商業(yè)化。 微軟 認(rèn)為云計(jì)算就是 通過 Inter 標(biāo)準(zhǔn)和協(xié)議以實(shí)用工具形式提供的計(jì)算功能。 維基百科 () 對云計(jì)算的定義也在不斷更新，前后版本的差別非常大。 云計(jì)算特點(diǎn) (1)按需自助服務(wù)。資源的例子包括存儲、處理、內(nèi)存、網(wǎng)絡(luò)帶寬以及虛擬機(jī)等。 人們可以監(jiān)視、控制資源使用、并產(chǎn)生報(bào)表，報(bào)表可以對提供商和用戶雙方都提供透明。 1999 年 ， 27 歲的甲骨文（ oracle）高級副總裁、俄羅斯裔美國人馬克 Yahoo： Yahoo Small Business 服務(wù)提供了一個組合，其中包括：域名注冊服務(wù)、網(wǎng)站托管服務(wù)、郵件服務(wù)，這個簡單組合在一個服務(wù)包內(nèi)讓小企業(yè)擁有了所有必要的面向因特網(wǎng)的服務(wù)，并且比起其它非云的選擇具有明顯的價(jià)格優(yōu)勢。虛擬設(shè)備可以歸類為 PaaS 的實(shí)例。通過微軟的 Windows Azure 系統(tǒng)可提供開發(fā)人員隨選運(yùn)算及存儲，用來裝載、延伸及管理網(wǎng)絡(luò)上的 Web 應(yīng)用程序、云端應(yīng)用程序和網(wǎng)絡(luò)服務(wù)。用戶不需管理或控制的底層的云計(jì)算基礎(chǔ)設(shè)施，但要控制操作系統(tǒng)、儲存系統(tǒng)和應(yīng)用程序，可能還需要選擇網(wǎng)絡(luò)組件 (防火墻、負(fù)載均衡器等 )。 在這種模式下，云計(jì)算基礎(chǔ)設(shè)施由單個組織經(jīng)營，可由該組織或第三方管理。 在這種模式下，云計(jì)算基礎(chǔ)設(shè)施由一家銷售云計(jì)算服務(wù)的組織所擁有，該組織將云計(jì)算服務(wù)銷售給公眾或大型工業(yè)團(tuán)體。另外，云計(jì)算系統(tǒng)需要同時滿足大量用戶的需求，并行的為大量用戶提供服務(wù)。 云計(jì)算的特點(diǎn)是對海量數(shù)據(jù)存儲、讀取后進(jìn)行大量的分析，數(shù)據(jù)的讀操作頻率遠(yuǎn)大于數(shù)據(jù)的更新頻率，云中的數(shù)據(jù)管理是一種讀優(yōu)化的數(shù)據(jù)管理。 MapReduce 不僅僅是一種編程模型，同時也是一種高效的任務(wù)調(diào)度模型。 表 1 網(wǎng)格計(jì)算與云計(jì)算的區(qū)別 網(wǎng)格計(jì)算 云計(jì)算 目的 網(wǎng)格計(jì)算將獨(dú)立的計(jì)算機(jī)連接成一個大的基礎(chǔ)設(shè)施，充分利用閑置的資源 ，從而 把計(jì)算資源作為能夠開啟關(guān)閉的公用事業(yè)來提供。當(dāng)然不同的云計(jì)算系統(tǒng)還不太一樣，像 Google 一般用比較專用的自己的內(nèi)部的平臺來支持。 開源軟件 SOA 軟件廠商 WSO2 的首席執(zhí)行官 Sanjiva Weerawarana 說，云計(jì)算是在 SOA 環(huán)境中部署服務(wù)的一個好方法。它的運(yùn)算速度達(dá)到了 Petaflop/s。另外，云計(jì)算系統(tǒng)天生據(jù)喲良好的分布性，超級計(jì)算機(jī)則不具有。不同云之間缺乏互操作性，用戶從一個云計(jì)算環(huán)境遷移到另一個環(huán)境時面臨巨大困難。從這點(diǎn)出發(fā)，云計(jì)算的特點(diǎn)更能在移動互聯(lián)網(wǎng)上充分體現(xiàn) ，將應(yīng)用的“計(jì)算”與存儲從終端轉(zhuǎn)移到 服務(wù)器 的云端，從而弱化了對移動終端設(shè)備的處理需求。 這樣， Amazon 就從 不只賣書，而是當(dāng)電子 商務(wù) 零售業(yè)的 “包租公”，利用其 在 電子商務(wù) 網(wǎng)站 建設(shè) 上的優(yōu)勢 ， 將設(shè)備、技術(shù)和經(jīng)驗(yàn)作為一種打包產(chǎn)品去為其他企業(yè)提供服務(wù)，存儲服務(wù)器、帶寬按容量收費(fèi)， CPU 根據(jù) 使用 時長運(yùn)算量收費(fèi)。你只需為你使用了什么而付費(fèi)，而不需要預(yù)先的花費(fèi)或長期的承諾，使得 AWS 成為成本最有效的方式來交 付你的應(yīng)用給你的客戶。數(shù)據(jù)可以是任何類型的，可以從 Inter 上的任何地方存儲和訪問數(shù)據(jù)。甚至可以讓對象可通過 BitTorrent 協(xié)議下載。如果需要增加計(jì)算能力，可以快速地啟動虛擬實(shí)例；當(dāng)需求下降時，可以馬上終止它們。 Amazon EC2 提供真正全 Web 范圍的計(jì)算，很容易擴(kuò)展和收縮計(jì)算資源。 4）易用性：用戶可以根據(jù)亞馬遜提供的模塊自由構(gòu)建自己的應(yīng)用程序， EC2根據(jù)用戶服務(wù)請求自動負(fù)載均衡?？梢允褂煤唵蔚幕? REST 的 HTTP 請求在任何地方發(fā)送和接收消息。 SQS 與其他 Amazon Web Services 很好地集成?？梢栽诿總€域中對自己的數(shù)據(jù)集執(zhí)行查詢。 SDB 是 Amazon 基礎(chǔ)設(shè)施的組成部分，會在幕后自動地?cái)U(kuò)展。 您可以使用 Google 企業(yè)應(yīng)用套件 通過自己的域名提供應(yīng)用程序。沒有設(shè)置成本，也沒有重復(fù)的費(fèi)用。 App Engine 包括以下功能： ? 動態(tài)網(wǎng)絡(luò)服務(wù)，提供對常用網(wǎng)絡(luò)技術(shù)的完全支持 ? 持久存儲空間，支持查 詢、分類和事務(wù) ? 自動擴(kuò)展和負(fù)載平衡 ? 用于對用戶進(jìn)行身份驗(yàn)證和使用 Google 帳戶發(fā)送電子郵件的 API ? 一種功能完整的本地開發(fā)環(huán)境，可以在您的計(jì)算機(jī)上模擬 Google App Engine ? 用于在指定時間和定期觸發(fā)事件的計(jì)劃任務(wù) 最開始 Google App Engine 只支持 Python 開發(fā)語言，現(xiàn)在用戶 的應(yīng)用程序可在以下兩個運(yùn)行時環(huán)境之一中運(yùn)行： Java 環(huán)境和 Python 環(huán)境。 22 ? 應(yīng)用程序無法向文件系統(tǒng)寫入。沙盒環(huán)境的限制在 JVM 中實(shí)現(xiàn)。請參閱有關(guān) 數(shù)據(jù)存儲區(qū) 、 memcache、 網(wǎng)址抓取 、 郵件 、 圖像 和 Google 帳戶 API 的文檔。 Python 環(huán)境包括 Python 標(biāo)準(zhǔn)庫 。 只要其他第三方庫是使用純 Python 實(shí)現(xiàn)的并且不需要任何不受支持的標(biāo)準(zhǔn)庫模 塊，您就可以使用您的應(yīng)用程序上傳這些庫。數(shù)據(jù)實(shí)體的結(jié)構(gòu)由應(yīng)用程序代碼提供和執(zhí)行。同一組的實(shí)體存儲在一起，以高效執(zhí)行事務(wù)。這樣便可以輕松實(shí)現(xiàn)您站點(diǎn)上僅管理員可訪問的區(qū)域。 ? 圖像操作 ： 圖像服務(wù)使您的應(yīng)用程序可以對圖像進(jìn)行操作。 ? 用戶 API： Google App Engine 的功能和帳號是集成的，因此用戶程序