【正文】 圖 16 SSTable 地址結(jié)構(gòu) ? 性能優(yōu)化 1）局部性 群組 ： Bigtable 允許用戶將原本并不存儲在一起的數(shù)據(jù)以列族為單位，根據(jù)需要組織在一個單獨的 SSTable 中，以構(gòu)成一個局部性群組。子表由 SSTable 和日志構(gòu)成，子表的地址為三層結(jié)構(gòu)，如圖 16 所示 。子表服務(wù)器在初始化 時從 Chubby 得到一個獨占鎖，子表服務(wù)器基本信息以此保存在 Chubby 的服務(wù)器目錄中，主服務(wù)器通過檢測這個目錄獲取最新的子表服務(wù)器信息，并定期向子表服務(wù)器詢問獨占鎖的狀態(tài)。Bigtable 主要由三部分組成：客戶端程序庫（ Client Library）、一個主服務(wù)器（ Master 32 Server）和多個子表服務(wù)器（ Tablet Server）。 Bigtable 對存儲在其中的數(shù)據(jù)不做任何解析，一律看做字符串，具體數(shù)據(jù)結(jié)構(gòu)的實現(xiàn)由用戶自行處理。 Chubby 31 的 基本架構(gòu)如圖所示。 ? 支持緩存機制： 通過一致性緩存將常用信息保存在客戶端，避免頻繁訪問主服務(wù)器。 Chubby 系統(tǒng)本質(zhì)上是一個分布式的、存儲大量小文件的文件系統(tǒng)，它所有的操作都是在文件的基礎(chǔ)上完成的， Chubby 的文件系統(tǒng)與 UNIX 類似。 MapReduce 操作的執(zhí)行流程如圖 11 所示。與傳統(tǒng)的分布式程序設(shè)計相比， MapReduce 封裝了并行處理、容錯處理、本地化計算、負(fù)載均衡等細(xì)節(jié)，還提供了一個簡單而強大的接口，可以把大尺度的計算自動地并發(fā)和分布執(zhí)行。通常與 POSIX 兼容的借口需要在操作系統(tǒng)內(nèi)核級實現(xiàn)，而 GFS 在應(yīng)用層實現(xiàn)。 4) 用戶臺下， Master 和 Chunk Server 都以進(jìn)程的方式運行，單個進(jìn)程不會影響到整個操作系統(tǒng)，從而可以對其進(jìn)行充分優(yōu)化。 GFS 文件系統(tǒng)將緩存的任務(wù)交給我本地文件系統(tǒng)，有本地文件系統(tǒng)實現(xiàn)緩存，減少了數(shù)據(jù)一致性的復(fù)雜度。 ? 采用中心服務(wù)器模式 中心服務(wù)器模式大大簡化了設(shè)計，降低了實現(xiàn)難度。這種設(shè)計實現(xiàn)了控制流和數(shù)據(jù)流的分離，降低了 Master 的負(fù)載。 Client 是 GFS 提供給應(yīng)用程序的訪問接口，一庫文件的形式提供。其中 GFS 提供了海量數(shù)據(jù)存儲和訪問的能力， MapReduce 使得海量信息的并行處理變得簡單易行， Chubby 保證了分布式環(huán)境下并發(fā)操作的同步問題， Bigtable使得海量數(shù)據(jù)的管理和組織十分方便。 ? 初始頁 ： 從同一位置訪問個人收件箱、日歷、文件和所需信息，并搜索網(wǎng)絡(luò) ? Page Creator： 管理員可輕松創(chuàng)建并發(fā)布網(wǎng)頁。 ? Google Talk： 免費的全球文字通信和語音通話。 試圖破壞或濫用配額（例如同時在多個帳戶上操作應(yīng)用程序）違反 服務(wù)條款 ，并可能導(dǎo)致應(yīng)用程序被禁用或帳戶 關(guān)閉。 26 服務(wù)限制的另一示例是查詢返回的結(jié)果數(shù)。 有些功能會施加與配額無關(guān)的限制，以保護(hù)系統(tǒng)的穩(wěn)定性。 每個開發(fā)人員帳戶最多可注冊 10 個應(yīng)用程序。您可以使用它創(chuàng)建新應(yīng)用程序、配置域名、更改您的應(yīng)用程序當(dāng)前的版本、檢查訪問權(quán)限和錯誤日志以及瀏覽應(yīng)用程序數(shù)據(jù)存儲區(qū)。 SDK 還包括用于運行開發(fā)服務(wù)器和上傳應(yīng)用程序的命令行工具?？梢栽谂f版本仍運行的同時在 App Engine 上測試新版本。創(chuàng)建了您的應(yīng)用程序的代碼、靜態(tài)文件和配置文件后，即可運行該工具上傳數(shù)據(jù)。 （ 8） 開發(fā)工作流 分別針對 Java 和 Python 的 App Engine 軟件開發(fā)工具包 (SDK) 包括可以 在您的本地計算機上模擬所有 App Engine 服務(wù)的網(wǎng)絡(luò)服務(wù)器應(yīng)用程序。 Google App 能夠 inede 數(shù)據(jù)庫 API 擁有一個用于定義數(shù)據(jù)模型的機制，用于描述試題類型。使用該 API，您可以對 JPEG 和 PNG 格式的圖像進(jìn)行縮放、裁剪、旋轉(zhuǎn)和翻轉(zhuǎn)。郵件服務(wù)使用 Google 基礎(chǔ)架構(gòu)發(fā)送電子郵件。 （ 7） App Engine 服務(wù) App Engine 提供了多種服務(wù)，從而可讓您在管理應(yīng)用程序的同時執(zhí)行常規(guī)操作。 Google 帳戶還省去只為您的應(yīng)用程序?qū)崿F(xiàn)用戶帳戶系統(tǒng)的麻煩。應(yīng)用程序可以在實體創(chuàng)建時將實 體分配到組。應(yīng)用程序可以在一個事務(wù)中執(zhí)行多項數(shù)據(jù)存儲區(qū)操作（全部成功或者全部失敗，從而確保數(shù)據(jù)的完整性）。 Java JDO/JPA 接口和 Python 數(shù)據(jù)存儲區(qū)接口包括用于在您的應(yīng)用程序內(nèi)應(yīng)用和執(zhí)行結(jié)構(gòu)的功能。查詢可以檢索按屬性值過濾和分類的指定種類的實體。 （ 5） 數(shù)據(jù)存儲區(qū) App Engine 提供了一個強大的分布式數(shù)據(jù)存儲服務(wù)，其中包含查詢引擎和事務(wù)功能。用 C 語言編寫的擴(kuò)展不受支持 。當(dāng)然，不是該庫的所有功能都可以在沙盒環(huán)境中運行。您還可以利用針對 Python 網(wǎng)絡(luò)應(yīng)用程序開發(fā)的多種成熟的庫和框架，例如 Django。 通常， Java 開發(fā)人員使用 Java 編程語言和 API 來實現(xiàn) JVM 的網(wǎng)絡(luò)應(yīng)用程序。應(yīng)用程序可使用 JavaMail API 通過 App Engine 郵件服務(wù)發(fā)送電子郵件。只要應(yīng)用程序不超過沙盒的限制，就可以使用任何 JVM 字節(jié)碼或庫功能。 （ 3） Java 運行時環(huán)境 可以使用常用 Java 網(wǎng)絡(luò)開發(fā)工具和 API 標(biāo)準(zhǔn)開發(fā)在 Java 運行時環(huán)境中運行的應(yīng)用程序。應(yīng)用程序只能讀取通過應(yīng)用程序代碼上傳的文件。沙盒將您的應(yīng)用程序隔離在它自己的安全可靠環(huán)境中，該環(huán)境與網(wǎng)絡(luò)服務(wù)器的硬件、操作系統(tǒng)和物理位置無關(guān)。各環(huán)境均為網(wǎng)絡(luò)應(yīng)用程序開發(fā)提供標(biāo)準(zhǔn)協(xié)議和常用技術(shù)。為您的應(yīng)用程序啟用付費后，您的免費配額將提高，您只需為使用的超過免費水平的資源付費。您的應(yīng)用程序使用的資源，如存儲空間和帶寬以千兆字節(jié)衡量，并以有競爭力的費率收費。 App Engine 還提供一個專用的 Python 運行時環(huán)境，該環(huán)境包括一個快速 Python 解釋器和 Python 標(biāo)準(zhǔn)庫。或者，您可以使用 域上的免費域名來為您的應(yīng)用程序提供服務(wù)。 Google App Engine 可讓您在 Google 的基礎(chǔ)架構(gòu)上運行您的網(wǎng)絡(luò) 20 應(yīng)用程序。您可以把注意力放在更重要的方面。 Amazon 自動地為數(shù)據(jù)編制索引，可以在任何時候任何地方訪問索引。SDB 當(dāng)前還不支持垮域查詢。它并不是傳統(tǒng)意義上的關(guān)系數(shù)據(jù)庫，而是一個高可用的模式 （采用了最終一致性數(shù)據(jù)模型） ，是云中的非結(jié)構(gòu)化數(shù)據(jù)存儲，可以使用它存儲和獲取包含鍵的值?？梢允褂? SQS 構(gòu)建松散耦合的系統(tǒng)；在這種系統(tǒng)中， EC2 實例可以通過向 SQS 發(fā)送消息相互通信并整合工作流。每個隊列可以有一個可配置的可見性超時周期，用來控制多個讀者對隊列的訪問。不需要安裝和配置任何東西。在 EC2 服務(wù)中，系統(tǒng)各模塊之間使用似有 IP 地址通信，而系統(tǒng)與外界使用公共IP 地址通信。 5）容錯性：彈性 IP 地址等機制。 Amazon 最近還引入了彈性 IP 地址的概念，彈性 IP 地址可以動態(tài)地分配給實例。您可以完全 控制在 Amazon 數(shù)據(jù)中心中運行的這個計算環(huán)境?？梢酝ㄟ^指定權(quán)限控制對實例的訪問。 這些實例基于 Linux，可以運行您需要的任何應(yīng)用程序或軟件。 Amazon 為 S3 提供的服務(wù)水平協(xié)議承諾 % 的正常運行時間，每月度量一次。 S3 的桶基本結(jié)構(gòu)圖如圖 6 所示。在創(chuàng)建 bucket （與操作系統(tǒng)中的文件夾概念相似）時，可以選擇對象的存儲位置。 對象是 S3 的基本存儲單元，包括數(shù)據(jù)和元數(shù)據(jù)，其中元數(shù)據(jù)存儲 的是對象數(shù)據(jù)內(nèi)容的附加描述信息，元數(shù)據(jù)通過一對鍵 值（ NameValued）集合來定義。相比傳統(tǒng)的集中式存儲系統(tǒng)， Dynamo 再設(shè)計之初就被定位為一個高可靠、高可用且具有良好容錯性的系統(tǒng)。并且，通過 AWS，你可以利用 的全球計算基礎(chǔ)設(shè)施，這些基礎(chǔ)設(shè)置為 的 150 億 $的零售業(yè)務(wù)和交易企業(yè)提供有效的支持。 也就是說，亞馬遜目前為開發(fā)者提供了存儲、計算、中間件和數(shù)據(jù)庫管理系統(tǒng)服務(wù) 。為了解決這些租用服務(wù)中的可靠性、靈活性、安全性等問題，亞馬遜不斷優(yōu)化其技術(shù)。 14 第 2 章 云計算 應(yīng)用 Amazon 作為一家 主營圖書的電子商務(wù) 零售企業(yè)， Amazon 在設(shè)計和規(guī)劃自身 IT 系統(tǒng)架構(gòu)的時候，不得不為了應(yīng)對 “圣誕節(jié)狂潮”這樣的 銷售峰值 而 購買 大量 的 IT設(shè)備。在云計算下，只要配備功能強大的瀏覽器，就能應(yīng)用各種業(yè)務(wù)。 云 計 算與移動 互聯(lián)網(wǎng) 相結(jié)合 云計算不久將成為移動世界中的一股爆破力量，最終會成為移動應(yīng)用的主導(dǎo)運行方式。 服務(wù)質(zhì)量保證 通過遠(yuǎn)程網(wǎng)絡(luò)訪問的應(yīng)用模式具有不可靠性。如果企業(yè)需要遵守業(yè)務(wù)交易及相關(guān)數(shù)據(jù)方面的全國或國際法規(guī)，用戶可能會覺得不放心。 云計算 存在的問題及 下一步技術(shù)發(fā)展趨勢 應(yīng)用及數(shù)據(jù)安全 包含用戶敏感信息的應(yīng)用系統(tǒng)部署在公共云上，可能存在安全隱患。傳統(tǒng)的超級計算機耗資巨大，遠(yuǎn)超過云計算系統(tǒng)。 Roadrunner超級計算機包含了 12960 個 IBM powerX cell 8 處理器及 6948 個分布于刀片服務(wù)器上的 AMD Opteron 芯片，分別安裝在 288 個 IBM bladeCenter 機架上。以模塊化方式向 SOA 過渡的機構(gòu)在把模塊遷移到云計算的之后將處于非常有利的地位。他指出， SOA 和云計算相互支持，但是，他們的思想基礎(chǔ)不一樣。 云計算與 SOA 微軟 開發(fā)平臺技術(shù)高級經(jīng)理 Steven Martin 說， SOA 的討論肯定將開始轉(zhuǎn)向云計算。 服務(wù)的方式 網(wǎng)格計算用執(zhí)行作業(yè)形式使用，在一個階段內(nèi)完成作用產(chǎn)生數(shù)據(jù)。 云計算從一開始就支持廣泛企業(yè)計算、Web 應(yīng)用，普適性更強 。 云計算除了把 計算資源作為能夠開啟關(guān)閉的公用事業(yè)來提供 外， 更進(jìn)一步 提供了效用計算，用來 支付在共享服務(wù)器上使用的服務(wù)，就好象支付公共事業(yè)一樣（比如電力、天然氣等）。 云計算 可看做 是 并行計算 (Parallel Computing)、分布式計算 (Distributed Computing)和 網(wǎng)格計算 (Grid Computing)的發(fā)展，或者說是這些計算機科學(xué)概念的商業(yè)實現(xiàn)。 MapReduce 這種編程模型不僅適用于云計算，在多核和多處理器、 cell processor 以及異構(gòu)機群上同樣具有良好的性能。 編程模式 為了使用戶能更輕松的享受云計算帶來的服務(wù)，讓用戶能利用該編程模型編寫簡單的程序來實現(xiàn)特定的目的，云計算上的編程模型必須十分簡單，必須保證后臺復(fù)雜的并行執(zhí)行和任務(wù)調(diào)度向用戶和編程人員透明。因此，云系統(tǒng)的數(shù)據(jù)管理往往采用數(shù)據(jù)庫領(lǐng)域中列存儲的數(shù)據(jù)管理模式。 數(shù)據(jù)管理技術(shù) 云計算系統(tǒng)對大數(shù)據(jù)集進(jìn)行處理、分析想用戶提供高效的服務(wù)。因此，云計算的數(shù)據(jù)存儲技術(shù)必須具有高吞吐量和高傳輸速率的特點。 云計算 關(guān)鍵技術(shù) 云計算是一種新型的超級計算方式，以數(shù)據(jù)位中心，是一種數(shù)據(jù)密集型的超級計算。 （ 4） 混合云。社區(qū)是指有共同訴求和追求的團(tuán)體（例如使命、安全要求、政策或合規(guī)性考慮等）。 可以是場內(nèi)服務(wù)（ onpremises ），也可以是場外服務(wù)（ offpremises） 。 另一個 示例是 Joyent，其主要產(chǎn)品是一系列虛擬化服務(wù)器，這些服務(wù)器提供運行網(wǎng)站的高度可擴(kuò)展的隨需應(yīng)變基礎(chǔ)設(shè)施，包括用 ruby on rails 、 PHP 、 Python 和 JAVA 編寫的豐富的 web 應(yīng)用程序。 亞馬遜的云計算產(chǎn)品總稱為 Amazon Web Service(亞馬遜網(wǎng)絡(luò)服務(wù) )，主要由4 部分組成，包括 S3(Simple Storage Service，簡單的存儲服務(wù) )、 EC2(Elastic Compute Cloud，可伸縮計算云 )、 SQS(Simple Queuing Service，簡單信息隊列服務(wù) )以及 SimpleDB。據(jù)國外媒體報道，該平臺提供的服務(wù)使其成為谷歌及甲骨文等公司的競爭對手， Suite 云平臺將包含一系列的新產(chǎn)品、開發(fā)工具和服務(wù)，包括新的 Suite 云開發(fā)網(wǎng)絡(luò) (SDN)，將專門面向獨立軟件開發(fā)商。 Windows Azure Platform與 Visual Studio 進(jìn)行了整合，支持一致性的開發(fā)經(jīng)驗。 是 的企業(yè)云計算平臺 。例如，一個內(nèi)容交換設(shè)備會將其所有組成軟件對客戶隱藏起來，而只向客戶提供用來配置和部署服務(wù)的一個 API 或 GUI。例如，開發(fā) PaaS 的人可能會使其以一組 Sun xVM 管理程序虛擬機為基礎(chǔ)，這組虛擬機包括一個 NetBeans 集成化開發(fā)環(huán)境、一個 Sun GlassFish Web 棧，并支持像 Perl 或 Ruby 這樣的其它編程語言?？蛻羲璧闹皇墙尤敕?wù)，在不再需要時可以簡單地取消服務(wù)。 Microsoft Online Services：包括 Windows Live、 Office Live、 Exchange Online、SharePoint Online、 Office Live Meeting、 Office Communications Online、 Exchange Hosted Services、 Dynamics CRM Online。貝尼奧夫創(chuàng)辦了 公司，并提出軟件即服務(wù)（ SaaS， Softwareasaserv