【正文】 這實際上就是數(shù)據(jù)庫中垂直分區(qū)技術(shù)的應(yīng)用。 Bigtable 使用了緩存和預(yù)取技術(shù)，子表地址被緩存在客戶端。 Bigtable將數(shù)據(jù)存儲劃分成兩塊，較新的數(shù)據(jù)存儲在內(nèi)存表中，較早的數(shù)據(jù)被壓縮成SSTable 格式保存在 GFS 中。 SSTable 文件都存儲在 GFS 上，通過鍵查詢。 ? 子表服務(wù)器 Bigtable 中實際的數(shù)據(jù)以子表的形式保存在子表服務(wù)器中，內(nèi)部數(shù)據(jù)存儲格式為 SSTable。當(dāng)新的子表產(chǎn)生式，主服務(wù)器通過一個加載命令將其分配給一個空間足夠的子表服務(wù)器?？蛻粼L問 Bigtable 服務(wù)時首先利用庫函數(shù)執(zhí)行 Open()操作打開一個鎖獲取目錄文件，然后和子表服務(wù)器進(jìn)行通信。 圖 14 Bigtable 存儲格式 圖 15 Bigtable 架構(gòu)圖 Bigtable 是構(gòu)建在另外三個云計算 組件之上的，基本架構(gòu)如圖 15 所示。 Bigtable 的存儲格式如圖 14 所示。 （ 4） 分布式結(jié)構(gòu)化數(shù)據(jù)表 Bigtable Bigtable 是一個分布式多為映射表，表中數(shù)據(jù)通過一個行關(guān)鍵字、列關(guān)鍵字和一個時間戳進(jìn)行索引?？蛻舳伺c主服務(wù)器之間通信靠 KeepAlive 握手協(xié)議來 維持。這些副本通過 quorum 機制選舉產(chǎn)生一個主服務(wù)器，并保證在一定時間內(nèi)有且僅有一個主服務(wù)器，這個時間被稱為主服務(wù)器租約期。 圖 12 Chubby 基本架構(gòu)圖 圖 13 Chubby 客戶端與服務(wù)器端的通信過程 Chubby 的客戶端與主服務(wù)器端通過遠(yuǎn)程過程調(diào)用（ RPC）來連接，客戶端的所有應(yīng)用通過調(diào)用 Chubby 程序庫中相關(guān)函數(shù)完成。 ? 服務(wù)信息的直接存儲： 可以直接存儲包括元數(shù)據(jù)、系統(tǒng)參數(shù)在內(nèi)的有關(guān)服務(wù)信息 ? 支持通報機制： 客戶及時地了解到事件的發(fā)生。 Chubby 的設(shè)計目標(biāo)有以下幾點： ? 高可用性和高可靠性： ? 高擴(kuò)展性： 將數(shù)據(jù)存儲在價格較為低廉的 RAM，支持大 規(guī)模用戶訪問文件。 Chubby 還可以作為一個穩(wěn)定的存儲系統(tǒng)存儲包括原數(shù)據(jù)在內(nèi)的小數(shù)據(jù)，同時 Google 內(nèi)部使用 Chubby 進(jìn)行名字服務(wù)（ Name Server）。 29 圖 11 MapReduce 操作流程圖 (3)分布式鎖服務(wù) Chubby Chubby 是 Google 設(shè)計的提供粗粒度鎖服務(wù)的一個文件系統(tǒng)，它基于松耦合分布式系統(tǒng)，解決了分布的一致性問題。一個 Map 函數(shù)就是對一部分原始數(shù)據(jù)進(jìn)行分發(fā)操作而一個 Reduce 操作就是對每個 Map 所產(chǎn)生的一部分中間結(jié)果進(jìn)行合并操作。 MapReduce 吧對數(shù)據(jù)集的大規(guī)模操作，分發(fā)給一個主節(jié)點管理下的各分節(jié)點共同完成，通過這種方式實現(xiàn)任務(wù)的可靠執(zhí)行與容錯機制。 （ 2）并行數(shù)據(jù)處理 MapReduce MapReduce 這種并行編程模式思想最早實在 1995 年提出的。 2) 專用接口可對應(yīng)用提供一些特殊 支持，如支持多個文件并發(fā)追加的接口。 ? 只提供專用接口 1) 降低了實現(xiàn)的難度。在內(nèi)核臺下，如果不能很好地掌握其特性，效率不但不會高，甚至還會影響到整個系統(tǒng)運行的穩(wěn)定性。 3) 用戶臺下有多種調(diào)試工具，而在內(nèi)核態(tài)中調(diào)試相對比較困難。 ? 在用戶態(tài)下實現(xiàn) 1) 在用戶臺下實現(xiàn)，直接利用操作系統(tǒng)提供的 POSIX 編程接口就可以存取數(shù)據(jù)，無需了解操作系統(tǒng)的內(nèi)部實現(xiàn)機制和接口，降低了實現(xiàn)的難度，并提高了通用性。 28 ? 不緩存數(shù)據(jù) 在云計算系統(tǒng)中，客戶端大部分是流式順序讀寫，并不存在大量的重復(fù)讀寫，緩存對系統(tǒng)整體性能的提高作用不大，反而會產(chǎn)生可能的一致性問題。 Master 管理了分布式文件系統(tǒng)中的所有元數(shù)據(jù)，解決了元數(shù)據(jù)的一致性問題，同時增加一個 Chunk Server 的難度降低了。具體來說，它具有以下幾個特點。GFS 系統(tǒng)架構(gòu)如圖 10 所示?？蛻舳嗽谠L問 GFS 時，首先訪問 Master 節(jié)點，獲取將要與之進(jìn)行交互的 Chunk Server 信息，然后直接訪問這些 Chunk Server 完成數(shù)據(jù)存取。 Master 是 GFS 的管理節(jié)點，在邏輯上只有一個，保存系統(tǒng)的元數(shù)據(jù)，負(fù)責(zé)整個文件系統(tǒng)的管理。 GFS 將整個系統(tǒng)的節(jié)點分為三類： Client（客戶端）、 Master（主服務(wù)器）和Chunk Server（數(shù)據(jù)塊服務(wù)器）。 27 （ 1） Google文件系統(tǒng) GFS Google 文件系統(tǒng)（ Google File System， GFS）是一個大型的分布式文件系統(tǒng)，位 于所有核心技術(shù)的底層。 Google 云計算技術(shù) Google 云計算技術(shù)具體包括： Google 文件系統(tǒng) GFS、分布式計算編程模型MapReduce、分布式鎖服務(wù) Chubby 和分布式結(jié)構(gòu)化數(shù)據(jù)存儲系統(tǒng) Bigtable 等。 （ 3） 管理您的服務(wù) ? 控制面板 ： 在線管理域和用戶帳戶。 ? Google Sites（英文版） ： 一站式共享團(tuán)隊信息。 ? Google 日歷 ： 使用可共享的日程安排來協(xié)調(diào)會議與學(xué)校的其他活動。 企業(yè)應(yīng)用套件主要包括以下功能： （ 1） 通信與聯(lián)系 ? Gmail： 為每個自定義電子郵件帳戶提供 GB 存儲空間的電子郵件、郵件搜索工具以及內(nèi)置的聊天功能。 有關(guān)配額列表和對配額系統(tǒng)的解釋，包括哪些配額可通過啟用付費來增加，請參閱 配額 。在這種情況下，執(zhí)行這種查詢的請求不可能在超時前返回請求，但限制仍存在以節(jié)省數(shù)據(jù)存儲區(qū)上的資源。一個查詢最多可返回 1,000 條結(jié)果。響應(yīng)超時是動態(tài)的，如果請 求處理程序經(jīng)常達(dá)到其超時，則可以縮短請求超時以節(jié)省資源。例如，當(dāng)調(diào)用某應(yīng)用程序以為網(wǎng)絡(luò)請求提供服務(wù)時，該應(yīng)用程序必須在 30 秒鐘內(nèi)發(fā)出響應(yīng)。您很快就能夠通過購買其他的資源來調(diào)整這些配額中的一些配額。 每個應(yīng)用程序在限制或 “配額 ”內(nèi)分配資源。當(dāng)您需要更多時 ，您可以啟用付費、設(shè)置每日最高預(yù)算，并根據(jù)您的需要分配每個資源的預(yù)算。 （ 9） 配額和限制 創(chuàng)建 App Engine 應(yīng)用程序不僅簡單，而且是免費的！您可以創(chuàng)建帳戶，然后發(fā)布一個用戶可以立即使用的應(yīng)用程序，無需承擔(dān)任何費用和責(zé)任。 管理控制臺 是基于網(wǎng)絡(luò)的接口，用于管理在 App Engine 上運行的應(yīng)用程序。 Python SDK 通過純 Python 實現(xiàn)，可以在裝有 Python 的任何平臺（包括 Windows、 Mac OS X 和 Linux）上運行。如果您使用 Eclipse 開發(fā)環(huán)境，您可以使用 Eclipse Google 插件 來創(chuàng)建、測試和上傳 App Engine 應(yīng)用程序。 Java SDK 在具有 Java 5 或 Java 6 的任何平臺上運行。在您改為使用新版本之前，舊版本可以繼續(xù)為用戶提供服務(wù)。該工具會提示您提供 Google 帳戶電子郵件地址和密碼。 SDK 還包括可將應(yīng)用程序上傳到 App Engine 的工具。每一 SDK 均包括 App Engine 中的所有 API 和庫。 ? 用戶 API： Google App Engine 的功能和帳號是集成的，因此用戶程序可以讓用戶使用他們自身的 Google 賬戶登錄。數(shù)據(jù)庫 API 提供兩種查詢接口：查 詢對象接口和 GQL 查詢語言。在 Google App Engine 中， Python 借口包含了數(shù)據(jù)建模和類似于 SQL 的一種查詢語言（ GQL），通過這些 API 和 GQL 查詢語言，可以極大的方便用戶開發(fā)可擴(kuò)展數(shù)據(jù)庫的應(yīng)用程序。 ? 計劃任務(wù) ： Cron 服 務(wù)允許您將任務(wù)計劃為按指定間隔運行。 ? 圖像操作 ： 圖像服務(wù)使您的應(yīng)用程序可以對圖像進(jìn)行操作。 ? Memcache： Memcache 服務(wù)為您的應(yīng)用程序提供了高性能的內(nèi)存鍵值緩存，您可通過應(yīng)用程序的多個實例訪問該緩存。 ? 郵件 ： 應(yīng)用程序可以使用 App Engine 的郵件服務(wù)發(fā)送電子郵件。提供了以下 API 以訪問這些服務(wù)： ? 網(wǎng)址抓取 ： 應(yīng)用程序可以使用 App Engine 的網(wǎng)址抓取服務(wù)訪問互聯(lián)網(wǎng)上的資源，例如網(wǎng)絡(luò)服務(wù)或其他數(shù)據(jù)。這樣便可以輕松實現(xiàn)您站點上僅管理員可訪問的區(qū)域。 24 如果您的應(yīng)用程序正在 Google 企業(yè)應(yīng)用套件下運行，則它可以與您組織的成員和 Google 企業(yè)應(yīng)用套件帳戶成員使用相同的功能。使用 Google 帳戶使用戶可以更快地開始使用您的應(yīng)用程序，因為用戶可以不需要創(chuàng)建新帳戶了。 （ 6） Google 帳戶 App Engine 支持將應(yīng)用程序與用于用戶驗證的 Google 帳戶集成。同一組的實體存儲在一起，以高效執(zhí)行事務(wù)。 數(shù)據(jù)存儲區(qū)通過其分布式網(wǎng)絡(luò)使用 “實體組 ”實現(xiàn)事務(wù)。如果有其他進(jìn)程嘗試更新某實體，而同時該實體位于以固定次數(shù)進(jìn)行重新嘗試的事務(wù)中，此時該實體將更新。您的應(yīng)用程序還可以直接訪問數(shù)據(jù)存儲區(qū)以根據(jù)需要應(yīng)用或多或少的結(jié)構(gòu)。數(shù)據(jù)實體的結(jié)構(gòu)由應(yīng)用程序代碼提供和執(zhí)行。屬性值可以是受支持的 屬性值類型 中的任何一種。數(shù)據(jù)對象（或 “實體 ”）有一類和一組屬性。就像分布式網(wǎng)絡(luò)服務(wù)器隨訪問量增加一樣，該分布式數(shù)據(jù)存儲區(qū)也會隨數(shù)據(jù)而增加。 只要其他第三方庫是使用純 Python 實現(xiàn)的并且不需要任何不受支持的標(biāo)準(zhǔn)庫模 塊，您就可以使用您的應(yīng)用程序上傳這些庫。 Python 環(huán)境為 數(shù)據(jù)存儲區(qū) 、 Google 帳戶 、 網(wǎng)址抓取 和 電子郵件 服務(wù)提供了豐富的 Python API。 為 Python 環(huán)境編寫的應(yīng)用程序代碼只能以 Python 編寫。例如，對嘗試打開套接字或向文件寫入的方法的調(diào)用將引發(fā)異常。 Python 環(huán)境包括 Python 標(biāo)準(zhǔn)庫 。 Python 運行時環(huán)境使用 Python 版。 App Engine 包括針對 Python 網(wǎng)絡(luò)應(yīng)用程序開發(fā)的豐富的 API 和工具，包括功能豐富的數(shù)據(jù)建模 API、易于使用的網(wǎng)絡(luò)應(yīng)用程序框架和用于管理和訪問您的應(yīng)用程序的數(shù)據(jù)的工具。通過使用 JVM 兼容的解譯器或解釋器，您還可以使用其他語言來開發(fā)網(wǎng)絡(luò)應(yīng)用程序，例如 JavaScript、 Ruby 或 Scala。請參閱有關(guān) 數(shù)據(jù)存儲區(qū) 、 memcache、 網(wǎng)址抓取 、 郵件 、 圖像 和 Google 帳戶 API 的文檔。 HTTP API 訪問 App Engine 網(wǎng)址抓取服務(wù)。對于 App Engine 數(shù)據(jù)存儲區(qū)， Java SDK 包括 Java 數(shù)據(jù)對象 (JDO) 和 Java 持久性 API (JPA) 接口的實現(xiàn)。例如，嘗試打開套接字或向文件寫入的字節(jié)碼將引發(fā)運行時異常。沙盒環(huán)境的限制在 JVM 中實現(xiàn)。您的應(yīng)用程序使用 Java Servlet 標(biāo)準(zhǔn) 和環(huán)境交互，并可以使用常用網(wǎng)絡(luò)應(yīng)用程序技術(shù)，例如 JavaServer 頁面 (JSP)。請求處理程序不能在響應(yīng)發(fā)送后生成子進(jìn)程或執(zhí)行代碼。該應(yīng)用程序必須使用 App Engine 數(shù)據(jù)存儲區(qū)、 memcache 或其他服務(wù)存儲所有在請求之間持續(xù)存在的數(shù)據(jù)。 22 ? 應(yīng)用程序無法向文件系統(tǒng)寫入。 安全沙盒環(huán)境的限制示例包括： ? 應(yīng)用程序只能通過提供的網(wǎng)址抓取以及電子郵件服務(wù)訪問互聯(lián)網(wǎng)中的其他計算機。 這些限制讓 App Engine 可以在多個服務(wù)器之間分發(fā)應(yīng)用程序的網(wǎng)絡(luò)請求，并可以啟動和停止服務(wù)器以滿足訪 問量需求。 （ 2） 沙盒 設(shè)和是 Google AppEngine 虛擬出的一個環(huán)境，類似于 PC 所使用的虛擬機。 App Engine 包括以下功能： ? 動態(tài)網(wǎng)絡(luò)服務(wù)，提供對常用網(wǎng)絡(luò)技術(shù)的完全支持 ? 持久存儲空間，支持查 詢、分類和事務(wù) ? 自動擴(kuò)展和負(fù)載平衡 ? 用于對用戶進(jìn)行身份驗證和使用 Google 帳戶發(fā)送電子郵件的 API ? 一種功能完整的本地開發(fā)環(huán)境，可以在您的計算機上模擬 Google App Engine ? 用于在指定時間和定期觸發(fā)事件的計劃任務(wù) 最開始 Google App Engine 只支持 Python 開發(fā)語言，現(xiàn)在用戶 的應(yīng)用程序可在以下兩個運行時環(huán)境之一中運行： Java 環(huán)境和 Python 環(huán)境。 Google App Engine 的架構(gòu)如圖 9 所示。所有應(yīng)用程序都可以使用多達(dá) 500 MB 的存儲空間，以及可支持每月約 500 萬頁面瀏覽量的足夠的 CPU 和帶寬，完全免費。您可以控制您的應(yīng)用程序可以消費的最大資源量，使其一直保持在預(yù)算范圍內(nèi)。沒有設(shè)置成本，也沒有重復(fù)的費用。 Java 和 Python 運行時環(huán)境構(gòu)建為確保應(yīng)用程序快速、安全運行，并不受系統(tǒng)上的其他應(yīng)用程序的干擾。通過 App Engine 的 Java 運行時環(huán)境，您可以使用標(biāo)準(zhǔn) Java 技術(shù)（包括 JVM、 Java servlet 和 Java 編程語言，或使用基于 JVM 的解釋器或解譯器的任何其他語言，例如JavaScript 或 Ruby）構(gòu)建應(yīng)用程序。您可以與全世界的人共享您的應(yīng)用程序，也可以限制為只有貴組織的成員可以訪問。 您可以使用 Google 企業(yè)應(yīng)用套件 通過自己的域名提供應(yīng)用程序。 App Engine 應(yīng)用程序易于構(gòu)建和維護(hù)，并可根據(jù)您的訪問量和數(shù)據(jù)存儲需要的增長輕松擴(kuò)展。 圖 8 AWS