【正文】 并不是傳統(tǒng)意義上的關(guān)系數(shù)據(jù)庫(kù)，而是一個(gè)高可用的模式 （采用了最終一致性數(shù)據(jù)模型） ，是云中的非結(jié)構(gòu)化數(shù)據(jù)存儲(chǔ)，可以使用它存儲(chǔ)和獲取包含鍵的值。每個(gè) 19 條目可以包含最多 256 個(gè)鍵 值對(duì)。SDB 當(dāng)前還不支持垮域查詢。 與傳統(tǒng)的關(guān)系型數(shù)據(jù)庫(kù)相比， SDB 無(wú)需預(yù)定義模式，單個(gè)屬性允許多個(gè)值，支持自動(dòng)索引， 維護(hù)比典型的數(shù)據(jù)庫(kù)簡(jiǎn)單得多，因?yàn)椴恍枰O(shè)置或配置任何東西。 Amazon 自動(dòng)地為數(shù)據(jù)編制索引，可以在任何時(shí)候任何地方訪問(wèn)索引。 然而 SDB 沒(méi)有事務(wù)（ Transaction）的概念，不支持連接（ join）操作，且返回的結(jié)果不支持排序操作。您可以把注意力放在更重要的方面。 AWS 服務(wù)的綜合使用如圖 8 所示。 Google App Engine 可讓您在 Google 的基礎(chǔ)架構(gòu)上運(yùn)行您的網(wǎng)絡(luò) 20 應(yīng)用程序。使用 Google App Engine，將不再需要維護(hù)服務(wù)器：您只需上傳您的應(yīng)用程序，它便可立即為您的用戶提供服務(wù)?；蛘?，您可以使用 域上的免費(fèi)域名來(lái)為您的應(yīng)用程序提供服務(wù)。 Google App Engine 支持以幾種編程語(yǔ)言編寫(xiě)的應(yīng)用程序。 App Engine 還提供一個(gè)專用的 Python 運(yùn)行時(shí)環(huán)境，該環(huán)境包括一個(gè)快速 Python 解釋器和 Python 標(biāo)準(zhǔn)庫(kù)。 圖 9 Google App Engine 架構(gòu)圖 21 在 App Engine 中，您只需為您使用的資源付費(fèi)。您的應(yīng)用程序使用的資源，如存儲(chǔ)空間和帶寬以千兆字節(jié)衡量，并以有競(jìng)爭(zhēng)力的費(fèi)率收費(fèi)。 可以免費(fèi)開(kāi)始使用 App Engine。為您的應(yīng)用程序啟用付費(fèi)后，您的免費(fèi)配額將提高，您只需為使用的超過(guò)免費(fèi)水平的資源付費(fèi)。 （ 1）應(yīng)用程序環(huán)境 通過(guò) Google App Engine，即使在負(fù)載很重和數(shù)據(jù)量極大的情況下，也可以輕松構(gòu)建能安全運(yùn)行的應(yīng)用程序。各環(huán)境均為網(wǎng)絡(luò)應(yīng)用程序開(kāi)發(fā)提供標(biāo)準(zhǔn)協(xié)議和常用技術(shù)。在這個(gè)環(huán)境中，用戶可以開(kāi)發(fā)使用自己的應(yīng)用程序，沙盒將開(kāi)發(fā)者開(kāi)發(fā)的應(yīng)用程序隔離在自身的安全可靠的環(huán)境中，該環(huán)境和網(wǎng)絡(luò)服務(wù)器的硬件、系統(tǒng)以及物理位置完全無(wú)關(guān)，并且沙盒僅提供開(kāi)發(fā)人員對(duì)基礎(chǔ)操作系統(tǒng)的有限訪問(wèn)權(quán)限。沙盒將您的應(yīng)用程序隔離在它自己的安全可靠環(huán)境中，該環(huán)境與網(wǎng)絡(luò)服務(wù)器的硬件、操作系統(tǒng)和物理位置無(wú)關(guān)。其他計(jì)算機(jī)只能通過(guò)在標(biāo)準(zhǔn)端口上進(jìn)行 HTTP（或 HTTPS）請(qǐng)求來(lái)連接至該應(yīng)用程序。應(yīng)用程序只能讀取通過(guò)應(yīng)用程序代碼上傳的文件。 ? 應(yīng)用程序代碼僅在 響應(yīng)網(wǎng)絡(luò)請(qǐng)求或 cron job 時(shí)運(yùn)行，且任何情況下必須在 30 秒鐘內(nèi)返回響應(yīng)數(shù)據(jù)。 （ 3） Java 運(yùn)行時(shí)環(huán)境 可以使用常用 Java 網(wǎng)絡(luò)開(kāi)發(fā)工具和 API 標(biāo)準(zhǔn)開(kāi)發(fā)在 Java 運(yùn)行時(shí)環(huán)境中運(yùn)行的應(yīng)用程序。 該環(huán)境包括 Java SE 運(yùn)行時(shí)環(huán)境 (JRE) 6 平臺(tái) 和庫(kù)。只要應(yīng)用程序不超過(guò)沙盒的限制，就可以使用任何 JVM 字節(jié)碼或庫(kù)功能。 您的應(yīng)用程序使用 Java 標(biāo)準(zhǔn) API 來(lái)訪 問(wèn)大多數(shù) App Engine 服務(wù)。應(yīng)用程序可使用 JavaMail API 通過(guò) App Engine 郵件服務(wù)發(fā)送電子郵件。 App Engine 還包括低級(jí) API 以使用其服務(wù)實(shí)現(xiàn)額外適配器或直接從應(yīng)用程序使用。 通常， Java 開(kāi)發(fā)人員使用 Java 編程語(yǔ)言和 API 來(lái)實(shí)現(xiàn) JVM 的網(wǎng)絡(luò)應(yīng)用程序。 （ 4） Python 運(yùn)行時(shí)環(huán)境 通過(guò) App Engine 的 Python 運(yùn)行時(shí)環(huán)境，您可以使用 Python 編程語(yǔ)言實(shí)現(xiàn)應(yīng)用程序，并在優(yōu)化的 Python 解釋器上運(yùn)行。您還可以利用針對(duì) Python 網(wǎng)絡(luò)應(yīng)用程序開(kāi)發(fā)的多種成熟的庫(kù)和框架，例如 Django。將 在未來(lái)版本中考慮對(duì)于 Python 3 的額外支持。當(dāng)然，不是該庫(kù)的所有功能都可以在沙盒環(huán)境中運(yùn)行。 23 為方便起見(jiàn)，主要功能不受該運(yùn)行時(shí)環(huán)境支持的標(biāo)準(zhǔn)庫(kù)中的多個(gè)模塊已被禁用，而導(dǎo)入這些模塊的代碼將引發(fā)錯(cuò)誤。用 C 語(yǔ)言編寫(xiě)的擴(kuò)展不受支持 。 App Engine 還提供了一個(gè)稱為 webapp 的簡(jiǎn)單 Python 網(wǎng)絡(luò)應(yīng)用程序框架，從而可以輕松開(kāi)始構(gòu)建應(yīng)用程序。 （ 5） 數(shù)據(jù)存儲(chǔ)區(qū) App Engine 提供了一個(gè)強(qiáng)大的分布式數(shù)據(jù)存儲(chǔ)服務(wù)，其中包含查詢引擎和事務(wù)功能。 該 App Engine 數(shù)據(jù)存儲(chǔ)區(qū)與傳統(tǒng)關(guān)系數(shù)據(jù)庫(kù)不同。查詢可以檢索按屬性值過(guò)濾和分類的指定種類的實(shí)體。 數(shù)據(jù)存儲(chǔ)區(qū)實(shí)體是 “無(wú)架構(gòu) ”的。 Java JDO/JPA 接口和 Python 數(shù)據(jù)存儲(chǔ)區(qū)接口包括用于在您的應(yīng)用程序內(nèi)應(yīng)用和執(zhí)行結(jié)構(gòu)的功能。 數(shù)據(jù)存儲(chǔ)區(qū)高度 一致 并使用 樂(lè)觀并發(fā)控制 。應(yīng)用程序可以在一個(gè)事務(wù)中執(zhí)行多項(xiàng)數(shù)據(jù)存儲(chǔ)區(qū)操作（全部成功或者全部失敗，從而確保數(shù)據(jù)的完整性）。一個(gè)事務(wù)操作一個(gè)組內(nèi)的實(shí)體。應(yīng)用程序可以在實(shí)體創(chuàng)建時(shí)將實(shí) 體分配到組。應(yīng)用程序使用戶可以通過(guò) Google 帳戶登錄，并可以訪問(wèn)與該帳戶關(guān)聯(lián)的電子郵件地址和可顯示的名稱。 Google 帳戶還省去只為您的應(yīng)用程序?qū)崿F(xiàn)用戶帳戶系統(tǒng)的麻煩。 用戶 API 還可告知應(yīng)用程序當(dāng)前用戶是否是應(yīng)用程序的注冊(cè)管理員。 （ 7） App Engine 服務(wù) App Engine 提供了多種服務(wù)，從而可讓您在管理應(yīng)用程序的同時(shí)執(zhí)行常規(guī)操作。網(wǎng)址抓取服務(wù)使用檢索許多其他 Google 產(chǎn)品的網(wǎng)頁(yè)的高速 Google 基礎(chǔ)架構(gòu)來(lái)檢索網(wǎng)絡(luò)資源。郵件服務(wù)使用 Google 基礎(chǔ)架構(gòu)發(fā)送電子郵件。 Memcache 對(duì)于那些不需要數(shù)據(jù)存儲(chǔ)區(qū)的持久性存儲(chǔ)和事務(wù)功能的數(shù)據(jù)（例如臨時(shí)數(shù)據(jù)或從數(shù)據(jù)存儲(chǔ)區(qū)復(fù)制到緩存以進(jìn)行高速訪問(wèn)的數(shù)據(jù)）很有用。使用該 API，您可以對(duì) JPEG 和 PNG 格式的圖像進(jìn)行縮放、裁剪、旋轉(zhuǎn)和翻轉(zhuǎn)。 ? 數(shù)據(jù)庫(kù) API： Google App Engine 的數(shù)據(jù)庫(kù)使用了簡(jiǎn)單的 API 來(lái)為童虎提供查詢引擎和事務(wù)存儲(chǔ)服務(wù)，并且這些服務(wù)都運(yùn)行在 Google 的可擴(kuò)展結(jié)構(gòu)上。 Google App 能夠 inede 數(shù)據(jù)庫(kù) API 擁有一個(gè)用于定義數(shù)據(jù)模型的機(jī)制，用于描述試題類型。查詢結(jié)果一 Model 類的實(shí)例形式返回尸體，并且 Model嘞可以被修改并且放到數(shù)據(jù)庫(kù)中。 （ 8） 開(kāi)發(fā)工作流 分別針對(duì) Java 和 Python 的 App Engine 軟件開(kāi)發(fā)工具包 (SDK) 包括可以 在您的本地計(jì)算機(jī)上模擬所有 App Engine 服務(wù)的網(wǎng)絡(luò)服務(wù)器應(yīng)用程序。該網(wǎng)絡(luò)服務(wù)器還可以模擬安全沙 25 盒環(huán)境，包括檢查是否嘗試訪問(wèn)在 App Engine 運(yùn)行時(shí)環(huán)境下不允許的系統(tǒng)資源。創(chuàng)建了您的應(yīng)用程序的代碼、靜態(tài)文件和配置文件后，即可運(yùn)行該工具上傳數(shù)據(jù)。 構(gòu)建已在 App Engine 上運(yùn)行的應(yīng)用程序的新發(fā)行版 時(shí)，可以將新發(fā)行版作為新版本上傳?？梢栽谂f版本仍運(yùn)行的同時(shí)在 App Engine 上測(cè)試新版本。 SDK 以 Zip 文件提供。 SDK 還包括用于運(yùn)行開(kāi)發(fā)服務(wù)器和上傳應(yīng)用程序的命令行工具。該 SDK 以 Zip 文件形式提供，對(duì)于 Windows 和 Mac OS X 還提供安裝程序。您可以使用它創(chuàng)建新應(yīng)用程序、配置域名、更改您的應(yīng)用程序當(dāng)前的版本、檢查訪問(wèn)權(quán)限和錯(cuò)誤日志以及瀏覽應(yīng)用程序數(shù)據(jù)存儲(chǔ)區(qū)。通過(guò)免費(fèi)帳戶發(fā)布的應(yīng)用程序可使用多達(dá) 500MB 的存儲(chǔ)空間和多達(dá)每月 500 萬(wàn)次的頁(yè)面瀏覽量。 每個(gè)開(kāi)發(fā)人員帳戶最多可注冊(cè) 10 個(gè)應(yīng)用程序。配額決定應(yīng)用程序在一個(gè)日歷天中可以使用的給定資源的量。 有些功能會(huì)施加與配額無(wú)關(guān)的限制，以保護(hù)系統(tǒng)的穩(wěn)定性。如果該應(yīng)用程序花費(fèi)的時(shí)間過(guò)長(zhǎng)，則進(jìn)程會(huì)被終止并且服務(wù)器將向用戶返回錯(cuò)誤代碼。 26 服務(wù)限制的另一示例是查詢返回的結(jié)果數(shù)。本該返回更多結(jié)果的查詢只能返回該最大值。 試圖破壞或?yàn)E用配額（例如同時(shí)在多個(gè)帳戶上操作應(yīng)用程序）違反 服務(wù)條款 ，并可能導(dǎo)致應(yīng)用程序被禁用或帳戶 關(guān)閉。 Google Apps Google 企業(yè)應(yīng)用套件有助于全面提升企業(yè)的運(yùn)作效率。 ? Google Talk： 免費(fèi)的全球文字通信和語(yǔ)音通話。 （ 2） 協(xié)作與發(fā)布 ? Google 文檔 ： 創(chuàng)建并共享文檔，實(shí)現(xiàn)實(shí)時(shí)協(xié)作。 ? 初始頁(yè) ： 從同一位置訪問(wèn)個(gè)人收件箱、日歷、文件和所需信息，并搜索網(wǎng)絡(luò) ? Page Creator： 管理員可輕松創(chuàng)建并發(fā)布網(wǎng)頁(yè)。 ? API 延展 ： 與現(xiàn)有的 IT 系統(tǒng)或第三方解決方案集成。其中 GFS 提供了海量數(shù)據(jù)存儲(chǔ)和訪問(wèn)的能力， MapReduce 使得海量信息的并行處理變得簡(jiǎn)單易行， Chubby 保證了分布式環(huán)境下并發(fā)操作的同步問(wèn)題， Bigtable使得海量數(shù)據(jù)的管理和組織十分方便。 GFS 使用廉價(jià)的商用機(jī)器構(gòu)建分布式文件系統(tǒng)，將容錯(cuò)任務(wù)交由文件系統(tǒng)來(lái)完成，利用軟件的方法解決系統(tǒng)可靠性問(wèn)題，這樣可以使得存儲(chǔ)的成本成倍下降。 Client 是 GFS 提供給應(yīng)用程序的訪問(wèn)接口，一庫(kù)文件的形式提供。 Chunk Server 負(fù)責(zé)具體的存儲(chǔ)工作，它的數(shù)目直接決定了 GFS 的規(guī)模。這種設(shè)計(jì)實(shí)現(xiàn)了控制流和數(shù)據(jù)流的分離，降低了 Master 的負(fù)載。 圖 10 GFS 系統(tǒng)架構(gòu)圖 GFS 的系統(tǒng)管理技術(shù)包括： ? 大規(guī)模集群安裝技術(shù) ? 故障檢測(cè)技術(shù) ? 節(jié)點(diǎn)動(dòng)態(tài)加入技術(shù) ? 節(jié)能技術(shù) 相對(duì)于傳統(tǒng) 的分布式文件系統(tǒng)， GFS 針對(duì) Google 應(yīng)用的特點(diǎn)多方面進(jìn)行了簡(jiǎn)化，從而在一定規(guī)模下達(dá)到成本、可靠性、性能的最佳平衡。 ? 采用中心服務(wù)器模式 中心服務(wù)器模式大大簡(jiǎn)化了設(shè)計(jì)，降低了實(shí)現(xiàn)難度。但是中心服務(wù)器模型使得 Master 極易成為系統(tǒng)性能 和可靠性上的瓶頸。 GFS 文件系統(tǒng)將緩存的任務(wù)交給我本地文件系統(tǒng)，有本地文件系統(tǒng)實(shí)現(xiàn)緩存，減少了數(shù)據(jù)一致性的復(fù)雜度。 2) POSIX 接口提供的功能更為豐富，在實(shí)現(xiàn)過(guò)程中可以利用更多的特性，而不像內(nèi)核變成那樣首先。 4) 用戶臺(tái)下， Master 和 Chunk Server 都以進(jìn)程的方式運(yùn)行，單個(gè)進(jìn)程不會(huì)影響到整個(gè)操作系統(tǒng)，從而可以對(duì)其進(jìn)行充分優(yōu)化。 5) 用戶臺(tái)下， GFS 和操作系統(tǒng)運(yùn)行在不同的空間，兩者耦合性降低，從而方便 GFS 自身和內(nèi)核的單獨(dú)升級(jí)。通常與 POSIX 兼容的借口需要在操作系統(tǒng)內(nèi)核級(jí)實(shí)現(xiàn)，而 GFS 在應(yīng)用層實(shí)現(xiàn)。 3) 專用接口直接和 Client、 Master、 Chunk Server 交互，減少了操作系統(tǒng)之間上下文的切換，降低了復(fù)雜度，提高了效率。與傳統(tǒng)的分布式程序設(shè)計(jì)相比， MapReduce 封裝了并行處理、容錯(cuò)處理、本地化計(jì)算、負(fù)載均衡等細(xì)節(jié)，還提供了一個(gè)簡(jiǎn)單而強(qiáng)大的接口，可以把大尺度的計(jì)算自動(dòng)地并發(fā)和分布執(zhí)行。 MapeReduce操作 which 由 M 個(gè) Map 操作和 R 各 Reduce 操作一起完成的。 MapReduce 操作的執(zhí)行流程如圖 11 所示。 GFS 使用 Chubby 來(lái)選取一個(gè) GFS 主服務(wù)器， Bigtable 使用 Chubby 指定一個(gè)主服務(wù)器并發(fā)現(xiàn)、控制與其相關(guān)的字表服務(wù)器。 Chubby 系統(tǒng)本質(zhì)上是一個(gè)分布式的、存儲(chǔ)大量小文件的文件系統(tǒng)，它所有的操作都是在文件的基礎(chǔ)上完成的， Chubby 的文件系統(tǒng)與 UNIX 類似。 30 支持粗粒度的簡(jiǎn)易型鎖服務(wù)：建議性的粗粒度鎖服務(wù)在用戶訪問(wèn)某個(gè)被鎖定的文件時(shí)不會(huì)阻止，且持有鎖的時(shí)間較長(zhǎng)，減少頻繁換鎖帶來(lái)的系統(tǒng)開(kāi)銷，提高了系統(tǒng)的性能。 ? 支持緩存機(jī)制： 通過(guò)一致性緩存將常用信息保存在客戶端，避免頻繁訪問(wèn)主服務(wù)器。服務(wù)器端由五個(gè)副本構(gòu)成一 Chubby 單元。 Chubby 31 的 基本架構(gòu)如圖所示。通信過(guò)程如圖所示。 Bigtable 對(duì)存儲(chǔ)在其中的數(shù)據(jù)不做任何解析，一律看做字符串，具體數(shù)據(jù)結(jié)構(gòu)的實(shí)現(xiàn)由用戶自行處理。 Bigtable 不支持一般意義上的事務(wù)，表中數(shù)據(jù)根據(jù)行關(guān)鍵字排序，使用詞典序；列關(guān)鍵字被組織成列族，族是 Bigtable 訪問(wèn)控制的基本單元；不同版本的數(shù)據(jù)通過(guò)時(shí)間戳來(lái)區(qū)分。Bigtable 主要由三部分組成：客戶端程序庫(kù)（ Client Library）、一個(gè)主服務(wù)器（ Master 32 Server）和多個(gè)子表服務(wù)器（ Tablet Server）。 ? 主服務(wù)器 主服務(wù)器 主要進(jìn)行元數(shù)據(jù)的操作以及子表服務(wù)器之間的負(fù)載調(diào)度問(wèn)題，幾乎不與客戶端進(jìn)行通信。子表服務(wù)器在初始化 時(shí)從 Chubby 得到一個(gè)獨(dú)占鎖，子表服務(wù)器基本信息以此保存在 Chubby 的服務(wù)器目錄中，主服務(wù)器通過(guò)檢測(cè)這個(gè)目錄獲取最新的子表服務(wù)器信息，并定期向子表服務(wù)器詢問(wèn)獨(dú)占鎖的狀態(tài)。 SSTable 中的數(shù)據(jù)被劃分成塊（ Block），在 SSTable 的結(jié)尾有一個(gè)索引，保存 SStable 中塊的位置信息。子表由 SSTable 和日志構(gòu)成，子表的地址為三層結(jié)構(gòu)，如圖 16 所示 。數(shù)據(jù)壓縮氛圍此壓縮、合并壓縮、主壓縮三種壓縮形式。 圖 16 SSTable 地址結(jié)構(gòu) ? 性能優(yōu)化 1）局部性 群組 ： Bigtable 允許用戶將原本并不存儲(chǔ)在一起的數(shù)據(jù)以列族為單位，根據(jù)需要組織在一個(gè)單獨(dú)的 SSTable 中，以構(gòu)成一個(gè)局部性群組。 2）壓縮 33 3）布隆過(guò)濾器 ：這是一個(gè)很