【文章內(nèi)容簡(jiǎn)介】 隨機(jī)讀速率是未來(lái)數(shù)據(jù)管理技術(shù)必須解決的問(wèn)題。云計(jì)算的數(shù)據(jù)管理技術(shù)最著名的是谷歌的 BigTable數(shù)據(jù)管理技術(shù)，同時(shí) Hadoop開(kāi)發(fā)團(tuán)隊(duì)已開(kāi)發(fā)出類似 BigTable的開(kāi)源數(shù)據(jù)管理模塊。 第 10章 云計(jì)算 4．分布式編程與計(jì)算 為了使用戶能更輕松的享受云計(jì)算帶來(lái)的服務(wù)，讓用戶能利用該編程模型編寫簡(jiǎn)單的程序來(lái)實(shí)現(xiàn)特定的目的，云計(jì)算上的編程模型必須十分簡(jiǎn)單。必須保證后臺(tái)復(fù)雜的并行執(zhí)行和任務(wù)調(diào)度向用戶和編程人員透明。當(dāng)前各 IT廠商提出的“云”計(jì)劃的編程工具均基于 MapReduce的編程模型。 第 10章 云計(jì)算 典型云計(jì)算系統(tǒng)簡(jiǎn)介 Amazon云計(jì)算基礎(chǔ)架構(gòu)平臺(tái) 目前，最受歡迎的云計(jì)算平臺(tái)是 Amazon Web Services(AWS)，在云上最受歡迎的數(shù)據(jù)庫(kù)是 MySQL。盡管Amazon在 2022年就已經(jīng)開(kāi)始著手 AWS，并從那時(shí)已使許多新的計(jì)算服務(wù)，包括基礎(chǔ)架構(gòu)、電子商務(wù)和 Web信息服務(wù)變得可用，然而我們希望繼續(xù)集中部署這些與 MySQL最相關(guān)的內(nèi)容，如 Elastic Computing Cloud(EC2，彈性計(jì)算云 )，Simple Storage Service(S3，簡(jiǎn)便存儲(chǔ)服務(wù) )和 Elastic Block Store (EBS，持久存儲(chǔ) )。針對(duì)這些服務(wù)，開(kāi)發(fā)人員可以使用Web服務(wù)、具體的 REST和 SOAP協(xié)議訪問(wèn)。 第 10章 云計(jì)算 Amazon EC2和 MySQL，對(duì)于一個(gè)想減少資金花費(fèi)和運(yùn)營(yíng)成本，同時(shí)以最小的成本和投入來(lái)動(dòng)態(tài)擴(kuò)展其應(yīng)用的機(jī)構(gòu)來(lái)說(shuō)，是相當(dāng)適合的。亞馬遜 Amazon EC2上訂閱一個(gè) MySQL Enterprise，開(kāi)發(fā)人員充分依托 MySQL數(shù)據(jù)庫(kù)專家，可以在云上更具成本效益地交付 Webscale數(shù)據(jù)庫(kù)應(yīng)用。 第 10章 云計(jì)算 1． Amazon彈性計(jì)算云 (EC2) Amazon EC2服務(wù)開(kāi)始于 2022年，在 2022年變得普遍廣泛可用。 EC2使得亞馬遜云能夠動(dòng)態(tài)擴(kuò)展計(jì)算能力。它使開(kāi)發(fā)人員更容易交付 Webscale應(yīng)用。亞馬遜云計(jì)算能夠忽略硬件，取而代之的是當(dāng)需求增加時(shí)，可以使用 (或不使用 )額外的虛擬硬件。支撐 EC2服務(wù)的是 Xen虛擬技術(shù)。 Xen是開(kāi)源軟件，它允許操作系統(tǒng) (如 Linux、 Windows或者 Solaris)作為“虛擬機(jī)器”，并同時(shí)運(yùn)行在相同的硬件上。使用 Xen時(shí)， EC2可以快速提供客戶虛擬服務(wù)器的規(guī)格說(shuō)明書，定制硬件特性，如 CPU數(shù)、內(nèi)存和軟件容錯(cuò)。 第 10章 云計(jì)算 2． Amazon簡(jiǎn)單存儲(chǔ)服務(wù) (S3) Amazon也發(fā)行了 S3，它可提供在線存儲(chǔ) Web服務(wù)。 S3給開(kāi)發(fā)人員提供一個(gè)簡(jiǎn)單、安全、本質(zhì)上擁有無(wú)限能力的連續(xù)在線存儲(chǔ)。 S3可以被看成在“云”上的一個(gè)很大的磁盤驅(qū)動(dòng)或一個(gè) SAN。和帶寬的收費(fèi)模式一樣， Amazon對(duì)最終用戶按每 GB存儲(chǔ)收費(fèi)，并且當(dāng)存儲(chǔ)和檢索 S3數(shù)據(jù)時(shí)要求收費(fèi)。用 S3可以存儲(chǔ)和獲得 Amazon認(rèn)為是對(duì)象的無(wú)組織的數(shù)據(jù)。亞馬遜存儲(chǔ)如圖 。 第 10章 云計(jì)算 圖 亞馬遜存儲(chǔ) 第 10章 云計(jì)算 這些對(duì)象可以是擁有 2 KB相關(guān)元數(shù)據(jù)，而這些對(duì)象又可以存放在 1 B到 5 GB范圍內(nèi)的任何地方。 S3里沒(méi)有目錄或文件名，對(duì)象存儲(chǔ)在“ Buckets”當(dāng)中，并由開(kāi)發(fā)人員通過(guò)預(yù)設(shè)的唯一鍵進(jìn)行檢索。 Buckets和其內(nèi)部包含的對(duì)象存儲(chǔ)在兩個(gè)不同的物理區(qū)域中，但是它們可以從任何地方訪問(wèn)。使用一個(gè)REST和 SOAP接口，開(kāi)發(fā)人員可以創(chuàng)建、列出和檢索 Buckets和對(duì)象，同時(shí)可以通過(guò) GET接口或者 BitTorrent協(xié)議下載亞馬遜 Web MySQL。 第 10章 云計(jì)算 3． Amazon持久存儲(chǔ) (EBS) EBS在 2022年開(kāi)始運(yùn)營(yíng)時(shí)，是 Amazon EC2最令人期待的特性之一。在 EBS之前， EC2存儲(chǔ)是和本地實(shí)例聯(lián)系在一起的，這就意味著如果 EC2實(shí)例被破壞，本地實(shí)例上存儲(chǔ)的數(shù)據(jù)就變得不可用了。為了解決該問(wèn)題， Amazon創(chuàng)建了 EBS，提供塊級(jí)水平存儲(chǔ)容量，其可以不考慮 EC2實(shí)例的狀態(tài)。對(duì)于開(kāi)發(fā)人員，EBS Volume的出現(xiàn)作為標(biāo)準(zhǔn)的塊機(jī)制，其大小從 1 GB變化到 1 TB。指定機(jī)制名稱和塊機(jī)制接口以后，用戶可以配置一個(gè)他們選擇的 EBS Volume 的文件系統(tǒng)。 第 10章 云計(jì)算 1) 在 Amazon EC2上部署 MySQL 在 EC2上開(kāi)始 MySQL是很簡(jiǎn)單的，亞馬遜 Web MySQL如圖 。首先，假定已經(jīng)設(shè)置了 Amazon賬號(hào)，可以從 Amazon AMI目錄使用一個(gè)已存在的 AMI預(yù)設(shè)置 MySQL，或者使用自己的 Amazon SDK創(chuàng)建。用戶還可以從其他的資源獲得可用的“模板化” AMI圖形。其次，一旦做了任何配置，為了再次使用和安全保存，應(yīng)該上傳用戶的 AMI到 S3。 最后，選擇想部署的 EC2實(shí)例，配置安全和網(wǎng)絡(luò)控制。 第 10章 云計(jì)算 圖 亞馬遜 Web MySQL 第 10章 云計(jì)算 2) 亞馬遜 Web Server 亞馬遜 Web Server如圖 。用于 Amazon EC2上的MySQL Enterprise是基于支持而提供的訂閱，使得開(kāi)發(fā)人員可以低成本地在云上交付 Web擴(kuò)展數(shù)據(jù)庫(kù)應(yīng)用，在云上使用世界上最受歡迎的開(kāi)源數(shù)據(jù)庫(kù)。在 Amazon EC2上使用MySQL Enterprise的好處包括：可利用 MySQL的可靠性、高性能和易用性，可在云上交付大量的可擴(kuò)展的 Web應(yīng)用；使用 MySQL Replication進(jìn)行主從數(shù)據(jù)庫(kù)復(fù)制、切換和備份，實(shí)現(xiàn)高可用性應(yīng)用。 第 10章 云計(jì)算 圖 亞馬遜 Web Server 第 10章 云計(jì)算 Google云計(jì)算應(yīng)用平臺(tái) Google的云計(jì)算技術(shù)實(shí)際上是針對(duì) Google特定的網(wǎng)絡(luò)應(yīng)用程序而定制的。針對(duì)內(nèi)部網(wǎng)絡(luò)數(shù)據(jù)規(guī)模超大的特點(diǎn)，Google提出了一整套基于分布式并行集群方式的基礎(chǔ)架構(gòu)，利用軟件的能力來(lái)處理集群中經(jīng)常發(fā)生的節(jié)點(diǎn)失效問(wèn)題。 第 10章 云計(jì)算 從 2022年開(kāi)始， Google連續(xù)幾年在計(jì)算機(jī)系統(tǒng)研究領(lǐng)域的頂級(jí)會(huì)議與雜志上發(fā)表論文，揭示了其內(nèi)部的分布式數(shù)據(jù)處理方法，向外界展示其使用的云計(jì)算核心技術(shù)。從其近幾年發(fā)表的論文來(lái)看， Google使用的云計(jì)算基礎(chǔ)架構(gòu)模式包括四個(gè)相互獨(dú)立又緊密結(jié)合在一起的系統(tǒng)，即建立在集群之上的 Google文件系統(tǒng) (Google File System， GFS)，針對(duì) Google應(yīng)用程序的特點(diǎn)提出的 Map/Reduce分布式編程環(huán)境，分布式的鎖機(jī)制 Chubby以及 Google開(kāi)發(fā)的模型簡(jiǎn)化的大規(guī)模分布式數(shù)據(jù)庫(kù)管理系統(tǒng) BigTable。 第 10章 云計(jì)算 1． Google文件系統(tǒng) 為了滿足 Google迅速增長(zhǎng)的數(shù)據(jù)處理需求， Google設(shè)計(jì)并實(shí)現(xiàn)了 Google文件系統(tǒng) (GFS)。 GFS與過(guò)去的分布式文件系統(tǒng)擁有許多相同的目標(biāo)，例如高性能、可伸縮性、可靠性以及可用性。然而，它的設(shè)計(jì)還受到 Google應(yīng)用負(fù)載和技術(shù)環(huán)境的影響，主要體現(xiàn)在以下四個(gè)方面： (1) 集群中的節(jié)點(diǎn)失效是一種常態(tài)，而不是一種異常。由于參與運(yùn)算與處理的節(jié)點(diǎn)數(shù)目非常龐大，通常會(huì)使用上千個(gè)節(jié)點(diǎn)進(jìn)行共同計(jì)算，因此，每時(shí)每刻總會(huì)有節(jié)點(diǎn)處在失效狀態(tài)。需要通過(guò)軟件程序模塊，監(jiān)視系統(tǒng)的動(dòng)態(tài)運(yùn)行狀況，偵測(cè)錯(cuò)誤，并且將容錯(cuò)以及自動(dòng)恢復(fù)系統(tǒng)集成在系統(tǒng)中。 第 10章 云計(jì)算 (2)? Google系統(tǒng)中的文件大小與通常文件系統(tǒng)中的文件大小的概念不一樣，文件大小通常以 GB計(jì)。另外，文件系統(tǒng)中的文件含義與通常文件的不同，一個(gè)大文件可能包含大量數(shù)目的通常意義上的小文件。所以，設(shè)計(jì)預(yù)期和參數(shù) (例如I/O操作和塊尺寸 )都要重新考慮。 (3)? Google文件系統(tǒng)中的文件讀寫模式和傳統(tǒng)的文件系統(tǒng)不同。在 Google應(yīng)用 (如搜索 )中對(duì)大部分文件的修改，不是覆蓋原有數(shù)據(jù)，而是在文件尾追加新數(shù)據(jù)，對(duì)文件的隨機(jī)寫是幾乎不存在的。對(duì)于這類巨大文件的訪問(wèn)模式，客戶端對(duì)數(shù)據(jù)塊緩存失去了意義，追加操作成為性能優(yōu)化和原子性(把一個(gè)事務(wù)看做是一個(gè)程序，它要么被完整地執(zhí)行，要么完全不執(zhí)行 )保證的焦點(diǎn)。 第 10章 云計(jì)算 (4) 文件系統(tǒng)的某些具體操作不再透明，而且需要應(yīng)用程序的協(xié)助完成，應(yīng)用程序和文件系統(tǒng) API的協(xié)同設(shè)計(jì)提高了整個(gè)系統(tǒng)的靈活性。例如，放松了對(duì) GFS一致性模型的要求，這樣不用加重應(yīng)用程序的負(fù)擔(dān)，就大大簡(jiǎn)化了文件系統(tǒng)的設(shè)計(jì)。 GFS還引入了原子性的追加操作，這樣多個(gè)客戶端同時(shí)進(jìn)行追加的時(shí)候，就不需要額外的同步操作了。 總之， GFS是為 Google應(yīng)用程序本身而設(shè)計(jì)的。 第 10章 云計(jì)算 Google File System的系統(tǒng)架構(gòu)如圖 ，一個(gè) GFS集群包含一個(gè)主服務(wù)器和多個(gè)塊服務(wù)器，被多個(gè)客戶端訪問(wèn)。文件被分割成固定尺寸的塊。在每個(gè)塊創(chuàng)建的時(shí)候，服務(wù)器分配給它一個(gè)不變的、全球唯一的 64位塊句柄對(duì)它進(jìn)行標(biāo)識(shí)。塊服務(wù)器把塊作為 Linux文件保存在本地硬盤上，并根據(jù)指定的塊句柄和字節(jié)范圍來(lái)讀寫塊數(shù)據(jù)。為了保證可靠性，每個(gè)塊都會(huì)復(fù)制到多個(gè)塊服務(wù)器上，缺省保存三個(gè)備份。主服務(wù)器管理文件系統(tǒng)所有的元數(shù)據(jù)，包括名字空間、訪問(wèn)控制信息和文件到塊的映射信息，以及塊當(dāng)前所在的位置。 第 10章 云計(jì)算 GFS客戶端代碼被嵌入到每個(gè)程序里，它實(shí)現(xiàn)了 Google文件系統(tǒng) API，幫助應(yīng)用程序與主服務(wù)器和塊服務(wù)器通信，對(duì)數(shù)據(jù)進(jìn)行讀寫?？蛻舳烁鞣?wù)器交互進(jìn)行元數(shù)據(jù)操作，但是所有的數(shù)據(jù)操作的通信都是直接和塊服務(wù)器進(jìn)行的。客戶端提供的訪問(wèn)接口類似于 POSIX接口，但有一定的修改，并不完全兼容 POSIX標(biāo)準(zhǔn)。通過(guò)服務(wù)器端和客戶端的聯(lián)合設(shè)計(jì)， GoogleFile System能夠針對(duì)它本身的應(yīng)用獲得最大的性能以及可用性效果。 第 10章 云計(jì)算 第 10章 云計(jì)算 2． Map/Reduce分布式編程環(huán)境 為了讓內(nèi)部非分布式系統(tǒng)方向背景的員工能夠有機(jī)會(huì)將應(yīng)用程序建立在大規(guī)模的集群基礎(chǔ)之上， Google還設(shè)計(jì)并實(shí)現(xiàn)了一套大規(guī)模數(shù)據(jù)處理的編程規(guī)范 Map/Reduce系統(tǒng)。這樣，非分布式專業(yè)的程序編寫人員也能夠?yàn)榇笠?guī)模的集群編寫應(yīng)用程序而不用去顧慮集群的可靠性、可擴(kuò)展性等問(wèn)題。應(yīng)用程序編寫人員只需要將精力放在應(yīng)用程序本身，而關(guān)于集群的處理問(wèn)題則交由平臺(tái)來(lái)處理。 第 10章 云計(jì)算 Map/Reduce通過(guò)“ Map(映射 )”和“ Reduce(化簡(jiǎn) )”這樣兩個(gè)簡(jiǎn)單的概念來(lái)參加運(yùn)算，用戶只需要提供自己的 Map函數(shù)以及 Reduce函數(shù)就可以在集群上進(jìn)行大規(guī)模的分布式數(shù)據(jù)處理。 Google的文本索引方法，即搜索引擎的核心部分，已經(jīng)通過(guò) Map/Reduce的方法進(jìn)行了改寫，獲得了更加清晰的程序架構(gòu)。在 Google內(nèi)部，每天有上千個(gè) Map/Reduce的應(yīng)用程序在運(yùn)行。 第 10章 云計(jì)算 3．大規(guī)模分布式數(shù)據(jù)庫(kù)管理系統(tǒng) BigTable 構(gòu)建于上述兩項(xiàng)基礎(chǔ)之上的第三個(gè)云計(jì)算平臺(tái)就是Google將數(shù)據(jù)庫(kù)系統(tǒng)擴(kuò)展到分布式平臺(tái)上的 BigTable系統(tǒng)。很多應(yīng)用程序?qū)τ跀?shù)據(jù)的組織都是非常有規(guī)則的，一般來(lái)說(shuō)，數(shù)據(jù)庫(kù)對(duì)格式化數(shù)據(jù)的處理也是非常方便的，但是由于關(guān)系數(shù)據(jù)庫(kù)很強(qiáng)的一致性要求，很難將其擴(kuò)展到很大的規(guī)模。為了處理 Google內(nèi)部大量的格式化以及半格式化數(shù)據(jù)， Google構(gòu)建了弱一致性要求的大規(guī)模數(shù)據(jù)庫(kù)系統(tǒng) BigTable。 第 10章 云計(jì)算 圖 BigTable模型中的數(shù)據(jù)模型。數(shù)據(jù)模型包括行列以及相應(yīng)的時(shí)間戳，所有的數(shù)據(jù)都存放在表格中的單元里。 BigTable的內(nèi)容按照行來(lái)劃分，將多個(gè)行組成一個(gè)小表，保存到某一個(gè)服務(wù)器節(jié)點(diǎn)中。這一個(gè)小表就被稱為Tablet。 以上是 Google內(nèi)部云計(jì)算基礎(chǔ)平臺(tái)的三個(gè)主要部分，除了這三個(gè)部分之外， Google還建立了分布式的鎖服務(wù)等一系列相關(guān)的云計(jì)算服務(wù)平臺(tái)。 第 10章 云計(jì)算 圖 Google BigTable的數(shù)據(jù)模型 第 10章 云計(jì)算 4． Google的云應(yīng)用 除了上述的云計(jì)算基礎(chǔ)設(shè)施之外， Google還在其云計(jì)算基礎(chǔ)設(shè)施之上建立了一系列新型網(wǎng)絡(luò)應(yīng)用程序。由于借鑒了異步網(wǎng)絡(luò)數(shù)據(jù)傳輸?shù)?Web ，這些應(yīng)用程序給予用戶全新的界面感受以及更加強(qiáng)大的多用戶交互能力。其中典型的Google云計(jì)算應(yīng)用程序就是 Google推出的 Docs網(wǎng)絡(luò)服務(wù)程序。 第 10章 云計(jì)算 Google Docs是一