【文章內(nèi)容簡介】 隨機(jī)讀速率是未來數(shù)據(jù)管理技術(shù)必須解決的問題。云計(jì)算的數(shù)據(jù)管理技術(shù)最著名的是谷歌的 BigTable數(shù)據(jù)管理技術(shù)，同時 Hadoop開發(fā)團(tuán)隊(duì)已開發(fā)出類似 BigTable的開源數(shù)據(jù)管理模塊。 第 10章 云計(jì)算 4．分布式編程與計(jì)算 為了使用戶能更輕松的享受云計(jì)算帶來的服務(wù)，讓用戶能利用該編程模型編寫簡單的程序來實(shí)現(xiàn)特定的目的，云計(jì)算上的編程模型必須十分簡單。必須保證后臺復(fù)雜的并行執(zhí)行和任務(wù)調(diào)度向用戶和編程人員透明。當(dāng)前各 IT廠商提出的“云”計(jì)劃的編程工具均基于 MapReduce的編程模型。 第 10章 云計(jì)算 典型云計(jì)算系統(tǒng)簡介 Amazon云計(jì)算基礎(chǔ)架構(gòu)平臺 目前，最受歡迎的云計(jì)算平臺是 Amazon Web Services(AWS)，在云上最受歡迎的數(shù)據(jù)庫是 MySQL。盡管Amazon在 2022年就已經(jīng)開始著手 AWS，并從那時已使許多新的計(jì)算服務(wù)，包括基礎(chǔ)架構(gòu)、電子商務(wù)和 Web信息服務(wù)變得可用，然而我們希望繼續(xù)集中部署這些與 MySQL最相關(guān)的內(nèi)容，如 Elastic Computing Cloud(EC2，彈性計(jì)算云 )，Simple Storage Service(S3，簡便存儲服務(wù) )和 Elastic Block Store (EBS，持久存儲 )。針對這些服務(wù)，開發(fā)人員可以使用Web服務(wù)、具體的 REST和 SOAP協(xié)議訪問。 第 10章 云計(jì)算 Amazon EC2和 MySQL，對于一個想減少資金花費(fèi)和運(yùn)營成本，同時以最小的成本和投入來動態(tài)擴(kuò)展其應(yīng)用的機(jī)構(gòu)來說，是相當(dāng)適合的。亞馬遜 Amazon EC2上訂閱一個 MySQL Enterprise，開發(fā)人員充分依托 MySQL數(shù)據(jù)庫專家，可以在云上更具成本效益地交付 Webscale數(shù)據(jù)庫應(yīng)用。 第 10章 云計(jì)算 1． Amazon彈性計(jì)算云 (EC2) Amazon EC2服務(wù)開始于 2022年，在 2022年變得普遍廣泛可用。 EC2使得亞馬遜云能夠動態(tài)擴(kuò)展計(jì)算能力。它使開發(fā)人員更容易交付 Webscale應(yīng)用。亞馬遜云計(jì)算能夠忽略硬件，取而代之的是當(dāng)需求增加時，可以使用 (或不使用 )額外的虛擬硬件。支撐 EC2服務(wù)的是 Xen虛擬技術(shù)。 Xen是開源軟件，它允許操作系統(tǒng) (如 Linux、 Windows或者 Solaris)作為“虛擬機(jī)器”，并同時運(yùn)行在相同的硬件上。使用 Xen時， EC2可以快速提供客戶虛擬服務(wù)器的規(guī)格說明書，定制硬件特性，如 CPU數(shù)、內(nèi)存和軟件容錯。 第 10章 云計(jì)算 2． Amazon簡單存儲服務(wù) (S3) Amazon也發(fā)行了 S3，它可提供在線存儲 Web服務(wù)。 S3給開發(fā)人員提供一個簡單、安全、本質(zhì)上擁有無限能力的連續(xù)在線存儲。 S3可以被看成在“云”上的一個很大的磁盤驅(qū)動或一個 SAN。和帶寬的收費(fèi)模式一樣， Amazon對最終用戶按每 GB存儲收費(fèi)，并且當(dāng)存儲和檢索 S3數(shù)據(jù)時要求收費(fèi)。用 S3可以存儲和獲得 Amazon認(rèn)為是對象的無組織的數(shù)據(jù)。亞馬遜存儲如圖 。 第 10章 云計(jì)算 圖 亞馬遜存儲 第 10章 云計(jì)算 這些對象可以是擁有 2 KB相關(guān)元數(shù)據(jù)，而這些對象又可以存放在 1 B到 5 GB范圍內(nèi)的任何地方。 S3里沒有目錄或文件名，對象存儲在“ Buckets”當(dāng)中，并由開發(fā)人員通過預(yù)設(shè)的唯一鍵進(jìn)行檢索。 Buckets和其內(nèi)部包含的對象存儲在兩個不同的物理區(qū)域中，但是它們可以從任何地方訪問。使用一個REST和 SOAP接口，開發(fā)人員可以創(chuàng)建、列出和檢索 Buckets和對象，同時可以通過 GET接口或者 BitTorrent協(xié)議下載亞馬遜 Web MySQL。 第 10章 云計(jì)算 3． Amazon持久存儲 (EBS) EBS在 2022年開始運(yùn)營時，是 Amazon EC2最令人期待的特性之一。在 EBS之前， EC2存儲是和本地實(shí)例聯(lián)系在一起的，這就意味著如果 EC2實(shí)例被破壞，本地實(shí)例上存儲的數(shù)據(jù)就變得不可用了。為了解決該問題， Amazon創(chuàng)建了 EBS，提供塊級水平存儲容量，其可以不考慮 EC2實(shí)例的狀態(tài)。對于開發(fā)人員，EBS Volume的出現(xiàn)作為標(biāo)準(zhǔn)的塊機(jī)制，其大小從 1 GB變化到 1 TB。指定機(jī)制名稱和塊機(jī)制接口以后，用戶可以配置一個他們選擇的 EBS Volume 的文件系統(tǒng)。 第 10章 云計(jì)算 1) 在 Amazon EC2上部署 MySQL 在 EC2上開始 MySQL是很簡單的，亞馬遜 Web MySQL如圖 。首先，假定已經(jīng)設(shè)置了 Amazon賬號，可以從 Amazon AMI目錄使用一個已存在的 AMI預(yù)設(shè)置 MySQL，或者使用自己的 Amazon SDK創(chuàng)建。用戶還可以從其他的資源獲得可用的“模板化” AMI圖形。其次，一旦做了任何配置，為了再次使用和安全保存，應(yīng)該上傳用戶的 AMI到 S3。 最后，選擇想部署的 EC2實(shí)例，配置安全和網(wǎng)絡(luò)控制。 第 10章 云計(jì)算 圖 亞馬遜 Web MySQL 第 10章 云計(jì)算 2) 亞馬遜 Web Server 亞馬遜 Web Server如圖 。用于 Amazon EC2上的MySQL Enterprise是基于支持而提供的訂閱，使得開發(fā)人員可以低成本地在云上交付 Web擴(kuò)展數(shù)據(jù)庫應(yīng)用，在云上使用世界上最受歡迎的開源數(shù)據(jù)庫。在 Amazon EC2上使用MySQL Enterprise的好處包括：可利用 MySQL的可靠性、高性能和易用性，可在云上交付大量的可擴(kuò)展的 Web應(yīng)用；使用 MySQL Replication進(jìn)行主從數(shù)據(jù)庫復(fù)制、切換和備份，實(shí)現(xiàn)高可用性應(yīng)用。 第 10章 云計(jì)算 圖 亞馬遜 Web Server 第 10章 云計(jì)算 Google云計(jì)算應(yīng)用平臺 Google的云計(jì)算技術(shù)實(shí)際上是針對 Google特定的網(wǎng)絡(luò)應(yīng)用程序而定制的。針對內(nèi)部網(wǎng)絡(luò)數(shù)據(jù)規(guī)模超大的特點(diǎn)，Google提出了一整套基于分布式并行集群方式的基礎(chǔ)架構(gòu)，利用軟件的能力來處理集群中經(jīng)常發(fā)生的節(jié)點(diǎn)失效問題。 第 10章 云計(jì)算 從 2022年開始， Google連續(xù)幾年在計(jì)算機(jī)系統(tǒng)研究領(lǐng)域的頂級會議與雜志上發(fā)表論文，揭示了其內(nèi)部的分布式數(shù)據(jù)處理方法，向外界展示其使用的云計(jì)算核心技術(shù)。從其近幾年發(fā)表的論文來看， Google使用的云計(jì)算基礎(chǔ)架構(gòu)模式包括四個相互獨(dú)立又緊密結(jié)合在一起的系統(tǒng)，即建立在集群之上的 Google文件系統(tǒng) (Google File System， GFS)，針對 Google應(yīng)用程序的特點(diǎn)提出的 Map/Reduce分布式編程環(huán)境，分布式的鎖機(jī)制 Chubby以及 Google開發(fā)的模型簡化的大規(guī)模分布式數(shù)據(jù)庫管理系統(tǒng) BigTable。 第 10章 云計(jì)算 1． Google文件系統(tǒng) 為了滿足 Google迅速增長的數(shù)據(jù)處理需求， Google設(shè)計(jì)并實(shí)現(xiàn)了 Google文件系統(tǒng) (GFS)。 GFS與過去的分布式文件系統(tǒng)擁有許多相同的目標(biāo)，例如高性能、可伸縮性、可靠性以及可用性。然而，它的設(shè)計(jì)還受到 Google應(yīng)用負(fù)載和技術(shù)環(huán)境的影響，主要體現(xiàn)在以下四個方面： (1) 集群中的節(jié)點(diǎn)失效是一種常態(tài)，而不是一種異常。由于參與運(yùn)算與處理的節(jié)點(diǎn)數(shù)目非常龐大，通常會使用上千個節(jié)點(diǎn)進(jìn)行共同計(jì)算，因此，每時每刻總會有節(jié)點(diǎn)處在失效狀態(tài)。需要通過軟件程序模塊，監(jiān)視系統(tǒng)的動態(tài)運(yùn)行狀況，偵測錯誤，并且將容錯以及自動恢復(fù)系統(tǒng)集成在系統(tǒng)中。 第 10章 云計(jì)算 (2)? Google系統(tǒng)中的文件大小與通常文件系統(tǒng)中的文件大小的概念不一樣，文件大小通常以 GB計(jì)。另外，文件系統(tǒng)中的文件含義與通常文件的不同，一個大文件可能包含大量數(shù)目的通常意義上的小文件。所以，設(shè)計(jì)預(yù)期和參數(shù) (例如I/O操作和塊尺寸 )都要重新考慮。 (3)? Google文件系統(tǒng)中的文件讀寫模式和傳統(tǒng)的文件系統(tǒng)不同。在 Google應(yīng)用 (如搜索 )中對大部分文件的修改，不是覆蓋原有數(shù)據(jù)，而是在文件尾追加新數(shù)據(jù)，對文件的隨機(jī)寫是幾乎不存在的。對于這類巨大文件的訪問模式，客戶端對數(shù)據(jù)塊緩存失去了意義，追加操作成為性能優(yōu)化和原子性(把一個事務(wù)看做是一個程序，它要么被完整地執(zhí)行，要么完全不執(zhí)行 )保證的焦點(diǎn)。 第 10章 云計(jì)算 (4) 文件系統(tǒng)的某些具體操作不再透明，而且需要應(yīng)用程序的協(xié)助完成，應(yīng)用程序和文件系統(tǒng) API的協(xié)同設(shè)計(jì)提高了整個系統(tǒng)的靈活性。例如，放松了對 GFS一致性模型的要求，這樣不用加重應(yīng)用程序的負(fù)擔(dān)，就大大簡化了文件系統(tǒng)的設(shè)計(jì)。 GFS還引入了原子性的追加操作，這樣多個客戶端同時進(jìn)行追加的時候，就不需要額外的同步操作了。 總之， GFS是為 Google應(yīng)用程序本身而設(shè)計(jì)的。 第 10章 云計(jì)算 Google File System的系統(tǒng)架構(gòu)如圖 ，一個 GFS集群包含一個主服務(wù)器和多個塊服務(wù)器，被多個客戶端訪問。文件被分割成固定尺寸的塊。在每個塊創(chuàng)建的時候，服務(wù)器分配給它一個不變的、全球唯一的 64位塊句柄對它進(jìn)行標(biāo)識。塊服務(wù)器把塊作為 Linux文件保存在本地硬盤上，并根據(jù)指定的塊句柄和字節(jié)范圍來讀寫塊數(shù)據(jù)。為了保證可靠性，每個塊都會復(fù)制到多個塊服務(wù)器上，缺省保存三個備份。主服務(wù)器管理文件系統(tǒng)所有的元數(shù)據(jù)，包括名字空間、訪問控制信息和文件到塊的映射信息，以及塊當(dāng)前所在的位置。 第 10章 云計(jì)算 GFS客戶端代碼被嵌入到每個程序里，它實(shí)現(xiàn)了 Google文件系統(tǒng) API，幫助應(yīng)用程序與主服務(wù)器和塊服務(wù)器通信，對數(shù)據(jù)進(jìn)行讀寫?？蛻舳烁鞣?wù)器交互進(jìn)行元數(shù)據(jù)操作，但是所有的數(shù)據(jù)操作的通信都是直接和塊服務(wù)器進(jìn)行的。客戶端提供的訪問接口類似于 POSIX接口，但有一定的修改，并不完全兼容 POSIX標(biāo)準(zhǔn)。通過服務(wù)器端和客戶端的聯(lián)合設(shè)計(jì)， GoogleFile System能夠針對它本身的應(yīng)用獲得最大的性能以及可用性效果。 第 10章 云計(jì)算 第 10章 云計(jì)算 2． Map/Reduce分布式編程環(huán)境 為了讓內(nèi)部非分布式系統(tǒng)方向背景的員工能夠有機(jī)會將應(yīng)用程序建立在大規(guī)模的集群基礎(chǔ)之上， Google還設(shè)計(jì)并實(shí)現(xiàn)了一套大規(guī)模數(shù)據(jù)處理的編程規(guī)范 Map/Reduce系統(tǒng)。這樣，非分布式專業(yè)的程序編寫人員也能夠?yàn)榇笠?guī)模的集群編寫應(yīng)用程序而不用去顧慮集群的可靠性、可擴(kuò)展性等問題。應(yīng)用程序編寫人員只需要將精力放在應(yīng)用程序本身，而關(guān)于集群的處理問題則交由平臺來處理。 第 10章 云計(jì)算 Map/Reduce通過“ Map(映射 )”和“ Reduce(化簡 )”這樣兩個簡單的概念來參加運(yùn)算，用戶只需要提供自己的 Map函數(shù)以及 Reduce函數(shù)就可以在集群上進(jìn)行大規(guī)模的分布式數(shù)據(jù)處理。 Google的文本索引方法，即搜索引擎的核心部分，已經(jīng)通過 Map/Reduce的方法進(jìn)行了改寫，獲得了更加清晰的程序架構(gòu)。在 Google內(nèi)部，每天有上千個 Map/Reduce的應(yīng)用程序在運(yùn)行。 第 10章 云計(jì)算 3．大規(guī)模分布式數(shù)據(jù)庫管理系統(tǒng) BigTable 構(gòu)建于上述兩項(xiàng)基礎(chǔ)之上的第三個云計(jì)算平臺就是Google將數(shù)據(jù)庫系統(tǒng)擴(kuò)展到分布式平臺上的 BigTable系統(tǒng)。很多應(yīng)用程序?qū)τ跀?shù)據(jù)的組織都是非常有規(guī)則的，一般來說，數(shù)據(jù)庫對格式化數(shù)據(jù)的處理也是非常方便的，但是由于關(guān)系數(shù)據(jù)庫很強(qiáng)的一致性要求，很難將其擴(kuò)展到很大的規(guī)模。為了處理 Google內(nèi)部大量的格式化以及半格式化數(shù)據(jù)， Google構(gòu)建了弱一致性要求的大規(guī)模數(shù)據(jù)庫系統(tǒng) BigTable。 第 10章 云計(jì)算 圖 BigTable模型中的數(shù)據(jù)模型。數(shù)據(jù)模型包括行列以及相應(yīng)的時間戳，所有的數(shù)據(jù)都存放在表格中的單元里。 BigTable的內(nèi)容按照行來劃分，將多個行組成一個小表，保存到某一個服務(wù)器節(jié)點(diǎn)中。這一個小表就被稱為Tablet。 以上是 Google內(nèi)部云計(jì)算基礎(chǔ)平臺的三個主要部分，除了這三個部分之外， Google還建立了分布式的鎖服務(wù)等一系列相關(guān)的云計(jì)算服務(wù)平臺。 第 10章 云計(jì)算 圖 Google BigTable的數(shù)據(jù)模型 第 10章 云計(jì)算 4． Google的云應(yīng)用 除了上述的云計(jì)算基礎(chǔ)設(shè)施之外， Google還在其云計(jì)算基礎(chǔ)設(shè)施之上建立了一系列新型網(wǎng)絡(luò)應(yīng)用程序。由于借鑒了異步網(wǎng)絡(luò)數(shù)據(jù)傳輸?shù)?Web ，這些應(yīng)用程序給予用戶全新的界面感受以及更加強(qiáng)大的多用戶交互能力。其中典型的Google云計(jì)算應(yīng)用程序就是 Google推出的 Docs網(wǎng)絡(luò)服務(wù)程序。 第 10章 云計(jì)算 Google Docs是一