【文章內(nèi)容簡介】 的正確技術(shù)是什么。以模塊化方式向 SOA 過渡的機(jī)構(gòu)在把模塊遷移到云計(jì)算的之后將處于非常有利的地位。 云計(jì)算與超級計(jì)算機(jī)超級計(jì)算機(jī)擁有強(qiáng)大的處理能力，特別是計(jì)算能力。2022 年 11 月 17 日發(fā)12 / 63布的超級計(jì)算機(jī) Top 500 榜單，IBM 為美國 Los A lamos 國家實(shí)驗(yàn)室建造的計(jì)算機(jī)系統(tǒng)“Roadrunner ”獲得冠軍。它的運(yùn)算速度達(dá)到了 Petaflop/s。Roadrunner 超級計(jì)算機(jī)包含了 12960 個(gè) IBM powerX cell 8 處理器及6948 個(gè)分布于刀片服務(wù)器上的 AMD Opteron 芯片，分別安裝在 288 個(gè) IBM bladeCenter 機(jī)架上。Roadrunner 擁有 80TB 的內(nèi)存，外存使用 PB 容量的Panasas 存儲，外存通過 10GB/s 以太網(wǎng)連接，耗資超過 1 億美元。TOP 500 對超級計(jì)算機(jī)的排名方式可以看出，傳統(tǒng)的超級計(jì)算機(jī)注重運(yùn)算速度和任務(wù)的吞吐量，以運(yùn)算速度為核心進(jìn)行計(jì)算機(jī)的研究和開發(fā)。而云計(jì)算則以數(shù)據(jù)為中心，同時(shí)兼顧系統(tǒng)的運(yùn)算速度。傳統(tǒng)的超級計(jì)算機(jī)耗資巨大，遠(yuǎn)超過云計(jì)算系統(tǒng)。例如，趨勢科技花費(fèi) 1000 多萬美元租用 34000 多臺服務(wù)器，構(gòu)建自身的“安全云”系統(tǒng)。云計(jì)算系統(tǒng)相比于超級計(jì)算機(jī)具有松耦合的性質(zhì)，可以比較方便的進(jìn)行動態(tài)伸縮和擴(kuò)展，而超級計(jì)算機(jī)不易擴(kuò)展、改造和升級。另外，云計(jì)算系統(tǒng)天生據(jù)喲良好的分布性，超級計(jì)算機(jī)則不具有。 云計(jì)算存在的問題及下一步技術(shù)發(fā)展趨勢應(yīng)用及數(shù)據(jù)安全包含用戶敏感信息的應(yīng)用系統(tǒng)部署在公共云上，可能存在安全隱患。云計(jì)算基礎(chǔ)架構(gòu)具有多租戶的特性，廠商們通常無法保證 A 公司的數(shù)據(jù)與 B 公司的數(shù)據(jù)實(shí)現(xiàn)物理分隔。企業(yè)私有云中，各個(gè)部門之間的信息安全也必須考慮，特別是財(cái)務(wù)數(shù)據(jù)、客戶信息等。另外，考慮到大規(guī)模擴(kuò)展性方面的要求，數(shù)據(jù)物理位置可能得不到保證。如果企業(yè)需要遵守業(yè)務(wù)交易及相關(guān)數(shù)據(jù)方面的全國或國際法規(guī)，用戶可能會覺得不放心。不過，有人認(rèn)為，到時(shí)候法規(guī)可能會考慮這種大規(guī)模分布式、多租戶環(huán)境。標(biāo)準(zhǔn)制定目前云計(jì)算廠商都在各自為戰(zhàn)，并沒有實(shí)現(xiàn)標(biāo)準(zhǔn)化。不同云之間缺乏互操作性，用戶從一個(gè)云計(jì)算環(huán)境遷移到另一個(gè)環(huán)境時(shí)面臨巨大困難。服務(wù)質(zhì)量保證通過遠(yuǎn)程網(wǎng)絡(luò)訪問的應(yīng)用模式具有不可靠性。亞馬遜 S3 服務(wù)和 Google 云服務(wù)都出現(xiàn)過服務(wù)中斷，企業(yè)被迫重新考慮他們對云計(jì)算的依賴。云計(jì)算的商業(yè)模式云計(jì)算強(qiáng)調(diào)發(fā)揮集中化的優(yōu)勢，以及應(yīng)用、平臺和資源的分層松耦合管理。面臨企業(yè)傳統(tǒng) IT 系統(tǒng)管理和使用模式的巨大阻力13 / 63云計(jì)算安全監(jiān)管云計(jì)算對于安全監(jiān)管問題也帶來了很大的挑戰(zhàn)，云計(jì)算服務(wù)就是一種虛擬運(yùn)營服務(wù)，它會帶來一些監(jiān)管上的問題，云計(jì)算資源的跨地域提供與本地化的監(jiān)管之間存在矛盾，對虛擬業(yè)務(wù)運(yùn)營商的監(jiān)管機(jī)制還有待建立。云計(jì)算與移動互聯(lián)網(wǎng)相結(jié)合云計(jì)算不久將成為移動世界中的一股爆破力量，最終會成為移動應(yīng)用的主導(dǎo)運(yùn)行方式。云計(jì)算和移動互聯(lián)網(wǎng)似乎天生就是絕配。手機(jī)擁有便攜性和通信能力等眾多天然優(yōu)勢，而計(jì)算能力、存儲能力弱，雖然正逐漸向智能化演進(jìn)，但受限于體積和便攜性的要求，短時(shí)間內(nèi)手機(jī)的處理能力難以和電腦相比。從這點(diǎn)出發(fā)，云計(jì)算的特點(diǎn)更能在移動互聯(lián)網(wǎng)上充分體現(xiàn)，將應(yīng)用的“計(jì)算”與存儲從終端轉(zhuǎn)移到服務(wù)器的云端，從而弱化了對移動終端設(shè)備的處理需求。在云計(jì)算下，只要配備功能強(qiáng)大的瀏覽器，就能應(yīng)用各種業(yè)務(wù)。行業(yè)應(yīng)用沒有應(yīng)用的云是沒有價(jià)值的。所以，云計(jì)算要落到實(shí)處，必須加強(qiáng)行業(yè)應(yīng)用。目前，媒體、醫(yī)療、政府可能是行業(yè)應(yīng)用的切入點(diǎn)。14 / 63第 2 章 云計(jì)算應(yīng)用 Amazon作為一家主營圖書的電子商務(wù)零售企業(yè)，Amazon 在設(shè)計(jì)和規(guī)劃自身 IT 系統(tǒng)架構(gòu)的時(shí)候，不得不為了應(yīng)對“圣誕節(jié)狂潮”這樣的銷售峰值而購買大量的IT 設(shè)備。但是，這些設(shè)備平時(shí)卻處于空閑狀態(tài)。因此，Amazon 在 2022 年 7 月推出免費(fèi)的 Amazon 電子商務(wù)服務(wù)（ Amazon Emerce Service） ，讓零售商可以將自己的商品放在 Amazon 網(wǎng)絡(luò)商店中，儲存產(chǎn)品價(jià)格、顧客評等資料，進(jìn)行后臺管理。這樣，Amazon 就從不只賣書，而是當(dāng)電子商務(wù)零售業(yè)的 “包租公” ，利用其在電子商務(wù)網(wǎng)站建設(shè)上的優(yōu)勢，將設(shè)備、技術(shù)和經(jīng)驗(yàn)作為一種打包產(chǎn)品去為其他企業(yè)提供服務(wù)，存儲服務(wù)器、帶寬按容量收費(fèi)，CPU 根據(jù)使用時(shí)長運(yùn)算量收費(fèi)。為了解決這些租用服務(wù)中的可靠性、靈活性、安全性等問題，亞馬遜不斷優(yōu)化其技術(shù)。亞馬遜很早進(jìn)進(jìn)入了云計(jì)算領(lǐng)域，憑借其在電子商務(wù)領(lǐng)域積累的大量基礎(chǔ)性設(shè)施、先進(jìn)的分布式計(jì)算技術(shù)和巨大的用戶群體，在云計(jì)算、云存儲方面一直處于領(lǐng)先地位。亞馬遜的云計(jì)算產(chǎn)品總稱為 Amazon Web Service(亞馬遜網(wǎng)絡(luò)服務(wù))，主要由 4 部分組成，包括 S3(Simple Storage Service，簡單的存儲服務(wù))、EC2(Elastic Compute Cloud，可伸縮計(jì)算云)、SQS(Simple Queuing Service，簡單信息隊(duì)列服務(wù)) 以及 SimpleDB。同時(shí)亞馬遜還提供了內(nèi)容推送服務(wù) CloudFront、電子商務(wù)服務(wù) DevPay 和 FPS 服務(wù)。也就是說，亞馬遜目前為開發(fā)者提供了存儲、計(jì)算、中間件和數(shù)據(jù)庫管理系統(tǒng)服務(wù)。通過 AWS，可根據(jù)業(yè)務(wù)的需要訪問一套可伸縮的 IT 基礎(chǔ)架構(gòu)服務(wù)，獲得計(jì)算能力、存儲和其他的服務(wù)。通過 AWS 可以更多地根據(jù)所解決問題的特點(diǎn)來有彈性地選擇哪種開發(fā)平臺或者編程模型。你只需為你使用了什么而付費(fèi)，而不需要預(yù)先的花費(fèi)或長期的承諾，使得 AWS成為成本最有效的方式來交付你的應(yīng)用給你的客戶。并且，通過 AWS，你可以利用 的全球計(jì)算基礎(chǔ)設(shè)施，這些基礎(chǔ)設(shè)置為 的 150億$的零售業(yè)務(wù)和交易企業(yè)提供有效的支持。利用 Amazon Web Services，一個(gè)電子商務(wù) web 站點(diǎn)能輕易地適應(yīng)不可預(yù)期的需求；一個(gè)制藥公司可以租用計(jì)算能力來執(zhí)行大規(guī)模的仿真，一個(gè)媒體公司可以提供無限制的錄像、音樂等等；一個(gè)企業(yè)能夠部署需要寬帶寬的服務(wù)。圖 5 所示為面向服務(wù)的亞馬遜平臺架構(gòu)。15 / 63圖 5 亞馬遜平臺架構(gòu) 亞馬遜平臺基礎(chǔ)存儲架構(gòu)：DynamoDynamo 是一個(gè)完全分布式的、務(wù)中心節(jié)點(diǎn)的存儲系統(tǒng)，采用的事數(shù)據(jù)分布式存儲的架構(gòu)。相比傳統(tǒng)的集中式存儲系統(tǒng)，Dynamo 再設(shè)計(jì)之初就被定位為一個(gè)高可靠、高可用且具有良好容錯(cuò)性的系統(tǒng)。它以簡單的鍵/值（key/alue）方式存儲數(shù)據(jù)，因此并不支持復(fù)雜的查詢，但這并不影響客戶的使用，同時(shí) Dynamo 不識別任何數(shù)據(jù)結(jié)構(gòu)，使得它幾乎可以處理所有的數(shù)據(jù)類型。問題 采用的相關(guān)技術(shù)數(shù)據(jù)均衡分布 改進(jìn)的一致性哈希算法、數(shù)據(jù)備份數(shù)據(jù)沖突處理 向量時(shí)鐘（Vector Clock）臨時(shí)故障處理 Hinted handoff（數(shù)據(jù)回傳機(jī)制） ，參數(shù)（W,R,N）可調(diào)的弱 quorum 機(jī)制永久故障后的恢復(fù) Merkle 哈希樹成員資格以及錯(cuò)誤檢測 給予 Gossip 的成員資格協(xié)議和錯(cuò)誤檢測16 / 63 S3 進(jìn)行存儲 Amazon Simple Storage Service (S3) 提供一個(gè)用于數(shù)據(jù)存儲和獲取的 Web 服務(wù)接口。數(shù)據(jù)可以是任何類型的，可以從 Inter 上的任何地方存儲和訪問數(shù)據(jù)。對象是 S3 的基本存儲單元，包括數(shù)據(jù)和元數(shù)據(jù)，其中元數(shù)據(jù)存儲的是對象數(shù)據(jù)內(nèi)容的附加描述信息，元數(shù)據(jù)通過一對鍵值（NameValued）集合來定義。對象數(shù)據(jù)的實(shí)際存儲方式對用戶來說是不透明的，用戶無法對某一子部分進(jìn)行直接修改。對象存儲在桶中，用戶可以在 S3 中存儲任意數(shù)量的對象，但最多只能創(chuàng)建 100 個(gè)桶；存儲的每個(gè)對象的大小可以從 1 字節(jié)到 5 GB。存儲本身位于美國或歐盟。在創(chuàng)建 bucket （與操作系統(tǒng)中的文件夾概念相似）時(shí)，可以選擇對象的存儲位置。使用與 Amazon 電子商務(wù)網(wǎng)站的全球網(wǎng)絡(luò)相同的數(shù)據(jù)存儲基礎(chǔ)設(shè)施存儲數(shù)據(jù)，確保安全性。對于存儲在 S3 中的每個(gè)對象，可以指定訪問限制，可以用簡單的 HTTP 請求訪問對象。甚至可以讓對象可通過 BitTorrent 協(xié)議下載。S3 的桶基本結(jié)構(gòu)圖如圖 6 所示。圖 6 S3 桶基本結(jié)構(gòu)圖S3 向用戶提供包括身份認(rèn)證和訪問控制列表（ACL）的雙重安全機(jī)制，讓用戶完全不必為存儲空間、數(shù)據(jù)訪問或數(shù)據(jù)安全性操心。甚至不必承擔(dān)維護(hù)存儲服務(wù)器的成本。Amazon 確保您的文件的高可用性，在任何時(shí)候都可以使用它們。Amazon 為 S3 提供的服務(wù)水平協(xié)議承諾 % 的正常運(yùn)行時(shí)間，每月度量一次。 EC2 實(shí)現(xiàn)彈性計(jì)算Amazon EC2 是一個(gè) Web 服務(wù)，它讓用戶可以在幾分鐘內(nèi)獲得虛擬機(jī)器，根據(jù)需要輕松地?cái)U(kuò)展或收縮計(jì)算能力。您只需為實(shí)際使用的計(jì)算時(shí)間付費(fèi)。如17 / 63果需要增加計(jì)算能力，可以快速地啟動虛擬實(shí)例；當(dāng)需求下降時(shí)，可以馬上終止它們。 這些實(shí)例基于 Linux，可以運(yùn)行您需要的任何應(yīng)用程序或軟件。您可以控制每個(gè)實(shí)例。EC2 環(huán)境本身基于在劍橋大學(xué)開發(fā)的開放源碼的 Xen 系統(tǒng)管理程序。Amazon 允許創(chuàng)建 Amazon 機(jī)器映像 (AMI) 作為實(shí)例的模板?？梢酝ㄟ^指定權(quán)限控制對實(shí)例的訪問?？梢杂眠@些實(shí)例做任何事；惟一的限制是，它們必須是基于 Linux 的映像。最近， Amazon 宣布與 Sun Microsystems 合作提供 Open Solaris 支持，但是 EC2 可用的大多數(shù)免費(fèi)和商業(yè)預(yù)構(gòu)建映像是基于 Linux 的。 Amazon EC2 提供真正全 Web 范圍的計(jì)算，很容易擴(kuò)展和收縮計(jì)算資源。您可以完全控制在 Amazon 數(shù)據(jù)中心中運(yùn)行的這個(gè)計(jì)算環(huán)境。Amazon 提供五種服務(wù)器類型；可以選擇適合自己應(yīng)用程序需要的服務(wù)器類型。服務(wù)器的范圍從普通的單核 x86 服務(wù)器直到八核 x86_64 服務(wù)器?？梢园褜?shí)例放在不同的地理位置或可用性區(qū)中，從而確保對抗故障的能力。Amazon 最近還引入了彈性 IP 地址的概念，彈性 IP 地址可以動態(tài)地分配給實(shí)例。圖 7 EC2 基本架構(gòu)圖EC2 向用戶提供了如下一些非常有價(jià)值的特性：1）靈活性：EC2 允許用戶對運(yùn)行的實(shí)例類型、數(shù)量進(jìn)行配置，選擇實(shí)例運(yùn)18 / 63行的地理位置，可隨時(shí)改變實(shí)例的使用數(shù)量。2）低成本3）安全性：基于密鑰對機(jī)制的 SSH 方式反問、可配置的防火墻機(jī)制等。4）易用性：用戶可以根據(jù)亞馬遜提供的模塊自由構(gòu)建自己的應(yīng)用程序，EC2 根據(jù)用戶服務(wù)請求自動負(fù)載均衡。5）容錯(cuò)性：彈性 IP 地址等機(jī)制。用戶首先創(chuàng)建一個(gè)存儲到 S3 的 AMI（Amazon Machine Image） ，把自己的應(yīng)用程序、配置等打包，然后系統(tǒng)通過實(shí)例運(yùn)行程序。在 EC2 中，每個(gè)用戶最多可擁有 30 個(gè)實(shí)例，每個(gè)實(shí)例自身攜帶一個(gè)臨時(shí)存儲模塊。用戶需要長期保存的數(shù)據(jù)則保存到 EBS（彈性塊存儲模塊）中，EBS 中的數(shù)據(jù)只能由用戶來三處。在 EC2 服務(wù)中，系統(tǒng)各模塊之間使用似有 IP 地址通信，而系統(tǒng)與外界使用公共 IP 地址通信。EC2 的基本架構(gòu)如圖 7 所示。 Amazon Simple Queue Service 實(shí)現(xiàn)可靠的消息傳遞 Amazon Simple Queue Service (SQS) 允許訪問 Amazon 提供的可靠的消息傳遞基礎(chǔ)設(shè)施?？梢允褂煤唵蔚幕?REST 的 HTTP 請求在任何地方發(fā)送和接收消息。不需要安裝和配置任何東西?？梢詣?chuàng)建任意數(shù)量的隊(duì)列，發(fā)送任意數(shù)量的消息。Amazon 把消息存儲在多個(gè)服務(wù)器和數(shù)據(jù)中心中，從而提供消息傳遞系統(tǒng)所需的冗余和可靠性。每個(gè)消息最多可以包含 8KB 的文本數(shù)據(jù)。每個(gè)隊(duì)列可以有一個(gè)可配置的可見性超時(shí)周期，用來控制多個(gè)讀者對隊(duì)列的訪問。一個(gè)應(yīng)用程序從隊(duì)列中讀取一個(gè)消息之后，其他讀者就看不到這個(gè)消息，直到超時(shí)周期期滿為止。在超時(shí)周期期滿之后，消息重新出現(xiàn)在隊(duì)列中，另一個(gè)讀者進(jìn)程就可以處理它。 SQS 與其他 Amazon Web Services 很好地集成?？梢允褂?SQS 構(gòu)建松散耦合的系統(tǒng)；在這種系統(tǒng)中，EC2 實(shí)例可以通過向 SQS 發(fā)送消息相互通信并整合工作流。還可以使用隊(duì)列為應(yīng)用程序構(gòu)建一個(gè)自愈合、自動擴(kuò)展的基于 EC2 的基礎(chǔ)設(shè)施?？梢允褂?SQS 提供的身份驗(yàn)證機(jī)制保護(hù)隊(duì)列中的消息，防止未授權(quán)的訪問。 用 Amazon SimpleDB 進(jìn)行數(shù)據(jù)集處理Amazon SimpleDB (SDB) 是一個(gè)用于存儲、處理和查詢結(jié)構(gòu)化數(shù)據(jù)集的 Web 服務(wù)。它并不是傳統(tǒng)意義上的關(guān)系數(shù)據(jù)庫，而是一個(gè)高可用的模式（采用了最終一致性數(shù)據(jù)模型） ，是云中的非結(jié)構(gòu)化數(shù)據(jù)存儲，可以使用它存儲和獲取包含鍵的值。每組包含鍵的值需要一個(gè)惟一的條目名；條目本身劃分為域。每個(gè)條目可以包含最多 256 個(gè)鍵值對?？梢栽诿總€(gè)域中對自己的數(shù)據(jù)集執(zhí)行查詢。SDB 當(dāng)前還不支持垮域查詢。 19 / 63SDB 便于使用，提供關(guān)系數(shù)據(jù)庫的大多數(shù)功能。與傳統(tǒng)的關(guān)系型數(shù)據(jù)庫相比，SDB 無需預(yù)定義模式，單個(gè)屬性允許多個(gè)值，支持自動索引，維護(hù)比典型的數(shù)據(jù)庫簡單得多，因?yàn)椴恍枰O(shè)置或配置任何東西。Amazon 負(fù)責(zé)所有管理任務(wù)。Amazon 自動地為數(shù)據(jù)編制索引，可以在任何時(shí)候任何地方訪問索引。不受模式限制的關(guān)鍵優(yōu)點(diǎn)是，能夠動態(tài)地插入數(shù)據(jù)和添加新的列或鍵。 然而SDB 沒有事務(wù)（Transaction）的概念，不支持連接（join）操作，且返回的結(jié)果不支持排序操作。SDB 是 Amazon