【正文】 云計(jì)算與大數(shù)據(jù)技術(shù) 人民郵電出版社 王鵬 黃焱 安俊秀 張逸琴 編著 * 目 錄 CONTENTS ? 第 1章 云計(jì)算與大數(shù)據(jù)基礎(chǔ) ? 第 2章 云計(jì)算與大數(shù)據(jù)的相關(guān)技術(shù) ? 第 3章 虛擬化技術(shù) ? 第 4章 集群系統(tǒng)基礎(chǔ) ? 第 5章 MPI— 面向計(jì)算 ? 第 6章 Hadoop— 分布式大數(shù)據(jù)系統(tǒng) ? 第 7章 HPCC— 面向數(shù)據(jù)的高性能計(jì)算集群系統(tǒng) ? 第 8章 Storm— 基于拓?fù)涞牧鲾?shù)據(jù)實(shí)時(shí)計(jì)算系統(tǒng) ? 第 9章 服務(wù)器與數(shù)據(jù)中心 ? 第 10章 云計(jì)算大數(shù)據(jù)仿真技術(shù) 第 1章 云計(jì)算與大數(shù)據(jù)基礎(chǔ) ? 《云計(jì)算與大數(shù)據(jù)技術(shù)》 * 第 1章 云計(jì)算與大數(shù)據(jù)基礎(chǔ) ? 云計(jì)算技術(shù)概述 — 云計(jì)算簡(jiǎn)介 — 云計(jì)算的特點(diǎn) — 云計(jì)算技術(shù)分類 ? 大數(shù)據(jù)技術(shù)概述 — 大數(shù)據(jù)簡(jiǎn)介 — 主要的大數(shù)據(jù)處理系統(tǒng) — 大數(shù)據(jù)處理的基本流程 ? 云計(jì)算與大數(shù)據(jù)的發(fā)展 * 云計(jì)算簡(jiǎn)介 ? 云計(jì)算技術(shù)是硬件技術(shù)和網(wǎng)絡(luò)技術(shù)發(fā)展到一定階段而出現(xiàn)的一種新的技術(shù)模型 ? 云計(jì)算并不是對(duì)某一項(xiàng)獨(dú)立技術(shù)的稱呼，而是對(duì)實(shí)現(xiàn)云計(jì)算模式所需要的所有技術(shù)的總稱。 * ? 云計(jì)算技術(shù)的內(nèi)容很多 — 包括分布式計(jì)算技術(shù)、虛擬化技術(shù)、網(wǎng)絡(luò)技術(shù)、服務(wù)器技術(shù)、數(shù)據(jù)中心技術(shù)、云計(jì)算平臺(tái)技術(shù)、存儲(chǔ)技術(shù)等。 ? 從廣義上說，云計(jì)算技術(shù)幾乎包括了當(dāng)前信息技術(shù)中的絕大部分。 云計(jì)算簡(jiǎn)介 * ? 維基百科 中對(duì) 云計(jì)算 的 定義 為： —云計(jì)算是一種基于互聯(lián)網(wǎng)的計(jì)算方式，通過這種方式，共享的軟硬件資源和信息可以按需求提供給計(jì)算機(jī)和其他設(shè)備。 ? 2023年的 國(guó)務(wù)院政府工作報(bào)告 將云計(jì)算作為 國(guó)家戰(zhàn)略性新興產(chǎn)業(yè) 給出了 定義 ： —云計(jì)算是基于互聯(lián)網(wǎng)的服務(wù)的增加、使用和交付模式，通常涉及通過互聯(lián)網(wǎng)來提供動(dòng)態(tài)、易擴(kuò)展且經(jīng)常是虛擬化的資源。 —云計(jì)算是傳統(tǒng)計(jì)算機(jī)和網(wǎng)絡(luò)技術(shù)發(fā)展融合的產(chǎn)物，它意味著計(jì)算能力也可作為一種商品通過互聯(lián)網(wǎng)進(jìn)行流通。 云計(jì)算簡(jiǎn)介 * ? 云計(jì)算技術(shù)的出現(xiàn)改變了信息產(chǎn)業(yè)傳統(tǒng)的格局。 — 傳統(tǒng)的信息產(chǎn)業(yè)企業(yè)既是資源的整合者又是資源的使用者； — 這這種格局并不符合現(xiàn)代產(chǎn)業(yè)分工高度專業(yè)化的需求，同時(shí)也不符合企業(yè)需要靈敏地適應(yīng)客戶的需要。 云計(jì)算簡(jiǎn)介 * — 傳統(tǒng)的計(jì)算資源和存儲(chǔ)資源大小通常是相對(duì)固定的，面對(duì)客戶高波動(dòng)性的需求時(shí)會(huì)非常的不敏捷，企業(yè)的計(jì)算和存儲(chǔ)資源要么是被浪費(fèi)，要么是面對(duì)客戶峰值需求時(shí)力不從心。 — 云計(jì)算技術(shù)使資源與用戶需求之間是一種彈性化的關(guān)系，資源的使用者和資源的整合者并不是一個(gè)企業(yè)，資源的使用者只需要對(duì)資源按需付費(fèi)，從而敏捷地響應(yīng)客戶不斷變化的資源需求，這一方法降低了資源使用者的成本，提高了資源的利用效率。 云計(jì)算簡(jiǎn)介 * ? 云計(jì)算時(shí)代基本的 3種角色： 資源的整合運(yùn)營(yíng)者、資源的使用者、終端客戶。 — 資源的整合運(yùn)營(yíng)者就像是發(fā)電廠負(fù)責(zé)資源的整合輸出； — 資源的使用者負(fù)責(zé)將資源轉(zhuǎn)變?yōu)闈M足客戶需求的各種應(yīng)用； — 終端客戶為資源的最終消費(fèi)者。 云計(jì)算簡(jiǎn)介 * ? 云計(jì)算這種新的模式的出現(xiàn)被認(rèn)為是信息產(chǎn)業(yè)的一大變革，吸引了大量企業(yè)重新布局： — IBM、微軟、谷歌、 DELL等企業(yè) — 國(guó)內(nèi)企業(yè)：華為、中興、騰訊、阿里、聯(lián)想、浪潮、五舟等企業(yè) 云計(jì)算簡(jiǎn)介 * — 云計(jì)算技術(shù)作為一項(xiàng)涵蓋面廣且對(duì)產(chǎn)業(yè)影響深遠(yuǎn)的技術(shù)，未來將逐步滲透到信息產(chǎn)業(yè)和其他產(chǎn)業(yè)的方方面面，并將深刻改變產(chǎn)業(yè)的結(jié)構(gòu)模式、技術(shù)模式和產(chǎn)品銷售模式，進(jìn)而深刻影響人們的生活； — 云計(jì)算會(huì)逐步成為人們生活中必不可少的技術(shù)； 云計(jì)算簡(jiǎn)介 * — 移動(dòng)互聯(lián)網(wǎng)的出現(xiàn)使云計(jì)算應(yīng)用走向了人們的指間，推動(dòng)了云計(jì)算技術(shù)的應(yīng)用發(fā)展，今后云計(jì)算將是一項(xiàng)隨時(shí)、隨地、隨身為我們提供服務(wù)的技術(shù)； — 云計(jì)算的出現(xiàn)也將如電的出現(xiàn)一般，為信息產(chǎn)業(yè)的發(fā)展提供無限的想象空間，使應(yīng)用的創(chuàng)新能力得到完全釋放。 云計(jì)算簡(jiǎn)介 * ? 云計(jì)算的特點(diǎn) — 1． 資源池彈性可擴(kuò)張 — 2． 按需提供資源服務(wù) — 3． 虛擬化 — 4． 網(wǎng)絡(luò)化的資源接入 — 5． 高可靠性和安全性 云計(jì)算的特點(diǎn) * ? 與傳統(tǒng)的資源提供方向相比，云計(jì)算具有以下特點(diǎn)： （ 1）資源池彈性可擴(kuò)張 — 云計(jì)算系統(tǒng)的一個(gè)重要特征就是 資源的集中管理和輸出 ，這就是所謂的資源池。從資源低效率的分散使用到資源高效的集約化使用正是云計(jì)算的基本特征之一。 — 分散的資源使用方法造成了資源的極大浪費(fèi)，現(xiàn)在每個(gè)人都可能有一到兩臺(tái)自己的計(jì)算機(jī)，但對(duì)這種資源的利用率卻非常的低，計(jì)算機(jī)在大量時(shí)間都是在等待狀態(tài)或是在處理文字?jǐn)?shù)據(jù)等低負(fù)荷的任務(wù)。 — 資源集中起來后資源的利用效率會(huì)大大地提高，隨著資源需求的不斷提高，資源池的彈性化擴(kuò)張能力成為云計(jì)算系統(tǒng)的一個(gè)基本要求，云計(jì)算系統(tǒng)只有具備了資源的彈性化擴(kuò)張能力才能有效地應(yīng)對(duì)不斷增長(zhǎng)的資源需求。 — 大多數(shù)云計(jì)算系統(tǒng)都能較為方便地實(shí)現(xiàn)新資源的加入。 云計(jì)算的特點(diǎn) * （ 2）按需提供資源服務(wù) — 云計(jì)算系統(tǒng)帶給客戶最重要的好處就是敏捷地 適應(yīng)用戶對(duì)資源不斷變化的需求 ； — 云計(jì)算系統(tǒng)實(shí)現(xiàn) 按需向用戶提供資源 能大大節(jié)省用戶的硬件資源開支，用戶不用自己購買并維護(hù)大量固定的硬件資源，只需向自己實(shí)際消費(fèi)的資源量來付費(fèi)； — 按需提供資源服務(wù)使應(yīng)用開發(fā)者在邏輯上可以認(rèn)為資源池的大小是不受限制的，應(yīng)用開發(fā)者的主要精力只需要集中在自己的應(yīng)用上。 云計(jì)算的特點(diǎn) * （ 3）虛擬化 — 現(xiàn)有的云計(jì)算平臺(tái)的重要特點(diǎn)是利用軟件來實(shí)現(xiàn)硬件資源的虛擬化管理、調(diào)度及應(yīng)用。 — 在云計(jì)算中利用虛擬化技術(shù)可大大降低維護(hù)成本和提高資源的利用率。 云計(jì)算的特點(diǎn) * （ 4）網(wǎng)絡(luò)化的資源接入。 — 從最終用戶的角度看 ，基于云計(jì)算系統(tǒng)的應(yīng)用服務(wù)通常都是通過網(wǎng)絡(luò)來提供的，應(yīng)用開發(fā)者將云計(jì)算中心的計(jì)算、存儲(chǔ)等資源封裝為不同的應(yīng)用后往往會(huì)通過網(wǎng)絡(luò)提供給最終的用戶。 — 云計(jì)算技術(shù)必須實(shí)現(xiàn)資源的網(wǎng)絡(luò)化接入才能有效地向應(yīng)用開發(fā)者和最終用戶提供資源服務(wù)。 — 以網(wǎng)絡(luò)技術(shù)的發(fā)展是推動(dòng)云計(jì)算技術(shù)出現(xiàn)的首要?jiǎng)恿Α? 云計(jì)算的特點(diǎn) * （ 5）高可靠性和安全性。 — 用戶數(shù)據(jù)存儲(chǔ)在服務(wù)器端，而應(yīng)用程序在服務(wù)器端運(yùn)行，計(jì)算由服務(wù)器端來處理。所有的服務(wù)分布在不同的服務(wù)器上，如果什么地方（節(jié)點(diǎn)）出問題就在什么地方終止它，另外再啟動(dòng)一個(gè)程序或節(jié)點(diǎn)，即 自動(dòng)處理失敗節(jié)點(diǎn) ，從而保證了應(yīng)用和計(jì)算的正常進(jìn)行。 — 數(shù)據(jù)被復(fù)制到多個(gè)服務(wù)器節(jié)點(diǎn)上有多個(gè)副本（備份），存儲(chǔ)在云里的數(shù)據(jù)即使遇到意外刪除或硬件崩潰也不會(huì)受到影響。 云計(jì)算的特點(diǎn) * 云計(jì)算技術(shù)分類 ? 云計(jì)算技術(shù)分類 — 1．按技術(shù)路線分類 — 2．按服務(wù)對(duì)象分類 — 3．按資源封裝的層次分類 * ? 目前已出現(xiàn)的云計(jì)算技術(shù)種類非常多，對(duì)于云計(jì)算的分類可以有多種角度： — 從技術(shù)路線角度可以分為資源整合型云計(jì)算和資源切分型云計(jì)算； — 從服務(wù)對(duì)像角度可以被分為公有云和私有云； — 按資源封裝的層次來分可以分為： ? 基礎(chǔ)設(shè)施即服務(wù)（ Infrastructure as a Service， IaaS） ? 平臺(tái)即服務(wù)（ Platform as a Service， PaaS） ? 軟件即服務(wù)（ Software as a Service， SaaS）。 云計(jì)算技術(shù)分類 * 1．按技術(shù)路線分類 — 資源整合型云計(jì)算： 這種類型的云計(jì)算系統(tǒng)在技術(shù)實(shí)現(xiàn)方面大多體現(xiàn)為集群架構(gòu)，通過將大量節(jié)點(diǎn)的計(jì)算資源和存儲(chǔ)資源整合后輸出。 ? 這類系統(tǒng)通常能實(shí)現(xiàn)跨節(jié)點(diǎn)彈性化的資源池構(gòu)建，核心技術(shù)為分布式計(jì)算和存儲(chǔ)技術(shù)。 ? MPI、 Hadoop、 HPCC、 Storm等都可以被分類為資源整合型云計(jì)算系統(tǒng)。 云計(jì)算技術(shù)分類 * — 資源切分型云計(jì)算： 這種類型最為典型的就是虛擬化系統(tǒng)，這類云計(jì)算系統(tǒng)通過系統(tǒng)虛擬化實(shí)現(xiàn)對(duì)單個(gè)服務(wù)器資源的彈性化切分，從而有效地利用服務(wù)器資源，其核心技術(shù)為虛擬化技術(shù)。 ? 這種技術(shù)的優(yōu)點(diǎn)是用戶的系統(tǒng)可以不做任何改變接入采用虛擬化技術(shù)的云系統(tǒng)，是目前應(yīng)用較為廣泛的技術(shù)，特別是在桌面云計(jì)算技術(shù)上應(yīng)用得較為成功； ? 缺點(diǎn)是跨節(jié)點(diǎn)的資源整合代價(jià)較大； ? KVM、 VMware都是這類技術(shù)的代表。 云計(jì)算技術(shù)分類 * 2．按服務(wù)對(duì)象分類 — 公有云： 指服務(wù)對(duì)象是面向公眾的云計(jì)算服務(wù)，公有云對(duì)云計(jì)算系統(tǒng)的穩(wěn)定性、安全性和并發(fā)服務(wù)能力有更高的要求。 — 私有云： 指主要服務(wù)于某一組織內(nèi)部的云計(jì)算服務(wù)，其服務(wù)并不向公眾開放，如企業(yè)、政府內(nèi)部的云服務(wù)。 — 公有云與私有云的界限并不是特別清晰，有時(shí)服務(wù)于一個(gè)地區(qū)和團(tuán)體的云也被稱為公有云。所以這種云計(jì)算分類方法并不是一種準(zhǔn)確的分類方法，主要是在商業(yè)領(lǐng)域的一種稱呼。 云計(jì)算技術(shù)分類