【正文】 云計算與大數(shù)據(jù)技術(shù) 人民郵電出版社 王鵬 黃焱 安俊秀 張逸琴 編著 * 目 錄 CONTENTS ? 第 1章 云計算與大數(shù)據(jù)基礎(chǔ) ? 第 2章 云計算與大數(shù)據(jù)的相關(guān)技術(shù) ? 第 3章 虛擬化技術(shù) ? 第 4章 集群系統(tǒng)基礎(chǔ) ? 第 5章 MPI— 面向計算 ? 第 6章 Hadoop— 分布式大數(shù)據(jù)系統(tǒng) ? 第 7章 HPCC— 面向數(shù)據(jù)的高性能計算集群系統(tǒng) ? 第 8章 Storm— 基于拓?fù)涞牧鲾?shù)據(jù)實時計算系統(tǒng) ? 第 9章 服務(wù)器與數(shù)據(jù)中心 ? 第 10章 云計算大數(shù)據(jù)仿真技術(shù) 第 2章 云計算與大數(shù)據(jù)的相關(guān)技術(shù) ? 《云計算與大數(shù)據(jù)技術(shù)》 * 第 2章 云計算與大數(shù)據(jù)的相關(guān)技術(shù) ? 云計算與大數(shù)據(jù) ? 云計算與物聯(lián)網(wǎng) ? 一致性哈希算法 — 一致性哈希算法的基本原理 — 一致性哈希算法中計算和存儲位置的一致性 ? 非關(guān)系型數(shù)據(jù)庫 — 從關(guān)系型數(shù)據(jù)庫到非關(guān)系型數(shù)據(jù)庫 — 非關(guān)系型數(shù)據(jù)庫的定義 — 非關(guān)系型數(shù)據(jù)庫的分類 ? 集群高速通信標(biāo)準(zhǔn) InfiniBand ? 云計算大數(shù)據(jù)集群的自組織特性 * 云計算與大數(shù)據(jù) ? 云計算與大數(shù)據(jù) ? 云計算與大數(shù)據(jù)相比云計算更像是對一種新的技術(shù)模式的描述而不是對某一項技術(shù)的描述，而大數(shù)據(jù)則較為確切地與一些具體的技術(shù)相關(guān)聯(lián)。 — 目前新出現(xiàn)的一些技術(shù)如 Hadoop、 HPCC、 Storm都較為確切地與大數(shù)據(jù)相關(guān)，同時并行計算技術(shù)、分布式存儲技術(shù)、數(shù)據(jù)挖掘技術(shù)這些傳統(tǒng)的計算機學(xué)科在大數(shù)據(jù)條件下又再次萌發(fā)出生機，并在大數(shù)據(jù)時代找到了新的研究內(nèi)容。 * — 大數(shù)據(jù)其實是對面向數(shù)據(jù)計算技術(shù)中對數(shù)據(jù)量的一個形象描述，通常也可以被稱為海量數(shù)據(jù)。 — 云計算整合的資源主要是計算和存儲資源，云計算技術(shù)的發(fā)展也清晰地呈現(xiàn)出兩大主題 — 計算和數(shù)據(jù)。伴隨這兩大主題，出現(xiàn)了云計算和大數(shù)據(jù)這兩個熱門概念，任何概念的出現(xiàn)都不是偶然的，取決于當(dāng)時的技術(shù)發(fā)展?fàn)顩r。 — 李國杰院士認(rèn)為：“信息系統(tǒng)需要從數(shù)據(jù)圍繞著處理器轉(zhuǎn)改為處理能力圍繞著數(shù)據(jù)轉(zhuǎn)，將計算用于數(shù)據(jù)，而不是將數(shù)據(jù)用于計算”。 云計算與大數(shù)據(jù) * — 海量的數(shù)據(jù)本身很難直接使用，只有通過處理的數(shù)據(jù)才能真正地成為有用的數(shù)據(jù)，因此云計算時代計算和數(shù)據(jù)兩大主題可以進一步明確為 數(shù)據(jù) 和 針對數(shù)據(jù)的計算 ，計算可以使海量的數(shù)據(jù)成為有用的信息，進而處理成為知識。 — 目前提到云計算時，有時將云存儲作為單獨的一項技術(shù)來對待，只是把網(wǎng)絡(luò)化的存儲籠統(tǒng)地稱為云存儲，事實上在面向數(shù)據(jù)的時代不管是出現(xiàn)了云計算的概念還是大數(shù)據(jù)的概念，存儲都不是一個獨立存在的系統(tǒng)。特別是在集群條件下，計算和存儲都是 分布式 的， 如何讓計算“找”到自己需要處理的數(shù)據(jù) 是云計算系統(tǒng)需要具有的 核心功能 。 云計算與大數(shù)據(jù) * — 面向數(shù)據(jù) 要求計算是面向數(shù)據(jù)的，那么數(shù)據(jù)的存儲方式將會深刻地影響計算實現(xiàn)的方式。 — 在分布式系統(tǒng)中 實現(xiàn) 計算和數(shù)據(jù)有效融合 從而 提高數(shù)據(jù)處理能力 ， 簡化分布式程序設(shè)計難度 ， 降低系統(tǒng)網(wǎng)絡(luò)通信壓力 從而 使系統(tǒng)能有效地面對大數(shù)據(jù)處理 的機制稱為 計算和數(shù)據(jù)的協(xié)作機制 。 — 在這種協(xié)作機制中 計算如何找到數(shù)據(jù)并啟動分布式處理任務(wù) 的問題是需要重點研究的課題，這一問題被稱為 計算和數(shù)據(jù)的位置一致性 問題。 云計算與大數(shù)據(jù) * — 面向數(shù)據(jù)也可以更準(zhǔn)確地稱為“ 面向數(shù)據(jù)的計算 ”，面向數(shù)據(jù)要求系統(tǒng)的設(shè)計和架構(gòu)是 圍繞數(shù)據(jù)為核心 展開的，面向數(shù)據(jù)也是云計算系統(tǒng)的一個基本特征，而 計算與數(shù)據(jù)的有效協(xié)作 是面向數(shù)據(jù)的 核心要求 。 — 回顧計算機技術(shù)的發(fā)展歷程，可以清晰地看到計算機技術(shù)從面向計算逐步轉(zhuǎn)變到面向數(shù)據(jù)的過程。從面向計算到面向數(shù)據(jù)是技術(shù)發(fā)展的必然趨勢，并不能把云計算的出現(xiàn)歸功于任何的個人和企業(yè)。這一過程的描述如圖 ，該圖從硬件、網(wǎng)絡(luò)和云計算的演進過程等方面以時間為順序進行了縱向和橫向的對比。 云計算與大數(shù)據(jù) * — 在計算機技術(shù)的早期由于硬件設(shè)備體積龐大，價格昂貴，這一階段數(shù)據(jù)的產(chǎn)生還是“個別”人的工作。這個時期的數(shù)據(jù)生產(chǎn)者主要是科學(xué)家或軍事部門，他們更關(guān)注計算機的計算能力，計算能力的高低決定了研究能力和一個國家軍事能力的高低。 1 9 5 8 1 9 6 0 1 9 8 4 1 9 9 4 1 9 9 5 2 0 0 6 2 0 0 8 2 0 0 9 2 0 1 1 麥 卡 錫 發(fā) 明 L I S P 語 言麥 卡 錫 首 次 提 出 云 計 算 理 念S U N 提 出 網(wǎng) 絡(luò) 就 是 計 算 機并 行 計 算 網(wǎng) 格 計 算G o o g l e 提 出 云 計 算云 計 算 進 入 中 國第 四 范 式大 數(shù) 據(jù) 進 入 中 國1 9 4 6 1 9 5 4 1 9 6 4 1 9 6 9 1 9 7 0 1 9 8 0 1 9 8 6 1 9 8 9 1 9 9 3 2 0 0 2 2 0 0 5電 子 管 : E N I A C晶 體 管 : T R A D I C集 成 電 路 : I B M 3 6 0A R P A n e t大 規(guī) 模 集 成 電 路T C P / I P我 國 首 封 E M a i lW W W 發(fā) 明第 一 個 W e b互 聯(lián) 網(wǎng) 發(fā) 展移 動 互 聯(lián) 網(wǎng)硬 件 技 術(shù) 和 網(wǎng) 絡(luò) 技 術(shù) 的 發(fā) 展面 向 數(shù) 據(jù) 技 術(shù) 發(fā) 展變 化 趨 勢 : ( 1 ) 從 面 向 計 算 到 面 向 數(shù) 據(jù) 。 ( 2 ) 從 硬 件 為 核 心 到 以 網(wǎng) 絡(luò) 為 核 心 。 ( 3 ) 從 集 中 到 分 散 再 到 集 中圖 計算機技術(shù)向云計算的演進 1969年 ARPANET的出現(xiàn)改變了整個計算機技術(shù)的發(fā)展歷史，網(wǎng)絡(luò)逐步成為推動技術(shù)發(fā)展的一個重要力量， 1989年 Tim BernersLee發(fā)明的萬維網(wǎng)改變了信息的交流方式，特別是高速移動通信網(wǎng)絡(luò)技術(shù)的發(fā)展和成熟使現(xiàn)在數(shù)據(jù)的生產(chǎn)成為全球人的共同活動，人們生產(chǎn)數(shù)據(jù)不再是在固定時間和固定地點進行，而是隨時隨地都在產(chǎn)生數(shù)據(jù)。微博、博客、社交網(wǎng)、視頻共享網(wǎng)站、即時通信等媒介隨時都在生產(chǎn)著數(shù)據(jù)并被融入全球網(wǎng)絡(luò)中。 相對而言由于這時數(shù)據(jù)量很小，數(shù)據(jù)在整個計算系統(tǒng)中的重要性并不突出。這時網(wǎng)絡(luò)還沒有出現(xiàn)，推動計算技術(shù)發(fā)展的主要動力是硬件的發(fā)展，這個時期是硬件的高速變革時期，硬件從電子管迅速發(fā)展到大規(guī)模集成電路。 — 從云計算之父 John McCarthy提出云計算的概念到大數(shù)據(jù)之父 Gray等人提出科學(xué)研究的第四范式，時間已經(jīng)跨越了半個世紀(jì)。以硬件為核心的時代也是面向計算的時代，那時數(shù)據(jù)的構(gòu)成非常簡單，數(shù)據(jù)之間基本沒有關(guān)聯(lián)性，物理學(xué)家只處理物理實驗數(shù)據(jù)，生物學(xué)家只處理生物學(xué)數(shù)據(jù)，計算和數(shù)據(jù)之間的對應(yīng)關(guān)系是非常簡單和直接，這個時期研究計算和存儲的協(xié)作機制并沒有太大的實用價值。 到了以網(wǎng)絡(luò)為核心的時代數(shù)據(jù)的構(gòu)成變得非常復(fù)雜，數(shù)據(jù)來源多樣化，不同數(shù)據(jù)之間存在大量的隱含關(guān)聯(lián)性，這時計算所面對的數(shù)據(jù)變得非常復(fù)雜，如社會感知、微關(guān)系等應(yīng)用將數(shù)據(jù)和復(fù)雜的人類社會運行相關(guān)聯(lián)，由于人人都是數(shù)據(jù)的生產(chǎn)者，人們之間的社會關(guān)系和結(jié)構(gòu)就被隱含到了所產(chǎn)生的數(shù)據(jù)之中。 數(shù)據(jù)的產(chǎn)生目前呈現(xiàn)出了：大眾化、自動化、連續(xù)化、復(fù)雜化的趨勢。云計算、大數(shù)據(jù)概念正是在這樣的一個背景下出現(xiàn)的。這一時期的典型特征就是計算必須面向數(shù)據(jù)，數(shù)據(jù)是架構(gòu)整個系統(tǒng)的核心要素，這就使計算和存儲的協(xié)作機制研究成為需要重點關(guān)注的核心技術(shù)，計算能有效找到自己需要處理的數(shù)據(jù)，可以使系統(tǒng)能更高效地完成海量數(shù)據(jù)的處理和分析。 云計算和大數(shù)據(jù)這兩個名詞也可看作是描述了面向計算時代信息技術(shù)的兩個方面，云計算側(cè)重于描述資源和應(yīng)用的網(wǎng)絡(luò)化交付方法，大數(shù)據(jù)側(cè)重于描述面向數(shù)據(jù)時代由于數(shù)據(jù)量巨大所帶來的技術(shù)挑戰(zhàn)。 — 信息技術(shù)領(lǐng)域提出的面向數(shù)據(jù)的概念同時也開始深刻地改變了科學(xué)研究的模式，2023年著名的數(shù)據(jù)庫專家 Gray提出了科學(xué)研究的第四范式。他認(rèn)為利用海量的數(shù)據(jù)可以為科學(xué)研究和知識發(fā)現(xiàn)提供除經(jīng)驗、理論、計算外的第四種重要方法?？茖W(xué)研究的四個范式的發(fā)展歷程也同樣反映了從面向計算走向面向數(shù)據(jù)的過程。 — 云計算與大數(shù)據(jù) * — 如圖 ，人類早期知識的發(fā)現(xiàn)主要依賴于 經(jīng)驗、觀察和實驗 ，需要的計算和產(chǎn)生的數(shù)據(jù)都是很少的。人類在這一時期對于宇宙的認(rèn)識都是這樣形成的，就像伽利略為了證明自由落體定理，是通過在比薩斜塔扔下兩個大小不一的小球一樣，人類在那個時代知識的獲取方式是原始而樸素的。 觀 測 實 驗 理 論 計 算 仿 真 數(shù) 據(jù)計 算 萌 芽 面 向 計 算 面 向 數(shù) 據(jù)圖 科學(xué)研究四個范式的發(fā)展歷程 當(dāng)人類知識積累到一定的程度后，知識逐漸形成了理論體系，如牛頓力學(xué)體系、 Maxwell的電磁場理論，人類可以利用這些理論體系去預(yù)測自然并獲取新的知識，這時對計算和數(shù)據(jù)的需求已經(jīng)在萌生，人類已可以依賴這些理論發(fā)現(xiàn)新的行星，如海王星、冥王星的發(fā)現(xiàn)不是通過觀測而是通過計算得到。 計算機的出現(xiàn)為人類發(fā)現(xiàn)新的知識提供了重要的工具。這個時代正好對應(yīng)于面向計算的時代，可以在某些具有完善理論體系領(lǐng)域利用計算機仿真計算來進行研究。這時計算機的作用主要是計算，例如人類利用仿真計算可以實現(xiàn)模擬核爆這樣的復(fù)雜計算。 現(xiàn)在人類在一年內(nèi)所產(chǎn)生的數(shù)據(jù)可能已經(jīng)超過人類過去幾千年產(chǎn)生的數(shù)據(jù)的總和，即使是復(fù)雜度為的數(shù)據(jù)處理方法在面對龐大的時都顯得力不從心，人類逐步進入面向數(shù)據(jù)的時代。第四范式說明可以利用海量數(shù)據(jù)加上高速計算發(fā)現(xiàn)新的知識，計算和數(shù)據(jù)的關(guān)系在面向數(shù)據(jù)時代變得十分緊密，也使計算和數(shù)據(jù)的協(xié)作問題面臨巨大的技術(shù)挑戰(zhàn)。 云計算與大數(shù)據(jù) * 云計算與物聯(lián)網(wǎng) ? 云計算與物聯(lián)網(wǎng) — 云計算和物聯(lián)網(wǎng)在出現(xiàn)的時間上非常接近，以至于有一段時間云計算和物聯(lián)網(wǎng)兩個名詞總是同時出現(xiàn)在各類媒體上。 — 物聯(lián)網(wǎng)的出現(xiàn)部分得益于網(wǎng)絡(luò)的發(fā)展，大量傳感器數(shù)據(jù)的收集需要良好的網(wǎng)絡(luò)環(huán)境，特別是部分圖像數(shù)據(jù)的傳輸更是對網(wǎng)絡(luò)的性能有較高的要求。 — 在物聯(lián)網(wǎng)技術(shù)中傳感器的大量使用使數(shù)據(jù)的生產(chǎn)實現(xiàn)自動化，數(shù)據(jù)生產(chǎn)的自動化也是推動當(dāng)前大數(shù)據(jù)技術(shù)發(fā)展的動力之一。 * — 物聯(lián)網(wǎng)的英文名稱為“ The Inter of Things”，簡稱： IOT。物聯(lián)網(wǎng)就是“物物相連的互聯(lián)網(wǎng)”。 — 這有兩層意思： ? 第一，物聯(lián)網(wǎng)的核心和基礎(chǔ)仍然是互聯(lián)網(wǎng)，是在互聯(lián)網(wǎng)基礎(chǔ)之上的