【正文】 器、全球定位系統(tǒng)、激光掃描器等 信息傳感設(shè)備 ，按約定的協(xié)議，把任何物品與互聯(lián)網(wǎng)相連接，進(jìn)行 信息交換 和 通信 ，以實(shí)現(xiàn) 智能化識(shí)別 、 定位 、 跟蹤 、 監(jiān)控 和 管理 的一種 網(wǎng)絡(luò) 。物聯(lián)網(wǎng)就是“物物相連的互聯(lián)網(wǎng)”。 — 在物聯(lián)網(wǎng)技術(shù)中傳感器的大量使用使數(shù)據(jù)的生產(chǎn)實(shí)現(xiàn)自動(dòng)化，數(shù)據(jù)生產(chǎn)的自動(dòng)化也是推動(dòng)當(dāng)前大數(shù)據(jù)技術(shù)發(fā)展的動(dòng)力之一。 云計(jì)算與大數(shù)據(jù) * 云計(jì)算與物聯(lián)網(wǎng) ? 云計(jì)算與物聯(lián)網(wǎng) — 云計(jì)算和物聯(lián)網(wǎng)在出現(xiàn)的時(shí)間上非常接近，以至于有一段時(shí)間云計(jì)算和物聯(lián)網(wǎng)兩個(gè)名詞總是同時(shí)出現(xiàn)在各類媒體上。 現(xiàn)在人類在一年內(nèi)所產(chǎn)生的數(shù)據(jù)可能已經(jīng)超過人類過去幾千年產(chǎn)生的數(shù)據(jù)的總和，即使是復(fù)雜度為的數(shù)據(jù)處理方法在面對(duì)龐大的時(shí)都顯得力不從心，人類逐步進(jìn)入面向數(shù)據(jù)的時(shí)代。這個(gè)時(shí)代正好對(duì)應(yīng)于面向計(jì)算的時(shí)代，可以在某些具有完善理論體系領(lǐng)域利用計(jì)算機(jī)仿真計(jì)算來進(jìn)行研究。 觀 測(cè) 實(shí) 驗(yàn) 理 論 計(jì) 算 仿 真 數(shù) 據(jù)計(jì) 算 萌 芽 面 向 計(jì) 算 面 向 數(shù) 據(jù)圖 科學(xué)研究四個(gè)范式的發(fā)展歷程 當(dāng)人類知識(shí)積累到一定的程度后，知識(shí)逐漸形成了理論體系，如牛頓力學(xué)體系、 Maxwell的電磁場(chǎng)理論，人類可以利用這些理論體系去預(yù)測(cè)自然并獲取新的知識(shí)，這時(shí)對(duì)計(jì)算和數(shù)據(jù)的需求已經(jīng)在萌生，人類已可以依賴這些理論發(fā)現(xiàn)新的行星，如海王星、冥王星的發(fā)現(xiàn)不是通過觀測(cè)而是通過計(jì)算得到。 — 云計(jì)算與大數(shù)據(jù) * — 如圖 ，人類早期知識(shí)的發(fā)現(xiàn)主要依賴于 經(jīng)驗(yàn)、觀察和實(shí)驗(yàn) ，需要的計(jì)算和產(chǎn)生的數(shù)據(jù)都是很少的。他認(rèn)為利用海量的數(shù)據(jù)可以為科學(xué)研究和知識(shí)發(fā)現(xiàn)提供除經(jīng)驗(yàn)、理論、計(jì)算外的第四種重要方法。 云計(jì)算和大數(shù)據(jù)這兩個(gè)名詞也可看作是描述了面向計(jì)算時(shí)代信息技術(shù)的兩個(gè)方面，云計(jì)算側(cè)重于描述資源和應(yīng)用的網(wǎng)絡(luò)化交付方法，大數(shù)據(jù)側(cè)重于描述面向數(shù)據(jù)時(shí)代由于數(shù)據(jù)量巨大所帶來的技術(shù)挑戰(zhàn)。云計(jì)算、大數(shù)據(jù)概念正是在這樣的一個(gè)背景下出現(xiàn)的。 到了以網(wǎng)絡(luò)為核心的時(shí)代數(shù)據(jù)的構(gòu)成變得非常復(fù)雜，數(shù)據(jù)來源多樣化，不同數(shù)據(jù)之間存在大量的隱含關(guān)聯(lián)性，這時(shí)計(jì)算所面對(duì)的數(shù)據(jù)變得非常復(fù)雜，如社會(huì)感知、微關(guān)系等應(yīng)用將數(shù)據(jù)和復(fù)雜的人類社會(huì)運(yùn)行相關(guān)聯(lián)，由于人人都是數(shù)據(jù)的生產(chǎn)者，人們之間的社會(huì)關(guān)系和結(jié)構(gòu)就被隱含到了所產(chǎn)生的數(shù)據(jù)之中。 — 從云計(jì)算之父 John McCarthy提出云計(jì)算的概念到大數(shù)據(jù)之父 Gray等人提出科學(xué)研究的第四范式，時(shí)間已經(jīng)跨越了半個(gè)世紀(jì)。 相對(duì)而言由于這時(shí)數(shù)據(jù)量很小，數(shù)據(jù)在整個(gè)計(jì)算系統(tǒng)中的重要性并不突出。 ( 3 ) 從 集 中 到 分 散 再 到 集 中圖 計(jì)算機(jī)技術(shù)向云計(jì)算的演進(jìn) 1969年 ARPANET的出現(xiàn)改變了整個(gè)計(jì)算機(jī)技術(shù)的發(fā)展歷史，網(wǎng)絡(luò)逐步成為推動(dòng)技術(shù)發(fā)展的一個(gè)重要力量， 1989年 Tim BernersLee發(fā)明的萬維網(wǎng)改變了信息的交流方式，特別是高速移動(dòng)通信網(wǎng)絡(luò)技術(shù)的發(fā)展和成熟使現(xiàn)在數(shù)據(jù)的生產(chǎn)成為全球人的共同活動(dòng)，人們生產(chǎn)數(shù)據(jù)不再是在固定時(shí)間和固定地點(diǎn)進(jìn)行，而是隨時(shí)隨地都在產(chǎn)生數(shù)據(jù)。 1 9 5 8 1 9 6 0 1 9 8 4 1 9 9 4 1 9 9 5 2 0 0 6 2 0 0 8 2 0 0 9 2 0 1 1 麥 卡 錫 發(fā) 明 L I S P 語(yǔ) 言麥 卡 錫 首 次 提 出 云 計(jì) 算 理 念S U N 提 出 網(wǎng) 絡(luò) 就 是 計(jì) 算 機(jī)并 行 計(jì) 算 網(wǎng) 格 計(jì) 算G o o g l e 提 出 云 計(jì) 算云 計(jì) 算 進(jìn) 入 中 國(guó)第 四 范 式大 數(shù) 據(jù) 進(jìn) 入 中 國(guó)1 9 4 6 1 9 5 4 1 9 6 4 1 9 6 9 1 9 7 0 1 9 8 0 1 9 8 6 1 9 8 9 1 9 9 3 2 0 0 2 2 0 0 5電 子 管 : E N I A C晶 體 管 : T R A D I C集 成 電 路 : I B M 3 6 0A R P A n e t大 規(guī) 模 集 成 電 路T C P / I P我 國(guó) 首 封 E M a i lW W W 發(fā) 明第 一 個(gè) W e b互 聯(lián) 網(wǎng) 發(fā) 展移 動(dòng) 互 聯(lián) 網(wǎng)硬 件 技 術(shù) 和 網(wǎng) 絡(luò) 技 術(shù) 的 發(fā) 展面 向 數(shù) 據(jù) 技 術(shù) 發(fā) 展變 化 趨 勢(shì) : ( 1 ) 從 面 向 計(jì) 算 到 面 向 數(shù) 據(jù) 。 云計(jì)算與大數(shù)據(jù) * — 在計(jì)算機(jī)技術(shù)的早期由于硬件設(shè)備體積龐大，價(jià)格昂貴，這一階段數(shù)據(jù)的產(chǎn)生還是“個(gè)別”人的工作。從面向計(jì)算到面向數(shù)據(jù)是技術(shù)發(fā)展的必然趨勢(shì)，并不能把云計(jì)算的出現(xiàn)歸功于任何的個(gè)人和企業(yè)。 云計(jì)算與大數(shù)據(jù) * — 面向數(shù)據(jù)也可以更準(zhǔn)確地稱為“ 面向數(shù)據(jù)的計(jì)算 ”，面向數(shù)據(jù)要求系統(tǒng)的設(shè)計(jì)和架構(gòu)是 圍繞數(shù)據(jù)為核心 展開的，面向數(shù)據(jù)也是云計(jì)算系統(tǒng)的一個(gè)基本特征，而 計(jì)算與數(shù)據(jù)的有效協(xié)作 是面向數(shù)據(jù)的 核心要求 。 — 在分布式系統(tǒng)中 實(shí)現(xiàn) 計(jì)算和數(shù)據(jù)有效融合 從而 提高數(shù)據(jù)處理能力 ， 簡(jiǎn)化分布式程序設(shè)計(jì)難度 ， 降低系統(tǒng)網(wǎng)絡(luò)通信壓力 從而 使系統(tǒng)能有效地面對(duì)大數(shù)據(jù)處理 的機(jī)制稱為 計(jì)算和數(shù)據(jù)的協(xié)作機(jī)制 。特別是在集群條件下，計(jì)算和存儲(chǔ)都是 分布式 的， 如何讓計(jì)算“找”到自己需要處理的數(shù)據(jù) 是云計(jì)算系統(tǒng)需要具有的 核心功能 。 云計(jì)算與大數(shù)據(jù) * — 海量的數(shù)據(jù)本身很難直接使用，只有通過處理的數(shù)據(jù)才能真正地成為有用的數(shù)據(jù)，因此云計(jì)算時(shí)代計(jì)算和數(shù)據(jù)兩大主題可以進(jìn)一步明確為 數(shù)據(jù) 和 針對(duì)數(shù)據(jù)的計(jì)算 ，計(jì)算可以使海量的數(shù)據(jù)成為有用的信息，進(jìn)而處理成為知識(shí)。伴隨這兩大主題，出現(xiàn)了云計(jì)算和大數(shù)據(jù)這兩個(gè)熱門概念，任何概念的出現(xiàn)都不是偶然的，取決于當(dāng)時(shí)的技術(shù)發(fā)展?fàn)顩r。 * — 大數(shù)據(jù)其實(shí)是對(duì)面向數(shù)據(jù)計(jì)算技術(shù)中對(duì)數(shù)據(jù)量的一個(gè)形象描述，通常也可以被稱為海量數(shù)據(jù)。云計(jì)算與大數(shù)據(jù)技術(shù) 人民郵電出版社 王鵬 黃焱 安俊秀 張逸琴 編著 * 目 錄 CONTENTS ? 第 1章 云計(jì)算與大數(shù)據(jù)基礎(chǔ) ? 第 2章 云計(jì)算與大數(shù)據(jù)的相關(guān)技術(shù) ? 第 3章 虛擬化技術(shù) ? 第 4章 集群系統(tǒng)基礎(chǔ) ? 第 5章 MPI— 面向計(jì)算 ? 第 6章 Hadoop— 分布式大數(shù)據(jù)系統(tǒng) ? 第 7章 HPCC— 面向數(shù)據(jù)的高性能計(jì)算集群系統(tǒng) ? 第 8章 Storm— 基于拓?fù)涞牧鲾?shù)據(jù)實(shí)時(shí)計(jì)算系統(tǒng) ? 第 9章 服務(wù)器與數(shù)據(jù)中心 ? 第 10章 云計(jì)算大數(shù)據(jù)仿真技術(shù) 第 2章 云計(jì)算與大數(shù)據(jù)的相關(guān)技術(shù) ? 《云計(jì)算與大數(shù)據(jù)技術(shù)》 * 第 2章 云計(jì)算與大數(shù)據(jù)的相關(guān)技術(shù) ? 云計(jì)算與大數(shù)據(jù) ? 云計(jì)算與物聯(lián)網(wǎng) ? 一致性哈希算法 — 一致性哈希算法的基本原理 — 一致性哈希算法中計(jì)算和存儲(chǔ)位置的一致性 ? 非關(guān)系型數(shù)據(jù)庫(kù) — 從關(guān)系型數(shù)據(jù)庫(kù)到非關(guān)系型數(shù)據(jù)庫(kù) — 非關(guān)系型數(shù)據(jù)庫(kù)的定義 — 非關(guān)系型數(shù)據(jù)庫(kù)的分類 ? 集群高速通信標(biāo)準(zhǔn) InfiniBand ? 云計(jì)算大數(shù)據(jù)集群的自組織特性 * 云計(jì)算與大數(shù)據(jù) ? 云計(jì)算與大數(shù)據(jù) ? 云計(jì)算與大數(shù)據(jù)相比云計(jì)算更像是對(duì)一種新的技術(shù)模式的描述而不是對(duì)某一項(xiàng)技術(shù)的描述，而大數(shù)據(jù)則較為確切地與一些具體的技術(shù)相關(guān)聯(lián)。 — 目前新出現(xiàn)的一些技術(shù)如 Hadoop、 HPCC、 Storm都較為確切地與大數(shù)據(jù)相關(guān)，同時(shí)并行計(jì)算技術(shù)、分布式存儲(chǔ)技術(shù)、數(shù)據(jù)挖掘技術(shù)這些傳統(tǒng)的計(jì)算機(jī)學(xué)科在大數(shù)據(jù)條件下又再次萌發(fā)出生機(jī)，并在大數(shù)據(jù)時(shí)代找到了新的研究?jī)?nèi)容。 — 云計(jì)算整合的資源主要是計(jì)算和存儲(chǔ)資源，云計(jì)算技術(shù)的發(fā)展也清晰地呈現(xiàn)出兩大主題 — 計(jì)算和數(shù)據(jù)。 — 李國(guó)杰院士認(rèn)為：“信息系統(tǒng)需要從數(shù)據(jù)圍繞著處理器轉(zhuǎn)改為處理能力圍繞著數(shù)據(jù)轉(zhuǎn)，將計(jì)算用于數(shù)據(jù)，而不是將數(shù)據(jù)用于計(jì)算”。 — 目前提到云計(jì)算時(shí)，有時(shí)將云存儲(chǔ)作為單獨(dú)的一項(xiàng)技術(shù)來對(duì)待，只是把網(wǎng)絡(luò)化的存儲(chǔ)籠統(tǒng)地稱為云存儲(chǔ)，事實(shí)上在面向數(shù)據(jù)的時(shí)代不管是出現(xiàn)了云計(jì)算的概念還是大數(shù)據(jù)的概念，存儲(chǔ)都不是一個(gè)獨(dú)立存在的系統(tǒng)。 云計(jì)算與大數(shù)據(jù) * — 面向數(shù)據(jù) 要求計(jì)算是面向數(shù)據(jù)的，那么數(shù)據(jù)的存儲(chǔ)方式將會(huì)深刻地影響計(jì)算實(shí)現(xiàn)的方式。 — 在這種協(xié)作機(jī)制中 計(jì)算如何找到數(shù)據(jù)并啟動(dòng)分布式處理任務(wù) 的問題是需要重點(diǎn)研究的課題，這一問題被稱為 計(jì)算和數(shù)據(jù)的位置一致性 問題。 — 回顧計(jì)算機(jī)技術(shù)的發(fā)展歷程，可以清晰地看到計(jì)算機(jī)技術(shù)從面向計(jì)算逐步轉(zhuǎn)變到面向數(shù)據(jù)的過程。這一過程的描述如圖 ，該圖從硬件、網(wǎng)絡(luò)和云計(jì)算的演進(jìn)過程等方面以時(shí)間為順序進(jìn)行了縱向和橫向的對(duì)比。這個(gè)時(shí)期的數(shù)據(jù)生產(chǎn)者主要是科學(xué)家或軍事部門，他們更關(guān)注計(jì)算機(jī)的計(jì)算能力，計(jì)算能力的高低決定了研究能力和一個(gè)國(guó)家軍事能力的高低。 ( 2 ) 從 硬 件 為 核 心 到 以 網(wǎng) 絡(luò) 為 核 心 。微博、博客、社交網(wǎng)、視頻共享網(wǎng)站、即時(shí)通信等媒介隨時(shí)都在生產(chǎn)著數(shù)據(jù)并被融入全球網(wǎng)絡(luò)中。這時(shí)網(wǎng)絡(luò)還沒有出現(xiàn)，推動(dòng)計(jì)算技術(shù)發(fā)展的主要?jiǎng)恿κ怯布陌l(fā)展，這個(gè)時(shí)期是硬件的高速變革時(shí)期，硬件從電子管迅速發(fā)展到大規(guī)模集成電路。以硬件為核心的時(shí)代也是面向計(jì)算的時(shí)代，那時(shí)數(shù)據(jù)的構(gòu)成非常簡(jiǎn)單，數(shù)據(jù)之間基本沒有關(guān)聯(lián)性，物理學(xué)家只處理物理實(shí)驗(yàn)數(shù)據(jù)，生物學(xué)家只處理生物學(xué)數(shù)據(jù)，計(jì)算和數(shù)據(jù)之間的對(duì)應(yīng)關(guān)系是非常簡(jiǎn)單和直接，這個(gè)時(shí)期研究計(jì)算和存儲(chǔ)的協(xié)作機(jī)制并沒有太大的實(shí)用價(jià)值。 數(shù)據(jù)的產(chǎn)生目前呈現(xiàn)出了：大眾化、自動(dòng)化、連續(xù)化、復(fù)雜化的趨勢(shì)。這一時(shí)期的典型特征就是計(jì)算必須面向數(shù)據(jù)，數(shù)據(jù)是架構(gòu)整個(gè)系統(tǒng)的核心要素，這就使計(jì)算和存儲(chǔ)的協(xié)作機(jī)制研究成為需要重點(diǎn)關(guān)注的核心技術(shù)，計(jì)算能有效找到自己需要處理的數(shù)據(jù)，可以使系統(tǒng)能更高效地完成海量數(shù)據(jù)的處理和分析。 — 信息技術(shù)領(lǐng)域提出的面向數(shù)據(jù)的概念同時(shí)也開始深刻地改變了科學(xué)研究的模式，2023年著名的數(shù)據(jù)庫(kù)專家 Gray提出了科學(xué)研究的第四范式。科學(xué)研究的四個(gè)范式的發(fā)展歷程也同樣反映了從面向計(jì)算走向面向數(shù)據(jù)的過程。人類在這一時(shí)期對(duì)于宇宙的認(rèn)識(shí)都是這樣形成的，就像伽利略為了證明自由落體定理，是通過在比薩斜塔扔下兩個(gè)大小不一的小球一樣，人類在那個(gè)時(shí)代知識(shí)的獲取方式是原始而樸素的。 計(jì)算機(jī)的出現(xiàn)為人類發(fā)現(xiàn)新的知識(shí)提供了重要的工具。這時(shí)計(jì)算機(jī)的作用主要是計(jì)算，例如人類利用仿真計(jì)算可以實(shí)現(xiàn)模擬核爆這樣的復(fù)雜計(jì)算。第四范式說明可以利用海量數(shù)據(jù)加上高速計(jì)算發(fā)現(xiàn)新的知識(shí)，計(jì)算和數(shù)據(jù)的關(guān)系在面向數(shù)據(jù)時(shí)代變得十分緊密，也使計(jì)算和數(shù)據(jù)的協(xié)作問題面臨巨大的技術(shù)挑戰(zhàn)。 — 物聯(lián)網(wǎng)的出現(xiàn)部分得益于網(wǎng)絡(luò)的發(fā)展，大量傳感器數(shù)據(jù)的收集需要良好的網(wǎng)絡(luò)環(huán)境，特別是部分圖像數(shù)據(jù)的傳輸更是對(duì)網(wǎng)絡(luò)