【正文】 發(fā)展，不斷地以局部優(yōu)化達到全局優(yōu)化的過程。 — InfinBand 既可作為系統(tǒng)內(nèi)部互聯(lián)技術(shù)又可作為網(wǎng)絡(luò)互聯(lián)技術(shù)，既可用于構(gòu)造高性能刀片服務(wù)器（ Blade Server），又可用于構(gòu)建具有高可用性和高可伸縮性的大規(guī)模集群系統(tǒng)，還可用于構(gòu)建性能卓越的存儲區(qū)域網(wǎng)絡(luò) SAN。 — InfiniBand 是在 1999 年由 Future IO 和 NGIO 兩個標(biāo)準(zhǔn)整合而來的新型互聯(lián)技術(shù)。 InfiniBand行業(yè)協(xié)會成員總計超過 220個。云計算系統(tǒng)中集群的規(guī)模變得空前巨大，為了很好地實現(xiàn)集群內(nèi)部的調(diào)度和協(xié)調(diào)高速的網(wǎng)絡(luò)通信是必不可少的。這類數(shù)據(jù)庫可以在海量的數(shù)據(jù)中快速查詢數(shù)據(jù)，典型代表為 MongoDB、 CouchDB等。 MemcacheDB、Berkeley DB、 Redis、 Flare就是 KeyValue數(shù)據(jù)庫的代表。需要特別指出的是， BigTable特別適用于 MapReduce處理，這對于云計算的發(fā)展有很高的適應(yīng)性。 — 非關(guān)系型數(shù)據(jù)庫的分類 — NoSQL描述的是大量結(jié)構(gòu)化數(shù)據(jù)存儲方法的集合，根據(jù)結(jié)構(gòu)化方法以及應(yīng)用場合的不同，主要可以將 NoSQL分為以下幾類： — （ 1） ColumnOriented。目前已經(jīng)有多家大型 IT企業(yè)已經(jīng)采用非關(guān)系型數(shù)據(jù)庫作為重要的生產(chǎn)系統(tǒng)基礎(chǔ)支撐，比如 Google的 BigTable， Amazon的 Dynamo，以及 Digg、 Twitter、 Facebook在使用的 Cassandra等。云計算資源網(wǎng)絡(luò)化的提供方式更是為 Web 了無限的想象空間，從這一點看我們已很難將這兩者完全區(qū)分開來。 — 圖 關(guān)系數(shù)據(jù)庫之父 — Edgar Frank Codd — 隨著信息產(chǎn)業(yè)的發(fā)展，特別是在云計算和互聯(lián)網(wǎng) Web 展的今天，數(shù)據(jù)庫系統(tǒng)成為了 IT架構(gòu)中信息存儲和處理的必要組成部分， Web 是相對 Web 的新的一類互聯(lián)網(wǎng)應(yīng)用的統(tǒng)稱。這個理論包括一系列“范式”，可以用來檢查數(shù)據(jù)庫是否有冗余性和不一致等性質(zhì)。關(guān)系型數(shù)據(jù)庫幾十年來一直是統(tǒng)治數(shù)據(jù)庫技術(shù)的核心標(biāo)準(zhǔn)，目前主要的數(shù)據(jù)庫系統(tǒng)仍然采用的是關(guān)系型數(shù)據(jù)庫。 科德（ Edgar Frank Codd）所提出的，關(guān)系型數(shù)據(jù)庫克服了網(wǎng)絡(luò)數(shù)據(jù)庫模型和層次數(shù)據(jù)庫模型的一些弱點。 — 圖 一致性哈希算法實現(xiàn)計算與數(shù)據(jù)的位置一致性 — 一致性哈希算法可以實現(xiàn)無中心節(jié)點的計算和數(shù)據(jù)定位，使計算可以惟一地找到其所要處理和分析的數(shù)據(jù)，使計算能最大可能地在數(shù)據(jù)存儲的位置發(fā)起，從而節(jié)約大量的網(wǎng)絡(luò)資源，同時避免了系統(tǒng)單點失效造成的不良影響。 — 在這種算法的支持下只要計算程序片需要處理的數(shù)據(jù)邏輯位置是確定的，系統(tǒng)就會將計算程序片路由到數(shù)據(jù)存儲位置所在的節(jié)點，這時節(jié)點間的負(fù)載均衡性是由數(shù)據(jù)分布的均衡化來實現(xiàn)的。 — 對于多用戶分布式存儲系統(tǒng)來說：“用戶名 +邏輯存儲位置”所構(gòu)成的字符串在系統(tǒng)中是惟一確定的，如屬于用戶 wang，邏輯存儲位置為/test/“ wang/test/”在系統(tǒng)中一定是惟一的，同時某一個計算任務(wù)需要對 進行操作和處理，則它一定會在程序中指定用戶名和邏輯位置，因此存儲和計算 配的節(jié)點和當(dāng)時存儲 。當(dāng)根據(jù) Key查找節(jié)點時，找到的是虛擬節(jié)點，然后再根據(jù)虛擬節(jié)點查找對應(yīng)的真實節(jié)點。 當(dāng)增加服務(wù)節(jié)點時，只會影響與之相鄰的某一節(jié)點，其他節(jié)點不受影響。 — 傳統(tǒng)的哈希算法 在 節(jié)點數(shù)沒有變化 時 能很好地實現(xiàn)數(shù)據(jù)的分配 ，但 當(dāng)節(jié)點數(shù)發(fā)生變化 時傳統(tǒng)的哈希算法 將對數(shù)據(jù)進行重新的分配 ，這樣 系統(tǒng)恢復(fù) 的 代價 就非常 大 。 — Amazon的云存儲系統(tǒng) Dynamo改進了基本的一致性哈希算法，引入了 虛擬節(jié)點 ，使系統(tǒng)具有更加均衡地存儲定位能力。 云計算與物聯(lián)網(wǎng) * 一致性哈希算法 ? 一致性哈希算法 ? 一致性哈希算法的基本原理 — 主從結(jié)構(gòu) 的云計算系統(tǒng) 負(fù)載的均衡 往往通過 主節(jié)點 來完成 ， 而一些對等結(jié)構(gòu) 的云計算系統(tǒng)可以采用 一致性哈希算法 來實現(xiàn)負(fù)載的均衡，這種模式 避免 了主從結(jié)構(gòu)云計算系統(tǒng) 對主節(jié)點失效的敏感 。 ? 物聯(lián)網(wǎng)從專用網(wǎng)到互聯(lián)網(wǎng)，雖然信息分析、處理得到了質(zhì)的提升，但同時網(wǎng)絡(luò)安全性也遇到了前所未有的挑戰(zhàn)。 ? 雖然云平臺解決的問題一樣，架構(gòu)一樣，但基于不同的技術(shù)、應(yīng)用，其細(xì)節(jié)很可能完全不同，從而導(dǎo)致平臺與平臺之間可能無法互通。 這也是將云計算技術(shù)與數(shù)據(jù)挖掘技術(shù)相結(jié)合給物聯(lián)網(wǎng)帶來的一大競爭優(yōu)勢。用戶的地理位置也不再受限制，只要通過 Inter就能共享物體的最新信息。 云計算與物聯(lián)網(wǎng) * — （ 3）讓物聯(lián)網(wǎng)從局域網(wǎng)走向城域網(wǎng)甚至是廣域網(wǎng)，在更廣的范圍內(nèi)進行信息資源共享。而隨著物聯(lián)網(wǎng)領(lǐng)域的逐步擴大，物的數(shù)量呈幾何級增長，而物的信息也呈爆炸性增長，隨之而來的訪問量空前高漲。至于對于宕機的服務(wù)器， Google采用的是直接換掉。 ? 節(jié)點不可信問題使得一般的中小型公司要想獨自撐起一片屬于自己的天空，那是難上加難。 ? 這也是物聯(lián)網(wǎng)在云計算日漸成熟的今天，才能重新被激活的原因之一。 — 這些特點都會導(dǎo)致物聯(lián)網(wǎng)系統(tǒng)會在運行過程中產(chǎn)生大量的數(shù)據(jù)，物聯(lián)網(wǎng)的出現(xiàn)使數(shù)據(jù)的產(chǎn)生實現(xiàn)自動化，大量的傳感器數(shù)據(jù)不斷地在各個監(jiān)控點產(chǎn)生，特別是現(xiàn)在信息采樣的空間密度和時間密度不斷增加，視頻信息的大量使用，這些因素也是目前導(dǎo)致大數(shù)據(jù)概念出現(xiàn)的原因之一。 云計算與物聯(lián)網(wǎng) * — 因此， 物聯(lián)網(wǎng) 的定義是 通過 射頻識別 (RFID)裝置、紅外感應(yīng)器、全球定位系統(tǒng)、激光掃描器等 信息傳感設(shè)備 ，按約定的協(xié)議，把任何物品與互聯(lián)網(wǎng)相連接，進行 信息交換 和 通信 ，以實現(xiàn) 智能化識別 、 定位 、 跟蹤 、 監(jiān)控 和 管理 的一種 網(wǎng)絡(luò) 。 — 在物聯(lián)網(wǎng)技術(shù)中傳感器的大量使用使數(shù)據(jù)的生產(chǎn)實現(xiàn)自動化，數(shù)據(jù)生產(chǎn)的自動化也是推動當(dāng)前大數(shù)據(jù)技術(shù)發(fā)展的動力之一。 現(xiàn)在人類在一年內(nèi)所產(chǎn)生的數(shù)據(jù)可能已經(jīng)超過人類過去幾千年產(chǎn)生的數(shù)據(jù)的總和，即使是復(fù)雜度為的數(shù)據(jù)處理方法在面對龐大的時都顯得力不從心，人類逐步進入面向數(shù)據(jù)的時代。 觀 測 實 驗 理 論 計 算 仿 真 數(shù) 據(jù)計 算 萌 芽 面 向 計 算 面 向 數(shù) 據(jù)圖 科學(xué)研究四個范式的發(fā)展歷程 當(dāng)人類知識積累到一定的程度后，知識逐漸形成了理論體系，如牛頓力學(xué)體系、 Maxwell的電磁場理論，人類可以利用這些理論體系去預(yù)測自然并獲取新的知識，這時對計算和數(shù)據(jù)的需求已經(jīng)在萌生，人類已可以依賴這些理論發(fā)現(xiàn)新的行星，如海王星、冥王星的發(fā)現(xiàn)不是通過觀測而是通過計算得到。他認(rèn)為利用海量的數(shù)據(jù)可以為科學(xué)研究和知識發(fā)現(xiàn)提供除經(jīng)驗、理論、計算外的第四種重要方法。云計算、大數(shù)據(jù)概念正是在這樣的一個背景下出現(xiàn)的。 — 從云計算之父 John McCarthy提出云計算的概念到大數(shù)據(jù)之父 Gray等人提出科學(xué)研究的第四范式，時間已經(jīng)跨越了半個世紀(jì)。 ( 3 ) 從 集 中 到 分 散 再 到 集 中圖 計算機技術(shù)向云計算的演進 1969年 ARPANET的出現(xiàn)改變了整個計算機技術(shù)的發(fā)展歷史，網(wǎng)絡(luò)逐步成為推動技術(shù)發(fā)展的一個重要力量， 1989年 Tim BernersLee發(fā)明的萬維網(wǎng)改變了信息的交流方式，特別是高速移動通信網(wǎng)絡(luò)技術(shù)的發(fā)展和成熟使現(xiàn)在數(shù)據(jù)的生產(chǎn)成為全球人的共同活動，人們生產(chǎn)數(shù)據(jù)不再是在固定時間和固定地點進行，而是隨時隨地都在產(chǎn)生數(shù)據(jù)。 云計算與大數(shù)據(jù) * — 在計算機技術(shù)的早期由于硬件設(shè)備體積龐大，價格昂貴，這一階段數(shù)據(jù)的產(chǎn)生還是“個別”人的工作。 云計算與大數(shù)據(jù) * — 面向數(shù)據(jù)也可以更準(zhǔn)確地稱為“ 面向數(shù)據(jù)的計算 ”，面向數(shù)據(jù)要求系統(tǒng)的設(shè)計和架構(gòu)是 圍繞數(shù)據(jù)為核心 展開的，面向數(shù)據(jù)也是云計算系統(tǒng)的一個基本特征，而 計算與數(shù)據(jù)的有效協(xié)作 是面向數(shù)據(jù)的 核心要求 。特別是在集群條件下，計算和存儲都是 分布式 的， 如何讓計算“找”到自己需要處理的數(shù)據(jù) 是云計算系統(tǒng)需要具有的 核心功能 。伴隨這兩大主題，出現(xiàn)了云計算和大數(shù)據(jù)這兩個熱門概念，任何概念的出現(xiàn)都不是偶然的，取決于當(dāng)時的技術(shù)發(fā)展?fàn)顩r。云計算與大數(shù)據(jù)技術(shù) 人民郵電出版社 王鵬 黃焱 安俊秀 張逸琴 編著 * 目 錄 CONTENTS ? 第 1章 云計算與大數(shù)據(jù)基礎(chǔ) ? 第 2章 云計算與大數(shù)據(jù)的相關(guān)技術(shù) ? 第 3章 虛擬化技術(shù) ? 第 4章 集群系統(tǒng)基礎(chǔ) ? 第 5章 MPI— 面向計算 ? 第 6章 Hadoop— 分布式大數(shù)據(jù)系統(tǒng) ? 第 7章 HPCC— 面向數(shù)據(jù)的高性能計算集群系統(tǒng) ? 第 8章 Storm— 基于拓?fù)涞牧鲾?shù)據(jù)實時計算系統(tǒng) ? 第 9章 服務(wù)器與數(shù)據(jù)中心 ? 第 10章 云計算大數(shù)據(jù)仿真技術(shù) 第 2章 云計算與大數(shù)據(jù)的相關(guān)技術(shù) ? 《云計算與大數(shù)據(jù)技術(shù)》 * 第 2章 云計算與大數(shù)據(jù)的相關(guān)技術(shù) ? 云計算與大數(shù)據(jù) ? 云計算與物聯(lián)網(wǎng) ? 一致性哈希算法 — 一致性哈希算法的基本原理 — 一致性哈希算法中計算和存儲位置的一致性 ? 非關(guān)系型數(shù)據(jù)庫 — 從關(guān)系型數(shù)據(jù)庫到非關(guān)系型數(shù)據(jù)庫 — 非關(guān)系型數(shù)據(jù)庫的定義 — 非關(guān)系型數(shù)據(jù)庫的分類 ? 集群高速通信標(biāo)準(zhǔn) InfiniBand ? 云計算大數(shù)據(jù)集群的自組織特性 * 云計算與大數(shù)據(jù) ? 云計算與大數(shù)據(jù) ? 云計算與大數(shù)據(jù)相比云計算更像是對一種新的技術(shù)模式的描述而不是對某一項技術(shù)的描述，而大數(shù)據(jù)則較為確切地與一些具體的技術(shù)相關(guān)聯(lián)。 — 云計算整合的資源主要是計算和存儲資源，云計算技術(shù)的發(fā)展也清晰地呈現(xiàn)出兩大主題 — 計算和數(shù)據(jù)。 — 目前提到云計算時，有時將云存儲作為單獨的一項技術(shù)來對待，只是把網(wǎng)絡(luò)化的存儲籠統(tǒng)地稱為云存儲，事實上在面向數(shù)據(jù)的時代不管是出現(xiàn)了云計算的概念還是大數(shù)據(jù)的概念，存儲都不是一個獨立存在的系統(tǒng)。 — 在這種協(xié)作機制中 計算如何找到數(shù)據(jù)并啟動分布式處理任務(wù) 的問題是需要重點研究的課題，這一問題被稱為 計算和數(shù)據(jù)的位置一致性 問題。這一過程的描述如圖 ，該圖從硬件、網(wǎng)絡(luò)和云計算的演進過程等方面以時間為順序進行了縱向和橫向的對比。 ( 2 ) 從 硬 件 為 核 心 到 以 網(wǎng) 絡(luò) 為 核 心 。這時網(wǎng)絡(luò)還沒有出現(xiàn)，推動計算技術(shù)發(fā)展的主要動力是硬件的發(fā)展，這個時期是硬件的高速變革時期，硬件從電子管迅速發(fā)展到大規(guī)模集成電路。 數(shù)據(jù)的產(chǎn)生目前呈現(xiàn)出了：大眾化、自動化、連續(xù)化、復(fù)雜化的趨勢。 — 信息技術(shù)領(lǐng)域提出的面向數(shù)據(jù)的概念同時也開始深刻地改變了科學(xué)研究的模式，2023年著名的數(shù)據(jù)庫專家 Gray提出了科學(xué)研究的第四范式。人類在這一時期對于宇宙的認(rèn)識都是這樣形成的，就像伽利略為了證明自由落體定理，是通過在比薩斜塔扔下兩個大小不一的小球一樣，人類在那個時代知識的獲取方式是原始而樸素的。這時計算機的作用主要是計算，例如人類利用仿真計算可以實現(xiàn)模擬核爆這樣的復(fù)雜計算。 —