【正文】 發(fā)展，不斷地以局部?jī)?yōu)化達(dá)到全局優(yōu)化的過(guò)程。 — InfinBand 既可作為系統(tǒng)內(nèi)部互聯(lián)技術(shù)又可作為網(wǎng)絡(luò)互聯(lián)技術(shù)，既可用于構(gòu)造高性能刀片服務(wù)器（ Blade Server），又可用于構(gòu)建具有高可用性和高可伸縮性的大規(guī)模集群系統(tǒng)，還可用于構(gòu)建性能卓越的存儲(chǔ)區(qū)域網(wǎng)絡(luò) SAN。 — InfiniBand 是在 1999 年由 Future IO 和 NGIO 兩個(gè)標(biāo)準(zhǔn)整合而來(lái)的新型互聯(lián)技術(shù)。 InfiniBand行業(yè)協(xié)會(huì)成員總計(jì)超過(guò) 220個(gè)。云計(jì)算系統(tǒng)中集群的規(guī)模變得空前巨大，為了很好地實(shí)現(xiàn)集群內(nèi)部的調(diào)度和協(xié)調(diào)高速的網(wǎng)絡(luò)通信是必不可少的。這類數(shù)據(jù)庫(kù)可以在海量的數(shù)據(jù)中快速查詢數(shù)據(jù)，典型代表為 MongoDB、 CouchDB等。 MemcacheDB、Berkeley DB、 Redis、 Flare就是 KeyValue數(shù)據(jù)庫(kù)的代表。需要特別指出的是， BigTable特別適用于 MapReduce處理，這對(duì)于云計(jì)算的發(fā)展有很高的適應(yīng)性。 — 非關(guān)系型數(shù)據(jù)庫(kù)的分類 — NoSQL描述的是大量結(jié)構(gòu)化數(shù)據(jù)存儲(chǔ)方法的集合，根據(jù)結(jié)構(gòu)化方法以及應(yīng)用場(chǎng)合的不同，主要可以將 NoSQL分為以下幾類： — （ 1） ColumnOriented。目前已經(jīng)有多家大型 IT企業(yè)已經(jīng)采用非關(guān)系型數(shù)據(jù)庫(kù)作為重要的生產(chǎn)系統(tǒng)基礎(chǔ)支撐，比如 Google的 BigTable， Amazon的 Dynamo，以及 Digg、 Twitter、 Facebook在使用的 Cassandra等。云計(jì)算資源網(wǎng)絡(luò)化的提供方式更是為 Web 了無(wú)限的想象空間，從這一點(diǎn)看我們已很難將這兩者完全區(qū)分開(kāi)來(lái)。 — 圖 關(guān)系數(shù)據(jù)庫(kù)之父 — Edgar Frank Codd — 隨著信息產(chǎn)業(yè)的發(fā)展，特別是在云計(jì)算和互聯(lián)網(wǎng) Web 展的今天，數(shù)據(jù)庫(kù)系統(tǒng)成為了 IT架構(gòu)中信息存儲(chǔ)和處理的必要組成部分， Web 是相對(duì) Web 的新的一類互聯(lián)網(wǎng)應(yīng)用的統(tǒng)稱。這個(gè)理論包括一系列“范式”，可以用來(lái)檢查數(shù)據(jù)庫(kù)是否有冗余性和不一致等性質(zhì)。關(guān)系型數(shù)據(jù)庫(kù)幾十年來(lái)一直是統(tǒng)治數(shù)據(jù)庫(kù)技術(shù)的核心標(biāo)準(zhǔn)，目前主要的數(shù)據(jù)庫(kù)系統(tǒng)仍然采用的是關(guān)系型數(shù)據(jù)庫(kù)。 科德（ Edgar Frank Codd）所提出的，關(guān)系型數(shù)據(jù)庫(kù)克服了網(wǎng)絡(luò)數(shù)據(jù)庫(kù)模型和層次數(shù)據(jù)庫(kù)模型的一些弱點(diǎn)。 — 圖 一致性哈希算法實(shí)現(xiàn)計(jì)算與數(shù)據(jù)的位置一致性 — 一致性哈希算法可以實(shí)現(xiàn)無(wú)中心節(jié)點(diǎn)的計(jì)算和數(shù)據(jù)定位，使計(jì)算可以惟一地找到其所要處理和分析的數(shù)據(jù)，使計(jì)算能最大可能地在數(shù)據(jù)存儲(chǔ)的位置發(fā)起，從而節(jié)約大量的網(wǎng)絡(luò)資源，同時(shí)避免了系統(tǒng)單點(diǎn)失效造成的不良影響。 — 在這種算法的支持下只要計(jì)算程序片需要處理的數(shù)據(jù)邏輯位置是確定的，系統(tǒng)就會(huì)將計(jì)算程序片路由到數(shù)據(jù)存儲(chǔ)位置所在的節(jié)點(diǎn)，這時(shí)節(jié)點(diǎn)間的負(fù)載均衡性是由數(shù)據(jù)分布的均衡化來(lái)實(shí)現(xiàn)的。 — 對(duì)于多用戶分布式存儲(chǔ)系統(tǒng)來(lái)說(shuō)：“用戶名 +邏輯存儲(chǔ)位置”所構(gòu)成的字符串在系統(tǒng)中是惟一確定的，如屬于用戶 wang，邏輯存儲(chǔ)位置為/test/“ wang/test/”在系統(tǒng)中一定是惟一的，同時(shí)某一個(gè)計(jì)算任務(wù)需要對(duì) 進(jìn)行操作和處理，則它一定會(huì)在程序中指定用戶名和邏輯位置，因此存儲(chǔ)和計(jì)算 配的節(jié)點(diǎn)和當(dāng)時(shí)存儲(chǔ) 。當(dāng)根據(jù) Key查找節(jié)點(diǎn)時(shí)，找到的是虛擬節(jié)點(diǎn)，然后再根據(jù)虛擬節(jié)點(diǎn)查找對(duì)應(yīng)的真實(shí)節(jié)點(diǎn)。 當(dāng)增加服務(wù)節(jié)點(diǎn)時(shí)，只會(huì)影響與之相鄰的某一節(jié)點(diǎn)，其他節(jié)點(diǎn)不受影響。 — 傳統(tǒng)的哈希算法 在 節(jié)點(diǎn)數(shù)沒(méi)有變化 時(shí) 能很好地實(shí)現(xiàn)數(shù)據(jù)的分配 ，但 當(dāng)節(jié)點(diǎn)數(shù)發(fā)生變化 時(shí)傳統(tǒng)的哈希算法 將對(duì)數(shù)據(jù)進(jìn)行重新的分配 ，這樣 系統(tǒng)恢復(fù) 的 代價(jià) 就非常 大 。 — Amazon的云存儲(chǔ)系統(tǒng) Dynamo改進(jìn)了基本的一致性哈希算法，引入了 虛擬節(jié)點(diǎn) ，使系統(tǒng)具有更加均衡地存儲(chǔ)定位能力。 云計(jì)算與物聯(lián)網(wǎng) * 一致性哈希算法 ? 一致性哈希算法 ? 一致性哈希算法的基本原理 — 主從結(jié)構(gòu) 的云計(jì)算系統(tǒng) 負(fù)載的均衡 往往通過(guò) 主節(jié)點(diǎn) 來(lái)完成 ， 而一些對(duì)等結(jié)構(gòu) 的云計(jì)算系統(tǒng)可以采用 一致性哈希算法 來(lái)實(shí)現(xiàn)負(fù)載的均衡，這種模式 避免 了主從結(jié)構(gòu)云計(jì)算系統(tǒng) 對(duì)主節(jié)點(diǎn)失效的敏感 。 ? 物聯(lián)網(wǎng)從專用網(wǎng)到互聯(lián)網(wǎng)，雖然信息分析、處理得到了質(zhì)的提升，但同時(shí)網(wǎng)絡(luò)安全性也遇到了前所未有的挑戰(zhàn)。 ? 雖然云平臺(tái)解決的問(wèn)題一樣，架構(gòu)一樣，但基于不同的技術(shù)、應(yīng)用，其細(xì)節(jié)很可能完全不同，從而導(dǎo)致平臺(tái)與平臺(tái)之間可能無(wú)法互通。 這也是將云計(jì)算技術(shù)與數(shù)據(jù)挖掘技術(shù)相結(jié)合給物聯(lián)網(wǎng)帶來(lái)的一大競(jìng)爭(zhēng)優(yōu)勢(shì)。用戶的地理位置也不再受限制，只要通過(guò) Inter就能共享物體的最新信息。 云計(jì)算與物聯(lián)網(wǎng) * — （ 3）讓物聯(lián)網(wǎng)從局域網(wǎng)走向城域網(wǎng)甚至是廣域網(wǎng)，在更廣的范圍內(nèi)進(jìn)行信息資源共享。而隨著物聯(lián)網(wǎng)領(lǐng)域的逐步擴(kuò)大，物的數(shù)量呈幾何級(jí)增長(zhǎng)，而物的信息也呈爆炸性增長(zhǎng)，隨之而來(lái)的訪問(wèn)量空前高漲。至于對(duì)于宕機(jī)的服務(wù)器， Google采用的是直接換掉。 ? 節(jié)點(diǎn)不可信問(wèn)題使得一般的中小型公司要想獨(dú)自撐起一片屬于自己的天空，那是難上加難。 ? 這也是物聯(lián)網(wǎng)在云計(jì)算日漸成熟的今天，才能重新被激活的原因之一。 — 這些特點(diǎn)都會(huì)導(dǎo)致物聯(lián)網(wǎng)系統(tǒng)會(huì)在運(yùn)行過(guò)程中產(chǎn)生大量的數(shù)據(jù)，物聯(lián)網(wǎng)的出現(xiàn)使數(shù)據(jù)的產(chǎn)生實(shí)現(xiàn)自動(dòng)化，大量的傳感器數(shù)據(jù)不斷地在各個(gè)監(jiān)控點(diǎn)產(chǎn)生，特別是現(xiàn)在信息采樣的空間密度和時(shí)間密度不斷增加，視頻信息的大量使用，這些因素也是目前導(dǎo)致大數(shù)據(jù)概念出現(xiàn)的原因之一。 云計(jì)算與物聯(lián)網(wǎng) * — 因此， 物聯(lián)網(wǎng) 的定義是 通過(guò) 射頻識(shí)別 (RFID)裝置、紅外感應(yīng)器、全球定位系統(tǒng)、激光掃描器等 信息傳感設(shè)備 ，按約定的協(xié)議，把任何物品與互聯(lián)網(wǎng)相連接，進(jìn)行 信息交換 和 通信 ，以實(shí)現(xiàn) 智能化識(shí)別 、 定位 、 跟蹤 、 監(jiān)控 和 管理 的一種 網(wǎng)絡(luò) 。 — 在物聯(lián)網(wǎng)技術(shù)中傳感器的大量使用使數(shù)據(jù)的生產(chǎn)實(shí)現(xiàn)自動(dòng)化，數(shù)據(jù)生產(chǎn)的自動(dòng)化也是推動(dòng)當(dāng)前大數(shù)據(jù)技術(shù)發(fā)展的動(dòng)力之一。 現(xiàn)在人類在一年內(nèi)所產(chǎn)生的數(shù)據(jù)可能已經(jīng)超過(guò)人類過(guò)去幾千年產(chǎn)生的數(shù)據(jù)的總和，即使是復(fù)雜度為的數(shù)據(jù)處理方法在面對(duì)龐大的時(shí)都顯得力不從心，人類逐步進(jìn)入面向數(shù)據(jù)的時(shí)代。 觀 測(cè) 實(shí) 驗(yàn) 理 論 計(jì) 算 仿 真 數(shù) 據(jù)計(jì) 算 萌 芽 面 向 計(jì) 算 面 向 數(shù) 據(jù)圖 科學(xué)研究四個(gè)范式的發(fā)展歷程 當(dāng)人類知識(shí)積累到一定的程度后，知識(shí)逐漸形成了理論體系，如牛頓力學(xué)體系、 Maxwell的電磁場(chǎng)理論，人類可以利用這些理論體系去預(yù)測(cè)自然并獲取新的知識(shí)，這時(shí)對(duì)計(jì)算和數(shù)據(jù)的需求已經(jīng)在萌生，人類已可以依賴這些理論發(fā)現(xiàn)新的行星，如海王星、冥王星的發(fā)現(xiàn)不是通過(guò)觀測(cè)而是通過(guò)計(jì)算得到。他認(rèn)為利用海量的數(shù)據(jù)可以為科學(xué)研究和知識(shí)發(fā)現(xiàn)提供除經(jīng)驗(yàn)、理論、計(jì)算外的第四種重要方法。云計(jì)算、大數(shù)據(jù)概念正是在這樣的一個(gè)背景下出現(xiàn)的。 — 從云計(jì)算之父 John McCarthy提出云計(jì)算的概念到大數(shù)據(jù)之父 Gray等人提出科學(xué)研究的第四范式，時(shí)間已經(jīng)跨越了半個(gè)世紀(jì)。 ( 3 ) 從 集 中 到 分 散 再 到 集 中圖 計(jì)算機(jī)技術(shù)向云計(jì)算的演進(jìn) 1969年 ARPANET的出現(xiàn)改變了整個(gè)計(jì)算機(jī)技術(shù)的發(fā)展歷史，網(wǎng)絡(luò)逐步成為推動(dòng)技術(shù)發(fā)展的一個(gè)重要力量， 1989年 Tim BernersLee發(fā)明的萬(wàn)維網(wǎng)改變了信息的交流方式，特別是高速移動(dòng)通信網(wǎng)絡(luò)技術(shù)的發(fā)展和成熟使現(xiàn)在數(shù)據(jù)的生產(chǎn)成為全球人的共同活動(dòng)，人們生產(chǎn)數(shù)據(jù)不再是在固定時(shí)間和固定地點(diǎn)進(jìn)行，而是隨時(shí)隨地都在產(chǎn)生數(shù)據(jù)。 云計(jì)算與大數(shù)據(jù) * — 在計(jì)算機(jī)技術(shù)的早期由于硬件設(shè)備體積龐大，價(jià)格昂貴，這一階段數(shù)據(jù)的產(chǎn)生還是“個(gè)別”人的工作。 云計(jì)算與大數(shù)據(jù) * — 面向數(shù)據(jù)也可以更準(zhǔn)確地稱為“ 面向數(shù)據(jù)的計(jì)算 ”，面向數(shù)據(jù)要求系統(tǒng)的設(shè)計(jì)和架構(gòu)是 圍繞數(shù)據(jù)為核心 展開(kāi)的，面向數(shù)據(jù)也是云計(jì)算系統(tǒng)的一個(gè)基本特征，而 計(jì)算與數(shù)據(jù)的有效協(xié)作 是面向數(shù)據(jù)的 核心要求 。特別是在集群條件下，計(jì)算和存儲(chǔ)都是 分布式 的， 如何讓計(jì)算“找”到自己需要處理的數(shù)據(jù) 是云計(jì)算系統(tǒng)需要具有的 核心功能 。伴隨這兩大主題，出現(xiàn)了云計(jì)算和大數(shù)據(jù)這兩個(gè)熱門概念，任何概念的出現(xiàn)都不是偶然的，取決于當(dāng)時(shí)的技術(shù)發(fā)展?fàn)顩r。云計(jì)算與大數(shù)據(jù)技術(shù) 人民郵電出版社 王鵬 黃焱 安俊秀 張逸琴 編著 * 目 錄 CONTENTS ? 第 1章 云計(jì)算與大數(shù)據(jù)基礎(chǔ) ? 第 2章 云計(jì)算與大數(shù)據(jù)的相關(guān)技術(shù) ? 第 3章 虛擬化技術(shù) ? 第 4章 集群系統(tǒng)基礎(chǔ) ? 第 5章 MPI— 面向計(jì)算 ? 第 6章 Hadoop— 分布式大數(shù)據(jù)系統(tǒng) ? 第 7章 HPCC— 面向數(shù)據(jù)的高性能計(jì)算集群系統(tǒng) ? 第 8章 Storm— 基于拓?fù)涞牧鲾?shù)據(jù)實(shí)時(shí)計(jì)算系統(tǒng) ? 第 9章 服務(wù)器與數(shù)據(jù)中心 ? 第 10章 云計(jì)算大數(shù)據(jù)仿真技術(shù) 第 2章 云計(jì)算與大數(shù)據(jù)的相關(guān)技術(shù) ? 《云計(jì)算與大數(shù)據(jù)技術(shù)》 * 第 2章 云計(jì)算與大數(shù)據(jù)的相關(guān)技術(shù) ? 云計(jì)算與大數(shù)據(jù) ? 云計(jì)算與物聯(lián)網(wǎng) ? 一致性哈希算法 — 一致性哈希算法的基本原理 — 一致性哈希算法中計(jì)算和存儲(chǔ)位置的一致性 ? 非關(guān)系型數(shù)據(jù)庫(kù) — 從關(guān)系型數(shù)據(jù)庫(kù)到非關(guān)系型數(shù)據(jù)庫(kù) — 非關(guān)系型數(shù)據(jù)庫(kù)的定義 — 非關(guān)系型數(shù)據(jù)庫(kù)的分類 ? 集群高速通信標(biāo)準(zhǔn) InfiniBand ? 云計(jì)算大數(shù)據(jù)集群的自組織特性 * 云計(jì)算與大數(shù)據(jù) ? 云計(jì)算與大數(shù)據(jù) ? 云計(jì)算與大數(shù)據(jù)相比云計(jì)算更像是對(duì)一種新的技術(shù)模式的描述而不是對(duì)某一項(xiàng)技術(shù)的描述，而大數(shù)據(jù)則較為確切地與一些具體的技術(shù)相關(guān)聯(lián)。 — 云計(jì)算整合的資源主要是計(jì)算和存儲(chǔ)資源，云計(jì)算技術(shù)的發(fā)展也清晰地呈現(xiàn)出兩大主題 — 計(jì)算和數(shù)據(jù)。 — 目前提到云計(jì)算時(shí)，有時(shí)將云存儲(chǔ)作為單獨(dú)的一項(xiàng)技術(shù)來(lái)對(duì)待，只是把網(wǎng)絡(luò)化的存儲(chǔ)籠統(tǒng)地稱為云存儲(chǔ)，事實(shí)上在面向數(shù)據(jù)的時(shí)代不管是出現(xiàn)了云計(jì)算的概念還是大數(shù)據(jù)的概念，存儲(chǔ)都不是一個(gè)獨(dú)立存在的系統(tǒng)。 — 在這種協(xié)作機(jī)制中 計(jì)算如何找到數(shù)據(jù)并啟動(dòng)分布式處理任務(wù) 的問(wèn)題是需要重點(diǎn)研究的課題，這一問(wèn)題被稱為 計(jì)算和數(shù)據(jù)的位置一致性 問(wèn)題。這一過(guò)程的描述如圖 ，該圖從硬件、網(wǎng)絡(luò)和云計(jì)算的演進(jìn)過(guò)程等方面以時(shí)間為順序進(jìn)行了縱向和橫向的對(duì)比。 ( 2 ) 從 硬 件 為 核 心 到 以 網(wǎng) 絡(luò) 為 核 心 。這時(shí)網(wǎng)絡(luò)還沒(méi)有出現(xiàn)，推動(dòng)計(jì)算技術(shù)發(fā)展的主要?jiǎng)恿κ怯布陌l(fā)展，這個(gè)時(shí)期是硬件的高速變革時(shí)期，硬件從電子管迅速發(fā)展到大規(guī)模集成電路。 數(shù)據(jù)的產(chǎn)生目前呈現(xiàn)出了：大眾化、自動(dòng)化、連續(xù)化、復(fù)雜化的趨勢(shì)。 — 信息技術(shù)領(lǐng)域提出的面向數(shù)據(jù)的概念同時(shí)也開(kāi)始深刻地改變了科學(xué)研究的模式，2023年著名的數(shù)據(jù)庫(kù)專家 Gray提出了科學(xué)研究的第四范式。人類在這一時(shí)期對(duì)于宇宙的認(rèn)識(shí)都是這樣形成的，就像伽利略為了證明自由落體定理，是通過(guò)在比薩斜塔扔下兩個(gè)大小不一的小球一樣，人類在那個(gè)時(shí)代知識(shí)的獲取方式是原始而樸素的。這時(shí)計(jì)算機(jī)的作用主要是計(jì)算，例如人類利用仿真計(jì)算可以實(shí)現(xiàn)模擬核爆這樣的復(fù)雜計(jì)算。 —