【正文】 * 練習(xí)題 ? 1．簡(jiǎn)述一致性哈希算法的基本原理。 — 耗散結(jié)構(gòu)理論指出：一個(gè)開(kāi)放系統(tǒng)處在遠(yuǎn)離平衡態(tài)的非線性區(qū)域，當(dāng)系統(tǒng)的某個(gè)參數(shù)變化到一定的臨界值時(shí)，通過(guò)漲落，系統(tǒng)發(fā)生突變，即非平衡相變，其狀態(tài)可能從原來(lái)的混亂無(wú)序的狀態(tài)轉(zhuǎn)變到一種在時(shí)間、空間上或功能上有序的新?tīng)顟B(tài)，這種新的有序結(jié)構(gòu)（耗散結(jié)構(gòu)）需要系統(tǒng)不斷地與外界交換物質(zhì)和能量才能得以維持并保持一定的穩(wěn)定性。 * 集群高速通信標(biāo)準(zhǔn) InfiniBand — InfinBand 既可作為系統(tǒng)內(nèi)部互聯(lián)技術(shù)又可作為網(wǎng)絡(luò)互聯(lián)技術(shù)， ? 既可用于構(gòu)造高性能刀片服務(wù)器（ Blade Server）； ? 又可用于構(gòu)建具有高可用性和高可伸縮性的大規(guī)模集群系統(tǒng)； ? 還可用于構(gòu)建性能卓越的存儲(chǔ)區(qū)域網(wǎng)絡(luò) SAN。InfiniBand行業(yè)協(xié)會(huì)成員總計(jì)超過(guò) 220個(gè)。 — 這種存儲(chǔ)方式可以很方便地被面向?qū)ο蟮恼Z(yǔ)言所使用。 * 非關(guān)系型數(shù)據(jù)庫(kù)的分類 ? 非關(guān)系型數(shù)據(jù)庫(kù)的分類 — NoSQL描述的是大量結(jié)構(gòu)化數(shù)據(jù)存儲(chǔ)方法的集合，根據(jù)結(jié)構(gòu)化方法以及應(yīng)用場(chǎng)合的不同，主要可以將 NoSQL分為以下幾類： （ 1） ColumnOriented — 面向檢索的列式存儲(chǔ)，其存儲(chǔ)結(jié)構(gòu)為列式結(jié)構(gòu)，不同于關(guān)系型數(shù)據(jù)庫(kù)的行式結(jié)構(gòu)，這種結(jié)構(gòu)會(huì)讓很多統(tǒng)計(jì)聚合操作更簡(jiǎn)單方便，使系統(tǒng)具有較高的可擴(kuò)展性。 — 云計(jì)算資源網(wǎng)絡(luò)化的提供方式更是為 Web 間，從這一點(diǎn)看我們已很難將這兩者完全區(qū)分開(kāi)來(lái)。這個(gè)理論包括一系列“范式”，可以用來(lái)檢查數(shù)據(jù)庫(kù)是否有冗余性和不一致等性質(zhì)?？频拢?Edgar Frank Codd）所提出的，關(guān)系型數(shù)據(jù)庫(kù)克服了網(wǎng)絡(luò)數(shù)據(jù)庫(kù)模型和層次數(shù)據(jù)庫(kù)模型的一些弱點(diǎn)。 同時(shí)由于系統(tǒng)內(nèi)部又存在大數(shù)據(jù)遷移、計(jì)算遷移、負(fù)載均衡等相互作用，因此可以把集群系統(tǒng)抽象地描述為與外界有大量能量、信息、物質(zhì)交換的開(kāi)放系統(tǒng)。耗散結(jié)構(gòu)理論和協(xié)同學(xué)從宏觀、微觀及兩者的聯(lián)系上回答了系統(tǒng)自動(dòng)走向有序結(jié)構(gòu)的問(wèn)題，其成果被稱為自組織理論。 InfiniBand具有傳輸速率高、傳輸距離長(zhǎng)、接口功耗低以及噪聲容限高等特性，單線傳輸速率為 ，可通過(guò) 4 或 12 線并行來(lái)擴(kuò)展通道帶寬，峰值帶寬高達(dá) 、 30Gbps（ 1x、 4x、 12x 線）。 InfiniBand被工業(yè)界的頂級(jí)公司所支持，執(zhí)行委員會(huì)成員包括： Compaq、 Dell、 Hewlett Packard、IBM、 Intel、 Microsoft和 Sun。這種存儲(chǔ)方式可以很方便地被面向?qū)ο蟮恼Z(yǔ)言所使用。比如 Google Appengine的 Big Table以及相同設(shè)計(jì)理念的 Hadoop子系統(tǒng) HaBase就是這類的典型代表。 — 關(guān)系型數(shù)據(jù)庫(kù)技術(shù)的出現(xiàn)是云計(jì)算、大數(shù)據(jù)技術(shù)的必然需求，非關(guān)系型數(shù)據(jù)庫(kù)可以被稱為一項(xiàng)數(shù)據(jù)庫(kù)的革命，從 2023年開(kāi)始，在云計(jì)算的發(fā)展和開(kāi)源社區(qū)的推動(dòng)下，非關(guān)系型數(shù)據(jù)庫(kù)的發(fā)展顯示了較強(qiáng)的活力，也得到了越來(lái)越多的用戶關(guān)注和認(rèn)可。但云計(jì)算和大數(shù)據(jù)技術(shù)的出現(xiàn)逐步動(dòng)搖了關(guān)系型數(shù)據(jù)庫(kù)的統(tǒng)治地位。 科德也被稱為“關(guān)系數(shù)據(jù)庫(kù)之父”（見(jiàn)圖 ）。 — 需要存儲(chǔ)大量 KeyValue的 Amazon的電子商務(wù)應(yīng)用和Facebook的社交網(wǎng)站應(yīng)用都采用了一致性哈希算法。 * 一致性哈希算法中計(jì)算和存儲(chǔ)位置的一致性 ? 一致性哈希算法中計(jì)算和存儲(chǔ)位置的一致性 — 基于一致性哈希的原理可以給出計(jì)算和存儲(chǔ)的一致性哈希方法，從而使計(jì)算能在數(shù)據(jù)存儲(chǔ)節(jié)點(diǎn)發(fā)起。 * 一致性哈希的設(shè)計(jì)目標(biāo)就是解決節(jié)點(diǎn)頻繁變化時(shí)的任務(wù)分配問(wèn)題，一致性哈希將整個(gè)哈希值空間組織成一個(gè)虛擬圓環(huán)（如圖 ）， 圖 一致性哈希原理 假設(shè)某哈希函數(shù) H的值空間為 0～ (2321)，即 32位無(wú)符號(hào)整數(shù)，將各節(jié)點(diǎn)用 H函數(shù)哈希，可以將服務(wù)器的 IP或主機(jī)名作為關(guān)鍵字哈希，這樣每個(gè)節(jié)點(diǎn)就能確定其在哈希環(huán)上的位置，將 Key用 H函數(shù)映射到哈?？臻g的一個(gè)值，沿該值向后，將遇到的第一個(gè)節(jié)點(diǎn)作為處理節(jié)點(diǎn)；若某個(gè) Key的 HASH值落在 node1和 node2各自 HASH值的中間位置，則此 Key對(duì)應(yīng)的業(yè)務(wù)請(qǐng)求由 node2處理。 — 1997年 David Karger提出了一致性哈希算法來(lái)定位數(shù)據(jù)，實(shí)現(xiàn)了云計(jì)算系統(tǒng)在節(jié)點(diǎn)變化時(shí)的 單調(diào)性 ，實(shí)現(xiàn)了 較小 的 數(shù)據(jù)遷移代價(jià) 。 — 其次是安全問(wèn)題。 ? 運(yùn)用云計(jì)算技術(shù)，由云模式下的幾百萬(wàn)臺(tái)的計(jì)算機(jī)集群提供強(qiáng)大的計(jì)算能力，并通過(guò)龐大的計(jì)算機(jī)處理程序自動(dòng)將任務(wù)分解成若干個(gè)較小的子任務(wù)，快速地對(duì)海量業(yè)務(wù)數(shù)據(jù)進(jìn)行分析、處理、存儲(chǔ)、挖掘，在短時(shí)間內(nèi)提取出有價(jià)值的信息，為物聯(lián)網(wǎng)的商業(yè)決策服務(wù)。而采用云計(jì)算技術(shù)，可以動(dòng)態(tài)地增加或減少云模式中服務(wù)器的數(shù)量和提高質(zhì)量，這樣做不僅可以解決訪問(wèn)的壓力，還經(jīng)濟(jì)實(shí)惠。 ?在對(duì)單個(gè)服務(wù)器性能要求的降低的同時(shí)也減少了相應(yīng)的資金需求。 ? 物聯(lián)網(wǎng)中的物，在云計(jì)算模式中，它相當(dāng)于是帶上傳感器的云終端，與上網(wǎng)本、手機(jī)等終端功能相同。 — 這有兩層意思： ? 第一，物聯(lián)網(wǎng)的核心和基礎(chǔ)仍然是互聯(lián)網(wǎng)，是在互聯(lián)網(wǎng)基礎(chǔ)之上的延伸和擴(kuò)展的一種網(wǎng)絡(luò)； ? 第二，其用戶端延伸和擴(kuò)展到了任何物品與物品之間，進(jìn)行信息交換和通信 。這時(shí)計(jì)算機(jī)的作用主要是計(jì)算，例如人類利用仿真計(jì)算可以實(shí)現(xiàn)模擬核爆這樣的復(fù)雜計(jì)算。 — 信息技術(shù)領(lǐng)域提出的面向數(shù)據(jù)的概念同時(shí)也開(kāi)始深刻地改變了科學(xué)研究的模式，2023年著名的數(shù)據(jù)庫(kù)專家 Gray提出了科學(xué)研究的第四范式。這時(shí)網(wǎng)絡(luò)還沒(méi)有出現(xiàn)，推動(dòng)計(jì)算技術(shù)發(fā)展的主要?jiǎng)恿κ怯布陌l(fā)展，這個(gè)時(shí)期是硬件的高速變革時(shí)期，硬件從電子管迅速發(fā)展到大規(guī)模集成電路。這一過(guò)程的描述如圖 ，該圖從硬件、網(wǎng)絡(luò)和云計(jì)算的演進(jìn)過(guò)程等方面以時(shí)間為順序進(jìn)行了縱向和橫向的對(duì)比。 — 目前提到云計(jì)算時(shí)，有時(shí)將云存儲(chǔ)作為單獨(dú)的一項(xiàng)技術(shù)來(lái)對(duì)待，只是把網(wǎng)絡(luò)化的存儲(chǔ)籠統(tǒng)地稱為云存儲(chǔ)，事實(shí)上在面向數(shù)據(jù)的時(shí)代不管是出現(xiàn)了云計(jì)算的概念還是大數(shù)據(jù)的概念，存儲(chǔ)都不是一個(gè)獨(dú)立存在的系統(tǒng)。云計(jì)算與大數(shù)據(jù)技術(shù) 人民郵電出版社 王鵬 黃焱 安俊秀 張逸琴 編著 * 目 錄 CONTENTS ? 第 1章 云計(jì)算與大數(shù)據(jù)基礎(chǔ) ? 第 2章 云計(jì)算與大數(shù)據(jù)的相關(guān)技術(shù) ? 第 3章 虛擬化技術(shù) ? 第 4章 集群系統(tǒng)基礎(chǔ) ? 第 5章 MPI— 面向計(jì)算 ? 第 6章 Hadoop— 分布式大數(shù)據(jù)系統(tǒng) ? 第 7章 HPCC— 面向數(shù)據(jù)的高性能計(jì)算集群系統(tǒng) ? 第 8章 Storm— 基于拓?fù)涞牧鲾?shù)據(jù)實(shí)時(shí)計(jì)算系統(tǒng) ? 第 9章 服務(wù)器與數(shù)據(jù)中心 ? 第 10章 云計(jì)算大數(shù)據(jù)仿真技術(shù) 第 2章 云計(jì)算與大數(shù)據(jù)的相關(guān)技術(shù) ? 《云計(jì)算與大數(shù)據(jù)技術(shù)》 * 第 2章 云計(jì)算與大數(shù)據(jù)的相關(guān)技術(shù) ? 云計(jì)算與大數(shù)據(jù) ? 云計(jì)算與物聯(lián)網(wǎng) ? 一致性哈希算法 — 一致性哈希算法的基本原理 — 一致性哈希算法中計(jì)算和存儲(chǔ)位置的一致性 ? 非關(guān)系型數(shù)據(jù)庫(kù) — 從關(guān)系型數(shù)據(jù)庫(kù)到非關(guān)系型數(shù)據(jù)庫(kù) — 非關(guān)系型數(shù)據(jù)庫(kù)的定義 — 非關(guān)系型數(shù)據(jù)庫(kù)的分類 ? 集群高速通信標(biāo)準(zhǔn) InfiniBand ? 云計(jì)算大數(shù)據(jù)集群的自組織特性 * 云計(jì)算與大數(shù)據(jù) ? 云計(jì)算與大數(shù)據(jù) ? 云計(jì)算與大數(shù)據(jù)相比云計(jì)算更像是對(duì)一種新的技術(shù)模式的描述而不是對(duì)某一項(xiàng)技術(shù)的描述，而大數(shù)據(jù)則較為確切地與一些具體的技術(shù)相關(guān)聯(lián)。特別是在集群條件下，計(jì)算和存儲(chǔ)都是 分布式 的， 如何讓計(jì)算“找”到自己需要處理的數(shù)據(jù) 是云計(jì)算系統(tǒng)需要具有的 核心功能 。 云計(jì)算與大數(shù)據(jù) * — 在計(jì)算機(jī)技術(shù)的早期由于硬件設(shè)備體積龐大，價(jià)格昂貴，這一階段數(shù)據(jù)的產(chǎn)生還是“個(gè)別”人的工作。 — 從云計(jì)算之父 John McCarthy提出云計(jì)算的概念到大數(shù)據(jù)之父 Gray等人提出科學(xué)研究的第四范式，時(shí)間已經(jīng)跨越了半個(gè)世紀(jì)。他認(rèn)為利用海量的數(shù)據(jù)可以為科學(xué)研究和知識(shí)發(fā)現(xiàn)提供除經(jīng)驗(yàn)、理論、計(jì)算外的第四種重要方法。 現(xiàn)在人類在一年內(nèi)所產(chǎn)生的數(shù)據(jù)可能已經(jīng)超過(guò)人類過(guò)去幾千年產(chǎn)生的數(shù)據(jù)的總和，即使是復(fù)雜度為的數(shù)據(jù)處理方法在面對(duì)龐大的時(shí)都顯得力不從心，人類逐步進(jìn)入面向數(shù)據(jù)的時(shí)代。 云計(jì)算與物聯(lián)網(wǎng) * — 因此， 物聯(lián)網(wǎng) 的定義是 通過(guò) 射頻識(shí)別 (RFID)裝置、紅外感應(yīng)器、全球定位系統(tǒng)、激光掃描器等 信息傳感設(shè)備 ，按約定的協(xié)議，把任何物品與互聯(lián)網(wǎng)相連接，進(jìn)行 信息交換 和 通信 ，以實(shí)現(xiàn) 智能化識(shí)別 、 定位 、 跟蹤 、 監(jiān)控 和 管理 的一種 網(wǎng)絡(luò) 。 ? 這也是物聯(lián)網(wǎng)在云計(jì)算日漸成熟的今天，才能重新被激活的原因之一。至于對(duì)于宕機(jī)的服務(wù)器， Google采用的是直接換掉。 云計(jì)算與物聯(lián)網(wǎng) * — （ 3）讓物聯(lián)網(wǎng)從局域網(wǎng)走向城域網(wǎng)甚至是廣域網(wǎng)，在更廣的范圍內(nèi)進(jìn)行信息資源共享。 這也是將云計(jì)算技術(shù)與數(shù)據(jù)挖掘技術(shù)相結(jié)合給物聯(lián)網(wǎng)帶來(lái)的一大競(jìng)爭(zhēng)優(yōu)勢(shì)。 ? 物聯(lián)網(wǎng)從專用網(wǎng)到互聯(lián)網(wǎng)，雖然信息分析、處理得到了質(zhì)的提升，但同時(shí)網(wǎng)絡(luò)安全性也遇到了前所未有的挑戰(zhàn)。 — Amazon的云存儲(chǔ)系統(tǒng) Dynamo改進(jìn)了基本的一致性哈希算法，引入了 虛擬節(jié)點(diǎn) ，使系統(tǒng)具有更加均衡地存儲(chǔ)定位能力。 當(dāng)增加服務(wù)節(jié)點(diǎn)時(shí)，只會(huì)影響與之相鄰的某一節(jié)點(diǎn)，其他節(jié)點(diǎn)不受影響。 — 對(duì)于多用戶分布式存儲(chǔ)系統(tǒng)來(lái)說(shuō)：“用戶名 +邏輯存儲(chǔ)位置”所構(gòu)成的字符串在系統(tǒng)中是惟一確定的，如屬于用戶 wang，邏輯存儲(chǔ)位置為/test/“ wang/test/”在系統(tǒng)中一定是惟一的，同時(shí)某一個(gè)計(jì)算任務(wù)需要對(duì) 進(jìn)行操作和處理，則它一定會(huì)在程序中指定用戶名和邏輯位置，因此存儲(chǔ)和計(jì)算 配的節(jié)點(diǎn)和當(dāng)時(shí)存儲(chǔ) 。 — 圖 一致性哈希算法實(shí)現(xiàn)計(jì)算與數(shù)據(jù)的位置一致性 — 一致性哈希算法可以實(shí)現(xiàn)無(wú)中心節(jié)點(diǎn)的計(jì)算和數(shù)據(jù)定位，使計(jì)算可以惟一地找到其所要處理和分析的數(shù)據(jù)，使計(jì)算能最大可能地在數(shù)據(jù)存儲(chǔ)的位置發(fā)起，從而節(jié)約大量的網(wǎng)絡(luò)資源，同時(shí)避免了系統(tǒng)單點(diǎn)失效造成的不良影響。關(guān)系型數(shù)據(jù)庫(kù)幾十年來(lái)一直是統(tǒng)治數(shù)據(jù)庫(kù)技術(shù)的核心標(biāo)準(zhǔn)，目前主要的數(shù)據(jù)庫(kù)系統(tǒng)仍然采用的是關(guān)系型數(shù)據(jù)庫(kù)。 — 圖 關(guān)系數(shù)據(jù)庫(kù)之父 — Edgar Frank Codd — 隨著信息產(chǎn)業(yè)的發(fā)展，特別是在云計(jì)算和互聯(lián)網(wǎng) Web 展的今天，數(shù)據(jù)庫(kù)系統(tǒng)成為了 IT架構(gòu)中信息存儲(chǔ)和處理的必要組成部分， Web 是相對(duì) Web 的新的一類互聯(lián)網(wǎng)應(yīng)用的統(tǒng)稱。目前已經(jīng)有多家大型 IT企業(yè)已經(jīng)采用非關(guān)系型數(shù)據(jù)庫(kù)作為重要的生產(chǎn)系統(tǒng)基礎(chǔ)支撐，比如 Google的 BigTable， Amazon的 Dynamo，以及 Digg、 Twitter、 Facebook在使用的 Cassandra等。需要特別指出的是， BigTable特別適用于 MapReduce處理，這對(duì)于云計(jì)算的發(fā)展有很高的適應(yīng)性。這類數(shù)據(jù)庫(kù)可以在海量的數(shù)據(jù)中快速查詢數(shù)據(jù)，典型代表為 MongoDB、 CouchDB等。 InfiniBand