【文章內(nèi)容簡介】 儲系統(tǒng)來說：“用戶名 +邏輯存儲位置”所構(gòu)成的字符串在系統(tǒng)中是惟一確定的，如屬于用戶 wang，邏輯存儲位置為/test/“ wang/test/”在系統(tǒng)中一定是惟一的，同時某一個計算任務需要對 進行操作和處理，則它一定會在程序中指定用戶名和邏輯位置，因此存儲和計算 配的節(jié)點和當時存儲 。 * — 現(xiàn)在以下面這個應用場景為例，說明一致性哈希算法實現(xiàn)計算和存儲位置一致性的方法： ? （ 1）面向相對“小”數(shù)據(jù)進行處理，典型的文件大小為 100MB之內(nèi)，通常不涉及對文件的分塊問題，這一點與 MapReduce框架不同； ? （ 2）待處理數(shù)據(jù)之間沒有強的關聯(lián)性，數(shù)據(jù)塊之間的處理是獨立的，數(shù)據(jù)處理是不需要進行數(shù)據(jù)塊之間的消息通信，保證節(jié)點間發(fā)起的計算是低耦合的計算任務； ? （ 3）程序片的典型大小遠小于需要處理的數(shù)據(jù)大小，計算程序片本質(zhì)上也可以看作是一種特殊的數(shù)據(jù)，這一假設在大多數(shù)情況下是成立的； ? （ 4）數(shù)據(jù)的存儲先于計算發(fā)生。 一致性哈希算法中計算和存儲位置的一致性 * — 根據(jù)一致性哈希算法的基本原理在面向數(shù)據(jù)的分布式系統(tǒng)中計算和存儲位置一致性方法如圖 ，其主要步驟如下： — ① 將服務器節(jié)點以 IP地址作為 Key值，以一致性哈希方法映射到哈希環(huán)上； — ② 在數(shù)據(jù)存儲時以 (用戶名 +文件邏輯位置 )作為惟一的 Key值，映射到哈希環(huán)上，并順時針找到離自己哈希值最近的節(jié)點作為實際數(shù)據(jù)存儲的位置； 數(shù) 據(jù) 片 哈 希 過 程K e y1= a1K e y2= a2K e y3= a3K e y4= a4K e y5= a5K e yn= an...K e y 值 為 “ 用 戶 名 + 邏 輯 位 置 ”K e y1= a3K e y2= a5K e y3= a4K e y4= a1K e y5= a2K e yn= an...計 算 程 序 片 哈 希 過 程數(shù) 據(jù) 片 計 算 程 序 片K e y 值 為 “ 用 戶 名 + 邏 輯 位 置 ”— ③ 在發(fā)起計算任務時提取計算任務所要操作的數(shù)據(jù)對應的 (用戶名 +文件邏輯位置 )值作為Key值，映射到哈希環(huán)上，并順時針找到離自己哈希值最近的節(jié)點注入程序并發(fā)起計算的節(jié)點。由于相同用戶的相同數(shù)據(jù) (用戶名 +文件邏輯位置 ) 其在一致性哈希算法作用下一定會被分配到相同的節(jié)點，從而保證了計算所發(fā)起的節(jié)點剛好就是計算所需要處理的數(shù)據(jù)所在的節(jié)點。 — 在這種算法的支持下只要計算程序片需要處理的數(shù)據(jù)邏輯位置是確定的，系統(tǒng)就會將計算程序片路由到數(shù)據(jù)存儲位置所在的節(jié)點，這時節(jié)點間的負載均衡性是由數(shù)據(jù)分布的均衡化來實現(xiàn)的。 圖 一致性哈希算法實現(xiàn)計算與數(shù)據(jù)的位置一致性 一致性哈希算法中計算和存儲位置的一致性 * — 一致性哈希算法可以實現(xiàn)無中心節(jié)點的計算和數(shù)據(jù)定位，使計算可以惟一地找到其所要處理和分析的數(shù)據(jù)，使計算能最大可能地在數(shù)據(jù)存儲的位置發(fā)起，從而節(jié)約大量的網(wǎng)絡資源，同時避免了系統(tǒng)單點失效造成的不良影響。 — 利用一致性哈希方法在面對海量文件時系統(tǒng)不用維護一個龐大的元數(shù)據(jù)庫用于保存文件的存儲信息，計算尋找數(shù)據(jù)的速度非常直接，路由的算法復雜度非常低。 — 需要存儲大量 KeyValue的 Amazon的電子商務應用和Facebook的社交網(wǎng)站應用都采用了一致性哈希算法。 — 圖 一致性哈希算法實現(xiàn)計算與數(shù)據(jù)的位置一致性 — 一致性哈希算法可以實現(xiàn)無中心節(jié)點的計算和數(shù)據(jù)定位，使計算可以惟一地找到其所要處理和分析的數(shù)據(jù)，使計算能最大可能地在數(shù)據(jù)存儲的位置發(fā)起，從而節(jié)約大量的網(wǎng)絡資源，同時避免了系統(tǒng)單點失效造成的不良影響。利用一致性哈希方法在面對海量文件時系統(tǒng)不用維護一個龐大的元數(shù)據(jù)庫用于保存文件的存儲信息，計算尋找數(shù)據(jù)的速度非常直接，路由的算法復雜度非常低。需要存儲大量 KeyValue的 Amazon的電子商務應用和 Facebook的社交網(wǎng)站應用都采用了一致性哈希算法。 — 非關系型數(shù)據(jù)庫 — 從關系型數(shù)據(jù)庫到非關系型數(shù)據(jù)庫 — 關系型數(shù)據(jù)庫（ Relational Database）技術是 1970年埃德加 科德（ Edgar Frank Codd）所提出的，關系型數(shù)據(jù)庫克服了網(wǎng)絡數(shù)據(jù)庫模型和層次數(shù)據(jù)庫模型的一些弱點。 1981年埃德加 科德因在關系型數(shù)據(jù)庫方面的貢獻獲得了圖靈獎，因此埃德加 科德也被稱為“關系數(shù)據(jù)庫之父”（見圖 ）。關系型數(shù)據(jù)庫幾十年來一直是統(tǒng)治數(shù)據(jù)庫技術的核心標準，目前主要的數(shù)據(jù)庫系統(tǒng)仍然采用的是關系型數(shù)據(jù)庫。埃德加 科德發(fā)明的關系數(shù)據(jù)庫不僅有一個堅實的數(shù)學基礎，即關系代數(shù)，而且埃德加 科德從關系代數(shù)的基礎推演出一套關系數(shù)據(jù)庫的理論。這個理論包括一系列“范式”，可以用來檢查數(shù)據(jù)庫是否有冗余性和不一致等性質(zhì)。另外，埃德加 科德也在關系代數(shù)基礎之上定義了一系列通用的數(shù)據(jù)基本操作。但云計算和大數(shù)據(jù)技術的出現(xiàn)逐步動搖了關系型數(shù)據(jù)庫的統(tǒng)治地位。 — 圖 關系數(shù)據(jù)庫之父 — Edgar Frank Codd — 隨著信息產(chǎn)業(yè)的發(fā)展，特別是在云計算和互聯(lián)網(wǎng) Web 展的今天，數(shù)據(jù)庫系統(tǒng)成為了 IT架構(gòu)中信息存儲和處理的必要組成部分， Web 是相對 Web 的新的一類互聯(lián)網(wǎng)應用的統(tǒng)稱。 Web 的主要特點在于用戶通過瀏覽器獲取信息。 Web 則更注重用戶的交互作用，用戶既是網(wǎng)站內(nèi)容的瀏覽者，也是網(wǎng)站內(nèi)容的制造者。所謂網(wǎng)站內(nèi)容的制造者是說互聯(lián)網(wǎng)上的每一個用戶不再僅僅是互聯(lián)網(wǎng)的讀者，同時也成為互聯(lián)網(wǎng)的作者；不再僅僅是在互聯(lián)網(wǎng)上沖浪，同時也成為波浪制造者；在模式上由單純的“讀”向“寫”以及“共同建設”發(fā)展；由被動地接收互聯(lián)網(wǎng)信息向主動創(chuàng)造互聯(lián)網(wǎng)信息發(fā)展，從而更加人性化。云計算資源網(wǎng)絡化的提供方式更是為 Web 了無限的想象空間，從這一點看我們已很難將這兩者完全區(qū)分開來。云計算技術對數(shù)據(jù)庫高并發(fā)讀 /寫的需求，對海量數(shù)據(jù)的高效率存儲和訪問的需求，對數(shù)據(jù)庫的高可擴展性和高可用性的需求都讓傳統(tǒng)關系型數(shù)據(jù)庫系統(tǒng)顯得力不從心。同時關系型數(shù)據(jù)庫技術中的一些核心技術要求如：數(shù)據(jù)庫事務一致性需求，數(shù)據(jù)庫的寫實時性和讀實時性需求，對復雜的 SQL查詢，特別是多表關聯(lián)查詢的需求等在 Web ，而且系統(tǒng)為此付出了較大的代價。 — 關系型數(shù)據(jù)庫技術的出現(xiàn)是云計算、大數(shù)據(jù)技術的必然需求，非關系型數(shù)據(jù)庫可以被稱為一項數(shù)據(jù)庫的革命，從 2023年開始，在云計算的發(fā)展和開源社區(qū)的推動下，非關系型數(shù)據(jù)庫的發(fā)展顯示了較強的活力，也得到了越來越多的用戶關注和認可。目前已經(jīng)有多家大型 IT企業(yè)已經(jīng)采用非關系型數(shù)據(jù)庫作為重要的生產(chǎn)系統(tǒng)基礎支撐，比如 Google的 BigTable， Amazon的 Dynamo，以及 Digg、 Twitter、 Facebook在使用的 Cassandra等。 — 非關系型數(shù)據(jù)庫的定義 — 非關系型數(shù)據(jù)庫，又被稱為 NoSQL（ Not Only SQL），意為不僅僅是 SQL(Structured Query Language，結(jié)構(gòu)化查詢語言 )，據(jù)維基百科介紹， NoSQL最早出現(xiàn)于 1998年，是由 Carlo Strozzi最早開發(fā)的一個輕量、開源、不兼容 SQL功能的關系型數(shù)據(jù)庫。2023年，在一次關于分布式開源數(shù)據(jù)庫的討論會上，再次提出了 NoSQL的概念，此時 NoSQL主要是指非關系型、分布式、不提供 ACID（數(shù)據(jù)庫事務處理的四個基本要素）的數(shù)據(jù)庫設計模式。同年，在亞特蘭大舉行的“ NO:SQL(east)”討論會上，對 NoSQL最普遍的定義是“非關聯(lián)型的”，強調(diào) KeyValue存儲和文檔數(shù)據(jù)庫的優(yōu)點，而不是單純地反對 RDBMS，至此， NoSQL開始正式出現(xiàn)在世人面前。 — 非關系型數(shù)據(jù)庫的分類 — NoSQL描述的是大量結(jié)構(gòu)化數(shù)據(jù)存儲方法的集合，根據(jù)結(jié)構(gòu)化方法以及應用場合的不同，主要可以將 NoSQL分為以下幾類： — （ 1） ColumnOriented。 — 面向檢索的列式存儲，其存儲結(jié)構(gòu)為列式結(jié)構(gòu)，不同于關系型數(shù)據(jù)庫的行式結(jié)構(gòu)，這種結(jié)構(gòu)會讓很多統(tǒng)計聚合操作更簡單方便，使系統(tǒng)具有較高的可擴展性。這類數(shù)據(jù)庫還可以適應海量數(shù)據(jù)的增加以及數(shù)據(jù)結(jié)構(gòu)的變化，這個特點與云計算所需的相關需求是相符合的。比如 Google Appengine的 Big Table以及相同設計理念的 Hadoop子系統(tǒng) HaBase就是這類的典型代表。需要特別指出的是， BigTable特別適用于 MapReduce處理，這對于云計算的發(fā)展有很高的適應性。 — （ 2） KeyValue。 — 面向高性能并發(fā)讀 /寫的緩存存儲，其結(jié)構(gòu)類似于數(shù)據(jù)結(jié)構(gòu)中的Hash表，每個 Key分別對應一個 Value，能夠提供非?？斓牟樵兯俣取⒋髷?shù)據(jù)存放量和高并發(fā)操作，非常適合通過主鍵對數(shù)據(jù)進行查詢和修改等操作。 KeyValue數(shù)據(jù)庫的主要特點是具有極高的并發(fā)讀 /寫性能，非常適應作為緩存系統(tǒng)使用。 MemcacheDB、Berkeley DB、 Redis、 Flare就是 KeyValue數(shù)據(jù)庫的代表。 — （ 3） DocumentOriented。 — 面向海量數(shù)據(jù)訪問的文檔存儲，這類存儲的結(jié)構(gòu)與 KeyValue非常相似，也是每個 Key分別對應一個 Value，但是這個 Value主要以 JSON（ JavaScript Object Notations）或者 XML等格式的文檔來進行存儲。這種存儲方式可以很方便地被面向?qū)ο蟮恼Z言所使用。這類數(shù)據(jù)庫可以在海量的數(shù)據(jù)中快速查詢數(shù)據(jù)，典型代表為 MongoDB、 CouchDB等。 — NoSQL具有擴展簡單、高并發(fā)、高穩(wěn)定性、成本低廉等優(yōu)勢，也存在一些問題。比如， NoSQL暫不提供對 SQL的支持，會造成開發(fā)人員的額外學習成本； NoSQL大多為開源軟件，其成熟度與商用的關系型數(shù)據(jù)庫系統(tǒng)相比有差距； NoSql的架構(gòu)特性決定了其很難保證數(shù)據(jù)的完整性，適合在一些特殊的應用場景使用。 — 集群高速通信標準 InfiniBand — 集群結(jié)構(gòu)是云計算系統(tǒng)的基本結(jié)構(gòu)之一，在集群結(jié)構(gòu)中節(jié)點之間的協(xié)調(diào)和數(shù)據(jù)傳送一般都通過消息傳遞機制進行，在傳統(tǒng)的高性能計算系統(tǒng)集群內(nèi)部的網(wǎng)絡通信能力成為了影響集群計算能力的一個重要因素，由于受到網(wǎng)絡通信速度的制約甚至提出以計算換通信的編程理念。云計算系統(tǒng)中集群的規(guī)模變得空前巨大，為了很好地實現(xiàn)集群內(nèi)部的調(diào)度和協(xié)調(diào)高速的網(wǎng)絡通信是必不可少的。 InfiniBand就是目前較為常見的一種高速集群通信協(xié)議，它在高性能計算領域已得到廣泛的應用。 — InfiniBand是一種全新、功能強大、設計用來支持 Inter基礎設施 I/O互聯(lián)的體系結(jié)構(gòu)。 InfiniBand被工業(yè)界的頂級公司所支持，執(zhí)行委員會成員包括： Compaq、 Dell、 Hewlett Packard、IBM、 Intel、 Microsoft和 Sun