【正文】 列式結(jié)構(gòu)，不同于關(guān)系型數(shù)據(jù)庫的行式結(jié)構(gòu)，這種結(jié)構(gòu)會讓很多統(tǒng)計聚合操作更簡單方便，使系統(tǒng)具有較高的可擴(kuò)展性。 — 這類數(shù)據(jù)庫還可以適應(yīng)海量數(shù)據(jù)的增加以及數(shù)據(jù)結(jié)構(gòu)的變化，這個特點與云計算所需的相關(guān)需求是相符合的。 — 比如 Google Appengine的 Big Table以及相同設(shè)計理念的 Hadoop子系統(tǒng)HaBase就是這類的典型代表。需要特別指出的是， BigTable特別適用于 MapReduce處理，這對于云計算的發(fā)展有很高的適應(yīng)性。 * 非關(guān)系型數(shù)據(jù)庫的分類 （ 2） KeyValue — 面向高性能并發(fā)讀 /寫的緩存存儲，其結(jié)構(gòu)類似于數(shù)據(jù)結(jié)構(gòu)中的Hash表，每個 Key分別對應(yīng)一個 Value，能夠提供非?？斓牟樵兯俣取⒋髷?shù)據(jù)存放量和高并發(fā)操作，非常適合通過主鍵對數(shù)據(jù)進(jìn)行查詢和修改等操作。 — KeyValue數(shù)據(jù)庫的主要特點是具有極高的并發(fā)讀 /寫性能，非常適應(yīng)作為緩存系統(tǒng)使用。 — MemcacheDB、 Berkeley DB、 Redis、 Flare就是 KeyValue數(shù)據(jù)庫的代表。 * 非關(guān)系型數(shù)據(jù)庫的分類 （ 3） DocumentOriented — 面向海量數(shù)據(jù)訪問的文檔存儲，這類存儲的結(jié)構(gòu)與 KeyValue非常相似，也是每個 Key分別對應(yīng)一個 Value，但是這個 Value主要以 JSON（ JavaScript Object Notations）或者 XML等格式的文檔來進(jìn)行存儲。 — 這種存儲方式可以很方便地被面向?qū)ο蟮恼Z言所使用。 — 這類數(shù)據(jù)庫可以在海量的數(shù)據(jù)中快速查詢數(shù)據(jù)，典型代表為MongoDB、 CouchDB等。 * 非關(guān)系型數(shù)據(jù)庫的分類 — NoSQL具有擴(kuò)展簡單、高并發(fā)、高穩(wěn)定性、成本低廉等優(yōu)勢，也存在一些問題，比如： ? NoSQL暫不提供對 SQL的支持，會造成開發(fā)人員的額外學(xué)習(xí)成本； ? NoSQL大多為開源軟件，其成熟度與商用的關(guān)系型數(shù)據(jù)庫系統(tǒng)相比有差距； ? NoSQL的架構(gòu)特性決定了其很難保證數(shù)據(jù)的完整性，適合在一些特殊的應(yīng)用場景使用。 * 集群高速通信標(biāo)準(zhǔn) InfiniBand — 集群結(jié)構(gòu)是云計算系統(tǒng)的基本結(jié)構(gòu)之一，在集群結(jié)構(gòu)中節(jié)點之間的協(xié)調(diào)和數(shù)據(jù)傳送一般都通過消息傳遞機制進(jìn)行，在傳統(tǒng)的高性能計算系統(tǒng)集群內(nèi)部的網(wǎng)絡(luò)通信能力成為了影響集群計算能力的一個重要因素，由于受到網(wǎng)絡(luò)通信速度的制約甚至提出以計算換通信的編程理念。 — 云計算系統(tǒng)中集群的規(guī)模變得空前巨大，為了很好地實現(xiàn)集群內(nèi)部的調(diào)度和協(xié)調(diào)高速的網(wǎng)絡(luò)通信是必不可少的。 InfiniBand就是目前較為常見的一種高速集群通信協(xié)議，它在高性能計算領(lǐng)域已得到廣泛的應(yīng)用。 * 集群高速通信標(biāo)準(zhǔn) InfiniBand — InfiniBand是一種全新、功能強大、設(shè)計用來支持 Inter基礎(chǔ)設(shè)施I/O互聯(lián)的體系結(jié)構(gòu)。 — InfiniBand被工業(yè)界的頂級公司所支持，執(zhí)行委員會成員包括：Compaq、 Dell、 Hewlett Packard、 IBM、 Intel、 Microsoft和 Sun。InfiniBand行業(yè)協(xié)會成員總計超過 220個。 — InfiniBand被主要的 OEM服務(wù)器生產(chǎn)商所支持，用來作為下一代服務(wù)器的 I/O互聯(lián)標(biāo)準(zhǔn)，是第一個高性能的機箱內(nèi)部 I/O互聯(lián)方式得到延伸的工業(yè)標(biāo)準(zhǔn)。 — InfiniBand是惟一既提供機箱內(nèi)底板互聯(lián)解決方案，又可以使高速帶寬延伸出機箱外部的互聯(lián)標(biāo)準(zhǔn)，是一種把 I/O和系統(tǒng)域網(wǎng)絡(luò)統(tǒng)一起來的標(biāo)準(zhǔn)。 — 與其他商品化系統(tǒng)域網(wǎng)絡(luò)不同， InfiniBand網(wǎng)絡(luò)首先由行業(yè)協(xié)會制定標(biāo)準(zhǔn)，然后生產(chǎn)商根據(jù)標(biāo)準(zhǔn)制造出 InfiniBand設(shè)備，不同生產(chǎn)商的產(chǎn)品要求具有互操作性，這樣可以使 InfiniBand產(chǎn)品具有更好的性能價格比。 * 集群高速通信標(biāo)準(zhǔn) InfiniBand — InfiniBand 是在 1999 年由 Future IO 和 NGIO 兩個標(biāo)準(zhǔn)整合而來的新型互聯(lián)技術(shù)。它將復(fù)雜的 I/O 系統(tǒng)與 CPU、內(nèi)存分開，使 I/O 子系統(tǒng)獨立，采用基于包交換的高速串行鏈路和可擴(kuò)展的高速交換網(wǎng)絡(luò)替代共享總線結(jié)構(gòu)，提供了高帶寬、低延遲、可擴(kuò)展的 I/O 互聯(lián)。 — 基于 I/O 通路共享機制的 InfiniBand 提供了一種連接計算機的新途徑，采用 InfiniBand 之后， I/O 不再是服務(wù)器的組成部分，這時遠(yuǎn)程存儲設(shè)備、 I/O 設(shè)備和服務(wù)器之間的互聯(lián)是通過 InfiniBand 交換機和路由器完成的，克服了傳統(tǒng)的共享 I/O 總線結(jié)構(gòu)的種種弊端。 — InfiniBand具有傳輸速率高、傳輸距離長、接口功耗低以及噪聲容限高等特性，單線傳輸速率為 ，可通過 4 或 12 線并行來擴(kuò)展通道帶寬，峰值帶寬高達(dá) 、 30Gbps（ 1x、 4x、 12x 線）。 * 集群高速通信標(biāo)準(zhǔn) InfiniBand — InfinBand 既可作為系統(tǒng)內(nèi)部互聯(lián)技術(shù)又可作為網(wǎng)絡(luò)互聯(lián)技術(shù)， ? 既可用于構(gòu)造高性能刀片服務(wù)器（ Blade Server）； ? 又可用于構(gòu)建具有高可用性和高可伸縮性的大規(guī)模集群系統(tǒng)； ? 還可用于構(gòu)建性能卓越的存儲區(qū)域網(wǎng)絡(luò) SAN。 * 云計算大數(shù)據(jù)集群的自組織特性 — 自組織理論 產(chǎn)生于 20世紀(jì)七八十年代，主要研究混沌系統(tǒng)在隨機識別時系統(tǒng)內(nèi)部自發(fā)地由無序變?yōu)橛行?、形成耗散結(jié)構(gòu)的過程，被物理、化學(xué)、生物學(xué)、社會學(xué)、心理學(xué)等領(lǐng)域廣泛研究，其中一些研究者將自組織理論的思想、模型與計算機科學(xué)、控制理論等學(xué)科相結(jié)合，形成了一些新興的研究方向。 — 自組織算法按照自下而上的機制進(jìn)行控制，與一般采用中心控制算法不同，在進(jìn)化計算、任務(wù)分配、網(wǎng)絡(luò)自組織演化等中得到廣泛的研究。 * 云計算大數(shù)據(jù)集群的自組織特性 — 典型的進(jìn)化算法（如蟻群算法） 由個體依據(jù)簡單規(guī)則 ，通過 正反饋 、 分布式協(xié)作 依靠 群體的力量自動尋找最優(yōu)路徑 ；任務(wù)分配通過 多智能體并行實現(xiàn) 在離散、有限的數(shù)據(jù)結(jié)構(gòu)上，尋找一個滿足給定約束條件并使目標(biāo)函數(shù)值達(dá)到最大或者最小的解；人工生命進(jìn)化由人工分子的非線性相互作用引起，是遠(yuǎn)離熱平衡的相變，是自組織的研究方向之一；網(wǎng)絡(luò)自組織演化研究在內(nèi)在機制驅(qū)動下，網(wǎng)絡(luò)自行從簡單向復(fù)雜、從粗糙向細(xì)致方向發(fā)展，不斷地以局部優(yōu)化達(dá)到全局優(yōu)化的過程。 * 云計算大數(shù)據(jù)集群的自組織特性 — 研究自組織必然要提到 耗散結(jié)構(gòu)理論 ，比利時科學(xué)家普里高津1969年提出耗散結(jié)構(gòu)理論后，這一理論就被廣泛地應(yīng)用于物理、生物、化學(xué)乃至社會科學(xué)的研究中。由耗散結(jié)構(gòu)引出的自組織現(xiàn)象更是打破了人類對自然的常規(guī)認(rèn)識。耗散結(jié)構(gòu)理論和協(xié)同學(xué)從宏觀、微觀及兩者的聯(lián)系上回答了系統(tǒng)自動走向有序結(jié)構(gòu)的問題，其成果被稱為自組織理論。 * 云計算大數(shù)據(jù)集群的自組織特性 — 出現(xiàn)自組織現(xiàn)象的系統(tǒng)必須是耗散結(jié)構(gòu) 的。 — 耗散結(jié)構(gòu)理論指出：一個開放系統(tǒng)處在遠(yuǎn)離平衡態(tài)的非線性區(qū)域，當(dāng)系統(tǒng)的某個參數(shù)變化到一定的臨界值時，通過漲落，系統(tǒng)發(fā)生突變，即非平衡相變，其狀態(tài)可能從原來的混亂無序的狀態(tài)轉(zhuǎn)變到一種在時間、空間上或功能上有序的新狀態(tài)，這種新的有序結(jié)構(gòu)（耗散結(jié)構(gòu)）需要系統(tǒng)不斷地與外界交換物質(zhì)和能量才能得以維持并保持一定的穩(wěn)定性。 — 從熱力學(xué)的觀點 來說，“ 自組織 ”是指一個系統(tǒng)通過與外界交換物質(zhì)、能量和信息，而不斷地降低自身的熵含量，提高其有序度的過程。 * 云計算大數(shù)據(jù)集群的自組織特性 ? 耗散結(jié)構(gòu)理論指出一個系統(tǒng)要形成耗散結(jié)構(gòu)需要滿足以下幾個條件： — （ 1）系統(tǒng)必須是開放的； — （ 2）系統(tǒng)需要保持遠(yuǎn)離平衡態(tài)； — （ 3）系統(tǒng)內(nèi)部存在著非線性相互作用； — （ 4）系統(tǒng)存在漲落。 * 云計算大數(shù)據(jù)集群的自組織特性 ? 云計算大數(shù)據(jù)集群具有數(shù)量眾多的節(jié)點，對比耗散結(jié)構(gòu)的特點，集群系統(tǒng)本身滿足耗散結(jié)構(gòu)的要求： （ 1）云計算大數(shù)據(jù)集群系統(tǒng)存在著與系統(tǒng)外的能量、物質(zhì)和信息的交換，滿足耗散結(jié)構(gòu)的第一個條件； （ 2）一個運營良好的云計算大數(shù)據(jù)集群系統(tǒng)節(jié)點負(fù)載是被有效均衡的，系統(tǒng)的均衡狀態(tài)是一種熵值較低的遠(yuǎn)離平衡態(tài)的狀態(tài)，滿足耗散結(jié)構(gòu)的第二個條件； （ 3）云計算大數(shù)據(jù)集群系統(tǒng)是一種具有海量節(jié)點的高耦合系統(tǒng)，由于在云計算系統(tǒng)的節(jié)點間中存在著頻繁的計算遷移、存儲遷移、計算備份、存儲備份、節(jié)點失效處理等節(jié)點間的高耦合性操作，系統(tǒng)內(nèi)部存在著大量的相互作用，系統(tǒng)內(nèi)部存在著非線性相互作用，滿足耗散結(jié)構(gòu)的第三個條件； （ 4）云計算大數(shù)據(jù)集群系統(tǒng)內(nèi)的各種狀態(tài)參數(shù)會隨著外部請求的變化出現(xiàn)漲落，滿足耗散結(jié)構(gòu)的第四個條件。 * 云計算大數(shù)據(jù)集群的自組織特性 ? 云計算大數(shù)據(jù)集群系統(tǒng)的 抽象描述 如圖 : ? 集群系統(tǒng)運行時需要能量的輸入，同時系統(tǒng)內(nèi)的一部分能量又會轉(zhuǎn)變?yōu)闊崮芰鞒鱿到y(tǒng)； ? 集群系統(tǒng)需要不斷地接受系統(tǒng)外傳入的數(shù)據(jù)并進(jìn)行處理，同時又會不斷地向系統(tǒng)外傳出數(shù)據(jù)； ? 集群系統(tǒng)由于具有很好的彈性規(guī)模且又非常大，所以節(jié)點的增加和節(jié)點的失效都十分頻繁 。 同時由于系統(tǒng)內(nèi)部又存在大數(shù)據(jù)遷移、計算遷移、負(fù)載均衡等相互作用， ? 因此可以把集群系統(tǒng)抽象地描述為與外界有大量能量、信息、物質(zhì)交換的開放系統(tǒng)。 PHOTO 云 計 算 大 數(shù) 據(jù)集 群 系 統(tǒng)開 放 系 統(tǒng)遠(yuǎn) 離 平 衡 態(tài)能量交換能 量 輸 入能 量 輸 出數(shù) 據(jù) 輸 入 數(shù) 據(jù) 輸 出信 息 交 換物 質(zhì) 交 換節(jié) 點 加 入節(jié) 點 失 效圖 云計算大數(shù)據(jù)集群系統(tǒng)的抽象描述 * PHOTO — 圖 1000個節(jié)點的系統(tǒng)在不同的負(fù)載均衡策略下在參數(shù)相空間和動量相空間（相空間的基本知識見本書 ）中的仿真實現(xiàn)結(jié)果，體現(xiàn)了集群系統(tǒng)的簡單自組織現(xiàn)象，圖中上面一排是在參數(shù)相空間的仿真結(jié)果，下面一排是動量相空間的仿真結(jié)果。 圖 集群系統(tǒng)在不同的負(fù)載均衡策略下的簡單自組織特性 * 云計算大數(shù)據(jù)集群的自組織特性 — 通常參數(shù)相空間的形態(tài)能反映系統(tǒng)的靜態(tài)工作情況，動量相空間的形態(tài)能反映系統(tǒng)的動態(tài)工作情況， — 從圖 都處于廣義熵相對較小的遠(yuǎn)離平衡態(tài)的狀態(tài)，不同點只是系統(tǒng)在參數(shù)相空間中是聚集在廣義重心位置的，而在動量相空間中是聚集在原點附近的，云計算系統(tǒng)在相空間上呈現(xiàn)出的遠(yuǎn)離平衡態(tài)形態(tài)表明其具備自組織出現(xiàn)的基本條件，同時也說明應(yīng)用相空間方法對研究云計算系統(tǒng)的自組織特性是有效的。 * 練習(xí)題 ? 1．簡述一致性哈希算法的基本原理。 ? 2．科學(xué)研究的四個范式是 、 、 、 。 ? 3．物聯(lián)網(wǎng)的產(chǎn)業(yè)鏈可以分為 、 、 、 4個環(huán)節(jié)。 ? 4. 非關(guān)系型數(shù)據(jù)庫可分為 、 、 。 * 演講完畢，謝謝觀看！