【正文】 I S P 語 言麥 卡 錫 首 次 提 出 云 計 算 理 念S U N 提 出 網(wǎng) 絡(luò) 就 是 計 算 機(jī)并 行 計 算 網(wǎng) 格 計 算G o o g l e 提 出 云 計 算云 計 算 進(jìn) 入 中 國第 四 范 式大 數(shù) 據(jù) 進(jìn) 入 中 國1 9 4 6 1 9 5 4 1 9 6 4 1 9 6 9 1 9 7 0 1 9 8 0 1 9 8 6 1 9 8 9 1 9 9 3 2 0 0 2 2 0 0 5電 子 管 : E N I A C晶 體 管 : T R A D I C集 成 電 路 : I B M 3 6 0A R P A n e t大 規(guī) 模 集 成 電 路T C P / I P我 國 首 封 E M a i lW W W 發(fā) 明第 一 個 W e b互 聯(lián) 網(wǎng) 發(fā) 展移 動 互 聯(lián) 網(wǎng)硬 件 技 術(shù) 和 網(wǎng) 絡(luò) 技 術(shù) 的 發(fā) 展面 向 數(shù) 據(jù) 技 術(shù) 發(fā) 展變 化 趨 勢 : ( 1 ) 從 面 向 計 算 到 面 向 數(shù) 據(jù) 。 到了以網(wǎng)絡(luò)為核心的時代數(shù)據(jù)的構(gòu)成變得非常復(fù)雜，數(shù)據(jù)來源多樣化，不同數(shù)據(jù)之間存在大量的隱含關(guān)聯(lián)性，這時計算所面對的數(shù)據(jù)變得非常復(fù)雜，如社會感知、微關(guān)系等應(yīng)用將數(shù)據(jù)和復(fù)雜的人類社會運(yùn)行相關(guān)聯(lián)，由于人人都是數(shù)據(jù)的生產(chǎn)者，人們之間的社會關(guān)系和結(jié)構(gòu)就被隱含到了所產(chǎn)生的數(shù)據(jù)之中。 — 云計算與大數(shù)據(jù) * — 如圖 ，人類早期知識的發(fā)現(xiàn)主要依賴于 經(jīng)驗、觀察和實驗 ，需要的計算和產(chǎn)生的數(shù)據(jù)都是很少的。 云計算與大數(shù)據(jù) * 云計算與物聯(lián)網(wǎng) ? 云計算與物聯(lián)網(wǎng) — 云計算和物聯(lián)網(wǎng)在出現(xiàn)的時間上非常接近，以至于有一段時間云計算和物聯(lián)網(wǎng)兩個名詞總是同時出現(xiàn)在各類媒體上。 — 物聯(lián)網(wǎng)這個概念可以認(rèn)為對一類應(yīng)用的稱呼，物聯(lián)網(wǎng)與云計算技術(shù)的關(guān)系從定義上講是應(yīng)用與平臺的關(guān)系。 ? 近年來，隨著物聯(lián)網(wǎng)從局域網(wǎng)走向城域網(wǎng)，其感知信息也呈指數(shù)型增長，同時導(dǎo)致服務(wù)器端的服務(wù)器數(shù)目呈線性增長。 云計算與物聯(lián)網(wǎng) * — （ 2）低成本的投入可以換來高收益，讓限制訪問服務(wù)器次數(shù)的瓶頸成為歷史。其信息共享的局限性不言而喻。 云計算技術(shù) 作為一項有著廣泛應(yīng)用前景的新興前沿技術(shù)，尚處于成型階段，自然也 面臨著一些問題。 云計算與物聯(lián)網(wǎng) * — 云計算作為互聯(lián)網(wǎng)全球統(tǒng)一化的必然趨勢，其統(tǒng)一虛擬的基礎(chǔ)設(shè)施平臺，方便透明的上層調(diào)用接口，計算信息的資源共享等特點，完全是在充分考慮了各行各業(yè)的整合需求下才形成的拯救互聯(lián)網(wǎng)的諾亞方舟。 * 一致性哈希算法的基本原理 — 一致性哈希算法及其改進(jìn)算法 已成為 分布式存儲領(lǐng)域 的一個 標(biāo)準(zhǔn)技術(shù) 。 如果節(jié)點數(shù)不多，則將這些節(jié)點映射到值空間之后，分布可能會很不均勻，必然會造成個別節(jié)點處理的 Key數(shù)量遠(yuǎn)大于其他節(jié)點，這就起不到負(fù)載均衡的效果。 一致性哈希算法中計算和存儲位置的一致性 * — 根據(jù)一致性哈希算法的基本原理在面向數(shù)據(jù)的分布式系統(tǒng)中計算和存儲位置一致性方法如圖 ，其主要步驟如下： — ① 將服務(wù)器節(jié)點以 IP地址作為 Key值，以一致性哈希方法映射到哈希環(huán)上； — ② 在數(shù)據(jù)存儲時以 (用戶名 +文件邏輯位置 )作為惟一的 Key值，映射到哈希環(huán)上，并順時針找到離自己哈希值最近的節(jié)點作為實際數(shù)據(jù)存儲的位置； 數(shù) 據(jù) 片 哈 希 過 程K e y1= a1K e y2= a2K e y3= a3K e y4= a4K e y5= a5K e yn= an...K e y 值 為 “ 用 戶 名 + 邏 輯 位 置 ”K e y1= a3K e y2= a5K e y3= a4K e y4= a1K e y5= a2K e yn= an...計 算 程 序 片 哈 希 過 程數(shù) 據(jù) 片 計 算 程 序 片K e y 值 為 “ 用 戶 名 + 邏 輯 位 置 ”— ③ 在發(fā)起計算任務(wù)時提取計算任務(wù)所要操作的數(shù)據(jù)對應(yīng)的 (用戶名 +文件邏輯位置 )值作為Key值，映射到哈希環(huán)上，并順時針找到離自己哈希值最近的節(jié)點注入程序并發(fā)起計算的節(jié)點。需要存儲大量 KeyValue的 Amazon的電子商務(wù)應(yīng)用和 Facebook的社交網(wǎng)站應(yīng)用都采用了一致性哈希算法。 科德發(fā)明的關(guān)系數(shù)據(jù)庫不僅有一個堅實的數(shù)學(xué)基礎(chǔ)，即關(guān)系代數(shù)，而且埃德加 Web 則更注重用戶的交互作用，用戶既是網(wǎng)站內(nèi)容的瀏覽者，也是網(wǎng)站內(nèi)容的制造者。2023年，在一次關(guān)于分布式開源數(shù)據(jù)庫的討論會上，再次提出了 NoSQL的概念，此時 NoSQL主要是指非關(guān)系型、分布式、不提供 ACID（數(shù)據(jù)庫事務(wù)處理的四個基本要素）的數(shù)據(jù)庫設(shè)計模式。 — 面向高性能并發(fā)讀 /寫的緩存存儲，其結(jié)構(gòu)類似于數(shù)據(jù)結(jié)構(gòu)中的Hash表，每個 Key分別對應(yīng)一個 Value，能夠提供非?？斓牟樵兯俣取⒋髷?shù)據(jù)存放量和高并發(fā)操作，非常適合通過主鍵對數(shù)據(jù)進(jìn)行查詢和修改等操作。比如， NoSQL暫不提供對 SQL的支持，會造成開發(fā)人員的額外學(xué)習(xí)成本； NoSQL大多為開源軟件，其成熟度與商用的關(guān)系型數(shù)據(jù)庫系統(tǒng)相比有差距； NoSql的架構(gòu)特性決定了其很難保證數(shù)據(jù)的完整性，適合在一些特殊的應(yīng)用場景使用。 InfiniBand是惟一既提供機(jī)箱內(nèi)底板互聯(lián)解決方案，又可以使高速帶寬延伸出機(jī)箱外部的互聯(lián)標(biāo)準(zhǔn)，是一種把 I/O和系統(tǒng)域網(wǎng)絡(luò)統(tǒng)一起來的標(biāo)準(zhǔn)。自組織算法按照自下而上的機(jī)制進(jìn)行控制，與一般采用中心控制算法不同，在進(jìn)化計算、任務(wù)分配、網(wǎng)絡(luò)自組織演化戎械玫焦惴旱難ǎㄈ繅先核惴 ǎ┯ 252。從熱力學(xué)的觀點來說，“自組織”是指一個系統(tǒng)通過與外界交換物質(zhì)、能量和信息，而不斷地降低自身的熵含量，提高其有序度的過程。 — 練習(xí)題 — 1．簡述一致性哈希算法的基本原理?？频乱脖环Q為“關(guān)系數(shù)據(jù)庫之父”（見圖 ）。 — 但云計算和大數(shù)據(jù)技術(shù)的出現(xiàn)逐步動搖了關(guān)系型數(shù)據(jù)庫的統(tǒng)治地位。 * 從關(guān)系型數(shù)據(jù)庫到非關(guān)系型數(shù)據(jù)庫 — 關(guān)系型數(shù)據(jù)庫技術(shù)的出現(xiàn)是云計算、大數(shù)據(jù)技術(shù)的必然需求，非關(guān)系型數(shù)據(jù)庫可以被稱為一項數(shù)據(jù)庫的革命，從 2023年開始，在云計算的發(fā)展和開源社區(qū)的推動下，非關(guān)系型數(shù)據(jù)庫的發(fā)展顯示了較強(qiáng)的活力，也得到了越來越多的用戶關(guān)注和認(rèn)可。需要特別指出的是， BigTable特別適用于 MapReduce處理，這對于云計算的發(fā)展有很高的適應(yīng)性。 * 集群高速通信標(biāo)準(zhǔn) InfiniBand — 集群結(jié)構(gòu)是云計算系統(tǒng)的基本結(jié)構(gòu)之一，在集群結(jié)構(gòu)中節(jié)點之間的協(xié)調(diào)和數(shù)據(jù)傳送一般都通過消息傳遞機(jī)制進(jìn)行，在傳統(tǒng)的高性能計算系統(tǒng)集群內(nèi)部的網(wǎng)絡(luò)通信能力成為了影響集群計算能力的一個重要因素，由于受到網(wǎng)絡(luò)通信速度的制約甚至提出以計算換通信的編程理念。 — 與其他商品化系統(tǒng)域網(wǎng)絡(luò)不同， InfiniBand網(wǎng)絡(luò)首先由行業(yè)協(xié)會制定標(biāo)準(zhǔn)，然后生產(chǎn)商根據(jù)標(biāo)準(zhǔn)制造出 InfiniBand設(shè)備，不同生產(chǎn)商的產(chǎn)品要求具有互操作性，這樣可以使 InfiniBand產(chǎn)品具有更好的性能價格比。 * 云計算大數(shù)據(jù)集群的自組織特性 — 典型的進(jìn)化算法（如蟻群算法） 由個體依據(jù)簡單規(guī)則 ，通過 正反饋 、 分布式協(xié)作 依靠 群體的力量自動尋找最優(yōu)路徑 ；任務(wù)分配通過 多智能體并行實現(xiàn) 在離散、有限的數(shù)據(jù)結(jié)構(gòu)上，尋找一個滿足給定約束條件并使目標(biāo)函數(shù)值達(dá)到最大或者最小的解；人工生命進(jìn)化由人工分子的非線性相互作用引起，是遠(yuǎn)離熱平衡的相變，是自組織的研究方向之一；網(wǎng)絡(luò)自組織演化研究在內(nèi)在機(jī)制驅(qū)動下，網(wǎng)絡(luò)自行從簡單向復(fù)雜、從粗糙向細(xì)致方向發(fā)展，不斷地以局部優(yōu)化達(dá)到全局優(yōu)化的過程。 * 云計算大數(shù)據(jù)集群的自組織特性 ? 云計算大數(shù)據(jù)集群具有數(shù)量眾多的節(jié)點，對比耗散結(jié)構(gòu)的特點，集群系統(tǒng)本身滿足耗散結(jié)構(gòu)的要求： （ 1）云計算大數(shù)據(jù)集群系統(tǒng)存在著與系統(tǒng)外的能量、物質(zhì)和信息的交換，滿足耗散結(jié)構(gòu)的第一個條件； （ 2）一個運(yùn)營良好的云計算大數(shù)據(jù)集群系統(tǒng)節(jié)點負(fù)載是被有效均衡的，系統(tǒng)的均衡狀態(tài)是一種熵值較低的遠(yuǎn)離平衡態(tài)的狀態(tài)，滿足耗散結(jié)構(gòu)的第二個條件； （ 3）云計算大數(shù)據(jù)集群系統(tǒng)是一種具有海量節(jié)點的高耦合系統(tǒng)，由于在云計算系統(tǒng)的節(jié)點間中存在著頻繁的計算遷移、存儲遷移、計算備份、存儲備份、節(jié)點失效處理等節(jié)點間的高耦合性操作，系統(tǒng)內(nèi)部存在著大量的相互作用，系統(tǒng)內(nèi)部存在著非線性相互作用，滿足耗散結(jié)構(gòu)的第三個條件； （ 4）云計算大數(shù)據(jù)集群系統(tǒng)內(nèi)的各種狀態(tài)參數(shù)會隨著外部請求的變化出現(xiàn)漲落，滿足耗散結(jié)構(gòu)的第四個條件。 ? 4. 非關(guān)系型數(shù)據(jù)庫可分為 、 、 。 同時由于系統(tǒng)內(nèi)部又存在大數(shù)據(jù)遷移、計算遷移、負(fù)載均衡等相互作用， ? 因此可以把集群系統(tǒng)抽象地描述為與外界有大量能量、信息、物質(zhì)交換的開放系統(tǒng)。由耗散結(jié)構(gòu)引出的自組織現(xiàn)象更是打破了人類對自然的常規(guī)認(rèn)識。它將復(fù)雜的 I/O 系統(tǒng)與 CPU、內(nèi)存分開，使 I/O 子系統(tǒng)獨(dú)立，采用基于包交換的高速串行鏈路和可擴(kuò)展的高速交換網(wǎng)絡(luò)替代共享總線結(jié)構(gòu)，提供了高帶寬、低延遲、可擴(kuò)展的 I/O 互聯(lián)。 InfiniBand就是目前較為常見的一種高速集群通信協(xié)議，它在高性能計算領(lǐng)域已得到廣泛的應(yīng)用。 — KeyValue數(shù)據(jù)庫的主要特點是具有極高的并發(fā)讀 /寫性能，非常適應(yīng)作為緩存系統(tǒng)使用。 * 非關(guān)系型數(shù)據(jù)庫的定義 ? 非關(guān)系型數(shù)據(jù)庫的定義 — 非關(guān)系型數(shù)據(jù)庫，又被稱為 NoSQL（ Not Only SQL），意為不僅僅是SQL(Structured Query Language，結(jié)構(gòu)化查詢語言 )，據(jù)維基百科介紹， NoSQL最早出現(xiàn)于 1998年，是由 Carlo Strozzi最早開發(fā)的一個輕量、開源、不兼容 SQL功能的關(guān)系型數(shù)據(jù)庫。 — Web 的主要特點在于用戶通過瀏覽器獲取信息。 — 埃德加 — 3．物聯(lián)網(wǎng)的產(chǎn)業(yè)鏈可以分為 、 、 、 4個環(huán)節(jié)。 — 云計算大數(shù)據(jù)集群具有數(shù)量眾多的節(jié)點，對比耗散結(jié)構(gòu)的特點，集群系統(tǒng)本身滿足耗散結(jié)構(gòu)的要求： — （ 1）云計算大數(shù)據(jù)集群系統(tǒng)存在著與系統(tǒng)外的能量、物質(zhì)和信息的交換，滿足耗散結(jié)構(gòu)的第一個條件； — （ 2）一個運(yùn)營良好的云計算大數(shù)據(jù)集群系統(tǒng)節(jié)點負(fù)載是被有效均衡的，系統(tǒng)的均衡狀態(tài)是一種熵值較低的遠(yuǎn)離平衡態(tài)的狀態(tài)，滿足耗散結(jié)構(gòu)的第二個條件； — （ 3）云計算大數(shù)據(jù)集群系統(tǒng)是一種具有海量節(jié)點的高耦合系統(tǒng)，由于在云計算系統(tǒng)的節(jié)點間中存在著頻繁的計算遷移、存儲遷移、計算備份、存儲備份、節(jié)點失效處理等節(jié)點間的高耦合性操作，系統(tǒng)內(nèi)部存在著大量的相互作用，系統(tǒng)內(nèi)部存