節(jié)能環(huán)保物聯(lián)網(wǎng)云服務(wù)示范工程項(xiàng)目書(編輯修改稿)
2025-07-24 06:10 本頁面
【文章內(nèi)容簡(jiǎn)介】 下三個(gè)方面。（1）需要存儲(chǔ)的數(shù)據(jù)種類繁多。物聯(lián)網(wǎng)或互聯(lián)網(wǎng)應(yīng)用需要處理的數(shù)據(jù)類型非常多。（2）海量的服務(wù)請(qǐng)求。云創(chuàng)存儲(chǔ)運(yùn)行著目前世界上最繁忙的系統(tǒng)，它每時(shí)每刻處理的客戶服務(wù)請(qǐng)求數(shù)量是普通的系統(tǒng)根本無法承受的。（3）商用數(shù)據(jù)庫無法滿足云創(chuàng)存儲(chǔ)的需求。一方面現(xiàn)有商用數(shù)據(jù)庫的設(shè)計(jì)著眼點(diǎn)在于其通用性，根本無法滿足云創(chuàng)存儲(chǔ)的苛刻服務(wù)要求，而且在數(shù)量龐大的服務(wù)器上根本無法成功部署普通的商用數(shù)據(jù)庫。另一方面對(duì)于底層系統(tǒng)的完全掌控會(huì)給后期的系統(tǒng)維護(hù)、升級(jí)帶來極大的便利。CData開發(fā)團(tuán)隊(duì)調(diào)查了多種數(shù)據(jù)的存儲(chǔ)需求后，確定CData設(shè)計(jì)應(yīng)達(dá)到如下幾個(gè)基本目標(biāo)。（1）廣泛的適用性。CData是為了滿足一系列應(yīng)用系統(tǒng)多種數(shù)據(jù)的存儲(chǔ)需求而并非特定產(chǎn)品的存儲(chǔ)要求。（2）很強(qiáng)的可擴(kuò)展性。根據(jù)需要隨時(shí)可以加入或撤銷服務(wù)器。（3）高可用性。對(duì)于客戶來說，有時(shí)候即使短暫的服務(wù)中斷也是不能忍受的。CData設(shè)計(jì)的重要目標(biāo)之一就是確保幾乎所有的情況下系統(tǒng)都可用。（4）簡(jiǎn)單性。底層系統(tǒng)的簡(jiǎn)單性既可以減少系統(tǒng)出錯(cuò)的概率，也為上層應(yīng)用的開發(fā)帶來便利。在目標(biāo)確定之后，云創(chuàng)存儲(chǔ)希望巧妙地結(jié)合各種數(shù)據(jù)庫技術(shù)，揚(yáng)長(zhǎng)避短。最終實(shí)現(xiàn)的系統(tǒng)也確實(shí)達(dá)到了原定的目標(biāo)。下面詳細(xì)講解CData。 cData數(shù)據(jù)模型CData是一個(gè)分布式多維映射表，表中的數(shù)據(jù)通過一個(gè)行關(guān)鍵字（Row Key）、一個(gè)列關(guān)鍵字（Column Key）以及一個(gè)時(shí)間戳（Time Stamp）進(jìn)行索引。CData對(duì)存儲(chǔ)在其中的數(shù)據(jù)不做任何解析，一律看做字符串，具體數(shù)據(jù)結(jié)構(gòu)的實(shí)現(xiàn)需要用戶自行處理。CData的存儲(chǔ)邏輯可以表示為：(row:string, column:string, time:int64)→stringCData數(shù)據(jù)的存儲(chǔ)格式如圖212所示[8]。圖21 CData數(shù)據(jù)模型1．行CData的行關(guān)鍵字可以是任意的字符串，但是大小不能夠超過64KB。CData和傳統(tǒng)的關(guān)系型數(shù)據(jù)庫有很大不同，它不支持一般意義上的事務(wù)，但能保證對(duì)于行的讀寫操作具有原子性（Atomic）。表中數(shù)據(jù)都是根據(jù)行關(guān)鍵字進(jìn)行排序的，排序使用的是詞典序。圖21是CData數(shù)據(jù)模型的一個(gè)典型實(shí)例。不直接存儲(chǔ)網(wǎng)頁地址而將其倒排是CData的一個(gè)巧妙設(shè)計(jì)。這樣做至少會(huì)帶來以下兩個(gè)好處。（1）同一地址域的網(wǎng)頁會(huì)被存儲(chǔ)在表中的連續(xù)位置，有利于用戶查找和分析。（2）倒排便于數(shù)據(jù)壓縮，可以大幅提高壓縮率。由于規(guī)模問題，單個(gè)的大表不利于數(shù)據(jù)的處理，因此CData將一個(gè)表分成了很多子表（Tablet），每個(gè)子表包含多個(gè)行。子表是CData中數(shù)據(jù)劃分和負(fù)載均衡的基本單位。2．列CData并不是簡(jiǎn)單地存儲(chǔ)所有的列關(guān)鍵字，而是將其組織成所謂的列族（Column Family），每個(gè)族中的數(shù)據(jù)都屬于同一個(gè)類型，并且同族的數(shù)據(jù)會(huì)被壓縮在一起保存。引入了列族的概念之后，列關(guān)鍵字就采用下述的語法規(guī)則來定義：族名：限定詞（family：qualifier）族名必須有意義，限定詞則可以任意選定。在圖21中，內(nèi)容（Contents）、錨點(diǎn)（Anchor，就是HTML中的鏈接）都是不同的族。通過這種方式組織的數(shù)據(jù)結(jié)構(gòu)清晰明了，含義也很清楚。族同時(shí)也是CData中訪問控制（Access Control）的基本單元，也就是說訪問權(quán)限的設(shè)置是在族這一級(jí)別上進(jìn)行的。 3．時(shí)間戳云創(chuàng)存儲(chǔ)的很多服務(wù)比如網(wǎng)頁檢索和用戶的個(gè)性化設(shè)置等都需要保存不同時(shí)間的數(shù)據(jù)，這些不同的數(shù)據(jù)版本必須通過時(shí)間戳來區(qū)分。圖21中內(nèi)容列的tt5和t6表明其中保存了在tt5和t6這三個(gè)時(shí)間獲取的網(wǎng)頁。CData中的時(shí)間戳是64位整型數(shù)，具體的賦值方式可以采取系統(tǒng)默認(rèn)的方式，也可以用戶自行定義。為了簡(jiǎn)化不同版本的數(shù)據(jù)管理，CData目前提供了兩種設(shè)置：一種是保留最近的N個(gè)不同版本，圖21中數(shù)據(jù)模型采取的就是這種方法，它保存最新的三個(gè)版本數(shù)據(jù)。另一種就是保留限定時(shí)間內(nèi)的所有不同版本，比如可以保存最近10天的所有不同版本數(shù)據(jù)。失效的版本將會(huì)由CData的垃圾回收機(jī)制自動(dòng)處理。 cData系統(tǒng)架構(gòu)CData是在云創(chuàng)存儲(chǔ)的另外三個(gè)云計(jì)算組件基礎(chǔ)之上構(gòu)建的，其基本架構(gòu)如圖22所示。圖中WorkQueue是一個(gè)分布式的任務(wù)調(diào)度器，它主要被用來處理分布式系統(tǒng)隊(duì)列分組和任務(wù)調(diào)度，關(guān)于其實(shí)現(xiàn)云創(chuàng)存儲(chǔ)并沒有公開。在前面已經(jīng)講過，cStor[9]是云創(chuàng)存儲(chǔ)的分布式文件系統(tǒng)，在CData中cStor主要用來存儲(chǔ)子表數(shù)據(jù)以及一些日志文件。CData還需要一個(gè)鎖服務(wù)的支持，CData選用了云創(chuàng)存儲(chǔ)自己開發(fā)的分布式鎖服務(wù)Chubby。在CData中Chubby主要有以下幾個(gè)作用。（1）選取并保證同一時(shí)間內(nèi)只有一個(gè)主服務(wù)器（Master Server）。（2）獲取子表的位置信息。（3）保存CData的模式信息及訪問控制列表。圖22 CData基本架構(gòu)另外在CData的實(shí)際執(zhí)行過程中，云創(chuàng)存儲(chǔ)的MapReduce和Sawzall也被用來改善其性能，不過需要注意的是這兩個(gè)組件并不是實(shí)現(xiàn)CData所必需的。CData主要由三個(gè)部分組成：客戶端程序庫（Client Library）、一個(gè)主服務(wù)器（Master Server）和多個(gè)子表服務(wù)器（Tablet Server），這三個(gè)部分在圖22中都有相應(yīng)的表示。從圖22可以看出，客戶訪問CData服務(wù)時(shí)，首先要利用其庫函數(shù)執(zhí)行Open()操作來打開一個(gè)鎖（實(shí)際上就是獲取了文件目錄），鎖打開以后客戶端就可以和子表服務(wù)器進(jìn)行通信了。和許多具有單個(gè)主節(jié)點(diǎn)的分布式系統(tǒng)一樣，客戶端主要與子表服務(wù)器通信，幾乎不和主服務(wù)器進(jìn)行通信，這使得主服務(wù)器的負(fù)載大大降低。主服務(wù)主要進(jìn)行一些元數(shù)據(jù)的操作以及子表服務(wù)器之間的負(fù)載調(diào)度問題，實(shí)際的數(shù)據(jù)是存儲(chǔ)在子表服務(wù)器上的。 cData主服務(wù)器主服務(wù)器的主要作用如圖23所示。圖23 主服務(wù)器的主要作用當(dāng)一個(gè)新的子表產(chǎn)生時(shí)，主服務(wù)器通過一個(gè)加載
環(huán)評(píng)公示相關(guān)推薦
鄂ICP備17016276號(hào)-1