節(jié)能環(huán)保物聯(lián)網(wǎng)云服務(wù)示范工程項(xiàng)目書-資料下載頁
2025-06-27 06:10本頁面
【正文】 k Roundtrips）進(jìn)行尋址，在緩存為空的情況下需要三個(gè)網(wǎng)絡(luò)來回通信。如果緩存的信息是過時(shí)的，則需要六個(gè)網(wǎng)絡(luò)來回通信。其中三個(gè)用來確定信息是過時(shí)的，另外三個(gè)獲取新的地址。預(yù)取則是在每次訪問元數(shù)據(jù)表時(shí)不僅僅讀取所需的子表元數(shù)據(jù)，而是讀取多個(gè)子表的元數(shù)據(jù)，這樣下次需要時(shí)就不用再次訪問元數(shù)據(jù)表。3．子表數(shù)據(jù)存儲(chǔ)及讀/寫操作在數(shù)據(jù)的存儲(chǔ)方面CData做出了一個(gè)非常重要的選擇，那就是將數(shù)據(jù)存儲(chǔ)劃分成兩塊。較新的數(shù)據(jù)存儲(chǔ)在內(nèi)存中一個(gè)稱為內(nèi)存表（Memtable）的有序緩沖里，較早的數(shù)據(jù)則以SSTable格式保存在cStor中。這種技術(shù)在數(shù)據(jù)庫中不是很常用，但云創(chuàng)存儲(chǔ)還是做出了這種選擇，實(shí)際運(yùn)行的效果也證明云創(chuàng)存儲(chǔ)的選擇雖然大膽卻是正確的。從圖27中可以看出讀和寫操作有很大的差異性。做寫操作（Write Op）時(shí)，首先查詢Chubby中保存的訪問控制列表確定用戶具有相應(yīng)的寫權(quán)限，通過認(rèn)證之后寫入的數(shù)據(jù)首先被保存在提交日志（Commit Log）中。提交日志中以重做記錄（Redo Record）的形式保存著最近的一系列數(shù)據(jù)更改，這些重做記錄在子表進(jìn)行恢復(fù)時(shí)可以向系統(tǒng)提供已完成的更改信息。數(shù)據(jù)成功提交之后就被寫入內(nèi)存表中。在做讀操作（Read Op）時(shí)，首先還是要通過認(rèn)證，之后讀操作就要結(jié)合內(nèi)存表和SSTable文件來進(jìn)行，因?yàn)閮?nèi)存表和SSTable中都保存了數(shù)據(jù)。圖27 CData數(shù)據(jù)存儲(chǔ)及讀/寫操作在數(shù)據(jù)存儲(chǔ)中還有一個(gè)重要問題，就是數(shù)據(jù)壓縮的問題。內(nèi)存表的空間畢竟是很有限的，當(dāng)其容量達(dá)到一個(gè)閾值時(shí)，舊的內(nèi)存表就會(huì)被停止使用并壓縮成SSTable格式的文件。在CData中有三種形式的數(shù)據(jù)壓縮，分別是次壓縮（Minor Compaction）、合并壓縮（Merging Compaction）和主壓縮（Major Compaction）。三者之間的關(guān)系如圖28所示。每一次舊的內(nèi)存表停止使用時(shí)都會(huì)進(jìn)行一個(gè)次壓縮操作，這會(huì)產(chǎn)生一個(gè)SSTable。但如果系統(tǒng)中只有這種壓縮的話，SSTable的數(shù)量就會(huì)無限制地增加下去。由于讀操作要使用SSTable，數(shù)量過多的SSTable顯然會(huì)影響讀的速度。而在CData中，讀操作實(shí)際上比寫操作更重要，因此CData會(huì)定期地執(zhí)行一次合并壓縮的操作，將一些已有的SSTable和現(xiàn)有的內(nèi)存表一并進(jìn)行一次壓縮。主壓縮其實(shí)是合并壓縮的一種，只不過它將所有的SSTable一次性壓縮成一個(gè)大的SSTable文件。主壓縮也是定期執(zhí)行的，執(zhí)行一次主壓縮之后可以保證將所有的被壓縮數(shù)據(jù)徹底刪除，如此一來，既回收了空間又能保證敏感數(shù)據(jù)的安全性（因?yàn)檫@些敏感數(shù)據(jù)被徹底刪除了）。圖28 三種形式壓縮之間的關(guān)系 cData性能優(yōu)化上述各種操作已經(jīng)可以實(shí)現(xiàn)CData的所有功能了，但是這些基本的功能很多時(shí)候并不是很符合用戶的使用習(xí)慣，或者執(zhí)行的效率較低。有些功能CData自身已經(jīng)進(jìn)行了優(yōu)化，包括使用緩存、共享式的提交日志以及利用系統(tǒng)的不變性。除此之外，CData還允許用戶個(gè)人在基本操作基礎(chǔ)上對系統(tǒng)進(jìn)行一些優(yōu)化。這一部分主要向讀者介紹用戶可以使用的幾個(gè)重要優(yōu)化措施。實(shí)際上這些技術(shù)手段都是一些已有的數(shù)據(jù)庫方法，只不過云創(chuàng)存儲(chǔ)將它具體地應(yīng)用于CData之中了。1．局部性群組（Locality groups）CData允許用戶將原本并不存儲(chǔ)在一起的數(shù)據(jù)以列族為單位，根據(jù)需要組織在一個(gè)單獨(dú)的SSTable中，以構(gòu)成一個(gè)局部性群組。這實(shí)際上就是數(shù)據(jù)庫中垂直分區(qū)技術(shù)的一個(gè)應(yīng)用。結(jié)合圖22的實(shí)例來看，在被CData保存的網(wǎng)頁列關(guān)鍵字中，有的用戶可能只對網(wǎng)頁內(nèi)容感興趣，那么它可以通過設(shè)置局部性群組只看內(nèi)容這一列。有的則會(huì)對諸如網(wǎng)頁語言、網(wǎng)站排名等可以用于分析的信息比較感興趣，他也可以將這些列設(shè)置到一個(gè)群組中。局部性群組如圖29所示。通過設(shè)置局部性群組用戶可以只看自己感興趣的內(nèi)容，對某個(gè)用戶來說的大量無用信息無需讀取。對于一些較小的且會(huì)被經(jīng)常讀取的局部性群組，用戶可以將其SSTable文件直接加載進(jìn)內(nèi)存，這可以明顯地改善讀取效率。2．壓縮壓縮可以有效地節(jié)省空間，CData中的壓縮被應(yīng)用于很多場合。首先壓縮可以被用在構(gòu)成局部性群組的SSTable中，可以選擇是否對個(gè)人的局部性群組的SSTable進(jìn)行壓縮。CData中這種壓縮是對每個(gè)局部性群組獨(dú)立進(jìn)行的，雖然這樣會(huì)浪費(fèi)一些空間，但是在需要讀時(shí)解壓速度非常快。通常情況下，用戶可以采用兩步壓縮的方式[8]：第一步利用Bentley amp。 McIlroy方式（BMDiff）在大的掃描窗口將常見的長串進(jìn)行壓縮；第二步采取Zippy技術(shù)進(jìn)行快速壓縮，它在一個(gè)16KB大小的掃描窗口內(nèi)尋找重復(fù)數(shù)據(jù)，這個(gè)過程非?？臁嚎s技術(shù)還可以提高子表的恢復(fù)速度，當(dāng)某個(gè)子表服務(wù)器停止使用后，需要將上面所有的子表移至另一個(gè)子表服務(wù)器來恢復(fù)服務(wù)。在轉(zhuǎn)移之前要進(jìn)行兩次壓縮，第一次壓縮減少了提交日志中的未壓縮狀態(tài)，從而減少了恢復(fù)時(shí)間。在文件正式轉(zhuǎn)移之前還要進(jìn)行一次壓縮，這次壓縮主要是將第一次壓縮后遺留的未壓縮空間進(jìn)行壓縮。完成這兩步之后壓縮的文件就會(huì)被轉(zhuǎn)移至另一個(gè)子表服務(wù)器。圖29 局部性群組3．布隆過濾器（Bloom Filter）CData向用戶提供了一種稱為布隆過濾器的數(shù)學(xué)工具。布隆過濾器是巴頓布隆在1970年提出的，實(shí)際上它是一個(gè)很長的二進(jìn)制向量和一系列隨機(jī)映射函數(shù)，在讀操作中確定子表的位置時(shí)非常有用。布隆過濾器的速度快，省空間。而且它有一個(gè)最大的好處是它絕不會(huì)將一個(gè)存在的子表判定為不存在。不過布隆過濾器也有一個(gè)缺點(diǎn)，那就是在某些情況下它會(huì)將不存在的子表判斷為存在。不過這種情況出現(xiàn)的概率非常小，跟它帶來的巨大好處相比這個(gè)缺點(diǎn)是可以忍受的。從實(shí)際運(yùn)行來看，CData完全可以滿足這些不同需求的應(yīng)用，而這一切都得益于其優(yōu)良的構(gòu)架以及恰當(dāng)?shù)募夹g(shù)選擇。與此同時(shí)云創(chuàng)存儲(chǔ)還在不斷地對CData進(jìn)行一系列的改進(jìn)，通過技術(shù)改良和新特性的加入提高系統(tǒng)運(yùn)行效率及穩(wěn)定性。23 / 23
環(huán)評公示相關(guān)推薦
鄂ICP備17016276號-1