節(jié)能環(huán)保物聯(lián)網(wǎng)云服務示范工程項目書-資料下載頁
2025-06-27 06:10本頁面
【正文】 k Roundtrips）進行尋址，在緩存為空的情況下需要三個網(wǎng)絡來回通信。如果緩存的信息是過時的，則需要六個網(wǎng)絡來回通信。其中三個用來確定信息是過時的，另外三個獲取新的地址。預取則是在每次訪問元數(shù)據(jù)表時不僅僅讀取所需的子表元數(shù)據(jù)，而是讀取多個子表的元數(shù)據(jù)，這樣下次需要時就不用再次訪問元數(shù)據(jù)表。3．子表數(shù)據(jù)存儲及讀/寫操作在數(shù)據(jù)的存儲方面CData做出了一個非常重要的選擇，那就是將數(shù)據(jù)存儲劃分成兩塊。較新的數(shù)據(jù)存儲在內(nèi)存中一個稱為內(nèi)存表（Memtable）的有序緩沖里，較早的數(shù)據(jù)則以SSTable格式保存在cStor中。這種技術在數(shù)據(jù)庫中不是很常用，但云創(chuàng)存儲還是做出了這種選擇，實際運行的效果也證明云創(chuàng)存儲的選擇雖然大膽卻是正確的。從圖27中可以看出讀和寫操作有很大的差異性。做寫操作（Write Op）時，首先查詢Chubby中保存的訪問控制列表確定用戶具有相應的寫權限，通過認證之后寫入的數(shù)據(jù)首先被保存在提交日志（Commit Log）中。提交日志中以重做記錄（Redo Record）的形式保存著最近的一系列數(shù)據(jù)更改，這些重做記錄在子表進行恢復時可以向系統(tǒng)提供已完成的更改信息。數(shù)據(jù)成功提交之后就被寫入內(nèi)存表中。在做讀操作（Read Op）時，首先還是要通過認證，之后讀操作就要結合內(nèi)存表和SSTable文件來進行，因為內(nèi)存表和SSTable中都保存了數(shù)據(jù)。圖27 CData數(shù)據(jù)存儲及讀/寫操作在數(shù)據(jù)存儲中還有一個重要問題，就是數(shù)據(jù)壓縮的問題。內(nèi)存表的空間畢竟是很有限的，當其容量達到一個閾值時，舊的內(nèi)存表就會被停止使用并壓縮成SSTable格式的文件。在CData中有三種形式的數(shù)據(jù)壓縮，分別是次壓縮（Minor Compaction）、合并壓縮（Merging Compaction）和主壓縮（Major Compaction）。三者之間的關系如圖28所示。每一次舊的內(nèi)存表停止使用時都會進行一個次壓縮操作，這會產(chǎn)生一個SSTable。但如果系統(tǒng)中只有這種壓縮的話，SSTable的數(shù)量就會無限制地增加下去。由于讀操作要使用SSTable，數(shù)量過多的SSTable顯然會影響讀的速度。而在CData中，讀操作實際上比寫操作更重要，因此CData會定期地執(zhí)行一次合并壓縮的操作，將一些已有的SSTable和現(xiàn)有的內(nèi)存表一并進行一次壓縮。主壓縮其實是合并壓縮的一種，只不過它將所有的SSTable一次性壓縮成一個大的SSTable文件。主壓縮也是定期執(zhí)行的，執(zhí)行一次主壓縮之后可以保證將所有的被壓縮數(shù)據(jù)徹底刪除，如此一來，既回收了空間又能保證敏感數(shù)據(jù)的安全性（因為這些敏感數(shù)據(jù)被徹底刪除了）。圖28 三種形式壓縮之間的關系 cData性能優(yōu)化上述各種操作已經(jīng)可以實現(xiàn)CData的所有功能了，但是這些基本的功能很多時候并不是很符合用戶的使用習慣，或者執(zhí)行的效率較低。有些功能CData自身已經(jīng)進行了優(yōu)化，包括使用緩存、共享式的提交日志以及利用系統(tǒng)的不變性。除此之外，CData還允許用戶個人在基本操作基礎上對系統(tǒng)進行一些優(yōu)化。這一部分主要向讀者介紹用戶可以使用的幾個重要優(yōu)化措施。實際上這些技術手段都是一些已有的數(shù)據(jù)庫方法，只不過云創(chuàng)存儲將它具體地應用于CData之中了。1．局部性群組（Locality groups）CData允許用戶將原本并不存儲在一起的數(shù)據(jù)以列族為單位，根據(jù)需要組織在一個單獨的SSTable中，以構成一個局部性群組。這實際上就是數(shù)據(jù)庫中垂直分區(qū)技術的一個應用。結合圖22的實例來看，在被CData保存的網(wǎng)頁列關鍵字中，有的用戶可能只對網(wǎng)頁內(nèi)容感興趣，那么它可以通過設置局部性群組只看內(nèi)容這一列。有的則會對諸如網(wǎng)頁語言、網(wǎng)站排名等可以用于分析的信息比較感興趣，他也可以將這些列設置到一個群組中。局部性群組如圖29所示。通過設置局部性群組用戶可以只看自己感興趣的內(nèi)容，對某個用戶來說的大量無用信息無需讀取。對于一些較小的且會被經(jīng)常讀取的局部性群組，用戶可以將其SSTable文件直接加載進內(nèi)存，這可以明顯地改善讀取效率。2．壓縮壓縮可以有效地節(jié)省空間，CData中的壓縮被應用于很多場合。首先壓縮可以被用在構成局部性群組的SSTable中，可以選擇是否對個人的局部性群組的SSTable進行壓縮。CData中這種壓縮是對每個局部性群組獨立進行的，雖然這樣會浪費一些空間，但是在需要讀時解壓速度非常快。通常情況下，用戶可以采用兩步壓縮的方式[8]：第一步利用Bentley amp。 McIlroy方式（BMDiff）在大的掃描窗口將常見的長串進行壓縮；第二步采取Zippy技術進行快速壓縮，它在一個16KB大小的掃描窗口內(nèi)尋找重復數(shù)據(jù)，這個過程非常快。壓縮技術還可以提高子表的恢復速度，當某個子表服務器停止使用后，需要將上面所有的子表移至另一個子表服務器來恢復服務。在轉(zhuǎn)移之前要進行兩次壓縮，第一次壓縮減少了提交日志中的未壓縮狀態(tài)，從而減少了恢復時間。在文件正式轉(zhuǎn)移之前還要進行一次壓縮，這次壓縮主要是將第一次壓縮后遺留的未壓縮空間進行壓縮。完成這兩步之后壓縮的文件就會被轉(zhuǎn)移至另一個子表服務器。圖29 局部性群組3．布隆過濾器（Bloom Filter）CData向用戶提供了一種稱為布隆過濾器的數(shù)學工具。布隆過濾器是巴頓布隆在1970年提出的，實際上它是一個很長的二進制向量和一系列隨機映射函數(shù)，在讀操作中確定子表的位置時非常有用。布隆過濾器的速度快，省空間。而且它有一個最大的好處是它絕不會將一個存在的子表判定為不存在。不過布隆過濾器也有一個缺點，那就是在某些情況下它會將不存在的子表判斷為存在。不過這種情況出現(xiàn)的概率非常小，跟它帶來的巨大好處相比這個缺點是可以忍受的。從實際運行來看，CData完全可以滿足這些不同需求的應用，而這一切都得益于其優(yōu)良的構架以及恰當?shù)募夹g選擇。與此同時云創(chuàng)存儲還在不斷地對CData進行一系列的改進，通過技術改良和新特性的加入提高系統(tǒng)運行效率及穩(wěn)定性。23 / 23
環(huán)評公示相關推薦
鄂ICP備17016276號-1