物聯(lián)網(wǎng)數(shù)據(jù)存儲及管理分析(ppt72頁)(存儲版)
【正文】 ? 事實(shí)表代表感興趣的事件或?qū)ο蟆? ? 其中 STLT (SmallTreeLargeTree) 技術(shù)， ? 首先利用輸入數(shù)據(jù)集建立一棵小 R（ Small tree）樹， ? 然后將小 R樹插入到原有的大 R樹（ Large tree）中 批量操作 ? GBI（ Generalized Bulk Insertion）技術(shù)利用聚類算法將輸入數(shù)據(jù)集分割為多個空間上接近的數(shù)據(jù)組， ? 為每個數(shù)據(jù)組建立 R樹結(jié)構(gòu)， ? 最后將這些 R樹結(jié)構(gòu)批量插入到目標(biāo) R樹中 多版本文件更新系統(tǒng) ? Versioning文件系統(tǒng)保存被修改的文件之前的版本，來實(shí)現(xiàn)用戶誤操作以及系統(tǒng)錯誤后的數(shù)據(jù)恢復(fù)。因?yàn)槌蓡T查詢只能在葉子節(jié)點(diǎn)上進(jìn)行，相應(yīng)的操作將導(dǎo)致查詢效率很低。對任意一個元素 x，第 i個哈希函數(shù)映射的位置 hi(x)就會被置為 1（ 1≤i≤k）。 R樹的空間分布圖 Bloom filter ? Bloom Filter是一種空間效率很高的隨機(jī)數(shù)據(jù)結(jié)構(gòu)，它利用位數(shù)組很簡潔地表示一個集合，并能判斷一個元素是否屬于這個集合。 R樹的每一個結(jié)點(diǎn)都對應(yīng)著磁盤頁 D和區(qū)域 I，如果結(jié)點(diǎn)不是葉結(jié)點(diǎn)，則該結(jié)點(diǎn)的所有子結(jié)點(diǎn)的區(qū)域都在區(qū)域 I的范圍之內(nèi)，而且存儲在磁盤頁 D中。 ? 目前存在大量的空間數(shù)據(jù)索引方法 多維元數(shù)據(jù)組織結(jié)構(gòu) ? 一般來說，常見的多維空間數(shù)據(jù)索引有兩種數(shù)據(jù)組織方式：基于規(guī)則的分割方法和基于數(shù)據(jù)的分割方法。 物聯(lián)網(wǎng)元數(shù)據(jù)管理系統(tǒng)設(shè)計 ? 系統(tǒng)設(shè)計要求 ? 第一、高性能，能夠快速的從文件系統(tǒng)中聚集元數(shù)據(jù)，解決并發(fā)操作、熱點(diǎn)數(shù)據(jù)的管理和訪問等問題； ? 第二、查找和更新速度必須快且可靠。 ? 訪問某個文件必須通過層次型的目錄樹結(jié)構(gòu)到達(dá)文件的保存位置， ? 如果不知道文件保存位置，就必須遍歷整個目錄或使用操作系統(tǒng)的搜索功能， ? 而操作系統(tǒng)僅能依靠文件名來檢索和查找數(shù)據(jù)。 物聯(lián)網(wǎng)數(shù)據(jù)存儲現(xiàn)狀分析 ? 這與互聯(lián)網(wǎng)環(huán)境形成了鮮明的對比： ? 由于搜索引擎技術(shù)的發(fā)展，在互聯(lián)網(wǎng)的環(huán)境下查找信息很方便， ? 而用戶在存儲系統(tǒng)中找到想要的信息比在互聯(lián)網(wǎng)上查找信息更加困難 物聯(lián)網(wǎng)數(shù)據(jù)存儲現(xiàn)狀分析 ? 如今存儲系統(tǒng)中的數(shù)據(jù)量的快速增長使得查找和管理文件異常的困難， ? 為了能夠合理的管理這些不斷增多的海量數(shù)據(jù)， ? 不管是用戶還是管理者都需要能夠高效的獲得文件的屬性。 物聯(lián)網(wǎng)數(shù)據(jù)存儲現(xiàn)狀分析 ? 能夠幫助管理者回答 ? “ 哪些文件在過去的一周里增長很快？ ” ? 或者是 “ 哪些應(yīng)用程序和用戶的文件占用大多數(shù)存儲空間？ ” ? 元數(shù)據(jù)查詢也能夠幫助用戶找到 10個最近訪問的報告或最大的虛擬機(jī)鏡像。 ? 能夠快速地實(shí)現(xiàn)上述查詢能極大地提高用戶或管理者對大規(guī)模存儲系統(tǒng)的管理 海量元數(shù)據(jù)查詢需求分析 ? 在大規(guī)模存儲系統(tǒng)提供高效的元數(shù)據(jù)查詢是一個很大的挑戰(zhàn)， ? 而現(xiàn)在有一些商業(yè)元數(shù)據(jù)查詢系統(tǒng)主要致力于小型的存儲系統(tǒng)（最多幾千萬個文件） ? 并且常常很慢，耗費(fèi)的資源多 海量元數(shù)據(jù)查詢需求分析 ? 在大規(guī)模存儲系統(tǒng)中想要實(shí)現(xiàn)高效的元數(shù)據(jù)查詢，需滿足以下幾點(diǎn) : ? 最小的資源需求 ? 元數(shù)據(jù)查詢不應(yīng)該需要額外的硬件，它應(yīng)該集成到存儲系統(tǒng)中而不降低系統(tǒng)的性能。保證元數(shù)據(jù)查詢不需要占用太多的存儲空間，且不會降低系統(tǒng)的性能。 ? 如果系統(tǒng)按照多維屬性信息建立了空間索引結(jié)構(gòu)，則可以同時在文件大小、創(chuàng)建時間和修改時間這個三個屬性維度上做約束，大大減少了查詢的數(shù)據(jù)量和查詢的時間代價。 ? 每個對象元組都有一個唯一的標(biāo)識符，可通過這些標(biāo)識符來檢索對象元組。而在能容忍低錯誤率的應(yīng)用場合下， Bloom Filter通過極少的錯誤換取了存儲空間的極大節(jié)省。 Bloom filter ? 在判斷 y是否屬于這個集合時，我們對 y應(yīng)用 k次哈希函數(shù)，如果所有 hi(y)的位置都是 1（ 1≤i≤k），那么我們就認(rèn)為 y是集合中的元素，否則就認(rèn)為 y不是集合中的元素。 ? R樹及其變體在空間索引結(jié)構(gòu)中占據(jù)主導(dǎo)地位， R樹更新 ? 傳統(tǒng)的空間索引的研究主要考慮靜態(tài)數(shù)據(jù)， ? 只關(guān)注高效的查詢處理， R樹的更新性能很差， ? 不能直接用于頻繁更新的應(yīng)用環(huán)境 R樹更新 ? 存儲系統(tǒng)下元數(shù)據(jù)的更新是很頻繁的， ? 直接對索引的修改會產(chǎn)生大量的磁盤操作并可能引起索引結(jié)構(gòu)的不平衡。 多版本文件更新系統(tǒng) ? CVFS提出兩種有效節(jié)省空間的 version元數(shù)據(jù)結(jié)構(gòu)， ? 對于 inodes和 indirect blocks采用 Journalbased元數(shù)據(jù)， ? 而對于目錄采用 Multiversion B樹，有效地節(jié)省了 version占用的空間。 ? 缺點(diǎn)：完全物化時間復(fù)雜度是維度的指數(shù)，隨著維度的增大，將發(fā)生困難。 部分物化 ? 某一類型的文件非常少，這樣的事件將產(chǎn)生少量非空單元， ? 使得其他大部分立方體
環(huán)評公示相關(guān)推薦
鄂ICP備17016276號-1