物聯(lián)網(wǎng)數(shù)據(jù)存儲(chǔ)及管理分析(ppt72頁(yè))(文件)
【正文】 析 ? 這與互聯(lián)網(wǎng)環(huán)境形成了鮮明的對(duì)比： ? 由于搜索引擎技術(shù)的發(fā)展，在互聯(lián)網(wǎng)的環(huán)境下查找信息很方便， ? 而用戶在存儲(chǔ)系統(tǒng)中找到想要的信息比在互聯(lián)網(wǎng)上查找信息更加困難 物聯(lián)網(wǎng)數(shù)據(jù)存儲(chǔ)現(xiàn)狀分析 ? 如今存儲(chǔ)系統(tǒng)中的數(shù)據(jù)量的快速增長(zhǎng)使得查找和管理文件異常的困難， ? 為了能夠合理的管理這些不斷增多的海量數(shù)據(jù)， ? 不管是用戶還是管理者都需要能夠高效的獲得文件的屬性。 ? 準(zhǔn)確地回答這些問題能夠極大的提高用戶和管理者管理大規(guī)模存儲(chǔ)系統(tǒng)中的文件。 ? 訪問某個(gè)文件必須通過層次型的目錄樹結(jié)構(gòu)到達(dá)文件的保存位置， ? 如果不知道文件保存位置，就必須遍歷整個(gè)目錄或使用操作系統(tǒng)的搜索功能， ? 而操作系統(tǒng)僅能依靠文件名來檢索和查找數(shù)據(jù)。 ? 現(xiàn)在大多數(shù)的元數(shù)據(jù)查詢系統(tǒng)都需要專門的CPU、內(nèi)存以及磁盤， ? 使得它們非常昂貴而且很難部署，這就限制它們的擴(kuò)展性 海量元數(shù)據(jù)查詢需求分析 ? 快速的元數(shù)據(jù)收集 ? 必須從幾十億、幾百億個(gè)文件中周期性的收集發(fā)生改變的元數(shù)據(jù)， ? 而不會(huì)給整個(gè)存儲(chǔ)系統(tǒng)帶來額外負(fù)載，使得系統(tǒng)變慢。 物聯(lián)網(wǎng)元數(shù)據(jù)管理系統(tǒng)設(shè)計(jì) ? 系統(tǒng)設(shè)計(jì)要求 ? 第一、高性能，能夠快速的從文件系統(tǒng)中聚集元數(shù)據(jù)，解決并發(fā)操作、熱點(diǎn)數(shù)據(jù)的管理和訪問等問題； ? 第二、查找和更新速度必須快且可靠。 ? 第四、接口靈活好用。 ? 目前存在大量的空間數(shù)據(jù)索引方法 多維元數(shù)據(jù)組織結(jié)構(gòu) ? 一般來說，常見的多維空間數(shù)據(jù)索引有兩種數(shù)據(jù)組織方式：基于規(guī)則的分割方法和基于數(shù)據(jù)的分割方法。 ? 系統(tǒng)耗費(fèi)一定的存儲(chǔ)空間維護(hù)空間索引結(jié)構(gòu)，在提供各種復(fù)雜查詢服務(wù)時(shí)可以有效的減少查詢時(shí)間延遲 相關(guān)研究工作 : R樹結(jié)構(gòu) ? 與 B樹相似， R樹是一種高度平衡的樹，它的葉子節(jié)點(diǎn)的記錄包含數(shù)據(jù)對(duì)象的指針。 R樹的每一個(gè)結(jié)點(diǎn)都對(duì)應(yīng)著磁盤頁(yè) D和區(qū)域 I，如果結(jié)點(diǎn)不是葉結(jié)點(diǎn)，則該結(jié)點(diǎn)的所有子結(jié)點(diǎn)的區(qū)域都在區(qū)域 I的范圍之內(nèi)，而且存儲(chǔ)在磁盤頁(yè) D中。 ? R樹的葉節(jié)點(diǎn)按以下形式記錄索引記錄的入口 比較典型的有 R+樹、 R R樹的空間分布圖 Bloom filter ? Bloom Filter是一種空間效率很高的隨機(jī)數(shù)據(jù)結(jié)構(gòu)，它利用位數(shù)組很簡(jiǎn)潔地表示一個(gè)集合，并能判斷一個(gè)元素是否屬于這個(gè)集合。 ? 由一個(gè)很長(zhǎng)的二進(jìn)制向量數(shù)組和一系列隨機(jī)映射函數(shù)組成， ? 它只需要哈希表 1/8 到 1/4 的大小就能解決同樣規(guī)模的集合的查詢問題 Bloom filter Bloom filter ? Bloom filter的本質(zhì)是哈希計(jì)算，不同之處在于Bloom filter對(duì)同一數(shù)據(jù)使用多個(gè)哈希函數(shù)進(jìn)行多次哈希，將結(jié)果保存在同一個(gè)向量數(shù)組中， ? 所以 Bloom filter在達(dá)到相同的功能的情況下比原始的哈希結(jié)構(gòu)更節(jié)約存儲(chǔ)空間。對(duì)任意一個(gè)元素 x，第 i個(gè)哈希函數(shù)映射的位置 hi(x)就會(huì)被置為 1（ 1≤i≤k）。下圖中 y1就不是集合中的元素。因?yàn)槌蓡T查詢只能在葉子節(jié)點(diǎn)上進(jìn)行，相應(yīng)的操作將導(dǎo)致查詢效率很低。 ? 已經(jīng)存在的各種基于 R樹索引的更新機(jī)制主要采取的是自頂向下模式 減少更新操作的方法 ? 位置預(yù)測(cè) ? 一種減少對(duì)象更新操作次數(shù)的策略是采用線性函數(shù)來表示移動(dòng)對(duì)象的位置， ? 保存對(duì)象的運(yùn)動(dòng)特性，包括當(dāng)前位置和速度參數(shù)等， ? 通過這些數(shù)據(jù)可以預(yù)測(cè)將來一段時(shí)間后的位置 減少更新操作的方法 ? 容忍更新 ? 減少更新次數(shù)的另一種策略是容忍更新。 ? 其中 STLT (SmallTreeLargeTree) 技術(shù)， ? 首先利用輸入數(shù)據(jù)集建立一棵小 R（ Small tree）樹， ? 然后將小 R樹插入到原有的大 R樹（ Large tree）中 批量操作 ? GBI（ Generalized Bulk Insertion）技術(shù)利用聚類算法將輸入數(shù)據(jù)集分割為多個(gè)空間上接近的數(shù)據(jù)組， ? 為每個(gè)數(shù)據(jù)組建立 R樹結(jié)構(gòu)， ? 最后將這些 R樹結(jié)構(gòu)批量插入到目標(biāo) R樹中 多版本文件更新系統(tǒng) ? Versioning文件系統(tǒng)保存被修改的文件之前的版本，來實(shí)現(xiàn)用戶誤操作以及系統(tǒng)錯(cuò)誤后的數(shù)據(jù)恢復(fù)。 多版本文件更新系統(tǒng) ? Causalitybased versioning結(jié)合 causal relationship和 versioning技術(shù)， ? 通過 causal connection使得 version更具意義， ? 提出新的在何時(shí)創(chuàng)建 version的算法； ? 通過 causal relationship定位 version，能夠更有效的在錯(cuò)誤后恢復(fù)到正確的version 面向預(yù)計(jì)算的元數(shù)據(jù)組織結(jié)構(gòu)－數(shù)據(jù)立方體 ? 數(shù)據(jù)立方體（ Data Cube）是分析數(shù)據(jù)倉(cāng)庫(kù)數(shù)據(jù)的基本單位，是聯(lián)機(jī)分析處理（ OnLine Analytical Processing, OLAP）中的主要對(duì)象， ?
環(huán)評(píng)公示相關(guān)推薦
鄂ICP備17016276號(hào)-1