第2章數(shù)據(jù)倉庫的數(shù)據(jù)存儲(chǔ)與處理-文庫吧資料
2025-01-15 13:12本頁面
【正文】 sold dollars_sold avg_sales Measures item_key item_name brand type supplier_type item branch_key branch_name branch_type branch 44 ?雪花模式實(shí)例 time_key day day_of_the_week month quarter year time location_key street city_key location Sales Fact Table time_key item_key branch_key location_key units_sold dollars_sold avg_sales Measures item_key item_name brand type supplier_key item branch_key branch_name branch_type branch supplier_key supplier_type supplier city_key city state_or_province country city location維表包含屬性集：{location_key,street,city,province_or_state,country} 例如： Vancouver和 Victoria都是加拿大不列顛哥倫比亞省的城市，此時(shí) location維表中這些城市實(shí)體的該屬性有冗余。 多維數(shù)據(jù)模型 42 數(shù)據(jù)倉庫的概念模型 ?星型模式 （ Star schema） 事實(shí)表在中心 ， 周圍圍繞地連接著維表 （ 每維一個(gè) ） ， 事實(shí)表含有大量數(shù)據(jù) ， 沒有冗余 。 ? 粒度 ：是對數(shù)據(jù)倉庫中數(shù)據(jù)的綜合程度高低的一個(gè)衡量 。 ? 維屬性： 維的一個(gè)取值 。 ? 維類別 （ 維分層 ） :同一維度可以存在細(xì)節(jié)程度不同的各個(gè)類別屬性 。 （ 1） 從時(shí)間角度觀察產(chǎn)品的銷售 ， 則時(shí)間是一個(gè)維 （ 時(shí)間維 ） 。 2. 存儲(chǔ)在關(guān)系數(shù)據(jù)庫中，采用星型模式及其變體，對應(yīng) ROLAP。 3. 數(shù)據(jù)模型為星型模式。 連接索引舉例： 40 多維數(shù)據(jù)模型 導(dǎo)出數(shù)據(jù)的特征： 。 ? 連接索引：登記來自兩個(gè)關(guān)系數(shù)據(jù)庫的可連接行 。 ?更新方式：只將源數(shù)據(jù)中的數(shù)據(jù)改變寫進(jìn)數(shù)據(jù)倉庫的方法 ， 但不覆蓋或刪除以前的記錄而是通過時(shí)間戳來區(qū)分 部分更新加載 。 ?啟發(fā)式的 （探索性的＼貪心算法）方法 ?逐步向前選擇：從空集開始，逐步添加 ?逐步向后刪除：從整個(gè)屬性集開始，逐步刪除 ?向前選擇和向后刪除相結(jié)合 ?判定歸納樹：如 ID3和 37 （３）數(shù)據(jù)壓縮 ?有損壓縮 VS. 無損壓縮 ?字符串壓縮 ?有廣泛的理論基礎(chǔ)和精妙的算法 ?通常是無損壓縮 ?在解壓縮前對字符串的操作非常有限 ?音頻 /視頻壓縮 ?通常是有損壓縮，壓縮精度可以遞進(jìn)選擇 ?有時(shí)可以在不解壓整體數(shù)據(jù)的情況下，重構(gòu)某個(gè)片斷 ?兩種有損數(shù)據(jù)壓縮方法：小波變換和主要成分分析 38 2. 數(shù)據(jù)索引：位圖索引和連接索引 數(shù)據(jù)加載和索引（ Load/Index） 1. 數(shù)據(jù)加載：將數(shù)據(jù)寫入數(shù)據(jù)倉庫或數(shù)據(jù)集市的過程 。 數(shù)據(jù)歸約策略： 35 （ 1） 數(shù)據(jù)立方體聚集 ?最底層的方體對應(yīng)于基本方體 ?基本方體對應(yīng)于感興趣的實(shí)體 （基本事實(shí)表） ?在數(shù)據(jù)立方體中存在著不同級別的匯總 ?數(shù)據(jù)立方體可以看成方體的格 ?每個(gè)較高層次的抽象將進(jìn)一步減少結(jié)果數(shù)據(jù) ?數(shù)據(jù)立方體提供了對預(yù)計(jì)算的匯總數(shù)據(jù)的快速訪問 ?使用與給定任務(wù)相關(guān)的最小方體 （基本方體，注意數(shù)據(jù)立方體的晶格結(jié)構(gòu)） ?在可能的情況下，對于匯總數(shù)據(jù)的查詢應(yīng)當(dāng)使用數(shù)據(jù)立方體 (item) (city) (year) (city, item) (city, year) (item, year) (city, item, year) 36 （２）維歸約 ?通過 刪除不相干的屬性 (或維 )減少數(shù)據(jù)量 ?屬性子集選擇方法 ?目標(biāo)：找出最小屬性集，使得數(shù)據(jù)類的概率分布盡可能的接近使用所有屬性的原分布。 34 3）數(shù)據(jù)歸約 ?數(shù)據(jù)立方體聚集 ?維歸約 ?數(shù)據(jù)壓縮 ?數(shù)值歸約 ?離散化和概念分層產(chǎn)生 數(shù)據(jù)倉庫中往往存有海量數(shù)據(jù) ， 在其上進(jìn)行復(fù)雜的數(shù)據(jù)分析與挖掘需要很長的時(shí)間 。 39。AvAv???※ zscore規(guī)范化 :基于屬性 A的平均值和標(biāo)準(zhǔn)差規(guī)范化。 ?????※ 最?。畲笠?guī)范化 :對原始數(shù)據(jù)進(jìn)行線性變換，使得數(shù)據(jù)落在 new_ maxA,new_minA區(qū)間內(nèi)。 ?最?。畲笠?guī)范化 ? zscore規(guī)范化 ?小數(shù)定標(biāo)規(guī)范化 ? 屬性構(gòu)造 ?通過現(xiàn)有屬性構(gòu)造新的屬性，并添加到屬性集中。 ? 數(shù)據(jù)概化： 沿概念分層向上匯總。如分箱、聚類、回歸。 例如： 對現(xiàn)實(shí)世界中的同一實(shí)體，來自不同數(shù)據(jù)源的屬性值可能是不同的（如價(jià)格的單位：元、千元）。 A平 = ΣA/n σA= SQRT[Σ(A A平 )2/(n1)] 其中 A平、 B平 分別是 A、 B的平均值； σ A 、 σ B分別是 A、 B的標(biāo)準(zhǔn)差。 如果 A， B相關(guān)性大，分析時(shí)就可以刪除其中一個(gè)。 ○ 模式集成 實(shí)體識(shí)別問題 匹配來自不同數(shù)據(jù)源的現(xiàn)實(shí)世界的實(shí)體，比如：=？ ○ 冗余問題 同一屬性在不同的數(shù)據(jù)庫中會(huì)有不同的字段名；一個(gè)屬性可以由另外的屬性導(dǎo)出，即兩個(gè)屬性是相關(guān)的。 ?兩種類型的數(shù)據(jù)轉(zhuǎn)換 ?記錄級 選擇、連接、規(guī)范化和聚集 ?字段級 單字段和多字段 單字段轉(zhuǎn)換的基本方法：算法和查找表 注意：連接的復(fù)
公司管理相關(guān)推薦
鄂ICP備17016276號-1