第2章數(shù)據(jù)倉(cāng)庫(kù)的數(shù)據(jù)存儲(chǔ)與處理-wenkub
2023-01-30 13:12:25 本頁(yè)面
【正文】 143000 (S2) 6 、當(dāng)前數(shù)據(jù)與周期數(shù)據(jù) 商品名稱 2023725 2023725 100 200 A品牌方便面 B品牌衣服 A001 B002 更新日期 現(xiàn)有庫(kù)存量 商品名稱 商品編號(hào) 2023726 2023726 2023726 85 210 300 A品牌方便面 B品牌衣服 C品牌礦泉水 A001 B002 C003 更新日期 現(xiàn)有庫(kù)存量 商品編號(hào) 簡(jiǎn)化的庫(kù)存表（當(dāng)前數(shù)據(jù)類型） 1天后簡(jiǎn)化的庫(kù)存表（當(dāng)前數(shù)據(jù)類型） 當(dāng)前數(shù)據(jù) 只保留當(dāng)前的最新數(shù)據(jù)，現(xiàn)存的最新記錄將改變以前記錄中的內(nèi)容；即歷史數(shù)據(jù)將被破壞。如下表。 8 數(shù)據(jù)倉(cāng)庫(kù)中的元數(shù)據(jù) 元數(shù)據(jù)就是定義數(shù)據(jù)的數(shù)據(jù)，也就是說(shuō)明數(shù)據(jù)倉(cāng)庫(kù)對(duì)象的數(shù)據(jù) .可以分成技術(shù)元數(shù)據(jù)與業(yè)務(wù)元數(shù)據(jù)。 ?可以理解的 ?即時(shí)的 ? 質(zhì)量可控制的 15 ETL的目標(biāo) 操作性數(shù)據(jù)的特點(diǎn)： ? 即時(shí)的，而非歷史的 ? 規(guī)范程度不一，依賴于數(shù)據(jù)來(lái)源 ? 限制在特定的應(yīng)用范圍 ? 質(zhì)量較差，例如不一致等 16 ETL過(guò)程描述 操 作 型系 統(tǒng)E D W或O D S抽 取 / 抓 取清 洗轉(zhuǎn) 換加 載 與 索 引拒 絕 數(shù) 據(jù) 的 信 息有 關(guān) 拒 絕 數(shù) 據(jù) 的 信 息集 結(jié) 地( S t a g i n g A r e a )17 抽?。?Capture/Extract） 定義：從源文件或者源數(shù)據(jù)庫(kù)獲取相關(guān)數(shù)據(jù)用于填充數(shù)據(jù)倉(cāng)庫(kù)，稱為數(shù)據(jù)抽取。元組中屬性缺少值比較多時(shí)，挖掘算法的效果非常差。聚類集合之外的點(diǎn)即為孤立點(diǎn)。 ?兩種類型的數(shù)據(jù)轉(zhuǎn)換 ?記錄級(jí) 選擇、連接、規(guī)范化和聚集 ?字段級(jí) 單字段和多字段 單字段轉(zhuǎn)換的基本方法：算法和查找表 注意：連接的復(fù)雜性。 如果 A， B相關(guān)性大，分析時(shí)就可以刪除其中一個(gè)。 例如： 對(duì)現(xiàn)實(shí)世界中的同一實(shí)體，來(lái)自不同數(shù)據(jù)源的屬性值可能是不同的（如價(jià)格的單位：元、千元）。 ? 數(shù)據(jù)概化： 沿概念分層向上匯總。 ?????※ 最?。畲笠?guī)范化 :對(duì)原始數(shù)據(jù)進(jìn)行線性變換，使得數(shù)據(jù)落在 new_ maxA,new_minA區(qū)間內(nèi)。 39。 數(shù)據(jù)歸約策略： 35 （ 1） 數(shù)據(jù)立方體聚集 ?最底層的方體對(duì)應(yīng)于基本方體 ?基本方體對(duì)應(yīng)于感興趣的實(shí)體 （基本事實(shí)表） ?在數(shù)據(jù)立方體中存在著不同級(jí)別的匯總 ?數(shù)據(jù)立方體可以看成方體的格 ?每個(gè)較高層次的抽象將進(jìn)一步減少結(jié)果數(shù)據(jù) ?數(shù)據(jù)立方體提供了對(duì)預(yù)計(jì)算的匯總數(shù)據(jù)的快速訪問(wèn) ?使用與給定任務(wù)相關(guān)的最小方體 （基本方體，注意數(shù)據(jù)立方體的晶格結(jié)構(gòu)） ?在可能的情況下，對(duì)于匯總數(shù)據(jù)的查詢應(yīng)當(dāng)使用數(shù)據(jù)立方體 (item) (city) (year) (city, item) (city, year) (item, year) (city, item, year) 36 （２）維歸約 ?通過(guò) 刪除不相干的屬性 (或維 )減少數(shù)據(jù)量 ?屬性子集選擇方法 ?目標(biāo)：找出最小屬性集，使得數(shù)據(jù)類的概率分布盡可能的接近使用所有屬性的原分布。 ?更新方式：只將源數(shù)據(jù)中的數(shù)據(jù)改變寫進(jìn)數(shù)據(jù)倉(cāng)庫(kù)的方法 ， 但不覆蓋或刪除以前的記錄而是通過(guò)時(shí)間戳來(lái)區(qū)分 部分更新加載 。 連接索引舉例： 40 多維數(shù)據(jù)模型 導(dǎo)出數(shù)據(jù)的特征： 。 2. 存儲(chǔ)在關(guān)系數(shù)據(jù)庫(kù)中，采用星型模式及其變體，對(duì)應(yīng) ROLAP。 ? 維類別 （ 維分層 ） :同一維度可以存在細(xì)節(jié)程度不同的各個(gè)類別屬性 。 ? 粒度 ：是對(duì)數(shù)據(jù)倉(cāng)庫(kù)中數(shù)據(jù)的綜合程度高低的一個(gè)衡量 。 ?事實(shí)星座 （ Fact constellations） 多個(gè)事實(shí)表共享維表 , 這種模式可以看作星型模式集 ， 因此稱為 星 系 模 式 （ galaxy schema ） ， 或 者 事 實(shí) 星 座 （ fact constellation） 43 ?星型模式實(shí)例 time_key day day_of_the_week month quarter year time location_key street city state_or_province country location Sales Fact Table time_key item_key branch_key location_key units_sold dollars_sold avg_sales Measures item_key item_name brand type supplier_type item branch_key branch_name branch_type branch 44 ?雪花模式實(shí)例 time_key day day_of_the_week month quarter year time location_key street city_key location Sales Fact Table time_key item_key branch_key location_key units_sold dollars_sold avg_sales Measures item_key item_name brand type supplier_key item branch_key branch_name branch_type branch supplier_key supplier_type supplier
公司管理相關(guān)推薦
鄂ICP備17016276號(hào)-1