第2章數(shù)據(jù)倉庫的數(shù)據(jù)存儲與處理-wenkub
2023-01-30 13:12:25 本頁面
【正文】 143000 (S2) 6 、當前數(shù)據(jù)與周期數(shù)據(jù) 商品名稱 2023725 2023725 100 200 A品牌方便面 B品牌衣服 A001 B002 更新日期 現(xiàn)有庫存量 商品名稱 商品編號 2023726 2023726 2023726 85 210 300 A品牌方便面 B品牌衣服 C品牌礦泉水 A001 B002 C003 更新日期 現(xiàn)有庫存量 商品編號 簡化的庫存表（當前數(shù)據(jù)類型） 1天后簡化的庫存表（當前數(shù)據(jù)類型） 當前數(shù)據(jù) 只保留當前的最新數(shù)據(jù)，現(xiàn)存的最新記錄將改變以前記錄中的內容；即歷史數(shù)據(jù)將被破壞。如下表。 8 數(shù)據(jù)倉庫中的元數(shù)據(jù) 元數(shù)據(jù)就是定義數(shù)據(jù)的數(shù)據(jù)，也就是說明數(shù)據(jù)倉庫對象的數(shù)據(jù) .可以分成技術元數(shù)據(jù)與業(yè)務元數(shù)據(jù)。 ?可以理解的 ?即時的 ? 質量可控制的 15 ETL的目標 操作性數(shù)據(jù)的特點： ? 即時的，而非歷史的 ? 規(guī)范程度不一，依賴于數(shù)據(jù)來源 ? 限制在特定的應用范圍 ? 質量較差，例如不一致等 16 ETL過程描述 操 作 型系 統(tǒng)E D W或O D S抽 取 / 抓 取清 洗轉 換加 載 與 索 引拒 絕 數(shù) 據(jù) 的 信 息有 關 拒 絕 數(shù) 據(jù) 的 信 息集 結 地( S t a g i n g A r e a )17 抽?。?Capture/Extract） 定義：從源文件或者源數(shù)據(jù)庫獲取相關數(shù)據(jù)用于填充數(shù)據(jù)倉庫，稱為數(shù)據(jù)抽取。元組中屬性缺少值比較多時，挖掘算法的效果非常差。聚類集合之外的點即為孤立點。 ?兩種類型的數(shù)據(jù)轉換 ?記錄級 選擇、連接、規(guī)范化和聚集 ?字段級 單字段和多字段 單字段轉換的基本方法：算法和查找表 注意：連接的復雜性。 如果 A， B相關性大，分析時就可以刪除其中一個。 例如： 對現(xiàn)實世界中的同一實體，來自不同數(shù)據(jù)源的屬性值可能是不同的（如價格的單位：元、千元）。 ? 數(shù)據(jù)概化： 沿概念分層向上匯總。 ?????※ 最?。畲笠?guī)范化 :對原始數(shù)據(jù)進行線性變換，使得數(shù)據(jù)落在 new_ maxA,new_minA區(qū)間內。 39。 數(shù)據(jù)歸約策略： 35 （ 1） 數(shù)據(jù)立方體聚集 ?最底層的方體對應于基本方體 ?基本方體對應于感興趣的實體 （基本事實表） ?在數(shù)據(jù)立方體中存在著不同級別的匯總 ?數(shù)據(jù)立方體可以看成方體的格 ?每個較高層次的抽象將進一步減少結果數(shù)據(jù) ?數(shù)據(jù)立方體提供了對預計算的匯總數(shù)據(jù)的快速訪問 ?使用與給定任務相關的最小方體 （基本方體，注意數(shù)據(jù)立方體的晶格結構） ?在可能的情況下，對于匯總數(shù)據(jù)的查詢應當使用數(shù)據(jù)立方體 (item) (city) (year) (city, item) (city, year) (item, year) (city, item, year) 36 （２）維歸約 ?通過 刪除不相干的屬性 (或維 )減少數(shù)據(jù)量 ?屬性子集選擇方法 ?目標：找出最小屬性集，使得數(shù)據(jù)類的概率分布盡可能的接近使用所有屬性的原分布。 ?更新方式：只將源數(shù)據(jù)中的數(shù)據(jù)改變寫進數(shù)據(jù)倉庫的方法 ， 但不覆蓋或刪除以前的記錄而是通過時間戳來區(qū)分 部分更新加載 。 連接索引舉例： 40 多維數(shù)據(jù)模型 導出數(shù)據(jù)的特征： 。 2. 存儲在關系數(shù)據(jù)庫中，采用星型模式及其變體，對應 ROLAP。 ? 維類別 （ 維分層 ） :同一維度可以存在細節(jié)程度不同的各個類別屬性 。 ? 粒度 ：是對數(shù)據(jù)倉庫中數(shù)據(jù)的綜合程度高低的一個衡量 。 ?事實星座 （ Fact constellations） 多個事實表共享維表 , 這種模式可以看作星型模式集 ， 因此稱為 星 系 模 式 （ galaxy schema ） ， 或 者 事 實 星 座 （ fact constellation） 43 ?星型模式實例 time_key day day_of_the_week month quarter year time location_key street city state_or_province country location Sales Fact Table time_key item_key branch_key location_key units_sold dollars_sold avg_sales Measures item_key item_name brand type supplier_type item branch_key branch_name branch_type branch 44 ?雪花模式實例 time_key day day_of_the_week month quarter year time location_key street city_key location Sales Fact Table time_key item_key branch_key location_key units_sold dollars_sold avg_sales Measures item_key item_name brand type supplier_key item branch_key branch_name branch_type branch supplier_key supplier_type supplier
公司管理相關推薦
鄂ICP備17016276號-1