2、數(shù)據(jù)倉庫和數(shù)據(jù)挖掘的olap技術(shù)-在線瀏覽
2025-02-12 16:10本頁面
【正文】 sum(sales_in_dollars), avg_sales = avg(sales_in_dollars), units_sold = count(*) define dimension time as (time_key, day, day_of_week, month, quarter, year) define dimension item as (item_key, item_name, brand, type, supplier_type) define dimension branch as (branch_key, branch_name, branch_type) define dimension location as (location_key, street, city, province_or_state, country) define cube shipping [time, item, shipper, from_location, to_location]: dollar_cost = sum(cost_in_dollars), unit_shipped = count(*) define dimension time as time in cube sales define dimension item as item in cube sales define dimension shipper as (shipper_key, shipper_name, location as location in cube sales, shipper_type) define dimension from_location as location in cube sales define dimension to_location as location in cube sales 度量的分類 ? 一個數(shù)據(jù)立方體的度量是一個 數(shù)值 函數(shù)，該函數(shù)可以對數(shù)據(jù)立方體的每一個點求值。 ? 比如： count()， sum()， min()， max()等 ? 代數(shù)的 (algebraic)：函數(shù)可以由一個帶 M個參數(shù)的代數(shù)函數(shù)計算（ M為有界整數(shù)），而每個參數(shù)值都可以有一個分布的聚集函數(shù)求得。 ? 比如： median()， mode()， rank() 56 王 燦 數(shù)據(jù)挖掘 0703004 概念分層 (1) ? 一個概念分層（ concept hierarchy）定義一個映射序列，將低層概念映射到更一般的高層概念 ? . 表示 location的概念：杭州 ?浙江 ?中國 ?亞洲 ? 概念分層允許我們在各種抽象級審查和處理數(shù)據(jù) ? 概念分層可以由系統(tǒng)用戶、領(lǐng)域?qū)＜?、知識工程師人工的提供，也可以根據(jù)數(shù)據(jù)分布的統(tǒng)計分析自動的產(chǎn)生 概念分層 (2): location維的一個概念分層 all Europe North_America Mexico Canada Spain Germany Vancouver M. Wind L. Chan ... ... ... ... ... ... all region office country Toronto Frankfurt city 許多概念分層的定義隱含在數(shù)據(jù)庫的模式中。 ? 多維數(shù)據(jù)模型（數(shù)據(jù)立方體）使得從不同的角度對數(shù)據(jù)進行觀察成為可能，而概念分層則提供了從不同層次對數(shù)據(jù)進行觀察的能力；結(jié)合這兩者的特征，我們可以在多維數(shù)據(jù)模型上定義各種 OLAP操作，為用戶從不同角度不同層次觀察數(shù)據(jù)提供了靈活性： 多維數(shù)據(jù)模型上的 OLAP操作 (1) ? 上卷 (rollup):匯總數(shù)據(jù) ? 通過一個維的概念分層向上攀升或者通過維規(guī)約 ? 當(dāng)用維歸約進行上卷時，一個或多個維由給定的數(shù)據(jù)立方體刪除 ? 下鉆 (drilldown)：上卷的逆操作 ? 由不太詳細的數(shù)據(jù)到更詳細的數(shù)據(jù)，可以通過沿維的概念分層向下或引入新的維來實現(xiàn) (為給定數(shù)據(jù)添加更多細節(jié) ) ? 切片和切塊 (slice and dice) ? 切片操作在給定的數(shù)據(jù)立方體的一個維上進行選擇，導(dǎo)致一個子方 ? 切塊操作通過對兩個或多個維進行選擇，定義子方 多維數(shù)據(jù)模型上的 OLAP操作 (2) ? 轉(zhuǎn)軸 (pivot) ? 立方體的重定位，可視化，或?qū)⒁粋€ 3維立方體轉(zhuǎn)化為一個 2維平面序列 ? 轉(zhuǎn)軸是一種 可視化 操作，通過轉(zhuǎn)動當(dāng)前數(shù)據(jù)的視圖來提供一個數(shù)據(jù)的替代表示 ? 其他 OLAP操作 ? 鉆過 (drill_across)：執(zhí)行涉及多個事實表的查詢 ? 鉆透 (drill_through)：使用關(guān)系 SQL機制，鉆到數(shù)據(jù)立方體的底層，到后端關(guān)系表 ? 其他 OLAP操作可能包括列出表中最高或最低的 N項，以及計算移動平均值、增長率、利潤、統(tǒng)計函數(shù)等等 數(shù)據(jù)倉庫設(shè)計：一個商務(wù)分析框架 (1) ? 數(shù)據(jù)倉庫給商業(yè)分析專家提供了什么？ ? 通過提供相關(guān)數(shù)據(jù)與信息，獲得競爭優(yōu)勢 ? 通過有效的收集精確的描述組織的數(shù)據(jù)，獲得生產(chǎn)力的提高 ? 通過提供不同級別（部門、市場、商業(yè)）的客戶視圖，協(xié)助客戶關(guān)系管理 ? 通過追蹤長期趨勢、異常等，降低成本 ? 有效構(gòu)建數(shù)據(jù)倉庫的關(guān)鍵：理解和分析商業(yè)需求 ? 通過提供一個商業(yè)分析框架，綜合各種不同的數(shù)據(jù)使用者的視圖 數(shù)據(jù)倉庫設(shè)計：一個商務(wù)分析框架 (2) ? 數(shù)據(jù)倉庫設(shè)計的四種視圖 ? 自頂向下視圖 ? 允許我們選擇數(shù)據(jù)倉庫所需的相關(guān)信息 ? 數(shù)據(jù)源視圖 ? 揭示被操作數(shù)據(jù)庫系統(tǒng)所捕獲、存儲和管理的信息 ? 數(shù)據(jù)倉庫視圖 ? 由事實表和維表所組成 ? 商務(wù)查詢視圖 ? 從最終用戶的角度透視數(shù)據(jù)倉庫中的數(shù)據(jù) 數(shù)據(jù)倉庫設(shè)計：一個商務(wù)分析框架 (3) ? 數(shù)據(jù)倉庫的構(gòu)建與使用涉及多種技能 ? 商業(yè)技能 ? 理解系統(tǒng)如何存儲和管理數(shù)據(jù) ? 數(shù)據(jù)如何提取 ? 數(shù)據(jù)如何刷新 ? 技術(shù)方面的技能 ? 如何通過使用各種數(shù)據(jù)或量化的信息，到處可以提供決策支持的模式、趨勢、判斷等 ? 如何通過審查歷史數(shù)據(jù)，分析發(fā)展趨勢等 ? 計劃管理技能 ? 如何通過與不同的技術(shù)、廠商、用戶交互，來及時、有效、經(jīng)濟的提交結(jié)果 數(shù)據(jù)倉庫的設(shè)計過程 (1) ? 自頂向下法、自底向上法或者兩者的混合方法 ? 自頂向下法：由總體設(shè)計和規(guī)劃開始 ? 在技術(shù)成熟、商業(yè)理解透徹的情況下使用 ? 自底向上法：以實驗和原型開始 ? 常用在模型和技術(shù)開發(fā)的初期，可以有效的對使用的技術(shù)和模型進行評估，降低風(fēng)險 ? 混合方法：上述兩者的結(jié)合 ? 從軟件過程的觀點 ? 瀑布式方法：在進行下一步前，每一步都進行結(jié)構(gòu)化和系統(tǒng)的分析 ? 螺旋式方法：功能漸增的系統(tǒng)的快速產(chǎn)生，相繼版本之間間隔很短 數(shù)據(jù)倉庫的設(shè)計過程 (2) ? 典型的數(shù)據(jù)倉庫設(shè)計過程 ? 選取待建模的 商務(wù)過程 ? 找到所構(gòu)建的數(shù)據(jù)倉庫的主題，比如：銷售、貨運、訂單等等 ? 選取商務(wù)過程的 顆粒度 ? 數(shù)據(jù)起始于多細的顆粒度，比如：記錄每條詳細訂單，或是開始于每日的匯總數(shù)據(jù) ? 選取用于每個事實表記錄的 維 ? 常用的維有：時間、貨物、客戶、供應(yīng)商等 ? 選取將安放在事實表中的 度量 ? 常用的數(shù)字度量包括：售價、貨物數(shù)量等 三層數(shù)據(jù)倉庫架構(gòu) (1) 數(shù)據(jù)倉庫 提取 清理 轉(zhuǎn)換 裝入 刷新 OLAP服務(wù)器 查詢報告 分析 數(shù)據(jù)挖掘 監(jiān)控、 整合 元數(shù)據(jù) 存儲 數(shù)據(jù)源 前端工具 輸出 數(shù)據(jù)集市 操作數(shù)據(jù)庫 其他外部信息源 數(shù)據(jù)倉庫服務(wù)器 O
語文相關(guān)推薦
鄂ICP備17016276號-1