【正文】 事實表存放基本數(shù)據(jù)， 英文標題 :32pt 字體 :Arial 中文標題 :32pt 字體：黑體 首選顏色 : R0 G93 B164 英文內(nèi)容文字 :928pt 字體 :Arial 中文內(nèi)容文字 :1028pt 字體 :黑體 首選顏色 : :R80 G80 B80 第 67頁 雪花模型 ? 維一般是由若干層次組成 ? 把維按其層次結構表示成若干個表 ? 規(guī)范化、節(jié)省存儲空間 ? 但需多做連接操作 英文標題 :32pt 字體 :Arial 中文標題 :32pt 字體：黑體 首選顏色 : R0 G93 B164 英文內(nèi)容文字 :928pt 字體 :Arial 中文內(nèi)容文字 :1028pt 字體 :黑體 首選顏色 : :R80 G80 B80 第 68頁 事實表 ? 事務型事實表 – 事務發(fā)生時，每個事務記錄一行，不需要更新 – 維度：事務日期 – 例子：支付事實表、收費事實表 ? 周期快照型事實表 – 周期性快照，不需要更新 – 維度：快照日期 – 例子：待發(fā)貨、有效保單、有效人力 ? 累積快照型事實表 – 一個事件一行，由多個步驟組成，步驟發(fā)生時更新 – 維度：關鍵步驟的多個日期 – 例子 1：購買（訂購日期、付款日期、發(fā)貨日期、收貨日期） – 例子 2：承保（申請日期、暫收日期、核保日期、簽單日期、核銷日期） 68 英文標題 :32pt 字體 :Arial 中文標題 :32pt 字體：黑體 首選顏色 : R0 G93 B164 英文內(nèi)容文字 :928pt 字體 :Arial 中文內(nèi)容文字 :1028pt 字體 :黑體 首選顏色 : :R80 G80 B80 第 69頁 示例：維度與事實 英文標題 :32pt 字體 :Arial 中文標題 :32pt 字體：黑體 首選顏色 : R0 G93 B164 英文內(nèi)容文字 :928pt 字體 :Arial 中文內(nèi)容文字 :1028pt 字體 :黑體 首選顏色 : :R80 G80 B80 第 70頁 設計過程 選取業(yè)務過程 ? 將對業(yè)務需求的理解與對可用數(shù)據(jù)的理解組合起來 定義粒度 ? 何種詳細程度 選定維度 ? 一旦粒度被選定，則維度隨之被確定 確定事實 ? 確定哪些度量在事實表中出現(xiàn) 70 數(shù)據(jù)架構 數(shù)據(jù)模型 維度建模 英文標題 :32pt 字體 :Arial 中文標題 :32pt 字體：黑體 首選顏色 : R0 G93 B164 英文內(nèi)容文字 :928pt 字體 :Arial 中文內(nèi)容文字 :1028pt 字體 :黑體 首選顏色 : :R80 G80 B80 第 71頁 示例：總線矩陣、一致性維度 英文標題 :32pt 字體 :Arial 中文標題 :32pt 字體：黑體 首選顏色 : R0 G93 B164 英文內(nèi)容文字 :928pt 字體 :Arial 中文內(nèi)容文字 :1028pt 字體 :黑體 首選顏色 : :R80 G80 B80 第 72頁 日程：技術知識 ? 基本概念 ? 體系結構 ? 設計方法 ? 技術實現(xiàn) 英文標題 :32pt 字體 :Arial 中文標題 :32pt 字體：黑體 首選顏色 : R0 G93 B164 英文內(nèi)容文字 :928pt 字體 :Arial 中文內(nèi)容文字 :1028pt 字體 :黑體 首選顏色 : :R80 G80 B80 第 73頁 技術實現(xiàn) ET L數(shù)據(jù)獲取數(shù)據(jù)倉庫數(shù)據(jù)存儲分析數(shù)據(jù)使用元數(shù)據(jù)管理調度管理數(shù)據(jù)標準管理數(shù)據(jù)質量管理門戶硬件 操作系統(tǒng) 數(shù)據(jù)庫 ETL工具 報表工具 開發(fā)工具 中間件 邏輯 分析工具 英文標題 :32pt 字體 :Arial 中文標題 :32pt 字體：黑體 首選顏色 : R0 G93 B164 英文內(nèi)容文字 :928pt 字體 :Arial 中文內(nèi)容文字 :1028pt 字體 :黑體 首選顏色 : :R80 G80 B80 第 74頁 Gartner 2022 數(shù)據(jù)倉庫和分析市場魔力象限 Ⅰ ： 領導者 Teradata， Oracle， IBM，微軟，SAP，惠普 Ⅱ ： 挑戰(zhàn)者 MapR Technologies， Cloudera，1010data， AWS Ⅲ ：特定領域者 Exasol， MarkLogic， Kognitio，Hitachi， Infobright Ⅳ ： 遠見者 Actian， Pivotal Ⅱ Ⅰ Ⅲ Ⅳ 英文標題 :32pt 字體 :Arial 中文標題 :32pt 字體：黑體 首選顏色 : R0 G93 B164 英文內(nèi)容文字 :928pt 字體 :Arial 中文內(nèi)容文字 :1028pt 字體 :黑體 首選顏色 : :R80 G80 B80 第 75頁 各廠商解決方案及產(chǎn)品 Teradata SAP IBM Oracle 微軟 其他 ETL及調度 ?Teradata 數(shù)據(jù)庫遷移工具 ?ETL Automation，調度 ?SAP集成平臺（ XI ?Administrator workbench，調度 ?DataStage ?Oracle Warehouse Builder ?Integration Services ?Informatica 數(shù)據(jù)倉庫 ?Teradata 數(shù)據(jù)庫 ?SAP數(shù)據(jù)倉庫（ BW)， OLAP ?DB2 ?Ooracle ?Oracle Express， OLAP ?SQL Server ?Analysis Services，OALP ?racle 展現(xiàn)及分析 ?業(yè)務瀏覽器組件（ Business Explore Suite）包括查詢、分析、 web、發(fā)布。 英文標題 :32pt 字體 :Arial 中文標題 :32pt 字體：黑體 首選顏色 : R0 G93 B164 英文內(nèi)容文字 :928pt 字體 :Arial 中文內(nèi)容文字 :1028pt 字體 :黑體 首選顏色 : :R80 G80 B80 第 63頁 示例： SCD ? 維度 – 展業(yè)機構 ? 業(yè)務鍵 – 展業(yè)機構代碼（ AgentGroup） ? 代理鍵 – 展業(yè)機構 ID（ AgentGroupID) ? 類型 2 – Branchattr – Branchtype – Branchtype2 ? 邏輯 – 當上述 3個維度屬性的值 發(fā)生變化時，增加一條記錄 英文標題 :32pt 字體 :Arial 中文標題 :32pt 字體：黑體 首選顏色 : R0 G93 B164 英文內(nèi)容文字 :928pt 字體 :Arial 中文內(nèi)容文字 :1028pt 字體 :黑體 首選顏色 : :R80 G80 B80 第 64頁 代理鍵 ? 可以保證源系統(tǒng)的變化不會對 BI系統(tǒng)產(chǎn)生影響 ? 可以允許 BI系統(tǒng)整合多個源系統(tǒng)中的數(shù)據(jù) ? 可以允許在維度表中加入不存在的行 ? 提供了一種跟蹤維度屬性隨時間變化的方法 ? 使用整型的代理鍵在關系庫、多維庫中是高效的方法，提高系統(tǒng)查詢和處理性能，減少了事實表本身的大小 ? 代價： ETL的性能耗費 ? 根據(jù)成員個數(shù)選擇 smallint、 int、 bigint 64 數(shù)據(jù)架構 數(shù)據(jù)模型 維度建模 英文標題 :32pt 字體 :Arial 中文標題 :32pt 字體：黑體 首選顏色 : R0 G93 B164 英文內(nèi)容文字 :928pt 字體 :Arial 中文內(nèi)容文字 :1028pt 字體 :黑體 首選顏色 : :R80 G80 B80 第 65頁 退化維度、雜項維度 ? 退化維度 – 維度除了主鍵以外沒有其他維度屬性。這種處理的實現(xiàn)方式是對于需要分析歷史信息的屬性添加一列，來記錄該屬性變化前的值，而本屬性字段使用 TYPE 1來直接覆蓋。實現(xiàn)方式是當有維度屬性發(fā)生變化時，生成一條新的維度記錄，主鍵是新分配的代理鍵，通過自然鍵可以和原維度記錄保持關聯(lián)。 – TYPE 2：第二種方式是添加維度行。 ? 處理緩慢變化維的方式 – TYPE 1：第一種方式是直接覆蓋原值。 特點： ? 是一種需求驅動方法； ? 以維度建模為基礎； ? 實施周期短，見效快； ? 實施風險 較低 ? 維度模型可理解性 ? 讓所有事項盡可能簡單，但是又丌能簡單得過了頭 ? 模型要保留“源”有信息，有價值不元價值信息都要保留； ? 反觃范化維度層次結構設計是維度建模提高查詢性能保障； ? 每個維都是一個等效的事實表入口點； ? BI展現(xiàn)工具多維立方體是維度建模完善體現(xiàn)； ? 維度模型擴展易用性 ； 數(shù)據(jù)仏庫 數(shù)據(jù)源 業(yè)務 收付 外部 ETL 一致的維度下的 數(shù)據(jù)集市 保費分析 客戶留存 渠道分析 產(chǎn)品分析 數(shù)據(jù)架構 數(shù)據(jù)模型 維度建模 英文標題 :32pt 字體 :Arial 中文標題 :32pt 字體：黑體 首選顏色 : R0 G93 B164 英文內(nèi)容文字 :928pt 字體 :Arial 中文內(nèi)容文字 :1028pt 字體 :黑體 首選顏色 : :R80 G80 B80 第 57頁 維度模型 VS規(guī)范化模型 57 ? 規(guī)范化模型 ? 描述業(yè)務的邏輯關系 ? 消除冗余，解決數(shù)據(jù)的一致性問題 ? 模型靈活、穩(wěn)定 ? 如果數(shù)據(jù)源沒有企業(yè)數(shù)據(jù)模型控制， ETL抽取很難 ? 維度模型 ? 易于理解 ? 因為冗余，性能好易于訪問 ? 多維模型在滿足用戶需求方面是非常高效的，但是靈活性不好 整合層 通用語義層 集市層 數(shù)據(jù)架構 數(shù)據(jù)模型 維度建模 英文標題 :32pt 字體 :Arial 中文標題 :32pt 字體：黑體 首選顏色 : R0 G93 B164 英文內(nèi)容文字 :928pt 字體 :Arial 中文內(nèi)容文字 :1028pt 字體 :黑體 首選顏色 : :R80 G80 B80 第 58頁 數(shù)據(jù)模型的評估 58 數(shù)據(jù) 模型 集成性 管理性 性能 擴展性 可用性 完整性 ? 支持 BI應用 擴展 ? 支持數(shù)據(jù)源擴展 ? 支持模型自身擴展 ? 快速擴展 ? 支持各類 BI應用 ? 涵蓋保險業(yè)務各環(huán)節(jié) ? 參考主流行業(yè)模數(shù)據(jù)型 ? 安全管理 ? 支持數(shù)據(jù)的維護 ? 數(shù)據(jù)生命周期管理 ? 易于理解 ? 設計合理 ? 優(yōu)化 BI應用性能 ? 優(yōu)化 ETL性能 ? 結構集成 ? 內(nèi)容集成 ? 主題集成 ? 擴展集成 ? 集成可操作 ? 增量策略 ? 模型管理 ? 制定標準和規(guī)范 數(shù)據(jù)架構 數(shù)據(jù)模型 維度建模 英文標題 :32pt 字體 :Arial 中文標題 :32pt 字體：黑體 首選顏色 : R0 G93 B164 英文內(nèi)容文字 :928pt 字體 :Arial 中文內(nèi)容文字 :1028pt 字體 :黑體 首選顏色 : :R80 G80 B80 第 59頁 維度建模相關概念 應用驅動