【正文】 Projects, 20% (Meta) to 70% (OTR, DWN) fail ? High failure rate for nonbusiness driven initiatives ? Very few systems meet the expectations of the business ? Failure not due to technology, due to “soft” issues ? Massive upside to successful projects (100% 2022+% ROI) ? 99% politics 1% technology 參考文獻 ? Inmon,.,” Building the Data Warehouse” ,Johm Wiley and Sons,1996. ? Ladley,John,”O(jiān)perational Data Stores:Building an Effective Strategy”,Data warehouse:Pratical Advice form the Experts,Prentice Hall,Englewood Cliffs,NJ,1997. ? Gardmer,Stephen R., “Building the Data warehouse”,Communication of ACM, September 1998, Volume 41, Numver 9, 5260. ? Douglas Hackney , , DW101: A Practical Overview, 2022 ? Pieter R. Mimno, “The Big Picture How Brio Competes in the Data Warehousing Market”, Presentation to Brio Technology August 4, 1998. ? Alex Berson, Stephen Smith, Kurt Therling, “Building Data Mining Application for CRM”, McGrawHill, 1999 ? Martin Stardt, Anca Vaduva, Thomas Vetterli, “The Role of Meta for Data Warehouse”, 2022 ? , Ken Rudin, Christopher K. Buss, Ryan Sousa, “Data Warehouse Performance”, John Wiley amp。 [Alex Berson etc, 1999] ? 技術(shù)元數(shù)據(jù) ? 包括為數(shù)據(jù)倉庫設(shè)計人員和管理員使用的數(shù)據(jù)倉庫數(shù)據(jù)信息 ， 用于執(zhí)行數(shù)據(jù)倉庫開發(fā)和管理任務(wù) 。 Reporting HR Analytics amp。 remendations Informed decisions amp。 Reporting EKP Enterprise Knowledge Management Portal EPM Analytics amp。 ponents Analytic applications Front and backoffice OLTP eBusiness systems External information providers CRM Analytics amp。 analysis Metadata Interchange Federated data warehouse and data mart systems Decision engine models, rules and metrics OLAP amp。 DW templates Data profiling amp。 ? 分割 ? 數(shù)據(jù)分散到各自的物理單元中去，它們能獨立地處理。 ? 粒度 ? 數(shù)據(jù)倉庫的數(shù)據(jù)單位中保存數(shù)據(jù)的細化或綜合程度的級別。 Microsoft DTS。四個基本特點：面向主題的 (Subject Oriented)、 集成的、可變的、 當(dāng)前或接近當(dāng)前的。數(shù)據(jù)倉庫與數(shù)據(jù)挖掘綜述 概念、體系結(jié)構(gòu)、趨勢、應(yīng)用 報告人：朱建秋 2022年 6月 7日 提綱 ? 數(shù)據(jù)倉庫概念 ? 數(shù)據(jù)倉庫體系結(jié)構(gòu)及組件 ? 數(shù)據(jù)倉庫設(shè)計 ? 數(shù)據(jù)倉庫技術(shù)（與數(shù)據(jù)庫技術(shù)的區(qū)別） ? 數(shù)據(jù)倉庫性能 ? 數(shù)據(jù)倉庫應(yīng)用 ? 數(shù)據(jù)挖掘應(yīng)用概述 ? 數(shù)據(jù)挖掘技術(shù)與趨勢 ? 數(shù)據(jù)挖掘應(yīng)用平臺（科委申請項目） 數(shù)據(jù)倉庫概念 ? 基本概念 ? 對數(shù)據(jù)倉庫的一些誤解 基本概念 —數(shù)據(jù)倉庫 ? Data warehouse is a subject oriented, integrated,nonvolatile and time variant collection of data in support of management’s decision —— [Inmon,1996]. ? Data warehouse is a set of methods, techniques,and tools that may be leveraged together to produce a vehicle that delivers data to endusers on an integrated platform —— [Ladley,1997]. ? Data warehouse is a process of crating, maintaining,and using a decisionsupport infrastructure —— [Appleton,1995][Haley,1997][Gardner 1998]. 基本概念 —數(shù)據(jù)倉庫特征 [Inmon,1996] ? 面向主題 ? 一個主題領(lǐng)域的表來源于多個操作型應(yīng)用（如：客戶主題，來源于：定單處理；應(yīng)收帳目；應(yīng)付帳目； … ） ? 典型的主題領(lǐng)域：客戶；產(chǎn)品；交易；帳目 ? 主題領(lǐng)域以一組相關(guān)的表來具體實現(xiàn) ? 相關(guān)的表通過公共的鍵碼聯(lián)系起來（如：顧客標識號 Customer ID） ? 每個鍵碼都有時間元素（從日期到日期；每月累積；單獨日期 … ） ? 主題內(nèi)數(shù)據(jù)可以存儲在不同介質(zhì)上（綜合級，細節(jié)級，多粒度） ? 集成 ? 數(shù)據(jù)提取、凈化、轉(zhuǎn)換、裝載 ? 穩(wěn)定性 ? 批處理增加，倉庫已經(jīng)存在的數(shù)據(jù)不會改變 ? 隨時間而變化（時間維） ? 管理決策支持 基本概念 —Data Mart, ODS ? Data Mart ? 數(shù)據(jù)集市 小型的，面向部門或工作組級數(shù)據(jù)倉庫。 ? Operation Data Store ? 操作數(shù)據(jù)存儲 — ODS是能支持企業(yè)日常的全局應(yīng)用的數(shù)據(jù)集合 ,是不同于 DB的一種新的數(shù)據(jù)環(huán)境 , 是 DW 擴展后得到的一個混合形式。 基本概念 —ETL, 元數(shù)據(jù)，粒度，分割 ? ETL ? ETL（ Extract/Transformation/Load） —數(shù)據(jù)裝載、轉(zhuǎn)換、抽取工具。 IBM Visual Warehouse etc. ? 元數(shù)據(jù) ? 關(guān)于數(shù)據(jù)的數(shù)據(jù)， 用于構(gòu)造、維持、管理、和使用數(shù)據(jù)倉庫， 在數(shù)據(jù)倉庫中尤為重要。細化程度越高，粒度越小。 對數(shù)據(jù)倉庫的一些誤解 ? 數(shù)據(jù)倉庫與 OLAP ? 星型數(shù)據(jù)模型 ? 多維分析 ? 數(shù)據(jù)倉庫不是一個虛擬的概念 ? 數(shù)據(jù)倉庫與范式理論 ? 需要非范式化處理 提綱 ? 數(shù)據(jù)倉庫概念 ? 數(shù)據(jù)倉庫體系結(jié)構(gòu)及組件 ? 數(shù)據(jù)倉庫設(shè)計 ? 數(shù)據(jù)倉庫技術(shù)（與數(shù)據(jù)庫技術(shù)的區(qū)別） ? 數(shù)據(jù)倉庫性能 ? 數(shù)據(jù)倉庫應(yīng)用 ? 數(shù)據(jù)挖掘應(yīng)用概述 ? 數(shù)據(jù)挖掘技術(shù)與趨勢 ? 數(shù)據(jù)挖掘應(yīng)用平臺（科委申請項目） 數(shù)據(jù)倉庫體系結(jié)構(gòu)及組件 ? 體系結(jié)構(gòu) ? ETL工具 ? 元數(shù)據(jù)庫 (Repository)及元數(shù)據(jù)管理 ? 數(shù)據(jù)訪問和分析工具 體系結(jié)構(gòu) [Pieter ,1998] Source Databases Data Extraction, Transformation, load Warehouse Admin. Tools Extract, Transform and Load Data Modeling Tool Central Metadata Architected Data Marts Data Access and Analysis EndUser DW Tools Central Data Warehouse Central Data Warehouse Mid Tier Mid Tier Data Mart Data Mart Local Metadata Local Metadata Local Metadata Metadata Exchange MDB Data Cleansing Tool Relational Appl. Package