【文章內容簡介】 隨時間變化） 13. 變長數據 14. 加鎖管理（程序員能顯式控制鎖管理程序） 15. 單獨索引處理（查看索引就能提供某些服務） 16. 快速恢復 數據倉庫技術 — [Inmon， 1996] 17. 其他技術特征，傳統(tǒng)技術起很小作用 ? 事務集成性、高速緩存、行 /頁級鎖定、參照完整性、數據視圖 18. 傳統(tǒng) DBMS與數據倉庫 DBMS區(qū)別 ? 為數據倉庫和決策支持優(yōu)化設計 ? 管理更多數據： 10GB/100GB/TB ? 傳統(tǒng) DBMS適合記錄級更新，提供：鎖定 Lock、 提交 Commit、 檢測點CheckPoint、 日志處理 Log、 死鎖處理 DeadLock、 回退 Roolback. ? 基本數據管理，如：塊管理，傳統(tǒng) DBMS需要預留空間 ? 索引區(qū)別：傳統(tǒng) DBMS限制索引數量，數據倉庫 DBMS沒有限制 ? 通用 DBMS物理上優(yōu)化便于事務訪問處理，而數據倉庫便于 DSS訪問分析 19. 改變 DBMS技術 20. 多維 DBMS和數據倉庫 ? 多維 DBMS作為數據倉庫的數據庫技術，這種想法是不正確的 ? 多維 DBMS（ OLAP） 是一種技術，數據倉庫是一種體系結構的基礎 21. 雙重粒度級別（ DASD/磁帶） 數據倉庫技術 — [Inmon， 1996] 22. 數據倉庫環(huán)境中的元數據 ? DSS分析人員和 IT專業(yè)人員不同，需要元數據的幫助 ? 操作型環(huán)境和數據倉庫環(huán)境之間的映射需要元數據 ? 數據倉庫包含很長時間的數據，必須有元數據標記數據結構 /定義 23. 上下文和內容（上下文維） ? 簡單上下文信息（數據結構 /編碼 /命名約定 /度量） ? 復雜上下文信息（產品定義 /市場領域 /定價 /包裝 /組織結構） ? 外部上下文信息（經濟預測：通貨膨脹、金融、稅收 /政治信息 /競爭信息 /技術進展） 24. 刷新數據倉庫 ? 數據復制（觸發(fā)器） ? 變化數據捕獲（ CDC）（ 日志） 提綱 ? 數據倉庫概念 ? 數據倉庫體系結構及組件 ? 數據倉庫設計 ? 數據倉庫技術（與數據庫技術的區(qū)別） ? 數據倉庫性能 ? 數據倉庫應用 ? 數據挖掘應用概述 ? 數據挖掘技術與趨勢 ? 數據挖掘應用平臺（科委申請項目） 數據倉庫性能 — [Inmon, 1999] ? 使用 ? 數據 ? 平臺 ? 服務管理 王天佑 等譯，《數據倉庫管理》， 電子工業(yè)出版社， 20xx年 5月 提綱 ? 數據倉庫概念 ? 數據倉庫體系結構及組件 ? 數據倉庫設計 ? 數據倉庫技術（與數據庫技術的區(qū)別） ? 數據倉庫性能 ? 數據倉庫應用 ? 數據挖掘應用概述 ? 數據挖掘技術與趨勢 ? 數據挖掘應用平臺（科委申請項目） 數據倉庫應用 — DW用戶數的調查 5 0 0 1 0 0 016% 1 0 0 014%1 0 0 5 0 036% 1 012%5 0 1 0 022%“ DW系統(tǒng)的用戶 在 100500以內或以上 是未來一段時期內 的主要部分“ DW用戶 的調查 最近一年 Meta Group Survey 調查對象： 3000+ 用戶或意向用戶 DW數據規(guī)模的調查 1 T B40% 5 0 G B12%5 0 2 5 0 G B19%2 5 0 5 0 0 G B8%5 0 0 G B 1 T B21%DW規(guī)模的調查 最近一年 Meta Group Survey 調查對象： 3000+ 用戶或意向用戶 How Much? ? $36m for midsize pany, less if smaller, more if larger ? $10m+ for large anizations, large data sets ? 1050+% annual maintenance costs ? 33% Hardware / 33% Software / 33% Services How Long? ? 24 years for 80/20 of full system for midsize pany ? 612 months for initial iteration ? 36 months for subsequent iterations How Risky? ? For EDW Projects, 20% (Meta) to 70% (OTR, DWN) fail ? High failure rate for nonbusiness driven initiatives ? Very few systems meet the expectations of the business ? Failure not due to technology, due to “soft” issues ? Massive upside to successful projects (100% 20xx+% ROI) ? 99% politics 1% technology 參考文獻 ? Inmon,.,” Building the Data Warehouse” ,Johm Wiley and Sons,1996. ? Ladley,John,”O(jiān)perational Data Stores:Building an Effective Strategy”,Data warehouse:Pratical Advice form the Experts,Prentice Hall,Englewood Cliffs,NJ,1997. ? Gardmer,Stephen R., “Building the Data warehouse”,Communication of ACM, September 1998, Volume 41, Numver 9, 5260. ? Douglas Hackney , , DW101: A Practical Overview, 20xx ? Pieter R. Mimno, “The Big Picture How Brio Competes in the Data Warehousing Market”, Presentation to Brio Technology August 4, 1998. ? Alex Berson, Stephen Smith, Kurt Therling, “Building Data Mining Application for CRM”, McGrawHill, 1999 ? Martin Stardt, Anca Vaduva, Thomas Vetterli, “The Role of Meta for Data Warehouse”, 20xx ? , Ken Rudin, Christopher K. Buss, Ryan Sousa, “Data Warehouse Performance”, John Wiley amp。 Sons , 1999 提綱 ? 數據倉庫概念 ? 數據倉庫體系結構及組件 ? 數據倉庫設計 ? 數據倉庫技術（與數據庫技術的區(qū)別） ? 數據倉庫性能 ? 數據倉庫應用 ? 數據挖掘應用概述 ? 數據挖掘技術與趨勢 ? 數據挖掘應用平臺（科委申請項目） 數據挖掘應用綜述 ? 數據挖掘應用概述 ? 數據挖掘技術與趨勢 ? 數據挖掘應用平臺 數據挖掘應用概述 ? 應用比例 ? Data Mining Upsides ? Data Mining Downsides ? Data Mining Use ? Data Mining Industry and Application ? Data Mining Costs 應用比例 Clustering 22% Direct Marketing 14% CrossSell Models 12% m 20xx/6/11 News ? Discovery of previously unknown relationships, trends, anomalies, etc. ? Powerful petitive weapon ? Automation of repetitive analysis ? Predictive capabilities Data Mining Upsides ? Knowledge discovery technology immature ? Long learning and tuning cycles for some technologies ? “Black box” technology minimizes confidence ? VLDB (Very Large Data Base) requirements Data Mining Downsides Data Mining Uses ? Discover anomalies, outlie