【正文】 3. 監(jiān)視數(shù)據(jù) ? 決定是否應(yīng)數(shù)據(jù)重組 ? 決定索引是否建立得不恰當(dāng) ? 決定是否有太多數(shù)據(jù)溢出 ? 決定剩余的可用空間 4. 利用多種技術(shù)獲得和傳送數(shù)據(jù) ? 批模式，聯(lián)機(jī)模式并不非常有用 5. 程序員 /設(shè)計(jì)者對數(shù)據(jù)存放位置的控制（塊 /頁） 6. 數(shù)據(jù)的并行存儲 /管理 7. 元數(shù)據(jù)管理 數(shù)據(jù)倉庫技術(shù) — [Inmon， 1996] 8. 數(shù)據(jù)倉庫語言接口 ? 能夠一次訪問一組數(shù)據(jù) ? 能夠一次訪問一條記錄 ? 支持一個或多個索引 ? 有 SQL接口 9. 數(shù)據(jù)的高效裝入 10. 高效索引的利用 ? 用位映像的方法、多級索引等 11. 數(shù)據(jù)壓縮 ? I/O資源比 CPU資源少得多，因此數(shù)據(jù)解壓縮不是主要問題 12. 復(fù)合鍵碼（因?yàn)閿?shù)據(jù)隨時間變化） 13. 變長數(shù)據(jù) 14. 加鎖管理（程序員能顯式控制鎖管理程序） 15. 單獨(dú)索引處理（查看索引就能提供某些服務(wù)） 16. 快速恢復(fù) 數(shù)據(jù)倉庫技術(shù) — [Inmon， 1996] 17. 其他技術(shù)特征，傳統(tǒng)技術(shù)起很小作用 ? 事務(wù)集成性、高速緩存、行 /頁級鎖定、參照完整性、數(shù)據(jù)視圖 18. 傳統(tǒng) DBMS與數(shù)據(jù)倉庫 DBMS區(qū)別 ? 為數(shù)據(jù)倉庫和決策支持優(yōu)化設(shè)計(jì) ? 管理更多數(shù)據(jù)： 10GB/100GB/TB ? 傳統(tǒng) DBMS適合記錄級更新，提供：鎖定 Lock、 提交 Commit、 檢測點(diǎn)CheckPoint、 日志處理 Log、 死鎖處理 DeadLock、 回退 Roolback. ? 基本數(shù)據(jù)管理，如：塊管理，傳統(tǒng) DBMS需要預(yù)留空間 ? 索引區(qū)別：傳統(tǒng) DBMS限制索引數(shù)量，數(shù)據(jù)倉庫 DBMS沒有限制 ? 通用 DBMS物理上優(yōu)化便于事務(wù)訪問處理，而數(shù)據(jù)倉庫便于 DSS訪問分析 19. 改變 DBMS技術(shù) 20. 多維 DBMS和數(shù)據(jù)倉庫 ? 多維 DBMS作為數(shù)據(jù)倉庫的數(shù)據(jù)庫技術(shù)，這種想法是不正確的 ? 多維 DBMS（ OLAP） 是一種技術(shù)，數(shù)據(jù)倉庫是一種體系結(jié)構(gòu)的基礎(chǔ) 21. 雙重粒度級別（ DASD/磁帶） 數(shù)據(jù)倉庫技術(shù) — [Inmon， 1996] 22. 數(shù)據(jù)倉庫環(huán)境中的元數(shù)據(jù) ? DSS分析人員和 IT專業(yè)人員不同，需要元數(shù)據(jù)的幫助 ? 操作型環(huán)境和數(shù)據(jù)倉庫環(huán)境之間的映射需要元數(shù)據(jù) ? 數(shù)據(jù)倉庫包含很長時間的數(shù)據(jù)，必須有元數(shù)據(jù)標(biāo)記數(shù)據(jù)結(jié)構(gòu) /定義 23. 上下文和內(nèi)容（上下文維） ? 簡單上下文信息（數(shù)據(jù)結(jié)構(gòu) /編碼 /命名約定 /度量） ? 復(fù)雜上下文信息（產(chǎn)品定義 /市場領(lǐng)域 /定價(jià) /包裝 /組織結(jié)構(gòu)） ? 外部上下文信息（經(jīng)濟(jì)預(yù)測：通貨膨脹、金融、稅收 /政治信息 /競爭信息 /技術(shù)進(jìn)展） 24. 刷新數(shù)據(jù)倉庫 ? 數(shù)據(jù)復(fù)制（觸發(fā)器） ? 變化數(shù)據(jù)捕獲（ CDC）（ 日志） 提綱 ? 數(shù)據(jù)倉庫概念 ? 數(shù)據(jù)倉庫體系結(jié)構(gòu)及組件 ? 數(shù)據(jù)倉庫設(shè)計(jì) ? 數(shù)據(jù)倉庫技術(shù)（與數(shù)據(jù)庫技術(shù)的區(qū)別） ? 數(shù)據(jù)倉庫性能 ? 數(shù)據(jù)倉庫應(yīng)用 ? 數(shù)據(jù)挖掘應(yīng)用概述 ? 數(shù)據(jù)挖掘技術(shù)與趨勢 ? 數(shù)據(jù)挖掘應(yīng)用平臺（科委申請項(xiàng)目） 數(shù)據(jù)倉庫性能 — [Inmon, 1999] ? 使用 ? 數(shù)據(jù) ? 平臺 ? 服務(wù)管理 王天佑 等譯，《數(shù)據(jù)倉庫管理》， 電子工業(yè)出版社， 20xx年 5月 提綱 ? 數(shù)據(jù)倉庫概念 ? 數(shù)據(jù)倉庫體系結(jié)構(gòu)及組件 ? 數(shù)據(jù)倉庫設(shè)計(jì) ? 數(shù)據(jù)倉庫技術(shù)（與數(shù)據(jù)庫技術(shù)的區(qū)別） ? 數(shù)據(jù)倉庫性能 ? 數(shù)據(jù)倉庫應(yīng)用 ? 數(shù)據(jù)挖掘應(yīng)用概述 ? 數(shù)據(jù)挖掘技術(shù)與趨勢 ? 數(shù)據(jù)挖掘應(yīng)用平臺（科委申請項(xiàng)目） 數(shù)據(jù)倉庫應(yīng)用 — DW用戶數(shù)的調(diào)查 5 0 0 1 0 0 016% 1 0 0 014%1 0 0 5 0 036% 1 012%5 0 1 0 022%“ DW系統(tǒng)的用戶 在 100500以內(nèi)或以上 是未來一段時期內(nèi) 的主要部分“ DW用戶 的調(diào)查 最近一年 Meta Group Survey 調(diào)查對象： 3000+ 用戶或意向用戶 DW數(shù)據(jù)規(guī)模的調(diào)查 1 T B40% 5 0 G B12%5 0 2 5 0 G B19%2 5 0 5 0 0 G B8%5 0 0 G B 1 T B21%DW規(guī)模的調(diào)查 最近一年 Meta Group Survey 調(diào)查對象： 3000+ 用戶或意向用戶 How Much? ? $36m for midsize pany, less if smaller, more if larger ? $10m+ for large anizations, large data sets ? 1050+% annual maintenance costs ? 33% Hardware / 33% Software / 33% Services How Long? ? 24 years for 80/20 of full system for midsize pany ? 612 months for initial iteration ? 36 months for subsequent iterations How Risky? ? For EDW Projects, 20% (Meta) to 70% (OTR, DWN) fail ? High failure rate for nonbusiness driven initiatives ? Very few systems meet the expectations of the business ? Failure not due to technology, due to “soft” issues ? Massive upside to successful projects (100% 20xx+% ROI) ? 99% politics 1% technology 參考文獻(xiàn) ? Inmon,.,” Building the Data Warehouse” ,Johm Wiley and Sons,1996. ? Ladley,John,”O(jiān)perational Data Stores:Building an Effective Strategy”,Data warehouse:Pratical Advice form the Experts,Prentice Hall,Englewood Cliffs,NJ,1997. ? Gardmer,Stephen R., “Building the Data warehouse”,Communication of ACM, September 1998, Volume 41, Numver 9, 5260. ? Douglas Hackney , , DW101: A Practical Overview, 20xx ? Pieter R. Mimno, “The Big Picture How Brio Competes in the Data Warehousing Market”, Presentation to Brio Technology August 4, 1998. ? Alex Berson, Stephen Smith, Kurt Therling, “Building Data Mining Application for CRM”, McGrawHill, 1999 ? Martin Stardt, Anca Vaduva, Thomas Vetterli, “The Role of Meta for Data Warehouse”, 20xx ? , Ken Rudin, Christopher K. Buss, Ryan Sousa, “Data Warehouse Performance”, John Wiley amp。 [Alex Berson etc, 1999] ? 技術(shù)元數(shù)據(jù) ? 包括為數(shù)據(jù)倉庫設(shè)計(jì)人員和管理員使用的數(shù)據(jù)倉庫數(shù)據(jù)信息 ， 用于執(zhí)行數(shù)據(jù)倉庫開發(fā)和管理任務(wù) 。 ponents Analytic applications Front and backoffice OLTP eBusiness systems External information providers CRM Analytics amp。 ? 粒度 ? 數(shù)據(jù)倉庫的數(shù)據(jù)單位中保存數(shù)據(jù)的細(xì)化或綜合程度的級別。 ? Operation Data Store ? 操作數(shù)據(jù)存儲 — ODS是能支持企業(yè)日常的全局應(yīng)用的數(shù)據(jù)集合 ,是不同于 DB的一種新的數(shù)據(jù)環(huán)境 , 是 DW 擴(kuò)展后得到的一個混合形式。 對數(shù)據(jù)倉庫的一些誤解 ? 數(shù)據(jù)倉庫與 OLAP ? 星型數(shù)據(jù)模型 ? 多維分析 ? 數(shù)據(jù)倉庫不是一個虛擬的概念 ? 數(shù)據(jù)倉庫與范式理論 ? 需要非范式化處理 提綱 ? 數(shù)據(jù)倉庫概念 ? 數(shù)據(jù)倉庫體系結(jié)構(gòu)及組件 ? 數(shù)據(jù)倉庫設(shè)計(jì) ? 數(shù)據(jù)倉庫技術(shù)（與數(shù)據(jù)庫技術(shù)的區(qū)別） ? 數(shù)據(jù)倉庫性能