數(shù)據(jù)倉(cāng)庫(kù)與數(shù)據(jù)挖掘綜述(編輯修改稿)
2025-07-08 13:26 本頁(yè)面
【文章內(nèi)容簡(jiǎn)介】 隨時(shí)間變化） 13. 變長(zhǎng)數(shù)據(jù) 14. 加鎖管理（程序員能顯式控制鎖管理程序） 15. 單獨(dú)索引處理（查看索引就能提供某些服務(wù)） 16. 快速恢復(fù) 數(shù)據(jù)倉(cāng)庫(kù)技術(shù) — [Inmon， 1996] 17. 其他技術(shù)特征，傳統(tǒng)技術(shù)起很小作用 ? 事務(wù)集成性、高速緩存、行 /頁(yè)級(jí)鎖定、參照完整性、數(shù)據(jù)視圖 18. 傳統(tǒng) DBMS與數(shù)據(jù)倉(cāng)庫(kù) DBMS區(qū)別 ? 為數(shù)據(jù)倉(cāng)庫(kù)和決策支持優(yōu)化設(shè)計(jì) ? 管理更多數(shù)據(jù)： 10GB/100GB/TB ? 傳統(tǒng) DBMS適合記錄級(jí)更新，提供：鎖定 Lock、 提交 Commit、 檢測(cè)點(diǎn)CheckPoint、 日志處理 Log、 死鎖處理 DeadLock、 回退 Roolback. ? 基本數(shù)據(jù)管理，如：塊管理，傳統(tǒng) DBMS需要預(yù)留空間 ? 索引區(qū)別：傳統(tǒng) DBMS限制索引數(shù)量，數(shù)據(jù)倉(cāng)庫(kù) DBMS沒(méi)有限制 ? 通用 DBMS物理上優(yōu)化便于事務(wù)訪問(wèn)處理，而數(shù)據(jù)倉(cāng)庫(kù)便于 DSS訪問(wèn)分析 19. 改變 DBMS技術(shù) 20. 多維 DBMS和數(shù)據(jù)倉(cāng)庫(kù) ? 多維 DBMS作為數(shù)據(jù)倉(cāng)庫(kù)的數(shù)據(jù)庫(kù)技術(shù)，這種想法是不正確的 ? 多維 DBMS（ OLAP） 是一種技術(shù)，數(shù)據(jù)倉(cāng)庫(kù)是一種體系結(jié)構(gòu)的基礎(chǔ) 21. 雙重粒度級(jí)別（ DASD/磁帶） 數(shù)據(jù)倉(cāng)庫(kù)技術(shù) — [Inmon， 1996] 22. 數(shù)據(jù)倉(cāng)庫(kù)環(huán)境中的元數(shù)據(jù) ? DSS分析人員和 IT專業(yè)人員不同，需要元數(shù)據(jù)的幫助 ? 操作型環(huán)境和數(shù)據(jù)倉(cāng)庫(kù)環(huán)境之間的映射需要元數(shù)據(jù) ? 數(shù)據(jù)倉(cāng)庫(kù)包含很長(zhǎng)時(shí)間的數(shù)據(jù)，必須有元數(shù)據(jù)標(biāo)記數(shù)據(jù)結(jié)構(gòu) /定義 23. 上下文和內(nèi)容（上下文維） ? 簡(jiǎn)單上下文信息（數(shù)據(jù)結(jié)構(gòu) /編碼 /命名約定 /度量） ? 復(fù)雜上下文信息（產(chǎn)品定義 /市場(chǎng)領(lǐng)域 /定價(jià) /包裝 /組織結(jié)構(gòu)） ? 外部上下文信息（經(jīng)濟(jì)預(yù)測(cè)：通貨膨脹、金融、稅收 /政治信息 /競(jìng)爭(zhēng)信息 /技術(shù)進(jìn)展） 24. 刷新數(shù)據(jù)倉(cāng)庫(kù) ? 數(shù)據(jù)復(fù)制（觸發(fā)器） ? 變化數(shù)據(jù)捕獲（ CDC）（ 日志） 提綱 ? 數(shù)據(jù)倉(cāng)庫(kù)概念 ? 數(shù)據(jù)倉(cāng)庫(kù)體系結(jié)構(gòu)及組件 ? 數(shù)據(jù)倉(cāng)庫(kù)設(shè)計(jì) ? 數(shù)據(jù)倉(cāng)庫(kù)技術(shù)（與數(shù)據(jù)庫(kù)技術(shù)的區(qū)別） ? 數(shù)據(jù)倉(cāng)庫(kù)性能 ? 數(shù)據(jù)倉(cāng)庫(kù)應(yīng)用 ? 數(shù)據(jù)挖掘應(yīng)用概述 ? 數(shù)據(jù)挖掘技術(shù)與趨勢(shì) ? 數(shù)據(jù)挖掘應(yīng)用平臺(tái)（科委申請(qǐng)項(xiàng)目） 數(shù)據(jù)倉(cāng)庫(kù)性能 — [Inmon, 1999] ? 使用 ? 數(shù)據(jù) ? 平臺(tái) ? 服務(wù)管理 王天佑 等譯，《數(shù)據(jù)倉(cāng)庫(kù)管理》， 電子工業(yè)出版社， 20xx年 5月 提綱 ? 數(shù)據(jù)倉(cāng)庫(kù)概念 ? 數(shù)據(jù)倉(cāng)庫(kù)體系結(jié)構(gòu)及組件 ? 數(shù)據(jù)倉(cāng)庫(kù)設(shè)計(jì) ? 數(shù)據(jù)倉(cāng)庫(kù)技術(shù)（與數(shù)據(jù)庫(kù)技術(shù)的區(qū)別） ? 數(shù)據(jù)倉(cāng)庫(kù)性能 ? 數(shù)據(jù)倉(cāng)庫(kù)應(yīng)用 ? 數(shù)據(jù)挖掘應(yīng)用概述 ? 數(shù)據(jù)挖掘技術(shù)與趨勢(shì) ? 數(shù)據(jù)挖掘應(yīng)用平臺(tái)（科委申請(qǐng)項(xiàng)目） 數(shù)據(jù)倉(cāng)庫(kù)應(yīng)用 — DW用戶數(shù)的調(diào)查 5 0 0 1 0 0 016% 1 0 0 014%1 0 0 5 0 036% 1 012%5 0 1 0 022%“ DW系統(tǒng)的用戶 在 100500以內(nèi)或以上 是未來(lái)一段時(shí)期內(nèi) 的主要部分“ DW用戶 的調(diào)查 最近一年 Meta Group Survey 調(diào)查對(duì)象： 3000+ 用戶或意向用戶 DW數(shù)據(jù)規(guī)模的調(diào)查 1 T B40% 5 0 G B12%5 0 2 5 0 G B19%2 5 0 5 0 0 G B8%5 0 0 G B 1 T B21%DW規(guī)模的調(diào)查 最近一年 Meta Group Survey 調(diào)查對(duì)象： 3000+ 用戶或意向用戶 How Much? ? $36m for midsize pany, less if smaller, more if larger ? $10m+ for large anizations, large data sets ? 1050+% annual maintenance costs ? 33% Hardware / 33% Software / 33% Services How Long? ? 24 years for 80/20 of full system for midsize pany ? 612 months for initial iteration ? 36 months for subsequent iterations How Risky? ? For EDW Projects, 20% (Meta) to 70% (OTR, DWN) fail ? High failure rate for nonbusiness driven initiatives ? Very few systems meet the expectations of the business ? Failure not due to technology, due to “soft” issues ? Massive upside to successful projects (100% 20xx+% ROI) ? 99% politics 1% technology 參考文獻(xiàn) ? Inmon,.,” Building the Data Warehouse” ,Johm Wiley and Sons,1996. ? Ladley,John,”O(jiān)perational Data Stores:Building an Effective Strategy”,Data warehouse:Pratical Advice form the Experts,Prentice Hall,Englewood Cliffs,NJ,1997. ? Gardmer,Stephen R., “Building the Data warehouse”,Communication of ACM, September 1998, Volume 41, Numver 9, 5260. ? Douglas Hackney , , DW101: A Practical Overview, 20xx ? Pieter R. Mimno, “The Big Picture How Brio Competes in the Data Warehousing Market”, Presentation to Brio Technology August 4, 1998. ? Alex Berson, Stephen Smith, Kurt Therling, “Building Data Mining Application for CRM”, McGrawHill, 1999 ? Martin Stardt, Anca Vaduva, Thomas Vetterli, “The Role of Meta for Data Warehouse”, 20xx ? , Ken Rudin, Christopher K. Buss, Ryan Sousa, “Data Warehouse Performance”, John Wiley amp。 Sons , 1999 提綱 ? 數(shù)據(jù)倉(cāng)庫(kù)概念 ? 數(shù)據(jù)倉(cāng)庫(kù)體系結(jié)構(gòu)及組件 ? 數(shù)據(jù)倉(cāng)庫(kù)設(shè)計(jì) ? 數(shù)據(jù)倉(cāng)庫(kù)技術(shù)（與數(shù)據(jù)庫(kù)技術(shù)的區(qū)別） ? 數(shù)據(jù)倉(cāng)庫(kù)性能 ? 數(shù)據(jù)倉(cāng)庫(kù)應(yīng)用 ? 數(shù)據(jù)挖掘應(yīng)用概述 ? 數(shù)據(jù)挖掘技術(shù)與趨勢(shì) ? 數(shù)據(jù)挖掘應(yīng)用平臺(tái)（科委申請(qǐng)項(xiàng)目） 數(shù)據(jù)挖掘應(yīng)用綜述 ? 數(shù)據(jù)挖掘應(yīng)用概述 ? 數(shù)據(jù)挖掘技術(shù)與趨勢(shì) ? 數(shù)據(jù)挖掘應(yīng)用平臺(tái) 數(shù)據(jù)挖掘應(yīng)用概述 ? 應(yīng)用比例 ? Data Mining Upsides ? Data Mining Downsides ? Data Mining Use ? Data Mining Industry and Application ? Data Mining Costs 應(yīng)用比例 Clustering 22% Direct Marketing 14% CrossSell Models 12% m 20xx/6/11 News ? Discovery of previously unknown relationships, trends, anomalies, etc. ? Powerful petitive weapon ? Automation of repetitive analysis ? Predictive capabilities Data Mining Upsides ? Knowledge discovery technology immature ? Long learning and tuning cycles for some technologies ? “Black box” technology minimizes confidence ? VLDB (Very Large Data Base) requirements Data Mining Downsides Data Mining Uses ? Discover anomalies, outlie
教學(xué)課件相關(guān)推薦
鄂ICP備17016276號(hào)-1