【正文】 數(shù)據(jù)倉庫結(jié)構(gòu)設(shè)計(jì)與開發(fā) 提綱 ? 1. 數(shù)據(jù)倉庫的發(fā)展 ? 2. 數(shù)據(jù)倉庫的概念及特性 ? 3. 數(shù)據(jù)倉庫的結(jié)構(gòu) ? 4. 數(shù)據(jù)倉庫的開發(fā)過程 ? 5. 數(shù)據(jù)倉庫的典型應(yīng)用 數(shù)據(jù)倉庫的發(fā)展 Development of DataWarehouse 數(shù)據(jù)倉庫的發(fā)展（ 1） ? NCR公司為 Walmart建立了第一個(gè)數(shù)據(jù)倉庫。 ? 1996年，加拿大的 IDC公司調(diào)查了 62家實(shí)現(xiàn)了數(shù)據(jù)倉庫的歐美企業(yè)，結(jié)果表明數(shù)據(jù)倉庫為企業(yè)提供了巨大的收益。 ? IBM的實(shí)驗(yàn)室在數(shù)據(jù)倉庫方面已經(jīng)進(jìn)行了 10多年的研究，并將研究成果發(fā)展成為商用產(chǎn)品。 ? 其他數(shù)據(jù)庫廠商在數(shù)據(jù)倉庫領(lǐng)域也紛紛提出了各自的解決方案。 數(shù)據(jù)倉庫的發(fā)展（ 2） ? IBM: 在其 DB2 UDB發(fā)布一年后的 1998年 9月發(fā)布 ，并于 1998年 12月推向中國市場，除了用于聯(lián)機(jī)分析處理（ OLAP ）的后臺(tái)服務(wù)器 DB2 OLAP Server外， IBM還提供了一系列相關(guān)的產(chǎn)品，包括前端工具，形成一整套解決方案。 ? Informix公司 : 在其動(dòng)態(tài)服務(wù)器 IDS（ Informix Dynamic Server）中提供一系列相關(guān)選件，如高級(jí)決策支持選件（ Advanced Decision Support Option）、 OLAP選件（ MetaCube ROLAP Option）、擴(kuò)展并行選件（ Extended Parallel Option）等，這種體系結(jié)構(gòu)嚴(yán)謹(jǐn)、管理方便、索引機(jī)制完善，并行處理的效率更高，其中數(shù)據(jù)倉庫和數(shù)據(jù)庫查詢的 SQL語句的一致性使得用戶開發(fā)更加簡便。 數(shù)據(jù)倉庫的發(fā)展（ 3） ? 微軟公司 : 在其 SQL SQL Server2022中集成了代號(hào)為 Plato的 OLAP服務(wù)器。 ? Sybase: 提供了專門的 OLAP服務(wù)器 Sybase IQ，并將其與數(shù)據(jù)倉庫相關(guān)工具打包成 Warehouse Studio 。 ? Oracle公司 : 則推出從數(shù)據(jù)倉庫構(gòu)建、 OLAP到數(shù)據(jù)集市管理等一系列產(chǎn)品包（如 Oracle Warehouse Builder、 Oracle Express、 DataMart Suit等）。 為什么要建立數(shù)據(jù)倉庫 ? 數(shù)據(jù)大量積累 ? 數(shù)據(jù)豐富、知識(shí)貧乏 ? 數(shù)據(jù) — 信息 — 知識(shí) — 效益的轉(zhuǎn)換需求 (DSS) ? OLTP的局限性 OLTP的局限性 ? 事務(wù)處理（操作型處理）和分析處理的性能特性不同 ? OLTP對數(shù)據(jù)的存取操作頻率高而每次操作處理的時(shí)間短； ? 在分析處理環(huán)境中，某個(gè) DSS應(yīng)用程序可能需要連續(xù)幾個(gè)小時(shí)，從而消耗大量的系統(tǒng)資源。 ? 數(shù)據(jù)保留最新，量少 ? 數(shù)據(jù)松散，集成度不高 ? 數(shù)據(jù)面向應(yīng)用而非主題 ? 數(shù)據(jù)質(zhì)量問題 數(shù)據(jù)庫應(yīng)用的規(guī)模和深度的發(fā)展 — 高級(jí)數(shù)據(jù)庫 ? 從在線事務(wù)處理 (OLTP)到在線分析處理 (OLAP)、數(shù)據(jù)挖掘 (Data Mining)和決策支持 (DS) 突出的問題 ? 數(shù)據(jù)庫適于存儲(chǔ)高度結(jié)構(gòu)化的日常事務(wù)細(xì)節(jié)數(shù)據(jù)，決策者可能并不關(guān)心具體的細(xì)節(jié)信息；存取操作頻率高，操作處理的時(shí)間短； ? 決策型數(shù)據(jù)多為歷史性、匯總性或計(jì)算性數(shù)據(jù)，多表現(xiàn)為靜態(tài)數(shù)據(jù)，周期性刷新；多維性，分析內(nèi)容復(fù)雜； 細(xì)節(jié)數(shù)據(jù)量太大嚴(yán)重影響分析效率，分散決策者的注意力；連續(xù)運(yùn)行，消耗大量的系統(tǒng)資源；數(shù)據(jù)來自企業(yè)內(nèi)部或企業(yè)外部，在分析時(shí)直接對這些數(shù)據(jù)操作會(huì)造成分析混亂。外部一些非結(jié)構(gòu)化數(shù)據(jù)，數(shù)據(jù)庫系統(tǒng)常無能為力。 多庫系統(tǒng)的限制 ? 可用性：源站點(diǎn)或通信網(wǎng)絡(luò)故障將導(dǎo)致系統(tǒng)癱瘓 , 源站點(diǎn)不能通過網(wǎng)絡(luò)在線聯(lián)入多庫系統(tǒng)。 ? 響應(yīng)速度：全局查詢多級(jí)轉(zhuǎn)換和通信傳輸 , 延遲和低層效率影響響應(yīng)速度。 ? 系統(tǒng)性能：總體性能取決于源站點(diǎn)中性能最低的系統(tǒng) , 影響系統(tǒng)性能的發(fā)揮 。 ? 系統(tǒng)開銷： 每次查詢要啟動(dòng)多個(gè)局部系統(tǒng) , 通信和運(yùn)行開銷大。 實(shí)施數(shù)據(jù)倉庫的條件 ? 數(shù)據(jù)積累已達(dá)到一定規(guī)模 ? 面臨激烈的市場競爭 ? 在 IT方面的資金能得到保障 數(shù)據(jù)倉庫的概念 Data Warehouse 數(shù)據(jù)倉庫的概念 ? 數(shù)據(jù)倉庫已被多種方式定義，使得很難提出一種嚴(yán)格的定義。按照 W. H. Inmon這位數(shù)據(jù)倉庫系統(tǒng)構(gòu)造方面的領(lǐng)頭設(shè)計(jì)師的說法：數(shù)據(jù)倉庫是一個(gè)面向主題的、集成的、時(shí)變的、非易失的數(shù)據(jù)集合，支持管理部門的決策過程。 ? 與其他數(shù)據(jù)庫應(yīng)用不同的是，數(shù)據(jù)倉庫更像一種過程，對分布在企業(yè)內(nèi)部各處的業(yè)務(wù)數(shù)據(jù)的整合、加工和分析的過程 —— 建立數(shù)據(jù)倉庫看作構(gòu)造和使用數(shù)據(jù)倉庫的過程。 數(shù)據(jù)倉庫特性 ? 面向主題 ? 典型的主題領(lǐng)域：客戶；產(chǎn)品；交易；帳目 ? 集成的 ? 數(shù)據(jù)提取、凈化、轉(zhuǎn)換、裝載 ? 非易失的 ? 數(shù)據(jù)倉庫的數(shù)據(jù)通常是一起載入和訪問的，但并不進(jìn)行一般意義上的數(shù)據(jù)更新 ? 隨時(shí)間的變化性 ? 數(shù)據(jù)倉庫中的時(shí)間期限要遠(yuǎn)遠(yuǎn)長于操作型系統(tǒng)中的時(shí)間期限（ 5~10年）； ? 數(shù)據(jù)倉庫中的數(shù)據(jù)是一系列某一時(shí)刻生成的復(fù)雜的快照； ? 數(shù)據(jù)倉庫的鍵碼結(jié)構(gòu)總是包含某時(shí)間元素。 數(shù)據(jù)倉庫 OLTP數(shù)據(jù)庫 管理層使用 一線工人使用 戰(zhàn)略性價(jià)值 策略性價(jià)值 支持戰(zhàn)略定向 支持日常操作 用于聯(lián)機(jī)分析 用于事務(wù)處理 面向主題 面向應(yīng)用程序 存儲(chǔ)歷史數(shù)據(jù) 僅存儲(chǔ)當(dāng)前數(shù)據(jù) 不可預(yù)測查詢模型 可預(yù)測查詢模型 數(shù)據(jù)倉庫與 OLTP數(shù)據(jù)庫 數(shù)據(jù)集市 ? 數(shù)據(jù)集市（ data mart）是數(shù)據(jù)倉庫的一個(gè)部門子集，它針對選定的主題，對于特定的用戶是有用的。 ? 數(shù)據(jù)集市分為獨(dú)立的和依賴的兩類。獨(dú)立的 數(shù)據(jù)集市中，數(shù)據(jù)來自一個(gè)或多個(gè)操作的系統(tǒng)或外部信息提供者，或者來自在一個(gè)特定的部門或地域局部產(chǎn)生的數(shù)據(jù)。數(shù)據(jù)集市中的數(shù)據(jù)直接來自企業(yè)數(shù)據(jù)倉庫。 操作型數(shù)據(jù)存儲(chǔ) ? 很多情況下， DBDW的兩層體系結(jié)構(gòu)并不能涵蓋企業(yè)所有的數(shù)據(jù)處理要求。 ? 日常管理和控制決策的問題并不是聯(lián)機(jī)事務(wù)處理，又算不上高層決策分析，需要企業(yè)全局一致的、細(xì)節(jié)的、當(dāng)前或接近當(dāng)前的數(shù)據(jù)，又需要面向主題、集成的數(shù)據(jù)環(huán)境。因此需要 DBDW之間存在著一個(gè)中間層次，即 操作型數(shù)據(jù)存儲(chǔ) ODS（ Operational Data Store ）。 操作型數(shù)據(jù)庫、 ODS和 DW的比較 比較項(xiàng)目 操作數(shù)據(jù)存儲(chǔ) 數(shù)據(jù)倉庫 數(shù)據(jù)內(nèi)容 當(dāng)前和最近的值 存檔 、 歸納數(shù)據(jù)和經(jīng)計(jì)算得出的數(shù)據(jù) 數(shù)據(jù)組織 根據(jù)主體域 數(shù)據(jù)集成 面向主題 數(shù)據(jù)性質(zhì) 動(dòng)態(tài) （ 經(jīng)常變化 ） 靜態(tài) （ 刷新時(shí)除外 ） 數(shù)據(jù)結(jié)構(gòu)和格式 復(fù)雜到簡單 簡單：適于商業(yè)分析 訪問概率 高到中 中到低 數(shù)據(jù)更新 無更新 訪問和生成：沒有直接地更新 數(shù)據(jù)訪問 每個(gè)事務(wù)訪問幾條記錄 每個(gè)事務(wù)訪問多條記錄 用途 高度結(jié)構(gòu)化 、 重復(fù)處理和事務(wù)處理和交互式 分析處理 對響應(yīng)時(shí)間的要求 低于 1秒到 2~3秒 幾秒到幾分 ， 有時(shí)幾小時(shí) 對性能的要求 中到高 中 ODS和 DW的比較 數(shù)據(jù)倉庫的結(jié)構(gòu) Structure of Data Warehouse 數(shù)據(jù)倉庫結(jié)構(gòu) 數(shù)據(jù)倉庫 MRDB MDDB 數(shù)據(jù)抽取 數(shù)據(jù)凈化 數(shù)據(jù)載入 信息發(fā)布 系統(tǒng) 操作型數(shù)據(jù)和外界數(shù)據(jù) 數(shù)據(jù)集市 報(bào)表 ,查詢 , EIS工具 OLAP 工具 數(shù)據(jù)挖掘工具 管理平臺(tái) 元數(shù)據(jù) 管理平臺(tái) 數(shù)據(jù)倉庫 可視化用戶接口 OLAP工具 查詢 /報(bào)表工具 數(shù)據(jù)挖掘工具 前端開發(fā)工具 集成器 集成器 轉(zhuǎn)換器 轉(zhuǎn)換器 源數(shù)據(jù) 源數(shù)據(jù) 元 數(shù) 據(jù) 及其管理工具 數(shù)據(jù)倉庫體系結(jié)構(gòu) 數(shù)據(jù)倉庫組成 ? 數(shù)據(jù)源