【正文】 動態(tài) （ 經(jīng)常變化 ） 靜態(tài) （ 刷新時除外 ） 數(shù)據(jù)結(jié)構(gòu)和格式 復(fù)雜到簡單 簡單：適于商業(yè)分析 訪問概率 高到中 中到低 數(shù)據(jù)更新 無更新 訪問和生成：沒有直接地更新 數(shù)據(jù)訪問 每個事務(wù)訪問幾條記錄 每個事務(wù)訪問多條記錄 用途 高度結(jié)構(gòu)化 、 重復(fù)處理和事務(wù)處理和交互式 分析處理 對響應(yīng)時間的要求 低于 1秒到 2~3秒 幾秒到幾分 ， 有時幾小時 對性能的要求 中到高 中 ODS和 DW的比較 數(shù)據(jù)倉庫的結(jié)構(gòu) Structure of Data Warehouse 數(shù)據(jù)倉庫結(jié)構(gòu) 數(shù)據(jù)倉庫 MRDB MDDB 數(shù)據(jù)抽取 數(shù)據(jù)凈化 數(shù)據(jù)載入 信息發(fā)布 系統(tǒng) 操作型數(shù)據(jù)和外界數(shù)據(jù) 數(shù)據(jù)集市 報表 ,查詢 , EIS工具 OLAP 工具 數(shù)據(jù)挖掘工具 管理平臺 元數(shù)據(jù) 管理平臺 數(shù)據(jù)倉庫 可視化用戶接口 OLAP工具 查詢 /報表工具 數(shù)據(jù)挖掘工具 前端開發(fā)工具 集成器 集成器 轉(zhuǎn)換器 轉(zhuǎn)換器 源數(shù)據(jù) 源數(shù)據(jù) 元 數(shù) 據(jù) 及其管理工具 數(shù)據(jù)倉庫體系結(jié)構(gòu) 數(shù)據(jù)倉庫組成 ? 數(shù)據(jù)源 ? 數(shù)據(jù)抽?。?Extraction）、轉(zhuǎn)換（ Transformation）、集成、裝載（ Load）和刷新（ Refresh）工具：格式、凈化和匯總 ? 數(shù)據(jù)建模工具（ Modeling Tools） ? 元數(shù)據(jù)倉儲（ Metadata Repository） ? 數(shù)據(jù)倉庫監(jiān)控（ Monitoring）和管理（ Administration）工具： 維護(hù)數(shù)據(jù)倉庫中的數(shù)據(jù)，備份、恢復(fù)數(shù)據(jù)以及管理數(shù)據(jù)的安全權(quán)限問題。數(shù)據(jù)集市中的數(shù)據(jù)直接來自企業(yè)數(shù)據(jù)倉庫。 數(shù)據(jù)倉庫特性 ? 面向主題 ? 典型的主題領(lǐng)域：客戶；產(chǎn)品；交易；帳目 ? 集成的 ? 數(shù)據(jù)提取、凈化、轉(zhuǎn)換、裝載 ? 非易失的 ? 數(shù)據(jù)倉庫的數(shù)據(jù)通常是一起載入和訪問的，但并不進(jìn)行一般意義上的數(shù)據(jù)更新 ? 隨時間的變化性 ? 數(shù)據(jù)倉庫中的時間期限要遠(yuǎn)遠(yuǎn)長于操作型系統(tǒng)中的時間期限（ 5~10年）； ? 數(shù)據(jù)倉庫中的數(shù)據(jù)是一系列某一時刻生成的復(fù)雜的快照； ? 數(shù)據(jù)倉庫的鍵碼結(jié)構(gòu)總是包含某時間元素。 ? 系統(tǒng)開銷： 每次查詢要啟動多個局部系統(tǒng) , 通信和運行開銷大。外部一些非結(jié)構(gòu)化數(shù)據(jù)，數(shù)據(jù)庫系統(tǒng)常無能為力。 ? Sybase: 提供了專門的 OLAP服務(wù)器 Sybase IQ，并將其與數(shù)據(jù)倉庫相關(guān)工具打包成 Warehouse Studio 。 ? 其他數(shù)據(jù)庫廠商在數(shù)據(jù)倉庫領(lǐng)域也紛紛提出了各自的解決方案。數(shù)據(jù)倉庫結(jié)構(gòu)設(shè)計與開發(fā) 提綱 ? 1. 數(shù)據(jù)倉庫的發(fā)展 ? 2. 數(shù)據(jù)倉庫的概念及特性 ? 3. 數(shù)據(jù)倉庫的結(jié)構(gòu) ? 4. 數(shù)據(jù)倉庫的開發(fā)過程 ? 5. 數(shù)據(jù)倉庫的典型應(yīng)用 數(shù)據(jù)倉庫的發(fā)展 Development of DataWarehouse 數(shù)據(jù)倉庫的發(fā)展（ 1） ? NCR公司為 Walmart建立了第一個數(shù)據(jù)倉庫。 數(shù)據(jù)倉庫的發(fā)展（ 2） ? IBM: 在其 DB2 UDB發(fā)布一年后的 1998年 9月發(fā)布 ，并于 1998年 12月推向中國市場，除了用于聯(lián)機(jī)分析處理（ OLAP ）的后臺服務(wù)器 DB2 OLAP Server外， IBM還提供了一系列相關(guān)的產(chǎn)品，包括前端工具，形成一整套解決方案。 ? Oracle公司 : 則推出從數(shù)據(jù)倉庫構(gòu)建、 OLAP到數(shù)據(jù)集市管理等一系列產(chǎn)品包（如 Oracle Warehouse Builder、 Oracle Express、 DataMart Suit等）。 多庫系統(tǒng)的限制 ? 可用性：源站點或通信網(wǎng)絡(luò)故障將導(dǎo)致系統(tǒng)癱瘓 , 源站點不能通過網(wǎng)絡(luò)在線聯(lián)入多庫系統(tǒng)。 實施數(shù)據(jù)倉庫的條件 ? 數(shù)據(jù)積累已達(dá)到一定規(guī)模 ? 面臨激烈的市場競爭 ? 在 IT方面的資金能得到保障 數(shù)據(jù)倉庫的概念 Data Warehouse 數(shù)據(jù)倉庫的概念 ? 數(shù)據(jù)倉庫已被多種方式定義，使得很難提出一種嚴(yán)格的定義。 數(shù)據(jù)倉庫 OLTP數(shù)據(jù)庫 管理層使用 一線工人使用 戰(zhàn)略性價值 策略性價值 支持戰(zhàn)略定向 支持日常操作 用于聯(lián)機(jī)分析 用于事務(wù)處理 面向主題 面向應(yīng)用程序 存儲歷史數(shù)據(jù) 僅存儲當(dāng)前數(shù)據(jù) 不可預(yù)測查詢模型 可預(yù)測查詢模型 數(shù)據(jù)倉庫與 OLTP數(shù)據(jù)庫 數(shù)據(jù)集市 ? 數(shù)據(jù)集市（ data mart）是數(shù)據(jù)倉庫的一個部門子集，它針對選定的主題，對于特定的用戶是有用的。 操作型數(shù)據(jù)存儲 ? 很多情況下， DBDW的兩層體系結(jié)構(gòu)并不能涵蓋企業(yè)所有的數(shù)據(jù)處理要求。 ? 數(shù)據(jù)倉庫及數(shù)據(jù)集市的目標(biāo)數(shù)據(jù)庫（ Target DataBase） ? OLAP服務(wù)器 ? 前端數(shù)據(jù)訪問和分析工具 轉(zhuǎn)換器 ? 轉(zhuǎn)換器的功能： ? 數(shù)據(jù)結(jié)構(gòu)轉(zhuǎn)換和數(shù)據(jù)類型轉(zhuǎn)換 ? 非結(jié)構(gòu)化數(shù)據(jù)的轉(zhuǎn)換 創(chuàng)建數(shù)據(jù)準(zhǔn)備區(qū) N 開始 讀源數(shù)據(jù) 檢查數(shù)據(jù)準(zhǔn)備區(qū) ? 執(zhí)行 DTS包 更改元數(shù)據(jù)（時間，數(shù)據(jù)狀態(tài)） 結(jié)束 成功 連接源數(shù)據(jù)庫 創(chuàng)建 DTS包 Y 數(shù)據(jù)準(zhǔn)備區(qū) ? 從源數(shù)據(jù)中提取數(shù)據(jù)，轉(zhuǎn)換成數(shù)據(jù)倉庫所要求的格式后存儲在數(shù)據(jù)倉庫的一個稱為數(shù)據(jù)準(zhǔn)備區(qū)的緩沖區(qū)中。 ? DELTA文件：該文件是由應(yīng)用產(chǎn)生的，并記錄了應(yīng)用所改變的所有內(nèi)容。 ? 日志文件：由于日志文件是數(shù)據(jù)庫的固有機(jī)制，所以它對系統(tǒng)性能的影響比較小，另外它還有 DELTA文件的優(yōu)點，提取數(shù)據(jù)只局限于日志文件而不用掃描整個數(shù)據(jù)庫。 粒度 ? 粒度影響數(shù)據(jù)倉庫中的數(shù)據(jù)量和查詢的種類； ? 聚合是構(gòu)成維內(nèi)不同層次的數(shù)據(jù)集，使用戶能夠在維度內(nèi)的不同層次上觀察數(shù)據(jù)。 元數(shù)據(jù)的種類 ? 轉(zhuǎn)換元數(shù)據(jù)：為了從事務(wù)處理型環(huán)境向數(shù)據(jù)倉庫中轉(zhuǎn)換而建立的元數(shù)據(jù)，它包含了所有源數(shù)據(jù)的信息、事務(wù)描述、數(shù)據(jù)結(jié)構(gòu)的定義、提取數(shù)據(jù)和傳送數(shù)據(jù)的算法、綜合數(shù)據(jù)和凈化數(shù)據(jù)的規(guī)則、數(shù)據(jù)訪問和傳送的記錄等。 ?數(shù)據(jù)倉庫的主題描述。 ?數(shù)據(jù)進(jìn)入數(shù)據(jù)倉庫的轉(zhuǎn)換規(guī)則。 ?廣義索引。存儲的數(shù)據(jù)細(xì)節(jié)化程度很高，可以應(yīng)付多種細(xì)節(jié)查詢，但分析時查詢的效率較低。 ? 輪轉(zhuǎn)綜合文件： 數(shù)據(jù)存儲單位被分為日、周、月、年等幾個級別，逐級綜合。由于大多數(shù)商務(wù)數(shù)據(jù)是多維的，但傳統(tǒng)的數(shù)據(jù)模型表示三維以上的數(shù)據(jù)有一定困難。它由維和事實定義。 ? 數(shù)據(jù)倉庫通常使用事實星座模式 ，因為它能對多個相關(guān)的主題建模。事實表：用來存儲事實的度量值和各個維的碼值，維表用來存放維的元數(shù)據(jù)（維的層次、成員類別等描述信息）。 事實星座 ? 復(fù)雜的應(yīng)用可能需要多個事實表共享維表，這種模式可以看作星型模式集，因此稱為星系模式 (galaxy schema)，或事實星座 (fact constellation) 。 DMQL 包括定義數(shù)據(jù)倉庫、數(shù)據(jù)集市、挖掘概念 /類描述、關(guān)聯(lián)和分類的語言原語。 ? 大部分度量可以根據(jù)其所用的聚集函數(shù)分成 分布的和 代數(shù)的： ? 一個度量是分布的，如果它可以用分布聚集函數(shù) count( ),sum(), min()和 max( )得到。聚集函數(shù) sum用于計算 dollars_sold和units_sold。國家可以映射到它所屬的大洲。 物理數(shù)據(jù)模型 ? 物理數(shù)據(jù)模型：星型模型等在數(shù)據(jù)倉庫中的實現(xiàn)，如物理的存取方式、數(shù)據(jù)存儲結(jié)構(gòu)等。 數(shù)據(jù)倉庫開發(fā)過程 Building the Data Warehouse 應(yīng)用 A 應(yīng)用 B 應(yīng)用 C 收集應(yīng)用需求 分析應(yīng)用需求 構(gòu)建數(shù)據(jù)庫 系統(tǒng)實施 系統(tǒng)測試 應(yīng)用編程 DB SDLC方法 數(shù)據(jù)倉庫建模 數(shù)據(jù)獲取與集成 構(gòu)建數(shù)據(jù)倉庫 理解需求 系統(tǒng)測試 DSS應(yīng)用編程 DW CLDS方法 DB 外部數(shù)據(jù) DB