【正文】 動(dòng)態(tài) （ 經(jīng)常變化 ） 靜態(tài) （ 刷新時(shí)除外 ） 數(shù)據(jù)結(jié)構(gòu)和格式 復(fù)雜到簡(jiǎn)單 簡(jiǎn)單：適于商業(yè)分析 訪問(wèn)概率 高到中 中到低 數(shù)據(jù)更新 無(wú)更新 訪問(wèn)和生成：沒(méi)有直接地更新 數(shù)據(jù)訪問(wèn) 每個(gè)事務(wù)訪問(wèn)幾條記錄 每個(gè)事務(wù)訪問(wèn)多條記錄 用途 高度結(jié)構(gòu)化 、 重復(fù)處理和事務(wù)處理和交互式 分析處理 對(duì)響應(yīng)時(shí)間的要求 低于 1秒到 2~3秒 幾秒到幾分 ， 有時(shí)幾小時(shí) 對(duì)性能的要求 中到高 中 ODS和 DW的比較 數(shù)據(jù)倉(cāng)庫(kù)的結(jié)構(gòu) Structure of Data Warehouse 數(shù)據(jù)倉(cāng)庫(kù)結(jié)構(gòu) 數(shù)據(jù)倉(cāng)庫(kù) MRDB MDDB 數(shù)據(jù)抽取 數(shù)據(jù)凈化 數(shù)據(jù)載入 信息發(fā)布 系統(tǒng) 操作型數(shù)據(jù)和外界數(shù)據(jù) 數(shù)據(jù)集市 報(bào)表 ,查詢 , EIS工具 OLAP 工具 數(shù)據(jù)挖掘工具 管理平臺(tái) 元數(shù)據(jù) 管理平臺(tái) 數(shù)據(jù)倉(cāng)庫(kù) 可視化用戶接口 OLAP工具 查詢 /報(bào)表工具 數(shù)據(jù)挖掘工具 前端開(kāi)發(fā)工具 集成器 集成器 轉(zhuǎn)換器 轉(zhuǎn)換器 源數(shù)據(jù) 源數(shù)據(jù) 元 數(shù) 據(jù) 及其管理工具 數(shù)據(jù)倉(cāng)庫(kù)體系結(jié)構(gòu) 數(shù)據(jù)倉(cāng)庫(kù)組成 ? 數(shù)據(jù)源 ? 數(shù)據(jù)抽取（ Extraction）、轉(zhuǎn)換（ Transformation）、集成、裝載（ Load）和刷新（ Refresh）工具：格式、凈化和匯總 ? 數(shù)據(jù)建模工具（ Modeling Tools） ? 元數(shù)據(jù)倉(cāng)儲(chǔ)（ Metadata Repository） ? 數(shù)據(jù)倉(cāng)庫(kù)監(jiān)控（ Monitoring）和管理（ Administration）工具： 維護(hù)數(shù)據(jù)倉(cāng)庫(kù)中的數(shù)據(jù)，備份、恢復(fù)數(shù)據(jù)以及管理數(shù)據(jù)的安全權(quán)限問(wèn)題。數(shù)據(jù)集市中的數(shù)據(jù)直接來(lái)自企業(yè)數(shù)據(jù)倉(cāng)庫(kù)。 數(shù)據(jù)倉(cāng)庫(kù)特性 ? 面向主題 ? 典型的主題領(lǐng)域：客戶；產(chǎn)品；交易；帳目 ? 集成的 ? 數(shù)據(jù)提取、凈化、轉(zhuǎn)換、裝載 ? 非易失的 ? 數(shù)據(jù)倉(cāng)庫(kù)的數(shù)據(jù)通常是一起載入和訪問(wèn)的，但并不進(jìn)行一般意義上的數(shù)據(jù)更新 ? 隨時(shí)間的變化性 ? 數(shù)據(jù)倉(cāng)庫(kù)中的時(shí)間期限要遠(yuǎn)遠(yuǎn)長(zhǎng)于操作型系統(tǒng)中的時(shí)間期限（ 5~10年）； ? 數(shù)據(jù)倉(cāng)庫(kù)中的數(shù)據(jù)是一系列某一時(shí)刻生成的復(fù)雜的快照； ? 數(shù)據(jù)倉(cāng)庫(kù)的鍵碼結(jié)構(gòu)總是包含某時(shí)間元素。 ? 系統(tǒng)開(kāi)銷(xiāo)： 每次查詢要啟動(dòng)多個(gè)局部系統(tǒng) , 通信和運(yùn)行開(kāi)銷(xiāo)大。外部一些非結(jié)構(gòu)化數(shù)據(jù)，數(shù)據(jù)庫(kù)系統(tǒng)常無(wú)能為力。 ? Sybase: 提供了專(zhuān)門(mén)的 OLAP服務(wù)器 Sybase IQ，并將其與數(shù)據(jù)倉(cāng)庫(kù)相關(guān)工具打包成 Warehouse Studio 。 ? 其他數(shù)據(jù)庫(kù)廠商在數(shù)據(jù)倉(cāng)庫(kù)領(lǐng)域也紛紛提出了各自的解決方案。數(shù)據(jù)倉(cāng)庫(kù)結(jié)構(gòu)設(shè)計(jì)與開(kāi)發(fā) 提綱 ? 1. 數(shù)據(jù)倉(cāng)庫(kù)的發(fā)展 ? 2. 數(shù)據(jù)倉(cāng)庫(kù)的概念及特性 ? 3. 數(shù)據(jù)倉(cāng)庫(kù)的結(jié)構(gòu) ? 4. 數(shù)據(jù)倉(cāng)庫(kù)的開(kāi)發(fā)過(guò)程 ? 5. 數(shù)據(jù)倉(cāng)庫(kù)的典型應(yīng)用 數(shù)據(jù)倉(cāng)庫(kù)的發(fā)展 Development of DataWarehouse 數(shù)據(jù)倉(cāng)庫(kù)的發(fā)展（ 1） ? NCR公司為 Walmart建立了第一個(gè)數(shù)據(jù)倉(cāng)庫(kù)。 數(shù)據(jù)倉(cāng)庫(kù)的發(fā)展（ 2） ? IBM: 在其 DB2 UDB發(fā)布一年后的 1998年 9月發(fā)布 ，并于 1998年 12月推向中國(guó)市場(chǎng)，除了用于聯(lián)機(jī)分析處理（ OLAP ）的后臺(tái)服務(wù)器 DB2 OLAP Server外， IBM還提供了一系列相關(guān)的產(chǎn)品，包括前端工具，形成一整套解決方案。 ? Oracle公司 : 則推出從數(shù)據(jù)倉(cāng)庫(kù)構(gòu)建、 OLAP到數(shù)據(jù)集市管理等一系列產(chǎn)品包（如 Oracle Warehouse Builder、 Oracle Express、 DataMart Suit等）。 多庫(kù)系統(tǒng)的限制 ? 可用性：源站點(diǎn)或通信網(wǎng)絡(luò)故障將導(dǎo)致系統(tǒng)癱瘓 , 源站點(diǎn)不能通過(guò)網(wǎng)絡(luò)在線聯(lián)入多庫(kù)系統(tǒng)。 實(shí)施數(shù)據(jù)倉(cāng)庫(kù)的條件 ? 數(shù)據(jù)積累已達(dá)到一定規(guī)模 ? 面臨激烈的市場(chǎng)競(jìng)爭(zhēng) ? 在 IT方面的資金能得到保障 數(shù)據(jù)倉(cāng)庫(kù)的概念 Data Warehouse 數(shù)據(jù)倉(cāng)庫(kù)的概念 ? 數(shù)據(jù)倉(cāng)庫(kù)已被多種方式定義，使得很難提出一種嚴(yán)格的定義。 數(shù)據(jù)倉(cāng)庫(kù) OLTP數(shù)據(jù)庫(kù) 管理層使用 一線工人使用 戰(zhàn)略性價(jià)值 策略性價(jià)值 支持戰(zhàn)略定向 支持日常操作 用于聯(lián)機(jī)分析 用于事務(wù)處理 面向主題 面向應(yīng)用程序 存儲(chǔ)歷史數(shù)據(jù) 僅存儲(chǔ)當(dāng)前數(shù)據(jù) 不可預(yù)測(cè)查詢模型 可預(yù)測(cè)查詢模型 數(shù)據(jù)倉(cāng)庫(kù)與 OLTP數(shù)據(jù)庫(kù) 數(shù)據(jù)集市 ? 數(shù)據(jù)集市（ data mart）是數(shù)據(jù)倉(cāng)庫(kù)的一個(gè)部門(mén)子集，它針對(duì)選定的主題，對(duì)于特定的用戶是有用的。 操作型數(shù)據(jù)存儲(chǔ) ? 很多情況下， DBDW的兩層體系結(jié)構(gòu)并不能涵蓋企業(yè)所有的數(shù)據(jù)處理要求。 ? 數(shù)據(jù)倉(cāng)庫(kù)及數(shù)據(jù)集市的目標(biāo)數(shù)據(jù)庫(kù)（ Target DataBase） ? OLAP服務(wù)器 ? 前端數(shù)據(jù)訪問(wèn)和分析工具 轉(zhuǎn)換器 ? 轉(zhuǎn)換器的功能： ? 數(shù)據(jù)結(jié)構(gòu)轉(zhuǎn)換和數(shù)據(jù)類(lèi)型轉(zhuǎn)換 ? 非結(jié)構(gòu)化數(shù)據(jù)的轉(zhuǎn)換 創(chuàng)建數(shù)據(jù)準(zhǔn)備區(qū) N 開(kāi)始 讀源數(shù)據(jù) 檢查數(shù)據(jù)準(zhǔn)備區(qū) ? 執(zhí)行 DTS包 更改元數(shù)據(jù)（時(shí)間，數(shù)據(jù)狀態(tài)） 結(jié)束 成功 連接源數(shù)據(jù)庫(kù) 創(chuàng)建 DTS包 Y 數(shù)據(jù)準(zhǔn)備區(qū) ? 從源數(shù)據(jù)中提取數(shù)據(jù)，轉(zhuǎn)換成數(shù)據(jù)倉(cāng)庫(kù)所要求的格式后存儲(chǔ)在數(shù)據(jù)倉(cāng)庫(kù)的一個(gè)稱為數(shù)據(jù)準(zhǔn)備區(qū)的緩沖區(qū)中。 ? DELTA文件：該文件是由應(yīng)用產(chǎn)生的，并記錄了應(yīng)用所改變的所有內(nèi)容。 ? 日志文件：由于日志文件是數(shù)據(jù)庫(kù)的固有機(jī)制，所以它對(duì)系統(tǒng)性能的影響比較小，另外它還有 DELTA文件的優(yōu)點(diǎn)，提取數(shù)據(jù)只局限于日志文件而不用掃描整個(gè)數(shù)據(jù)庫(kù)。 粒度 ? 粒度影響數(shù)據(jù)倉(cāng)庫(kù)中的數(shù)據(jù)量和查詢的種類(lèi)； ? 聚合是構(gòu)成維內(nèi)不同層次的數(shù)據(jù)集，使用戶能夠在維度內(nèi)的不同層次上觀察數(shù)據(jù)。 元數(shù)據(jù)的種類(lèi) ? 轉(zhuǎn)換元數(shù)據(jù)：為了從事務(wù)處理型環(huán)境向數(shù)據(jù)倉(cāng)庫(kù)中轉(zhuǎn)換而建立的元數(shù)據(jù)，它包含了所有源數(shù)據(jù)的信息、事務(wù)描述、數(shù)據(jù)結(jié)構(gòu)的定義、提取數(shù)據(jù)和傳送數(shù)據(jù)的算法、綜合數(shù)據(jù)和凈化數(shù)據(jù)的規(guī)則、數(shù)據(jù)訪問(wèn)和傳送的記錄等。 ?數(shù)據(jù)倉(cāng)庫(kù)的主題描述。 ?數(shù)據(jù)進(jìn)入數(shù)據(jù)倉(cāng)庫(kù)的轉(zhuǎn)換規(guī)則。 ?廣義索引。存儲(chǔ)的數(shù)據(jù)細(xì)節(jié)化程度很高，可以應(yīng)付多種細(xì)節(jié)查詢，但分析時(shí)查詢的效率較低。 ? 輪轉(zhuǎn)綜合文件： 數(shù)據(jù)存儲(chǔ)單位被分為日、周、月、年等幾個(gè)級(jí)別，逐級(jí)綜合。由于大多數(shù)商務(wù)數(shù)據(jù)是多維的，但傳統(tǒng)的數(shù)據(jù)模型表示三維以上的數(shù)據(jù)有一定困難。它由維和事實(shí)定義。 ? 數(shù)據(jù)倉(cāng)庫(kù)通常使用事實(shí)星座模式 ，因?yàn)樗軐?duì)多個(gè)相關(guān)的主題建模。事實(shí)表：用來(lái)存儲(chǔ)事實(shí)的度量值和各個(gè)維的碼值，維表用來(lái)存放維的元數(shù)據(jù)（維的層次、成員類(lèi)別等描述信息）。 事實(shí)星座 ? 復(fù)雜的應(yīng)用可能需要多個(gè)事實(shí)表共享維表，這種模式可以看作星型模式集，因此稱為星系模式 (galaxy schema)，或事實(shí)星座 (fact constellation) 。 DMQL 包括定義數(shù)據(jù)倉(cāng)庫(kù)、數(shù)據(jù)集市、挖掘概念 /類(lèi)描述、關(guān)聯(lián)和分類(lèi)的語(yǔ)言原語(yǔ)。 ? 大部分度量可以根據(jù)其所用的聚集函數(shù)分成 分布的和 代數(shù)的： ? 一個(gè)度量是分布的，如果它可以用分布聚集函數(shù) count( ),sum(), min()和 max( )得到。聚集函數(shù) sum用于計(jì)算 dollars_sold和units_sold。國(guó)家可以映射到它所屬的大洲。 物理數(shù)據(jù)模型 ? 物理數(shù)據(jù)模型：星型模型等在數(shù)據(jù)倉(cāng)庫(kù)中的實(shí)現(xiàn)，如物理的存取方式、數(shù)據(jù)存儲(chǔ)結(jié)構(gòu)等。 數(shù)據(jù)倉(cāng)庫(kù)開(kāi)發(fā)過(guò)程 Building the Data Warehouse 應(yīng)用 A 應(yīng)用 B 應(yīng)用 C 收集應(yīng)用需求 分析應(yīng)用需求 構(gòu)建數(shù)據(jù)庫(kù) 系統(tǒng)實(shí)施 系統(tǒng)測(cè)試 應(yīng)用編程 DB SDLC方法 數(shù)據(jù)倉(cāng)庫(kù)建模 數(shù)據(jù)獲取與集成 構(gòu)建數(shù)據(jù)倉(cāng)庫(kù) 理解需求 系統(tǒng)測(cè)試 DSS應(yīng)用編程 DW CLDS方法 DB 外部數(shù)據(jù) DB