數(shù)據(jù)倉庫的概念與體系結(jié)構(gòu)概述(參考版)
2025-03-06 22:57本頁面
【正文】 – 自底向上方法提供了更多的開發(fā)靈活性，價格便宜；但往往會遇到集成問題（每個模塊單獨運行都沒有問題，但是一集成就出異常） ? 解決方法： – 使用遞增性、演化性的開發(fā)方法 – 高層數(shù)據(jù)模型 ?企業(yè)倉庫和數(shù)據(jù)集市并行開發(fā) ?通過分布式模型集成各數(shù)據(jù)集市 ?多層數(shù)據(jù)倉庫 演講完畢，謝謝觀看！ 。 ? 抽取和加載通常是定期的，每天、每周、或者每月，根據(jù)數(shù)據(jù)倉庫面向的主題而定。 4. 用戶通過 SQL查詢語言或其他分析工具訪問數(shù)據(jù)倉庫，其結(jié)果又會反饋到數(shù)據(jù)倉庫和操作型數(shù)據(jù)庫。 3. 建立數(shù)據(jù)倉庫。其范圍限于選定的主題，比如一個商場的數(shù)據(jù)集市 – 獨立的數(shù)據(jù)集市 VS. 非獨立的數(shù)據(jù)集市（數(shù)據(jù)來自于企業(yè)數(shù)據(jù)倉庫） – 虛擬倉庫 ? 操作數(shù)據(jù)庫上的一系列視圖 ? 只有一些可能的匯總視圖被物化 獨立的數(shù)據(jù)倉庫系統(tǒng) （企業(yè)數(shù)據(jù)倉庫） 唯 一 的 、 企 業(yè) 級 的數(shù) 據(jù) 倉 庫數(shù) 據(jù) 倉 庫D a t a W a r e h o u s e外 部 的內(nèi) 部 的源 數(shù) 據(jù) 系 統(tǒng)( S o u r c e D a t a S y s t e m s )數(shù) 據(jù) 集 結(jié) 區(qū)( D a t a S t a g i n g A r e a )處 理 過 程 ：清 洗 ( c l e a n )調(diào) 和 ( r e c o n c i l e )導(dǎo) 出 ( d e r i v e )匹 配 ( m a t c h )合 并 ( c o m b i n e )消 除 重 復(fù)( r e m o v e d u p s )標(biāo) 準(zhǔn) 化( s t a n d a r d i z e )轉(zhuǎn) 換 ( t r a n s f o r m )輸 出 到 倉 庫( e x p o r t t o D W )抽 取 E x t r a c t抽 取 E x t r a c t抽 取 E x t r a c t抽 取 E x t r a c t清 洗 的 維 數(shù) 據(jù)加載Load數(shù) 據(jù) 及 元 數(shù) 據(jù) 存 儲 區(qū)( D a t a M e t a d a t a S t o r a g e A r e a )數(shù) 據(jù) 展 示 ：查 詢 工 具報 表 生 成 器終 端 用 戶 應(yīng) 用建 模 與 挖 掘 工 具可 視 化 工 具填充Feed查 詢 結(jié) 果 與 挖 掘 結(jié) 果終 端 用 戶 表 示 工 具( E n d U s e r P r e s e n t a t i o n T o o l s )ELT構(gòu)造 步驟 1. 數(shù)據(jù)從各種內(nèi)部、外部的源系統(tǒng)文件或數(shù)據(jù)庫中抽取，在一個大的組織中可能有幾十或幾百個這樣的文件和數(shù)據(jù)庫系統(tǒng)。 （ 4） 邏輯型數(shù)據(jù)集市和實時數(shù)據(jù)倉庫 （ Logical Data Mart and RealTime Data Warehouse） 。 （ 2） 獨立型數(shù)據(jù)集市 （ Independent Data Mart） 。 – MOLAP（多維 OLAP）結(jié)構(gòu)：核心是其數(shù)據(jù)存儲采用矩陣（可能是多維方陣）方式，數(shù)據(jù)檢索高效 – HOLAP（混合 OLAP）結(jié)構(gòu)：結(jié)合 ROLAP和 MOLAP技術(shù)，在 MOLAP立方體中存儲高級別的聚集，在ROLAP中存儲低級別的聚集。 – ROLAP（關(guān)系 OLAP）結(jié)構(gòu)：使用關(guān)系或擴(kuò)充關(guān)系DBMS存儲并管理數(shù)據(jù)倉庫， OLAP中間件支持其余部分。 OLAP服務(wù)應(yīng)該被看作數(shù)據(jù)倉庫解決方案的一部分。 OLAP服務(wù)卻不是數(shù)據(jù)集成而設(shè)計，但它是一種強(qiáng)大的數(shù)據(jù)呈現(xiàn)方法。 OLTP系統(tǒng) VS. OLAP系統(tǒng)比較 (1) ? 用戶和系統(tǒng)的面向性 – 面向顧客（事務(wù)） VS. 面向市場（分析） ? 數(shù)據(jù)內(nèi)容 – 當(dāng)前的、詳細(xì)的數(shù)據(jù) VS. 歷史的、匯總的數(shù)據(jù) ? 數(shù)據(jù)庫設(shè)計 – 實體－聯(lián)系模型 (ER)和面向應(yīng)用的數(shù)據(jù)庫設(shè)計 VS. 星型 /雪花模型和面向主題的數(shù)據(jù)庫設(shè)計 OLTP系統(tǒng) VS. OLAP系統(tǒng)比較 (2) ? 數(shù)據(jù)視圖 – 當(dāng)前的、企業(yè)內(nèi)部的數(shù)據(jù) VS. 經(jīng)過演化的、集成的數(shù)據(jù) ? 訪問模式 – 事務(wù)操作 VS. 只讀查詢（但很多是復(fù)雜的查詢） ? 任務(wù)單位 – 簡短的事務(wù) VS. 復(fù)雜的查詢 ? 訪問數(shù)據(jù)量 – 數(shù)十個 VS. 數(shù)百萬個 OLTP系統(tǒng) VS. OLAP系統(tǒng)比較 (3) ? 用戶數(shù) – 數(shù)千個 VS. 數(shù)百個 ? 數(shù)據(jù)庫規(guī)模 – 100M數(shù) GB VS. 100GB數(shù) TB ? 度量 – 事務(wù)吞吐量 VS. 查詢吞吐量、響應(yīng)時間 OLAP與數(shù)據(jù)倉庫的區(qū)別 ? OLAP是大多數(shù)數(shù)據(jù)倉庫系統(tǒng)用來呈現(xiàn)數(shù)據(jù)分析結(jié)果的方法之一。也稱為 實時系統(tǒng) (Real time System)。 OLTP 與 OLAP比較 OLTP ? OLTP 也稱為 面向交易 的處理系統(tǒng)，其基本特征是顧客的原始數(shù)據(jù)可以立即傳送到計算中心進(jìn)行處理，并在很短的時間內(nèi)給出處理結(jié)果。 ? 數(shù)據(jù)庫技術(shù)一直在盡量勝任事務(wù)處理、批處理到分析處理，雖然在事務(wù)處理應(yīng)用方面取得了成功，但分析處理的支持隨著數(shù)據(jù)的增長越來越無法勝任。 ? OLAP是 數(shù)據(jù)倉庫系統(tǒng)的主要應(yīng)用 ，支持復(fù)雜的分析操作，側(cè)重決策支持，并且提供直觀易懂的查詢結(jié)果 . 背景 ? 數(shù)據(jù)庫系統(tǒng)作為數(shù)據(jù)管理手段，主要用于事務(wù)處理。 其中： – 數(shù)據(jù)分析 工具主要針對 OLAP服務(wù)器 – 報表工具、數(shù)據(jù)挖掘工具既可以用于數(shù)據(jù)倉庫，也可針對 OLAP服務(wù)器 OLTP和 OLAP –
環(huán)評公示相關(guān)推薦
鄂ICP備17016276號-1