數(shù)據(jù)倉(cāng)庫(kù)的概念與體系結(jié)構(gòu)概述-免費(fèi)閱讀
【正文】 ETL簡(jiǎn)介 ? 數(shù)據(jù)從源系統(tǒng)加載到數(shù)據(jù)庫(kù)倉(cāng)庫(kù)之前，需要進(jìn)行抽取 E(Extract) 、清洗 C(cleaning)、轉(zhuǎn)換 T(transform)，最后加載 L(load) ，這就是ETL過(guò)程。 （ 3） 依賴型數(shù)據(jù)集市和操作型數(shù)據(jù)存儲(chǔ) （ Dependent Data Mart and Operational Data Store） 。 ? 典型的 OLAP服務(wù)常常源自一個(gè)或多個(gè)專門設(shè)計(jì)的數(shù)據(jù)集市。 ? 結(jié)果就是將事務(wù)處理系統(tǒng)和分析處理系統(tǒng)分離，建立兩個(gè)獨(dú)立的系統(tǒng)。 OLAP服務(wù)器 ? OLAP（聯(lián)機(jī)分析處理）是針對(duì)某個(gè)特定的主題進(jìn)行聯(lián)機(jī)數(shù)據(jù)訪問(wèn)、處理、分析，通過(guò)直觀的方式，從多個(gè)維度、多種數(shù)據(jù)綜合度進(jìn)行分析，并將結(jié)果呈現(xiàn)給使用者。 數(shù)據(jù)倉(cāng)庫(kù)的組成 ? 數(shù)據(jù)倉(cāng)庫(kù)管理 – 數(shù)據(jù)倉(cāng)庫(kù)管理包括安全與權(quán)限管理、數(shù)據(jù)更新跟蹤、數(shù)據(jù)質(zhì)量檢查、元數(shù)據(jù)的管理與更新、數(shù)據(jù)倉(cāng)庫(kù)使用狀態(tài)的檢測(cè)與審計(jì)、數(shù)據(jù)復(fù)制與刪除、數(shù)據(jù)分割與分發(fā)、數(shù)據(jù)備份與恢復(fù)、數(shù)據(jù)存儲(chǔ)管理等。 – 業(yè)務(wù)元數(shù)據(jù)主要包括： ? 用戶的業(yè)務(wù)術(shù)語(yǔ)和它們表達(dá)的數(shù)據(jù)模型信息 ? 對(duì)象名稱及其屬性 ? 數(shù)據(jù)的來(lái)源信息和數(shù)據(jù)訪問(wèn)的規(guī)則信息。相對(duì)于傳統(tǒng)數(shù)據(jù)庫(kù)來(lái)說(shuō)，它突出的特點(diǎn)是對(duì)海量數(shù)據(jù)的支持和快速的檢索技術(shù)。 ? 關(guān)系數(shù)據(jù)庫(kù)，一般文件， 聯(lián)機(jī)事務(wù)處理記錄 ? 使用數(shù)據(jù)清理和數(shù)據(jù)集成技術(shù) 。 ? 針對(duì)這一問(wèn)題 ， 人們?cè)O(shè)想專門為業(yè)務(wù)數(shù)據(jù)的統(tǒng)計(jì)分析建立一個(gè)數(shù)據(jù)中心 ， 它的數(shù)據(jù)從 聯(lián)機(jī)事務(wù)處理 系統(tǒng)中來(lái) 、 從 異構(gòu)的外部數(shù)據(jù)源 來(lái) 、 或從 脫機(jī)的歷史業(yè)務(wù)數(shù)據(jù) 中來(lái) ? 這個(gè)數(shù)據(jù)中心也是一個(gè)聯(lián)機(jī)系統(tǒng) ， 它專門為分析統(tǒng)計(jì)和決策支持應(yīng)用服務(wù) ， 通過(guò)它可獲取決策支持和聯(lián)機(jī)分析應(yīng)用所需要的一切數(shù)據(jù) 。 數(shù)據(jù)倉(cāng)庫(kù)關(guān)鍵特征一 ——面向主題 ? 面向主題，是數(shù)據(jù)倉(cāng)庫(kù)顯著區(qū)別于關(guān)系數(shù)據(jù)庫(kù)系統(tǒng)的一個(gè)特征 – 圍繞一些主題，如顧客、供應(yīng)商、產(chǎn)品等 – 關(guān)注決策者的數(shù)據(jù)建模與分析，而不是集中于組織機(jī)構(gòu)的日常操作和事務(wù)處理。 ? 數(shù)據(jù)倉(cāng)庫(kù) :從歷史的角度提供信息（比如過(guò)去 510 年） – 數(shù)據(jù)倉(cāng)庫(kù)中的每一個(gè)關(guān)鍵結(jié)構(gòu)都隱式或顯式地包含時(shí)間元素，而操作數(shù)據(jù)庫(kù)中的關(guān)鍵結(jié)構(gòu)可能就不包括時(shí)間元素。在數(shù)據(jù)倉(cāng)庫(kù)中，元數(shù)據(jù)就是定義數(shù)據(jù)倉(cāng)庫(kù)對(duì)象的數(shù)據(jù)。 – 數(shù)據(jù)集市是企業(yè)級(jí)數(shù)據(jù)倉(cāng)庫(kù)的一個(gè)子集 ，是為了特定的應(yīng)用目的，從數(shù)據(jù)倉(cāng)庫(kù)中獨(dú)立出來(lái)的一部分?jǐn)?shù)據(jù)，也稱為部門數(shù)據(jù)或主題數(shù)據(jù)。 數(shù)據(jù)的存儲(chǔ)與管理 ? 數(shù)據(jù)的存儲(chǔ)與管理是整個(gè)數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)的核心。 ? OLAP是 數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)的主要應(yīng)用 ，支持復(fù)雜的分析操作，側(cè)重決策支持，并且提供直觀易懂的查詢結(jié)果 . 背景 ? 數(shù)據(jù)庫(kù)系統(tǒng)作為數(shù)據(jù)管理手段，主要用于事務(wù)處理。 OLTP系統(tǒng) VS. OLAP系統(tǒng)比較 (1) ? 用戶和系統(tǒng)的面向性 – 面向顧客（事務(wù)） VS. 面向市場(chǎng)（分析） ? 數(shù)據(jù)內(nèi)容 – 當(dāng)前的、詳細(xì)的數(shù)據(jù) VS. 歷史的、匯總的數(shù)據(jù) ? 數(shù)據(jù)庫(kù)設(shè)計(jì) – 實(shí)體－聯(lián)系模型 (ER)和面向應(yīng)用的數(shù)據(jù)庫(kù)設(shè)計(jì) VS. 星型 /雪花模型和面向主題的數(shù)據(jù)庫(kù)設(shè)計(jì) OLTP系統(tǒng) VS. OLAP系統(tǒng)比較 (2) ? 數(shù)據(jù)視圖 – 當(dāng)前的、企業(yè)內(nèi)部的數(shù)據(jù) VS. 經(jīng)過(guò)演化的、集成的數(shù)據(jù) ? 訪問(wèn)模式 – 事務(wù)操作 VS. 只讀查詢（但很多是復(fù)雜的查詢） ? 任務(wù)單位 – 簡(jiǎn)短的事務(wù) VS. 復(fù)雜的查詢 ? 訪問(wèn)數(shù)據(jù)量 – 數(shù)十個(gè) VS. 數(shù)百萬(wàn)個(gè) OLTP系統(tǒng) VS. OLAP系統(tǒng)比較 (3) ? 用戶數(shù) – 數(shù)千個(gè) VS. 數(shù)百個(gè) ? 數(shù)據(jù)庫(kù)規(guī)模 – 100M數(shù) GB VS. 100GB數(shù) TB ? 度量 – 事務(wù)吞吐量 VS. 查詢吞吐量、響應(yīng)時(shí)間 OLAP與數(shù)據(jù)倉(cāng)庫(kù)的區(qū)別 ? OLAP是大多數(shù)數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)用來(lái)呈現(xiàn)數(shù)據(jù)分析結(jié)果的方法之一。 – MOLAP（多維 OLAP）結(jié)構(gòu)：核心是其數(shù)據(jù)存儲(chǔ)采用矩陣（可能是多維方陣）方式，數(shù)據(jù)檢索高效 – HOLAP（混合 OLAP）結(jié)構(gòu)：結(jié)合 ROLAP和 MOLAP技術(shù)，在 MOLAP立方體中存儲(chǔ)高級(jí)別的聚集，在ROLAP中存儲(chǔ)低級(jí)別的聚集。 3. 建立數(shù)據(jù)倉(cāng)庫(kù)。 – 自底向上方法提供了更多的開(kāi)發(fā)靈活性，價(jià)格便宜；但往往會(huì)遇到集成問(wèn)題（每個(gè)模塊單獨(dú)運(yùn)行都沒(méi)有問(wèn)題，但是一集成就出異常） ? 解決方法： – 使用遞增性、演化性的開(kāi)發(fā)方法 – 高層數(shù)據(jù)模型 ?企業(yè)倉(cāng)庫(kù)和數(shù)據(jù)集市并行開(kāi)發(fā) ?通過(guò)分布式模型集成各數(shù)據(jù)集市 ?多層數(shù)據(jù)倉(cāng)庫(kù) 演講完畢，謝謝觀看！ 。其范圍限于選定的主題，比如一個(gè)商場(chǎng)的數(shù)據(jù)集市 – 獨(dú)立的數(shù)據(jù)集市 VS. 非獨(dú)立的數(shù)據(jù)集市（數(shù)據(jù)來(lái)自于企業(yè)數(shù)據(jù)倉(cāng)庫(kù)） – 虛擬倉(cāng)庫(kù) ? 操作數(shù)據(jù)庫(kù)上的一系列視圖 ? 只有一些可能的匯總視圖被物化 獨(dú)立的數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng) （企業(yè)數(shù)據(jù)倉(cāng)庫(kù)） 唯 一 的 、 企 業(yè) 級(jí) 的數(shù) 據(jù) 倉(cāng) 庫(kù)數(shù) 據(jù) 倉(cāng) 庫(kù)D a t a W a r e h o u s e外 部 的內(nèi) 部 的源 數(shù) 據(jù) 系 統(tǒng)( S o u r c e D a t a S y s t e m s )數(shù) 據(jù) 集 結(jié) 區(qū)( D a t a S t a g i n g A r e a )處 理 過(guò) 程 ：清 洗 ( c l e a n )調(diào) 和 ( r e c o n c i l e )導(dǎo) 出 ( d e r i v e )匹 配 ( m a t c h )合 并 ( c o m b i n e )消 除 重 復(fù)( r e m o v e d u p s )標(biāo) 準(zhǔn)
環(huán)評(píng)公示相關(guān)推薦
鄂ICP備17016276號(hào)-1