【正文】 操作數(shù)據(jù)量大 ? 支持日常事務 ? 支持管理需求 OLAP OLAP的多維數(shù)據(jù)概念 – 多維結(jié)構(gòu)是決策支持的支柱，也是 OLAP的核心。 ? (2)可分析性 :OLAP系統(tǒng)應能處理與應用有關(guān)的任何邏輯分析和統(tǒng)計分析 。 這種多維 DB也被看作一個超立方體 ， 沿著各個維方向存貯數(shù)據(jù) ， 它允許用戶沿事物的軸線方便地分析數(shù)據(jù) ， 與主流業(yè)務型用戶相關(guān)的分析形式一般有切片和切塊以及下鉆 、 挖掘等操作 。用戶的決策分析需要對關(guān)系數(shù)據(jù)庫進行大量計算才能得到結(jié)果，而查詢的結(jié)果并不能滿足決策者提出的需求。 數(shù)據(jù)倉庫主要應用 ? 在證券業(yè)的應用 :可處理客戶分析、帳戶分析、證券交易數(shù)據(jù)分析、非資金交易分析等多個業(yè)界關(guān)心的主題，為客戶提供針對其個人習慣、投資組合的投資建議，從而真正作到對客戶的貼心服務。 元數(shù)據(jù)在數(shù)據(jù)倉庫中的作用 ? 元數(shù)據(jù)在數(shù)據(jù)求精與重構(gòu)工程上的應用 。 利用元數(shù)據(jù)可以確定將數(shù)據(jù)元的哪些資源加載到 DW中 。 描述 DW目錄表的每個運作的模式 ， 還須捕獲用于數(shù)據(jù)的轉(zhuǎn)化 、 凈化 、 轉(zhuǎn)移 、 概括和聚集的商業(yè)規(guī)則與處理規(guī)則 。 靈活的 。 從 OLTP到 DW的轉(zhuǎn)換是復雜的多方面的 。 數(shù)據(jù)倉庫環(huán)境中的元數(shù)據(jù) 元數(shù)據(jù)的內(nèi)容 前臺元數(shù)據(jù) ? （ 1） 業(yè)務名稱和有關(guān)列 、 表以及分組的描述 ? （ 2） 現(xiàn)有的查詢和和報告定義 ? （ 3） 連接規(guī)范工具設(shè)置 ? （ 4） 打印工具規(guī)范 ? （ 5） 最終用戶文檔 ? （ 6） 網(wǎng)絡(luò)安全性用戶特權(quán)概況 ? （ 7） 網(wǎng)絡(luò)安全性身份驗證證書 ? （ 8） 網(wǎng)絡(luò)安全性使用統(tǒng)計 ， 包括登錄嘗試 、 存取嘗試以及按位置報告的用戶標識符 ? （ 9） 個人用戶概況 ? （ 10） 有關(guān)數(shù)據(jù)源 、 表 、 視圖以及報告的使用及存取映射 元數(shù)據(jù)在數(shù)據(jù)倉庫中的作用 ? 元數(shù)據(jù)實際上是要解決人在何時 、 何地 、 何因 、 如何使用 DW的問題 。 元數(shù)據(jù)的內(nèi)容 數(shù)據(jù)準備區(qū)元數(shù)據(jù) ? （ 1） 數(shù)據(jù)傳輸調(diào)度以及特定傳輸?shù)慕Y(jié)果 ? （ 2） 數(shù)據(jù)準備區(qū)文件使用情況 ? （ 3） 用于連接來源 、 刪除字段 、 查找屬性的作業(yè)規(guī)范 ? （ 4） 數(shù)據(jù)清洗規(guī)范 ? （ 5） 數(shù)據(jù)增強和映射轉(zhuǎn)換 ? （ 6） DM所要求的轉(zhuǎn)換 （ 比如解釋空值的度量值 ） ? （ 7） 目標模式設(shè)計 、 來源到目標系統(tǒng)的數(shù)據(jù)流 ， 目標數(shù)據(jù)的所有者 ? （ 8） 聚集定義 、 聚集使用統(tǒng)計 、 基本表使用統(tǒng)計 ? （ 9） 數(shù)據(jù)來源情況和審核檢查記錄 （ 該記錄真正來自何地 、 何時 ） ? （ 10） 數(shù)據(jù)轉(zhuǎn)換運行時間 ? （ 11） 數(shù)據(jù)轉(zhuǎn)換軟件的版本號 ? （ 12） 數(shù)據(jù)抽取處理的業(yè)務描述 ? （ 13） 有關(guān)抽取文件 、 軟件以及元數(shù)據(jù)的安全性設(shè)置 ? （ 14） 數(shù)據(jù)傳輸?shù)陌踩栽O(shè)置 ? （ 15） 數(shù)據(jù)準備區(qū)的存檔日志和恢復程序 ? （ 16） 數(shù)據(jù)準備區(qū)存檔的安全性設(shè)置 元數(shù)據(jù)的內(nèi)容 DBMS元數(shù)據(jù) ? （ 1） 分區(qū)設(shè)置 ? （ 2） 索引 ? （ 3） DBMS層次的安全性特權(quán)與授權(quán) ? （ 4） 視圖定義 ? （ 5） 存儲過程與 SQL 管理腳本 ? （ 6） DBMS 備份狀態(tài) 、 備份程序以及備份安全性 數(shù)據(jù)倉庫環(huán)境中的元數(shù)據(jù) ? 對于數(shù)據(jù)倉庫環(huán)境中的元數(shù)據(jù)需要細致管理有另外一個重要原因，倉庫中數(shù)據(jù)會存在一段很長的時間 — 從 5年到 1 0年。 —— 用于跟蹤 DW的運行情況 ， 例如 ， 數(shù)據(jù)最近一次的備份時間 ， 備份所需要的時間 ，出現(xiàn)的錯誤情況等狀況 。 動態(tài)元數(shù)據(jù)主要與數(shù)據(jù)的狀態(tài)與使用方法有關(guān) 。 —— 用于說明 DW中數(shù)據(jù)的有效值范圍 。 —— 對 DW中的多種數(shù)據(jù)元素進行說明 。 ? （ 3） 物理級：包括業(yè)務規(guī)則相應的 SQL代碼 、關(guān)系的索引文件 、 分析應用的代碼 。 （ 3） 關(guān)于企業(yè)的組織結(jié)構(gòu)的元數(shù)據(jù) 包括與企業(yè)相關(guān)的管理方面的數(shù)據(jù)和信息，如用戶訪問 DW、數(shù)據(jù)源、數(shù)據(jù)集市的權(quán)限信息等等。 元數(shù)據(jù)的類型 按類型分類 （ 1） 關(guān)于基本數(shù)據(jù)的元數(shù)據(jù) 。 D S S分析人員通常首先是專業(yè)人員，他們通常沒有很高的計算機水平。然而，在數(shù)據(jù)倉庫環(huán)境中，元數(shù)據(jù)的重要性提高了。 ? 當然，連續(xù)文件也可以通過把一個快照追加到一個以前生成的連續(xù)文件上來創(chuàng)建。 ? 簡單直接文件是間隔一定時間的操作型數(shù)據(jù)的一個快照。月底將每周位置的數(shù)據(jù)加到一起，并放入第一個每月相應的數(shù)據(jù)位置處，然后每周數(shù)據(jù)位置清零。 ? 數(shù)據(jù)先用與前面相同的處理方法從操作型環(huán)境輸入到數(shù)據(jù)倉庫環(huán)境中。 ? 從操作型環(huán)境中取出每天的事務處理，然后綜合成數(shù)據(jù)倉庫記錄，這個綜合可根據(jù)顧客、帳目或者任何組織到數(shù)據(jù)倉庫的主題領(lǐng)域來進行。 ? 輪轉(zhuǎn)綜合。 ? 大部分 D S S處理是針對被壓縮的、存取效率高的輕度綜合級數(shù)據(jù)進行的。 ? “真實檔案”細節(jié)數(shù)據(jù)。 粒度的權(quán)衡 粒度的雙重級別 ? 企業(yè)既需要提高存儲與訪問數(shù)據(jù)的效率，又需要非常詳細地分析數(shù)據(jù)的能力。顯然，如果數(shù)據(jù)倉庫的空間很有限的話 (數(shù)據(jù)量總是數(shù)據(jù)倉庫中的首要問題 )，用高粒度級表示數(shù)據(jù)將比用低粒度級表示數(shù)據(jù)的效率要高得多。 粒度級別比較 ? 低粒度級，每個活動 (如一次電話 )被詳細記錄下來，數(shù)據(jù)的格式如圖所示。在數(shù)據(jù)倉庫中的數(shù)據(jù)量大小與查詢的詳細程度之間要作出權(quán)衡。 粒度問題 ? 粒度問題是設(shè)計數(shù)據(jù)倉庫的一個最重要方面。 數(shù)據(jù)倉庫包含了數(shù)據(jù) 、 技術(shù) 、應用三方面的要求 ， 所以只有把良好的數(shù)據(jù)模型 、 合理的技術(shù)和準確的應用設(shè)計結(jié)合起來 ， 形成一套有效的方法 ， 才能建立起一個成功的數(shù)據(jù)倉庫 。運行維護分為目標數(shù)據(jù)維護和元數(shù)據(jù)維護兩方面。應用開發(fā)是通過應用設(shè)計說明書，按照標準的軟件開發(fā)流程，實現(xiàn)模板的設(shè)計。因此，需要設(shè)計合適的應用工具，為不同的用戶提供友好的用戶界面?，F(xiàn)在市場上的數(shù)據(jù)倉庫產(chǎn)品有很多，數(shù)據(jù)倉庫廠商通常都提出了自己的一系列解決方案，限于篇幅，在這里不再展開，而主要著眼于數(shù)據(jù)倉庫實現(xiàn)的一些關(guān)鍵技術(shù)，以便對數(shù)據(jù)倉庫的建立有更深層的理解。 ? 在數(shù)據(jù)倉庫建立的過程中會遇到一些新的特定的問題，如管理大量數(shù)據(jù)的需求，如何對數(shù)據(jù)進行快速和方便的訪問等。 當數(shù)據(jù)源的運行環(huán)境 、 結(jié)構(gòu)及目標數(shù)據(jù)的維護計劃發(fā)生變化時 ， 需要修改元數(shù)據(jù) 。 ? （ 2） 數(shù)據(jù)使用 。 加工數(shù)據(jù)是保證目標數(shù)據(jù)庫中數(shù)據(jù)的完整性 、 一致性 。 由于數(shù)據(jù)的質(zhì)量嚴重影響著數(shù)據(jù)倉庫的可信程度 ， 因此在數(shù)據(jù)預處理過程中 ， 需要提高數(shù)據(jù)質(zhì)量 ， 讓數(shù)據(jù)倉庫使用真正有效的數(shù)據(jù) 。其過程包括以下三個方面： 1）確定物理存儲結(jié)構(gòu)； 2）確定索引策略； 3）確定存儲分配。 在維表上連接對事實表進行詳細描述的詳細類別表 ， 達到了縮小事實表 ， 提高查詢效率的目的 。但是由于數(shù)據(jù)倉庫是一個裝載 — 訪問環(huán)境，它包括很多歷史數(shù)據(jù)，且有大量的數(shù)據(jù)要管理，因此，星型連接的數(shù)據(jù)結(jié)構(gòu)是十分理想的。通過數(shù)據(jù)預連接和建立有選擇的數(shù)據(jù)冗余，設(shè)計者為訪問和分析過程大大簡化了數(shù)據(jù)，這正是數(shù)據(jù)倉庫所需要的。事實表還包含了指向其周圍的表 — 維表的外鍵。 ? 在其周圍分別是“產(chǎn)品”、“客戶”、“供應商”和“發(fā)貨”實體。將會有大量的數(shù)據(jù)載入代表訂單實體的表中，而在代表別的實體的表中載入的數(shù)據(jù)量則相對較少。一些實體，要求有它們自己的特別處理。如果數(shù)據(jù)庫設(shè)計只需要考慮數(shù)據(jù)模型的話，可以推斷所有的實體都是平等關(guān)系。 ? 數(shù)據(jù)倉庫的邏輯設(shè)計一般采用星型模型和雪花模型設(shè)計其數(shù)據(jù)模型。分析階段必須堅持用戶參與，并且與原有系統(tǒng)開發(fā)或維護人員進行深入的溝通。方向性需求包括：決策類型、決策者感興趣的問題（或?qū)ο螅┑取?但是主題的確定必須建立在現(xiàn)有聯(lián)機事務處理 （ OLTP） 系統(tǒng)基礎(chǔ)上 ， 否則按此主題設(shè)計的數(shù)據(jù)倉庫存儲結(jié)構(gòu)將成為一個空殼 ， 缺少可存儲的數(shù)據(jù) 。 數(shù)據(jù)倉庫的 項目實施 ? 數(shù)據(jù)倉庫提供了有效地存取和管理大量數(shù)據(jù)的理想環(huán)境，而數(shù)據(jù)倉庫系統(tǒng)的建立是一個由數(shù)據(jù)驅(qū)動、以技術(shù)支撐并滿足應用需求的不斷增長和完善的開發(fā)過程。企業(yè)人員往往不懂如何建立和利用數(shù)據(jù)倉庫，發(fā)揮其決策支持的作用，而數(shù)據(jù)倉庫公司人員又不懂業(yè)務，不知道建立哪些決策主題，從數(shù)據(jù)源中抽取哪些數(shù)據(jù)。 前端工具 ? 前端工具主要包括各種報表工具、查詢工具、數(shù)據(jù)分析工具、數(shù)據(jù)挖掘工具以及各種基于數(shù)據(jù)倉庫或數(shù)據(jù)集市的應用開發(fā)工具。數(shù)據(jù)倉庫按照數(shù)據(jù)的覆蓋范圍可以分為企業(yè)級數(shù)據(jù)倉庫和部門級數(shù)據(jù)倉庫（通常稱為數(shù)據(jù)集市）。數(shù)據(jù)倉庫的真正關(guān)鍵是數(shù)據(jù)的存儲和管理。通常包括企業(yè)內(nèi)部信息和外部信息。要決定采用什么產(chǎn)品和技術(shù)來建立數(shù)據(jù)倉庫的核心，則需要從數(shù)據(jù)倉庫的技術(shù)特點著手分析。數(shù)據(jù)抽取在技術(shù)上主要涉及互連、復制、增量、轉(zhuǎn)換、調(diào)度和監(jiān)控等方面。 數(shù)據(jù)倉庫的內(nèi)容 ? 數(shù)據(jù)倉庫并沒有嚴格的數(shù)學理論基礎(chǔ)，也沒有成熟的基本模式，且更偏向于工程，具有強烈的工程性。隨著時間變化，數(shù)據(jù)倉庫需要不斷增加新數(shù)據(jù)、刪去舊數(shù)據(jù)。 ? 操作型數(shù)據(jù)的鍵碼結(jié)構(gòu)可能包含也可能不包含時間元素，如年、月、日等。 ? 數(shù)據(jù)倉庫中的數(shù)據(jù)時間期限要遠遠長于操作型系統(tǒng)中的數(shù)據(jù)時間期限。 在數(shù)據(jù)倉庫建設(shè)中 ， 這是最關(guān)鍵最復雜的一個步驟 ， 主要工作有：一是 ， 進行數(shù)據(jù)的綜合和計算；二是 ， 統(tǒng)一源數(shù)據(jù)中所有不一致和矛盾的地方 (如同名異義 、 異名同義 、 字長不一致 、 單位不一致等 )。 在 數(shù)據(jù)倉庫的所有特性之中 ， 這是最重要的 。 主題是一個在較高層次上對數(shù)據(jù)的抽象 ， 在邏輯意義上 ， 它是對企業(yè)中某一宏觀領(lǐng)域所涉及的分析對象 ， 即將數(shù)據(jù)組織成主題域 。 ? 著名的數(shù)據(jù)倉庫專家 《 Building the Data Warehouse》 一書中給予如下描述： ? 數(shù)據(jù)倉庫（ Data Warehouse）是一個面向主題的（ Subject Oriented）、集成的（ Integrate）、相對穩(wěn)定的（ NonVolatile）、反映歷史變化（ Time Variant）的數(shù)據(jù)集合，用于支持管理決策。必須把分析型數(shù)據(jù)從事務處理環(huán)境中提取出來，按照 DSS處理的需要進行重新組織，建立單獨的分析處理環(huán)境，數(shù)據(jù)倉庫正是為了構(gòu)建這種新的分析處理環(huán)境而出現(xiàn)的一種數(shù)據(jù)存儲和組織技術(shù)。 （ 6）操作繁簡問題。 （ 5）數(shù)據(jù)的綜合問題。 ? 事務處理一般只需要當前數(shù)據(jù)，在數(shù)據(jù)庫中一般也是存儲短期數(shù)據(jù)，切不同數(shù)據(jù)的保存期限也不一樣，即使有一些歷史數(shù)據(jù)保存下來了，也被束之高閣，未得到充分利用。 ? 靜態(tài)集成的最大缺點在于，如果在數(shù)據(jù)集成后數(shù)據(jù)源中數(shù)據(jù)發(fā)生了變化，這些 變化將不能反映給決策者，導致決策者使用的是過時的數(shù)據(jù)。全面而正確的數(shù)據(jù)是有效的分析和決策的首要前提，相關(guān)數(shù)據(jù)收集得越完整，得到的結(jié)果就越可靠。在傳統(tǒng)數(shù)據(jù)庫系統(tǒng)基礎(chǔ)上的DSS應用程序可能需要連續(xù)幾個小時，從而消耗大量的系統(tǒng)資源。 數(shù)據(jù)倉庫的產(chǎn)生 ? 早期的數(shù)據(jù)庫主要支持聯(lián)機事務處理 ? 決策支持對數(shù)據(jù)分析的需求 ? 傳統(tǒng)數(shù)據(jù)庫系統(tǒng)不適宜 DSS ① 事務處理和分析處理的性能特性不同 ② 數(shù)據(jù)集成問題 ③ 數(shù)據(jù)動態(tài)集成問題 ④ 歷史數(shù)據(jù)問題 ⑤ 數(shù)據(jù)的綜合問題 ⑥ 操作繁簡問題 （ 1）事務處理和分析處理的性能特性不同。 第 5章 CRM與數(shù)據(jù)倉庫 邵兵家 于同奎 第 5章 CRM與數(shù)據(jù)倉庫 數(shù)據(jù)倉庫概述 數(shù)據(jù)倉庫的產(chǎn)生 數(shù)據(jù)倉庫概念及特征 數(shù)據(jù)倉庫的內(nèi)容 數(shù)據(jù)倉庫系統(tǒng)的體系結(jié)構(gòu) 客戶關(guān)系管理中的數(shù)據(jù)倉庫 客戶關(guān)系管理需要數(shù)據(jù)倉庫 客戶關(guān)系管理中數(shù)據(jù)倉庫的作用 客戶關(guān)系管理數(shù)據(jù)倉庫的實施 客戶關(guān)系管理數(shù)據(jù)倉庫試驗 客戶關(guān)系管理數(shù)據(jù)倉庫設(shè)計試驗 客戶關(guān)系管理數(shù)據(jù)倉庫使用試驗 數(shù)據(jù)倉庫概述 ? 數(shù)據(jù)倉庫與 CRM有著難以割舍的密切關(guān)系，客戶關(guān)系管理的很多工作都是以數(shù)據(jù)倉庫為基礎(chǔ)展開的。對于客戶量大、市場策略對企業(yè)影響較大的企業(yè)來說，必須在客戶關(guān)系管理系統(tǒng)中包含數(shù)據(jù)倉庫。 ? 在分析處理環(huán)境中，用戶的行為模式與此完全不同，強調(diào)的是數(shù)據(jù)處理和分析的能力。 ? DSS需要集成的數(shù)據(jù)。 （ 3） 數(shù)據(jù)動態(tài)集成問題。 （ 4） 歷史數(shù)據(jù)問題。 DSS對數(shù)據(jù)在空間和時間的廣度上都有了更高的要求，而事務處理環(huán)境難以滿足這些要求。而事務處理系統(tǒng)不具備這種綜合能力，根據(jù)規(guī)范化理論，這種綜合還往往因為是一種數(shù)據(jù)冗余而加以 限制。 ? 要提高分析和決策的效率和有效性，分析型處理及其數(shù)據(jù)必須與操作型處理及其數(shù)據(jù)相分離。 數(shù)據(jù)倉庫的概念和特征