【正文】 實施時,則由于數(shù)據庫引擎的限制,不得不對邏輯模型進行不規(guī)范處理 DeNormalize, 以提高系統(tǒng)的響應速度,這是以增加系統(tǒng)的復雜度、維護工作量、磁盤使用比率 指原始數(shù)據與磁盤大小的比率并降低系統(tǒng)執(zhí)行動態(tài)查詢能力為代價的。每個維表都有一個維作為主鍵,所有這些維則組合成事實表的主鍵,換言之,事實表主鍵的每個元素都是維表的外鍵。而數(shù)據倉庫則一般按照主題 Subject來建模,它是面向主題的。數(shù)據倉庫的總體結構如下圖所示:圖 數(shù)據倉庫系統(tǒng)的總體結構 (建模) : 數(shù)據倉庫建模的方法,與傳統(tǒng)數(shù)據庫設計方法系統(tǒng)生命周期法不同: 傳統(tǒng)數(shù)據庫方法的步驟為:收集應用需求→分析應用需求→構建 DB→應用編程→系統(tǒng)實施→系統(tǒng)測試 數(shù)據倉庫建模的步驟為:DW建?！鷶?shù)據獲取與集成→構建數(shù)據倉庫→DSS應用開發(fā)→系統(tǒng)測試→理解需求 這種方法基本符合原型法的特點,但又不同于一般意義上的原型法,數(shù)據倉庫的設計是數(shù)據驅動的。 數(shù)據倉庫是今年 IT技術和信息管理迅速發(fā)展的結果。立方體作為基本事務的聚合,是一種適合用 SQL或其他接口進行查詢的完整數(shù)據結構。例如管理人員可以從客戶、產品、時間等角度出發(fā),對數(shù)據進行分析,這些角度就構成了數(shù)據倉庫的維,數(shù)據倉庫中的數(shù)據也是按照這些維來組織的。所以數(shù)據倉庫要不斷從操作型數(shù)據源中提取變化了的數(shù)據。 : 數(shù)據一旦裝入數(shù)據倉庫,基本不會發(fā)生變化。其主要目的是進行數(shù)據分析處理,為管理層提供決策支持。 如果說傳統(tǒng)聯(lián)機事務處理強調的是更新數(shù)據庫向數(shù)據庫中添加信息,那么聯(lián)機分析處理就是從數(shù)據庫中獲取信息、利用信息。 針對這些問題,人們設想專門為業(yè)務的統(tǒng)計分析建立一個數(shù)據中心,它的數(shù)據可以從聯(lián)機的事務處理系統(tǒng)獲得、從異構的外部數(shù)據源獲得、或從脫機的歷史業(yè)務數(shù)據獲得。 當聯(lián)機事務處理系統(tǒng)應用到一定階段后,用戶便發(fā)現(xiàn)單靠擁有聯(lián)機事務處理已經不足以獲得市場競爭的優(yōu)勢,而將大量的業(yè)務數(shù)據應用于分析和統(tǒng)計并非如想象的那么容易,這主要表現(xiàn)在以下幾點: ? 所有聯(lián)機事務處理強調的是密集的數(shù)據更新處理性能和系統(tǒng)的可靠性,并不關心數(shù)據查詢的方便與快捷。第三部分(第四章至第六章)以數(shù)據倉庫/數(shù)據分析系統(tǒng)中的兩個模塊為例,論述了數(shù)據倉庫/數(shù)據分析系統(tǒng)的具體實現(xiàn)步驟與方法。 隨著企業(yè)信息化水平的不斷提高,企業(yè)獲取信息的手段和渠道也在不斷增加,越來越多的企業(yè)開始利用數(shù)據倉庫/數(shù)據分析這一數(shù)據管理和利用的綜合性技術方案為決策服務,以取得企業(yè)競爭優(yōu)勢。本文基于白沙集團長沙卷煙廠數(shù)據倉庫系統(tǒng)的分析、設計以及具體應用實施,對企業(yè)實施數(shù)據倉庫應用有一定的參考價值。1目 錄第一章 數(shù)據倉庫理論概述1 1 . 1 . 1 :1 : 2 :. 2 : 2 . 2 (Dimension). 2 (Cube) 2 (Aggregate). 2 . 3 (建模)3 :3 4 . 4 . 4 . 4 (OLAP). 5 5 項目的市場背景. 9 . 9 9 . 10 ..11 . 11 . 11 :..11 . 13 13 14 第三章 需求分析. 16 進行數(shù)據倉庫需求分析的方法16 17 . 18 . 18 . 18 . 19 . 20 21 21 、分析指標. 21 系統(tǒng)運行環(huán)境需求 23 23 : 24 . 24 第四章 數(shù)據倉庫系統(tǒng)建模. 25 數(shù)據倉庫建模概述. 25 . 27 27 27 29 基本數(shù)據表設計 30 事實表設計35 第五章 數(shù)據倉庫/數(shù)據分析系統(tǒng)的實施 39 . 39 數(shù)據倉庫系統(tǒng)與其他系統(tǒng)的接口設計40 42 42 . 44 47 47 47 資金項目分析 50 50 . 51 同行業(yè)分析 52 52 . 53 . 54 54 多維數(shù)據庫與數(shù)據倉庫. 55 IBM OLAP SERVER. 55 利用 IBM OIS 建立多維數(shù)據分析模型56 61 第六章 數(shù)據倉庫/數(shù)據分析系統(tǒng)的測試、運行與評價 64 系統(tǒng)測試64 . 64 . 64 系統(tǒng)運行與管理64 ??進行多維分析 64 65 65 65 65 系統(tǒng)運行管理69 70 70 . 70 . 72 72 72 72 第七章 全文總結. 73 圖表目錄 74 參考文獻 76 致 謝 79 摘 要 804ABSTRACT 835 第一章 數(shù)據倉庫理論概述 傳統(tǒng)的數(shù)據庫系統(tǒng)是以單一的數(shù)據資源,即數(shù)據庫為中心,進行事務處理、批處理、決策分析等各種數(shù)據處理工作,主要的劃分為兩大類:操作型處理和分析型處理或信息型處理。聯(lián)機分析和事務處理對系統(tǒng)的要求不同,同一個數(shù)據庫在理論上都難以做到兩全。這個數(shù)據中心是一個聯(lián)機的系統(tǒng),它是專門為分析統(tǒng)計和決策支持應用服務的,通過它可以滿足決策支持和聯(lián)機分析應用所要求的一切。因此,著名的數(shù)據倉庫專家 Ralph Kimball寫道:我們花了二十多年的時間將數(shù)據放入數(shù)據庫,如今是該將它們拿出來的時候了。 : 在數(shù)據倉庫的所有特性中,集成性是最重要的特性。其中的數(shù)據主要供企業(yè)決策分析之用,主要涉及的操作是數(shù)據的查詢,一般不涉及到數(shù)據的修改操作。因此,時間是數(shù)據倉庫中數(shù)據必備的屬性。數(shù)據倉庫的維度一般具有層次性,用戶在使用數(shù)據倉庫時可以利用維做為操作路徑,按照維度層次對數(shù)據進行從概括到細節(jié)的分析。 (Aggregate) 聚集是指收集了基本數(shù)據的結構。從數(shù)據倉庫的概念結構看,應該包括數(shù)據源、數(shù)據準備區(qū)、數(shù)據倉庫數(shù)據庫、數(shù)據集市/知識挖掘庫以及各種管理工具和應用工具。它在現(xiàn)存 DB的基礎上進行開發(fā),著眼于有效地抽取、綜合、集成和挖掘已有 DB的數(shù)據資源,服務于企業(yè)高層領導管理決策分析。目前較常用的兩種建模方法是所謂的第三范式 3NF,即 Third Normal Form和星型模式 StarSchema。事實表的非主屬性稱為事實 Fact,它們一般都是數(shù)值或其他可以進行計算的數(shù)據。 在數(shù)據管理技術中包括大批量數(shù)據管理技術、數(shù)據倉庫索引與數(shù)據監(jiān)視技術、元數(shù)據管理技術、數(shù)據壓縮技術和復合鍵碼技術等。具備了這三種工具的數(shù)據倉庫系統(tǒng),才能真正高效地利用數(shù)據倉庫中蘊藏的大量寶貴的信息。它不同于傳統(tǒng)的聯(lián)機事物處理Online Transaction Processing, OLTP應用。 目前常見的 OLAP主要有基于多維數(shù)據庫的 MOLAP及基于關系數(shù)據庫的 ROLAP。并且因為數(shù)據倉庫的數(shù)據來源于整個企業(yè),保證了數(shù)據挖掘中數(shù)據來源的廣泛性和完整性。此外,數(shù)據挖掘技術還會同可視化技術、地理信息系統(tǒng)、統(tǒng)計分析系統(tǒng)相結合,豐富數(shù)據挖掘技術及工具的功能與性能。Oracle Warehouse Builder 集成數(shù)據建模、數(shù)據抽取、數(shù)據轉移和裝載、聚合、元數(shù)據的管理等功能。應用特性:Oracle的數(shù)據轉移工具需手工編寫 SQL腳本,在處理復雜的數(shù)據轉換需求時困難很多。Essbase/DB2 OLAP Server 支持多維數(shù)據庫,它是一個(ROLAP和 MOLAP)混合的HOLAP服務器。例如,查詢工具使用 Hyperion的A