【正文】 ) 數(shù)據(jù)存儲(chǔ) 對(duì)于一個(gè)企業(yè)來(lái)說(shuō)，最關(guān)鍵最重要的是如何以一種有效的方式逐步整理各個(gè)業(yè)務(wù)處理系統(tǒng)中積累下來(lái)的歷史數(shù)據(jù)，并通過(guò)靈活有效的方式為各級(jí)業(yè)務(wù)人員提供統(tǒng)一的信息視圖，從而在整個(gè)企業(yè)內(nèi)實(shí)現(xiàn)真正的信息共享。數(shù)據(jù)倉(cāng)庫(kù)也常常被看作一種體系結(jié)構(gòu)，通過(guò)將異種數(shù)據(jù)源中的數(shù)據(jù)集成在一起而構(gòu)造，支持結(jié)構(gòu)化的和專門的查詢、分析報(bào)告和決策。 OLAP操作使用數(shù)據(jù)的領(lǐng)域背景知識(shí)，允許在不同的抽象層提供數(shù)據(jù)。盡管數(shù)據(jù)倉(cāng)庫(kù)工具對(duì)于支持?jǐn)?shù)據(jù)分析是有幫助的，但是仍需要更多的數(shù)據(jù)挖掘工具，以便進(jìn)行更深入的自動(dòng)分析。另一種存在方式是以數(shù)據(jù)庫(kù)為基礎(chǔ)（即元數(shù)據(jù)庫(kù)），給一個(gè)數(shù)據(jù)庫(kù)有一個(gè)元數(shù)據(jù)文件，該文件為一表格數(shù)據(jù)，它由若干項(xiàng)組成，每一項(xiàng)表示元數(shù)據(jù)的一個(gè)要素，其記錄為每一個(gè)數(shù)據(jù)集的元數(shù)據(jù)內(nèi)容。數(shù)據(jù)分析主要包含三個(gè)方面： ① 聯(lián)機(jī)分析處理 ② 數(shù)據(jù)挖掘 ③ 聯(lián)機(jī)分析挖掘 商務(wù)智能中的關(guān)鍵技術(shù) 商務(wù)智能是一套完整的解決方案，它是將數(shù)據(jù)倉(cāng)庫(kù)、聯(lián)機(jī)分析處理 (OLAP)和數(shù)據(jù)挖掘等結(jié)合起來(lái)應(yīng)用到商業(yè)活動(dòng)中，從不同的數(shù)據(jù)源收集數(shù)據(jù)，經(jīng)過(guò)抽取(Extract)、轉(zhuǎn)換 (Transform)和加載 (Load)，送入到數(shù)據(jù)倉(cāng)庫(kù)或數(shù)據(jù)集市，然后使用合適的查詢與分析工具、數(shù)據(jù)挖掘工具和聯(lián)機(jī)分析處理工具對(duì)信息進(jìn)行處理，將信息轉(zhuǎn)變成為輔助決策的知識(shí)，最后將知識(shí)呈現(xiàn)于用戶面前，以實(shí)現(xiàn)技術(shù)服務(wù)與決策的目的。 (1)數(shù)據(jù)倉(cāng)庫(kù)的定義 “數(shù)據(jù)倉(cāng)庫(kù)之父” 《 Building the Data Warehouse》一書中指出：“數(shù)據(jù)倉(cāng)庫(kù)是面向主題的、集成的、非易失的，隨時(shí)間變化的用來(lái)支持管理人員決策的數(shù)據(jù)集合。 數(shù)據(jù)倉(cāng)庫(kù)的特征： ① 面向主題性 ② 數(shù)據(jù)倉(cāng)庫(kù)中的所有數(shù)據(jù)都是圍繞著某一主題組織，如客戶、供應(yīng)商、產(chǎn)品來(lái)建立的。 ④ 時(shí)變性 ⑤ 時(shí)變性表現(xiàn)在數(shù)據(jù)倉(cāng)庫(kù)的數(shù)據(jù)是在一個(gè)很長(zhǎng)的時(shí)間上的數(shù)據(jù)。一般分為早期細(xì)節(jié)級(jí)、當(dāng)前細(xì)節(jié)級(jí)、輕度綜合級(jí)、高度綜合級(jí)以及元數(shù)據(jù)五部分。 b 當(dāng)前細(xì)節(jié)數(shù)據(jù) 存儲(chǔ)最近時(shí)期的業(yè)務(wù)數(shù)據(jù)，反映當(dāng)前業(yè)務(wù)的情況，數(shù)據(jù)量大，是數(shù)據(jù)倉(cāng)庫(kù)用戶最感興趣的部分。 c 輕度綜合數(shù)據(jù) 從當(dāng)前基本數(shù)據(jù)中提取出來(lái)，通常以較小的時(shí)間段（粒度）統(tǒng)計(jì)而成的數(shù)據(jù)，其數(shù)據(jù)量較細(xì)節(jié)及數(shù)據(jù)少得多。 e 元數(shù)據(jù) 對(duì)數(shù)據(jù)倉(cāng)庫(kù)中的各種數(shù)據(jù)進(jìn)行詳細(xì)的描述與說(shuō)明，說(shuō)明每個(gè)數(shù)據(jù)的上下文關(guān)系，使每個(gè)數(shù)據(jù)具有符合現(xiàn)實(shí)的真實(shí)含義，使最終用戶了解這些數(shù)據(jù)之間的關(guān)系。由此可見(jiàn)，數(shù)據(jù)倉(cāng)庫(kù)中存在著不同的綜合級(jí)別，一般稱之為“粒度”。細(xì)化程度越高，粒度就越小；相反，細(xì)化程度越低，粒度級(jí)就越大。另一種粒度形式稱為樣本數(shù)據(jù)庫(kù)，它根據(jù)給定的采樣率從細(xì)節(jié)數(shù)據(jù)庫(kù)中抽取出一個(gè)子集。它的目的同樣在于將數(shù)據(jù)分散到各自的物理單元中去，以便能分別獨(dú)立處理。一般而言，分割標(biāo)準(zhǔn)總應(yīng)包括日期項(xiàng)，它十分自然而且分割均勻。 面向應(yīng)用數(shù)據(jù)庫(kù)每天數(shù)據(jù)每天綜合1 月 1 日 1 月 2 日 1 月 3 日2 月 1 日 2 月 2 日 2 月 3 日????b. 輪轉(zhuǎn)綜合文件 數(shù)據(jù)存儲(chǔ)單位被分為日、周、月、年等幾個(gè)級(jí)別。同理，周數(shù)據(jù)集達(dá)到五個(gè)后，數(shù)據(jù)再一次被綜合并記入月數(shù)據(jù)集。輪轉(zhuǎn)綜合結(jié)構(gòu)十分簡(jiǎn)捷，數(shù)據(jù)量較簡(jiǎn)單堆積結(jié)構(gòu)大大減少。 1 數(shù)據(jù)倉(cāng)庫(kù)技術(shù) (2) 數(shù)據(jù)倉(cāng)庫(kù)的數(shù)據(jù)組織 ② 數(shù)據(jù)倉(cāng)庫(kù)的數(shù)據(jù)組織形式 b. 輪轉(zhuǎn)綜合文件 面向應(yīng)用數(shù)據(jù)庫(kù)每天數(shù)據(jù)每天綜合第 1 天 第 2 天 第 7 天第 1 周 第 2 周 第 4 周????第 1 月第 2 月 第 12 月第 1 年 第 2 年第 n 年????7 天綜合 1 周4 周綜合 1 月12 月綜合 1 年c. 簡(jiǎn)化直接文件 它類似于簡(jiǎn)單堆積文件，但它是間隔一定時(shí)間的數(shù)據(jù)庫(kù)快照，比如每隔一星期或一個(gè)月作一次。 1 月份數(shù)據(jù)2 月份數(shù)據(jù)綜合連續(xù)結(jié)構(gòu)文件1 數(shù)據(jù)倉(cāng)庫(kù)技術(shù) (2) 數(shù)據(jù)倉(cāng)庫(kù)的數(shù)據(jù)組織 ③數(shù)據(jù)倉(cāng)庫(kù)的數(shù)據(jù)模型 數(shù)據(jù)模型是對(duì)現(xiàn)實(shí)世界進(jìn)行抽象的工具，抽象的程度不同，就形成不同抽象級(jí)別層次上的數(shù)據(jù)模型。 ③數(shù)據(jù)倉(cāng)庫(kù)的數(shù)據(jù)模型 a. 高層數(shù)據(jù)模型 高層建模以實(shí)體和關(guān)系為特征，實(shí)體處于最高抽象層，由“集成范圍”這個(gè)術(shù)語(yǔ)表示的內(nèi)容來(lái)決定哪些實(shí)體屬于模型范圍。這個(gè)范圍由系統(tǒng)的建模者、管理人員和最終用戶共同確定。寫出來(lái)的集成范圍應(yīng)該盡量簡(jiǎn)短，而且應(yīng)該使用業(yè)務(wù)人員可以理解的語(yǔ)言。 b. 中間層模型 對(duì)高層數(shù)據(jù)模型中標(biāo)識(shí)的每個(gè)主要的主題域或?qū)嶓w，都要建一個(gè)中間層數(shù)據(jù)模型。 ? 基本數(shù)據(jù)組：屬于基本不會(huì)發(fā)生變化的項(xiàng)。 ? 類型數(shù)據(jù)組：經(jīng)常變化的數(shù)據(jù)項(xiàng)。其中物理特性設(shè)計(jì)需包括： ? 確定數(shù)據(jù)的粒度和分區(qū)。 ? 數(shù)據(jù)庫(kù)設(shè)計(jì)者需要在物理上組織好數(shù)據(jù)、保證執(zhí)行一次物理 I/O能夠返回最大數(shù)量的記錄。 上述三個(gè)層次的數(shù)據(jù)模型對(duì)應(yīng)到傳統(tǒng)操作型數(shù)據(jù)庫(kù)建模中即為： 概念模型、邏輯模型和物理模型 。數(shù)據(jù)模型既適用于現(xiàn)有的系統(tǒng)環(huán)境也適用于數(shù)據(jù)倉(cāng)庫(kù)中的環(huán)境。 ④數(shù)據(jù)倉(cāng)庫(kù)的數(shù)據(jù)追加方式 常用的技術(shù)和方法有： a. 時(shí)標(biāo)方法 b. DELTA文件 c. 前后映象文件的方法 d. 日志文件 (3) 數(shù)據(jù)倉(cāng)庫(kù)的體系結(jié)構(gòu) 數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)是以數(shù)據(jù)倉(cāng)庫(kù)為基礎(chǔ)，通過(guò)集成工具、查詢工具和分析工具完成對(duì)數(shù)據(jù)的轉(zhuǎn)換和對(duì)信息提取的系統(tǒng)。其中，元數(shù)據(jù)庫(kù)是對(duì)數(shù)據(jù)的一種描述，貫穿整個(gè)系統(tǒng)的各個(gè)部分 數(shù)據(jù)倉(cāng)庫(kù)的數(shù)據(jù)一般分為操作數(shù)據(jù)庫(kù)源數(shù)據(jù)和外部源數(shù)據(jù)兩部分。 導(dǎo)入的源數(shù)據(jù)形成了數(shù)據(jù)倉(cāng)庫(kù)的原始數(shù)據(jù)，然而源數(shù)據(jù)只是數(shù)據(jù)倉(cāng)庫(kù)的一部分，但不是全部。 數(shù)據(jù)的存儲(chǔ)與管理是整個(gè)數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)的核心。 數(shù)據(jù)訪問(wèn)和分析工具不但要提供一般的數(shù)據(jù)訪問(wèn)功能，如查詢、匯總、統(tǒng)計(jì)等，還要提供對(duì)數(shù)據(jù)的深入分析功能，即數(shù)據(jù)挖掘的功能，如數(shù)據(jù)的比較、趨勢(shì)分析、模式識(shí)別等。 (4) 數(shù)據(jù)倉(cāng)庫(kù)的基本框架 數(shù)據(jù)倉(cāng)庫(kù)提供了有效地存取和管理大量數(shù)據(jù)的理想環(huán)境，而數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)的建立是一個(gè)由數(shù)據(jù)驅(qū)動(dòng)、以技術(shù)支撐并滿足應(yīng)用需求的不斷增長(zhǎng)和完善的開(kāi)發(fā)過(guò)程。項(xiàng)目計(jì)劃是指定義創(chuàng)建數(shù)據(jù)倉(cāng)庫(kù)的項(xiàng)目目標(biāo)和確定項(xiàng)目范圍，包括對(duì)項(xiàng)目計(jì)劃的評(píng)估和流程的調(diào)整。業(yè)務(wù)需求分析是數(shù)據(jù)倉(cāng)庫(kù)中一個(gè)很重要的階段，好的業(yè)務(wù)需求分析會(huì)使項(xiàng)目成功的機(jī)率大大增加。數(shù)據(jù)線的實(shí)施可以分為模型設(shè)計(jì)、物理設(shè)計(jì)、數(shù)據(jù)處理三個(gè)步驟，用以滿足對(duì)數(shù)據(jù)的有效組織和管理。技術(shù)線的實(shí)施分為技術(shù)選擇和產(chǎn)品選擇兩個(gè)步驟。 ? 應(yīng)用線。數(shù)據(jù)倉(cāng)庫(kù)的建立最終是為應(yīng)用服務(wù)的，所以需要對(duì)應(yīng)用進(jìn)行設(shè)計(jì)和開(kāi)發(fā)，以更好地滿足用戶的需要。數(shù)據(jù)倉(cāng)庫(kù)建成后就進(jìn)入運(yùn)行維護(hù)，在運(yùn)行中要不斷驗(yàn)證評(píng)價(jià)分析設(shè)計(jì)是否符合用戶需求，產(chǎn)生出新的分析要求及時(shí)反饋回需求分析，進(jìn)行系統(tǒng)設(shè)計(jì)的改進(jìn)。該階段的主要任務(wù)是進(jìn)行數(shù)據(jù)倉(cāng)庫(kù)的邏輯設(shè)計(jì)，包括選擇合適的主題，確定事實(shí)表、相關(guān)的維、屬性和粒度劃分，設(shè)計(jì)正確的表結(jié)構(gòu)和主鍵、外鍵關(guān)系等。 ? 物理設(shè)計(jì)。其過(guò)程包括以下三個(gè)方面：確定物理存儲(chǔ)結(jié)構(gòu)；確定索引策略；確定存儲(chǔ)分配。數(shù)據(jù)預(yù)處理是數(shù)據(jù)倉(cāng)庫(kù)設(shè)計(jì)工程中非常重要的過(guò)程，它由三個(gè)主要步驟組成：抽?。?Extraction）、轉(zhuǎn)換(Transformation)、加載 (Load)，簡(jiǎn)稱 ETL。在數(shù)據(jù)倉(cāng)庫(kù)建立的過(guò)程中會(huì)遇到一些新的特定的問(wèn)題，如管理大量數(shù)據(jù)的需求，如何對(duì)數(shù)據(jù)進(jìn)行快速和方便的訪問(wèn)等。 ? 技術(shù)選擇。 ? 產(chǎn)品選擇。 ③應(yīng)用線路： 應(yīng)用設(shè)計(jì)和開(kāi)發(fā)的一個(gè)有效辦法是針對(duì)不同的用戶需求，設(shè)計(jì)和實(shí)現(xiàn)標(biāo)準(zhǔn)的用戶應(yīng)用模板，提供給用戶高效的接入方式。 ? 應(yīng)用設(shè)計(jì)。應(yīng)用設(shè)計(jì)的過(guò)程一般包括：確定初始的模板集、設(shè)計(jì)模板的標(biāo)準(zhǔn)、設(shè)計(jì)詳細(xì)模板、最后通過(guò)用戶反饋進(jìn)行改進(jìn)。應(yīng)用開(kāi)發(fā)是通過(guò)應(yīng)用設(shè)計(jì)說(shuō)明書，按照標(biāo)準(zhǔn)的軟件開(kāi)發(fā)流程，實(shí)現(xiàn)模板的設(shè)計(jì)。 2 聯(lián)機(jī)分析處理 OLAP專門用于支持復(fù)雜的決策分析，是支持信息管理和業(yè)務(wù)管理人員決策活動(dòng)的一種決策分析工具。 （ 1） 聯(lián)機(jī)分析處理的定義 OLAP委員會(huì)的定義： OLAP是使分析人員、管理人員或執(zhí)行人員能夠從多種角度對(duì)從原始數(shù)據(jù)中轉(zhuǎn)化出來(lái)的、能夠真正為用戶所理解的、并真實(shí)反映企業(yè)維特性的信息進(jìn)行快速、一致、交互地存取，從而獲得對(duì)數(shù)據(jù)的更深入了解的一類軟件技術(shù)。 聯(lián)機(jī)分析技術(shù)具有如下特點(diǎn)：一是在線 (OnLine)，表現(xiàn)為對(duì)用戶請(qǐng)求的快速響應(yīng)和交互操作，它的實(shí)現(xiàn)是由客戶機(jī)／服務(wù)器體系結(jié)構(gòu)完成的；二是多維分析 (MultiAnalysis)，這也是 OLAP技術(shù)的核心所在。 ② 可分析性： OLAP系統(tǒng)應(yīng)能處理與應(yīng)用有關(guān)的任何邏輯分析和統(tǒng)計(jì)分析。系統(tǒng)必須提供對(duì)數(shù)據(jù)的多維視圖和分析，包括對(duì)層次維和多重層次維的完全支持。 （ 2） OLAP的數(shù)據(jù)組織 數(shù)據(jù)倉(cāng)庫(kù)、 OLAP都以多維數(shù)據(jù)模型為基礎(chǔ)。該模型將數(shù)據(jù)看作多維的數(shù)據(jù)方體。 人們觀察數(shù)據(jù)的某個(gè)特定角度還可以存在細(xì)節(jié)程度不同的多個(gè)描述方面，稱為維的層次（ Hierarchy）。如前例中所述的每個(gè)工廠、每段時(shí)間、每種產(chǎn)品都是它們所屬維的一個(gè)維成員。三維數(shù)組可以用一個(gè)立方體來(lái)直觀的表示。因?yàn)楹芏嗑奂瘮?shù)需經(jīng)常重復(fù)計(jì)算，所以在多維數(shù)據(jù)立方體中存放預(yù)先計(jì)算好的結(jié)果將能保證快速響應(yīng)，并可靈活地提供不同角度和不同抽象層次上的數(shù)據(jù)視圖。由于預(yù)先計(jì)算了所有可能的聚集，因此可加快分析時(shí)的響應(yīng)速度。多維數(shù)據(jù)集的度量值是 OLAP分析的核心值，是用戶在 DW中需要查看的數(shù)據(jù)，一般是銷售量、成本、費(fèi)用等。為此人們用較形象的星型模式和雪花模式來(lái)描述多維數(shù)據(jù)模型。事實(shí)表包含大批度量數(shù)據(jù)。這種模式圖很像星星，維表圍繞中心表，故命名為星型模式。星型模型包括兩部分： ? 事實(shí)表 —— 一個(gè)大的包括大批數(shù)據(jù)和不含冗余的中心表（包括用于分析的測(cè)量指和連接維的鍵，例如總銷售量、月銀行存款額、貨運(yùn)量等）。這種模型圖，很象星星爆發(fā)。維表包含有描述數(shù)據(jù)部件的屬性，并提供用于比較分析的信息。在某些維表中，屬性列不是基本數(shù)據(jù)項(xiàng)，仍然是一個(gè)維表。因此要把維表規(guī)范化，即把維表進(jìn)一步分解，生成附加的表，使模式圖形成類似于雪花的形狀。 （ 3） OLAP的多維分析 多維分析是指對(duì)以多維形式組織起來(lái)的數(shù)據(jù)采取切片（ Slice）、切塊（ Dice）、鉆?。?Drilldown和Rollup）、旋轉(zhuǎn)（ Pivot）等各種分析動(dòng)作，以求剖析數(shù)據(jù)，使用戶能從多個(gè)角度、多側(cè)面地觀察數(shù)據(jù)庫(kù)中的數(shù)據(jù)，從而深入理解包含在數(shù)據(jù)中的信息。其作用在于舍棄一些觀察角度，便于人們對(duì)數(shù)據(jù)的集中觀察。 ②數(shù)據(jù)切塊