【正文】 時(shí)間段（粒度）統(tǒng)計(jì)而成的數(shù)據(jù)，其數(shù)據(jù)量較細(xì)節(jié)及數(shù)據(jù)少得多。另一種粒度形式稱為樣本數(shù)據(jù)庫，它根據(jù)給定的采樣率從細(xì)節(jié)數(shù)據(jù)庫中抽取出一個(gè)子集。同理，周數(shù)據(jù)集達(dá)到五個(gè)后，數(shù)據(jù)再一次被綜合并記入月數(shù)據(jù)集。 ③數(shù)據(jù)倉庫的數(shù)據(jù)模型 a. 高層數(shù)據(jù)模型 高層建模以實(shí)體和關(guān)系為特征，實(shí)體處于最高抽象層，由“集成范圍”這個(gè)術(shù)語表示的內(nèi)容來決定哪些實(shí)體屬于模型范圍。 ? 基本數(shù)據(jù)組：屬于基本不會(huì)發(fā)生變化的項(xiàng)。 上述三個(gè)層次的數(shù)據(jù)模型對(duì)應(yīng)到傳統(tǒng)操作型數(shù)據(jù)庫建模中即為： 概念模型、邏輯模型和物理模型 。 導(dǎo)入的源數(shù)據(jù)形成了數(shù)據(jù)倉庫的原始數(shù)據(jù)，然而源數(shù)據(jù)只是數(shù)據(jù)倉庫的一部分，但不是全部。項(xiàng)目計(jì)劃是指定義創(chuàng)建數(shù)據(jù)倉庫的項(xiàng)目目標(biāo)和確定項(xiàng)目范圍，包括對(duì)項(xiàng)目計(jì)劃的評(píng)估和流程的調(diào)整。 ? 應(yīng)用線。 ? 物理設(shè)計(jì)。 ? 技術(shù)選擇。應(yīng)用設(shè)計(jì)的過程一般包括：確定初始的模板集、設(shè)計(jì)模板的標(biāo)準(zhǔn)、設(shè)計(jì)詳細(xì)模板、最后通過用戶反饋進(jìn)行改進(jìn)。 聯(lián)機(jī)分析技術(shù)具有如下特點(diǎn)：一是在線 (OnLine)，表現(xiàn)為對(duì)用戶請(qǐng)求的快速響應(yīng)和交互操作，它的實(shí)現(xiàn)是由客戶機(jī)／服務(wù)器體系結(jié)構(gòu)完成的；二是多維分析 (MultiAnalysis)，這也是 OLAP技術(shù)的核心所在。該模型將數(shù)據(jù)看作多維的數(shù)據(jù)方體。因?yàn)楹芏嗑奂瘮?shù)需經(jīng)常重復(fù)計(jì)算，所以在多維數(shù)據(jù)立方體中存放預(yù)先計(jì)算好的結(jié)果將能保證快速響應(yīng)，并可靈活地提供不同角度和不同抽象層次上的數(shù)據(jù)視圖。事實(shí)表包含大批度量數(shù)據(jù)。維表包含有描述數(shù)據(jù)部件的屬性，并提供用于比較分析的信息。其作用在于舍棄一些觀察角度，便于人們對(duì)數(shù)據(jù)的集中觀察。維度層次越高，代表的數(shù)據(jù)綜合度越高，細(xì)節(jié)越少，數(shù)據(jù)量越少；維度層次性越低，則代表的數(shù)據(jù)綜合度越低，細(xì)節(jié)越充分，數(shù)據(jù)量越大。OLAP的具體實(shí)現(xiàn)方案通常采用三層客戶 /服務(wù)器結(jié)構(gòu)。 DB 圖 1316 ROLAP 結(jié)構(gòu)圖 DB DB OLTP數(shù)據(jù)庫 數(shù)據(jù) 倉庫 OLAP服務(wù)器 OLAP客戶端 分析 數(shù)據(jù) ROLAP的主要優(yōu)點(diǎn)是它的靈活性強(qiáng)，用戶可以動(dòng)態(tài)定義統(tǒng)計(jì)或計(jì)算方式。 HOLAP結(jié)構(gòu)不應(yīng)該是 MOLAP與 ROLAP結(jié)構(gòu)的簡(jiǎn)單組合，而是這兩種結(jié)構(gòu)技術(shù)優(yōu)點(diǎn)的有機(jī)結(jié)合，能滿足用戶各種復(fù)雜的分析請(qǐng)求。發(fā)現(xiàn)的知識(shí)可以被用于信息管理，查詢優(yōu)化，決策支持和過程控制等，還可以用于數(shù)據(jù)自身的維護(hù)。 a. 數(shù)據(jù)挖掘的基本問題就在于數(shù)據(jù)的數(shù)量和維數(shù)，數(shù)據(jù)結(jié)構(gòu)也因此顯的非常復(fù)雜，如何進(jìn)行探索，選擇分析變量，也就成為首先要解決的問題。 總之，數(shù)據(jù)挖掘只是一個(gè)工具，不是萬能的，它可以發(fā)現(xiàn)一些潛在的用戶，但是不會(huì)告訴你為什么，也不能保證這些潛在的用戶成為現(xiàn)實(shí)。 數(shù)據(jù)源 Visual Warehouse DB2 Spatial Extender DB2 OLAP sever IBM Enterprise Analytics DB2 Warehouse Manager 用戶 圖 1318 IBM商務(wù)智能方案體系結(jié)構(gòu) a. 數(shù)據(jù)倉庫 IBM DB2通用數(shù)據(jù)庫是 IBM商務(wù)智能解決方案的基礎(chǔ)。 f. IBM DB2 Intelligent Miner scoring主要進(jìn)行實(shí)時(shí)數(shù)據(jù)挖掘分析。支撐這些商業(yè)智能應(yīng)用的，是一組集成化的邏輯數(shù)據(jù)模型與物理數(shù)據(jù)模型。通過報(bào)表服務(wù)彈性的訂閱和傳送功能，搭配必要的報(bào)表功能，可確保使用者輕松地存取最新的企業(yè)信息。透過數(shù)據(jù)挖掘可以提供企業(yè)洞察龐大數(shù)據(jù)中所隱含信息的能力，協(xié)助企業(yè)找出數(shù)據(jù)中所隱含的商業(yè)信息。微軟致力于平衡計(jì)分卡的發(fā)展已經(jīng)有顯著的成效與產(chǎn)品，通過微軟平衡計(jì)分卡加速器可以建設(shè)出符合企業(yè)的需求的平衡計(jì)分卡。它是微軟商業(yè)智能解決方案中不可或缺的一環(huán)，結(jié)合了微軟 SQL Server 與 Windows Server 的數(shù)據(jù)管理能力，以及大家熟悉的強(qiáng)大的 Office 應(yīng)用程序。 微軟的 DTS 是個(gè)開放式的對(duì)象架構(gòu)，可以利用向?qū)Ы⒒蛲ㄟ^設(shè)計(jì)器 (DTS Designer) 建立復(fù)雜的數(shù)據(jù)轉(zhuǎn)換作業(yè)，前端高級(jí)語言可以進(jìn)行對(duì)象訪問（ VB Script ）以及結(jié)合自動(dòng)化管理以 EMAIL 協(xié)助 DBA 管理系統(tǒng)。用戶可以提任何問題，可以針對(duì)任何數(shù)據(jù)提問題，可以在任何時(shí)間提問題。其 Industry Warehouse Studio（ IWS）是一個(gè)面向行業(yè)的集成化的商業(yè)智能應(yīng)用，為用戶解決商業(yè)智能“做什么”和“怎么做”的問題。 b. 聯(lián)機(jī)分析處理 Essbase/DB2 OLAP Serve:是一個(gè)企業(yè)級(jí)的聯(lián)機(jī)分析處理系統(tǒng)，支持多維數(shù)據(jù)庫，是一個(gè) HOLAP服務(wù)器，提供“維”的定義和數(shù)據(jù)裝載功能。預(yù)計(jì)在不久的研究還會(huì)形成更大的高潮，研究焦點(diǎn)可能會(huì)集中到以下幾個(gè)方面： a. 發(fā)現(xiàn)語言的形式化描述，即研究專門用于知識(shí)發(fā)現(xiàn)的數(shù)據(jù)挖掘語言，也許會(huì)像 SQL語言一樣走向形式化和標(biāo)準(zhǔn)化； b. 尋求數(shù)據(jù)挖掘過程中的可視化方法，使知識(shí)發(fā)現(xiàn)的過程能夠被用戶理解，也便于在知識(shí)發(fā)現(xiàn)的過程中進(jìn)行人機(jī)交互； c. 研究在網(wǎng)絡(luò)環(huán)境下的數(shù)據(jù)挖掘技術(shù)（ Web挖掘），特別是在因特網(wǎng)上建立數(shù)據(jù)挖掘 /知識(shí)發(fā)現(xiàn)服務(wù)器，并且與數(shù)據(jù)庫服務(wù)器配合，實(shí)現(xiàn) Web挖掘； d. 加強(qiáng)對(duì)各種非結(jié)構(gòu)化數(shù)據(jù)的開采（ Data Mining for Audio＆ Video），如對(duì)文本數(shù)據(jù)、圖形數(shù)據(jù)、視頻圖像數(shù)據(jù)、聲音數(shù)據(jù)乃至綜合多媒體數(shù)據(jù)的開采； e. 處理的數(shù)據(jù)將會(huì)涉及到更多的數(shù)據(jù)類型，這些數(shù)據(jù)類型或者比較復(fù)雜，或者是結(jié)構(gòu)比較獨(dú)特。不同的人對(duì)同樣的數(shù)據(jù)進(jìn)行挖掘，可能產(chǎn)生不同的結(jié)果，甚至差異很大，這就涉及到可靠性的問題。簡(jiǎn)而言之，數(shù)據(jù)挖掘其實(shí)是一類深層次的數(shù)據(jù)分析方法，它是按企業(yè)既定業(yè)務(wù)目標(biāo)，對(duì)大量的企業(yè)數(shù)據(jù)進(jìn)行探索和分析，揭示隱藏的、未知的或驗(yàn)證已知的規(guī)律性，并進(jìn)一步將其模型化的先進(jìn)有效的方法。 d. 可適應(yīng)大數(shù)據(jù)量數(shù)據(jù)的分析。由于這兩種結(jié)構(gòu)在各自的數(shù)據(jù)庫層采用的數(shù)據(jù)庫系統(tǒng)不同，從而導(dǎo)致它們不同的特點(diǎn)。 DB 圖 1315 MOLAP 結(jié)構(gòu)圖 DB DB OLTP數(shù)據(jù)庫 多維 數(shù)據(jù)庫 OLAP服務(wù)器 OLAP客戶端 分析 數(shù)據(jù) ① MOLAP ② MOLAP利用一個(gè)專有的多維數(shù)據(jù)庫來存儲(chǔ) OLAP分析所需的數(shù)據(jù)，數(shù)據(jù)以多維方式存儲(chǔ)，并以多維視圖方式顯示，其結(jié)構(gòu)如圖 1315所示。 ④ 旋轉(zhuǎn) 旋轉(zhuǎn)即改變一個(gè)報(bào)告或頁面顯示的維方向。例如選定 n維多維數(shù)組 (維度 維度 維度 …… 維度 n，度量值 )中若干維度(通常為 3個(gè)維度 )的取值范圍，從而形成該多維數(shù)據(jù)的子集 (維度 維度 維度 ……AI 維度 iBl， …… ， A2維度jB2， ……A3 維度 kB4， …… 維度 n，度量值 )，即為該多維數(shù)組的一個(gè)切塊。因此要把維表規(guī)范化，即把維表進(jìn)一步分解，生成附加的表，使模式圖形成類似于雪花的形狀。星型模型包括兩部分： ? 事實(shí)表 —— 一個(gè)大的包括大批數(shù)據(jù)和不含冗余的中心表（包括用于分析的測(cè)量指和連接維的鍵，例如總銷售量、月銀行存款額、貨運(yùn)量等）。多維數(shù)據(jù)集的度量值是 OLAP分析的核心值，是用戶在 DW中需要查看的數(shù)據(jù)，一般是銷售量、成本、費(fèi)用等。如前例中所述的每個(gè)工廠、每段時(shí)間、每種產(chǎn)品都是它們所屬維的一個(gè)維成員。系統(tǒng)必須提供對(duì)數(shù)據(jù)的多維視圖和分析，包括對(duì)層次維和多重層次維的完全支持。 2 聯(lián)機(jī)分析處理 OLAP專門用于支持復(fù)雜的決策分析，是支持信息管理和業(yè)務(wù)管理人員決策活動(dòng)的一種決策分析工具。 ③應(yīng)用線路： 應(yīng)用設(shè)計(jì)和開發(fā)的一個(gè)有效辦法是針對(duì)不同的用戶需求，設(shè)計(jì)和實(shí)現(xiàn)標(biāo)準(zhǔn)的用戶應(yīng)用模板，提供給用戶高效的接入方式。數(shù)據(jù)預(yù)處理是數(shù)據(jù)倉庫設(shè)計(jì)工程中非常重要的過程，它由三個(gè)主要步驟組成：抽?。?Extraction）、轉(zhuǎn)換(Transformation)、加載 (Load)，簡(jiǎn)稱 ETL。數(shù)據(jù)倉庫建成后就進(jìn)入運(yùn)行維護(hù)，在運(yùn)行中要不斷驗(yàn)證評(píng)價(jià)分析設(shè)計(jì)是否符合用戶需求，產(chǎn)生出新的分析要求及時(shí)反饋回需求分析，進(jìn)行系統(tǒng)設(shè)計(jì)的改進(jìn)。數(shù)據(jù)線的實(shí)施可以分為模型設(shè)計(jì)、物理設(shè)計(jì)、數(shù)據(jù)處理三個(gè)步驟，用以滿足對(duì)數(shù)據(jù)的有效組織和管理。 數(shù)據(jù)訪問和分析工具不但要提供一般的數(shù)據(jù)訪問功能，如查詢、匯總、統(tǒng)計(jì)等，還要提供對(duì)數(shù)據(jù)的深入分析功能，即數(shù)據(jù)挖掘的功能，如數(shù)據(jù)的比較、趨勢(shì)分析、模式識(shí)別等。 ④數(shù)據(jù)倉庫的數(shù)據(jù)追加方式 常用的技術(shù)和方法有： a. 時(shí)標(biāo)方法 b. DELTA文件 c. 前后映象文件的方法 d. 日志文件 (3) 數(shù)據(jù)倉庫的體系結(jié)構(gòu) 數(shù)據(jù)倉庫系統(tǒng)是以數(shù)據(jù)倉庫為基礎(chǔ)，通過集成工具、查詢工具和分析工具完成對(duì)數(shù)據(jù)的轉(zhuǎn)換和對(duì)信息提取的系統(tǒng)。其中物理特性設(shè)計(jì)需包括： ? 確定數(shù)據(jù)的粒度和分區(qū)。寫出來的集成范圍應(yīng)該盡量簡(jiǎn)短，而且應(yīng)該使用業(yè)務(wù)人員可以理解的語言。 1 數(shù)據(jù)倉庫技術(shù) (2) 數(shù)據(jù)倉庫的數(shù)據(jù)組織 ② 數(shù)據(jù)倉庫的數(shù)據(jù)組織形式 b. 輪轉(zhuǎn)綜合文件 面向應(yīng)用數(shù)據(jù)庫每天數(shù)據(jù)每天綜合第 1 天 第 2 天 第 7 天第 1 周 第 2 周 第 4 周????第 1 月第 2 月 第 12 月第 1 年 第 2 年第 n 年????7 天綜合 1 周4 周綜合 1 月12 月綜合 1 年c. 簡(jiǎn)化直接文件 它類似于簡(jiǎn)單堆積文件，但它是間隔一定時(shí)間的數(shù)據(jù)庫快照，比如每隔一星期或一個(gè)月作一次。一般而言，分割標(biāo)準(zhǔn)總應(yīng)包括日期項(xiàng)，它十分自然而且分割均勻。由此可見，數(shù)據(jù)倉庫中存在著不同的綜合級(jí)別，一般稱之為“粒度”。一般分為早期細(xì)節(jié)級(jí)、當(dāng)前細(xì)節(jié)級(jí)、輕度綜合級(jí)、高度綜合級(jí)以及元數(shù)據(jù)五部分。數(shù)據(jù)分析主要包含三個(gè)方面： ① 聯(lián)機(jī)分析處理 ② 數(shù)據(jù)挖掘 ③ 聯(lián)機(jī)分析挖掘 商務(wù)智能中的關(guān)鍵技術(shù) 商務(wù)智能是一套完整的解決方案，它是將數(shù)據(jù)倉庫、聯(lián)機(jī)分析處理 (OLAP)和數(shù)據(jù)挖掘等結(jié)合起來應(yīng)用到商業(yè)活動(dòng)中，從不同的數(shù)據(jù)源收集數(shù)據(jù)，經(jīng)過抽取(Extract)、轉(zhuǎn)換 (Transform)和加載 (Load)，送入到數(shù)據(jù)倉庫或數(shù)據(jù)集市，然后使用合適的查詢與分析工具、數(shù)據(jù)挖掘工具和聯(lián)機(jī)分析處理工具對(duì)信息進(jìn)行處理，將信息轉(zhuǎn)變成為輔助決策的知識(shí)，最后將知識(shí)呈現(xiàn)于用戶面前，以實(shí)現(xiàn)技術(shù)服務(wù)與決策的目的。數(shù)據(jù)倉庫也常常被看作一種體系結(jié)構(gòu)，通過將異種數(shù)據(jù)源中的數(shù)據(jù)集成在一起而構(gòu)造，支持結(jié)構(gòu)化的和專門的查詢、分析報(bào)告和決策。④與特定應(yīng)用領(lǐng)域無關(guān)的數(shù)據(jù)清洗，這一部分的研究主要集中于重復(fù)記錄的檢測(cè) /刪除。數(shù)據(jù)轉(zhuǎn)換是將源數(shù)據(jù)變?yōu)槟繕?biāo)數(shù)據(jù)的關(guān)鍵環(huán)節(jié)，它包括數(shù)