【正文】 數(shù)據(jù)質(zhì)量要求的數(shù)據(jù)。但通常數(shù)據(jù)清洗是一個(gè)反復(fù)進(jìn)行的過(guò)程，這就導(dǎo)致清理程序復(fù)雜、系統(tǒng)工作量大?？梢酝ㄟ^(guò)數(shù)據(jù)文件直接裝載或直連數(shù)據(jù)庫(kù)的方式來(lái)進(jìn)行，充分體現(xiàn)高效性。 (3) 數(shù)據(jù)存儲(chǔ) 對(duì)于一個(gè)企業(yè)來(lái)說(shuō)，最關(guān)鍵最重要的是如何以一種有效的方式逐步整理各個(gè)業(yè)務(wù)處理系統(tǒng)中積累下來(lái)的歷史數(shù)據(jù)，并通過(guò)靈活有效的方式為各級(jí)業(yè)務(wù)人員提供統(tǒng)一的信息視圖，從而在整個(gè)企業(yè)內(nèi)實(shí)現(xiàn)真正的信息共享。 OLAP操作使用數(shù)據(jù)的領(lǐng)域背景知識(shí)，允許在不同的抽象層提供數(shù)據(jù)。另一種存在方式是以數(shù)據(jù)庫(kù)為基礎(chǔ)（即元數(shù)據(jù)庫(kù)），給一個(gè)數(shù)據(jù)庫(kù)有一個(gè)元數(shù)據(jù)文件，該文件為一表格數(shù)據(jù)，它由若干項(xiàng)組成，每一項(xiàng)表示元數(shù)據(jù)的一個(gè)要素，其記錄為每一個(gè)數(shù)據(jù)集的元數(shù)據(jù)內(nèi)容。 (1)數(shù)據(jù)倉(cāng)庫(kù)的定義 “數(shù)據(jù)倉(cāng)庫(kù)之父” 《 Building the Data Warehouse》一書(shū)中指出：“數(shù)據(jù)倉(cāng)庫(kù)是面向主題的、集成的、非易失的，隨時(shí)間變化的用來(lái)支持管理人員決策的數(shù)據(jù)集合。 ④ 時(shí)變性 ⑤ 時(shí)變性表現(xiàn)在數(shù)據(jù)倉(cāng)庫(kù)的數(shù)據(jù)是在一個(gè)很長(zhǎng)的時(shí)間上的數(shù)據(jù)。 b 當(dāng)前細(xì)節(jié)數(shù)據(jù) 存儲(chǔ)最近時(shí)期的業(yè)務(wù)數(shù)據(jù)，反映當(dāng)前業(yè)務(wù)的情況，數(shù)據(jù)量大，是數(shù)據(jù)倉(cāng)庫(kù)用戶最感興趣的部分。 e 元數(shù)據(jù) 對(duì)數(shù)據(jù)倉(cāng)庫(kù)中的各種數(shù)據(jù)進(jìn)行詳細(xì)的描述與說(shuō)明，說(shuō)明每個(gè)數(shù)據(jù)的上下文關(guān)系，使每個(gè)數(shù)據(jù)具有符合現(xiàn)實(shí)的真實(shí)含義，使最終用戶了解這些數(shù)據(jù)之間的關(guān)系。細(xì)化程度越高，粒度就越??；相反，細(xì)化程度越低，粒度級(jí)就越大。它的目的同樣在于將數(shù)據(jù)分散到各自的物理單元中去，以便能分別獨(dú)立處理。 面向應(yīng)用數(shù)據(jù)庫(kù)每天數(shù)據(jù)每天綜合1 月 1 日 1 月 2 日 1 月 3 日2 月 1 日 2 月 2 日 2 月 3 日????b. 輪轉(zhuǎn)綜合文件 數(shù)據(jù)存儲(chǔ)單位被分為日、周、月、年等幾個(gè)級(jí)別。輪轉(zhuǎn)綜合結(jié)構(gòu)十分簡(jiǎn)捷，數(shù)據(jù)量較簡(jiǎn)單堆積結(jié)構(gòu)大大減少。 1 月份數(shù)據(jù)2 月份數(shù)據(jù)綜合連續(xù)結(jié)構(gòu)文件1 數(shù)據(jù)倉(cāng)庫(kù)技術(shù) (2) 數(shù)據(jù)倉(cāng)庫(kù)的數(shù)據(jù)組織 ③數(shù)據(jù)倉(cāng)庫(kù)的數(shù)據(jù)模型 數(shù)據(jù)模型是對(duì)現(xiàn)實(shí)世界進(jìn)行抽象的工具，抽象的程度不同，就形成不同抽象級(jí)別層次上的數(shù)據(jù)模型。這個(gè)范圍由系統(tǒng)的建模者、管理人員和最終用戶共同確定。 b. 中間層模型 對(duì)高層數(shù)據(jù)模型中標(biāo)識(shí)的每個(gè)主要的主題域或?qū)嶓w，都要建一個(gè)中間層數(shù)據(jù)模型。 ? 類(lèi)型數(shù)據(jù)組：經(jīng)常變化的數(shù)據(jù)項(xiàng)。 ? 數(shù)據(jù)庫(kù)設(shè)計(jì)者需要在物理上組織好數(shù)據(jù)、保證執(zhí)行一次物理 I/O能夠返回最大數(shù)量的記錄。數(shù)據(jù)模型既適用于現(xiàn)有的系統(tǒng)環(huán)境也適用于數(shù)據(jù)倉(cāng)庫(kù)中的環(huán)境。其中，元數(shù)據(jù)庫(kù)是對(duì)數(shù)據(jù)的一種描述，貫穿整個(gè)系統(tǒng)的各個(gè)部分 數(shù)據(jù)倉(cāng)庫(kù)的數(shù)據(jù)一般分為操作數(shù)據(jù)庫(kù)源數(shù)據(jù)和外部源數(shù)據(jù)兩部分。 數(shù)據(jù)的存儲(chǔ)與管理是整個(gè)數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)的核心。 (4) 數(shù)據(jù)倉(cāng)庫(kù)的基本框架 數(shù)據(jù)倉(cāng)庫(kù)提供了有效地存取和管理大量數(shù)據(jù)的理想環(huán)境，而數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)的建立是一個(gè)由數(shù)據(jù)驅(qū)動(dòng)、以技術(shù)支撐并滿足應(yīng)用需求的不斷增長(zhǎng)和完善的開(kāi)發(fā)過(guò)程。業(yè)務(wù)需求分析是數(shù)據(jù)倉(cāng)庫(kù)中一個(gè)很重要的階段，好的業(yè)務(wù)需求分析會(huì)使項(xiàng)目成功的機(jī)率大大增加。技術(shù)線的實(shí)施分為技術(shù)選擇和產(chǎn)品選擇兩個(gè)步驟。數(shù)據(jù)倉(cāng)庫(kù)的建立最終是為應(yīng)用服務(wù)的，所以需要對(duì)應(yīng)用進(jìn)行設(shè)計(jì)和開(kāi)發(fā)，以更好地滿足用戶的需要。該階段的主要任務(wù)是進(jìn)行數(shù)據(jù)倉(cāng)庫(kù)的邏輯設(shè)計(jì)，包括選擇合適的主題，確定事實(shí)表、相關(guān)的維、屬性和粒度劃分，設(shè)計(jì)正確的表結(jié)構(gòu)和主鍵、外鍵關(guān)系等。其過(guò)程包括以下三個(gè)方面：確定物理存儲(chǔ)結(jié)構(gòu)；確定索引策略；確定存儲(chǔ)分配。在數(shù)據(jù)倉(cāng)庫(kù)建立的過(guò)程中會(huì)遇到一些新的特定的問(wèn)題，如管理大量數(shù)據(jù)的需求，如何對(duì)數(shù)據(jù)進(jìn)行快速和方便的訪問(wèn)等。 ? 產(chǎn)品選擇。 ? 應(yīng)用設(shè)計(jì)。應(yīng)用開(kāi)發(fā)是通過(guò)應(yīng)用設(shè)計(jì)說(shuō)明書(shū)，按照標(biāo)準(zhǔn)的軟件開(kāi)發(fā)流程，實(shí)現(xiàn)模板的設(shè)計(jì)。 （ 1） 聯(lián)機(jī)分析處理的定義 OLAP委員會(huì)的定義： OLAP是使分析人員、管理人員或執(zhí)行人員能夠從多種角度對(duì)從原始數(shù)據(jù)中轉(zhuǎn)化出來(lái)的、能夠真正為用戶所理解的、并真實(shí)反映企業(yè)維特性的信息進(jìn)行快速、一致、交互地存取，從而獲得對(duì)數(shù)據(jù)的更深入了解的一類(lèi)軟件技術(shù)。 ② 可分析性： OLAP系統(tǒng)應(yīng)能處理與應(yīng)用有關(guān)的任何邏輯分析和統(tǒng)計(jì)分析。 （ 2） OLAP的數(shù)據(jù)組織 數(shù)據(jù)倉(cāng)庫(kù)、 OLAP都以多維數(shù)據(jù)模型為基礎(chǔ)。 人們觀察數(shù)據(jù)的某個(gè)特定角度還可以存在細(xì)節(jié)程度不同的多個(gè)描述方面，稱為維的層次（ Hierarchy）。三維數(shù)組可以用一個(gè)立方體來(lái)直觀的表示。由于預(yù)先計(jì)算了所有可能的聚集，因此可加快分析時(shí)的響應(yīng)速度。為此人們用較形象的星型模式和雪花模式來(lái)描述多維數(shù)據(jù)模型。這種模式圖很像星星，維表圍繞中心表，故命名為星型模式。這種模型圖，很象星星爆發(fā)。在某些維表中，屬性列不是基本數(shù)據(jù)項(xiàng)，仍然是一個(gè)維表。 （ 3） OLAP的多維分析 多維分析是指對(duì)以多維形式組織起來(lái)的數(shù)據(jù)采取切片（ Slice）、切塊（ Dice）、鉆?。?Drilldown和Rollup）、旋轉(zhuǎn)（ Pivot）等各種分析動(dòng)作，以求剖析數(shù)據(jù)，使用戶能從多個(gè)角度、多側(cè)面地觀察數(shù)據(jù)庫(kù)中的數(shù)據(jù)，從而深入理解包含在數(shù)據(jù)中的信息。 ②數(shù)據(jù)切塊 (Dice) 在多維數(shù)組的某一維上選定某一區(qū)間的維成員的動(dòng)作稱為切塊。如果剩余的維只有兩個(gè)，則是切片；如果有三個(gè)或以上，則是切塊。數(shù)據(jù)聚合是對(duì)數(shù)據(jù)進(jìn)行高層次綜合的操作；是在某一維上將低層次的細(xì)節(jié)數(shù)據(jù)概括到高層次的匯總數(shù)據(jù)，或者減少維數(shù)；數(shù)據(jù)鉆取則是從較高的維度層次下降到較低的維度層次的操作，它從匯總數(shù)據(jù)深入到細(xì)節(jié)數(shù)據(jù)進(jìn)行觀察或增加新維。例如：旋轉(zhuǎn)可能包含交換行和列，或是把某一個(gè)行維移到列維中去，或把頁(yè)面顯示中的一個(gè)維和頁(yè)面外的維進(jìn)行交換。 數(shù)據(jù)倉(cāng)庫(kù)服務(wù)器 OLAP服務(wù)器 前端展示工具 SQL 查詢 查詢結(jié)果 請(qǐng)求 返回 結(jié)果 返回 結(jié)果 SQL 圖 1314 OLAP三層客戶 /服務(wù)器結(jié)構(gòu)數(shù)據(jù)倉(cāng)庫(kù)服務(wù)器 ? 數(shù)據(jù)倉(cāng)庫(kù)服務(wù)器：實(shí)現(xiàn)和基層運(yùn)營(yíng)數(shù)據(jù)庫(kù)系統(tǒng)的連接，完成企業(yè)級(jí)數(shù)據(jù)一致和數(shù)據(jù)共享的工作 ? OLAP服務(wù)器：根據(jù)最終客戶的請(qǐng)求實(shí)現(xiàn)分解成 OLAP分析的各種分析動(dòng)作，并使用 DW中的數(shù)據(jù)完成這些動(dòng)作 ? 前端展示工具：將 OLAP服務(wù)器處理得到的結(jié)果用直觀的方式展現(xiàn)給最終用戶。在 MOLAP結(jié)構(gòu)中， OLAP主要是通過(guò)讀取經(jīng)過(guò)預(yù)處理的數(shù)據(jù)來(lái)完成分析操作，而這些預(yù)處理操作是預(yù)先定義好的，這就限制了 MOLAP結(jié)構(gòu)的靈活性。 ? MOLAP與 ROLAP是目前使用最多的兩種 OLAP結(jié)構(gòu)，這兩種結(jié)構(gòu)都能完成相同的分析功能。 ③ HOLAP 由于 MOLAP和 ROLAP有著各自的優(yōu)點(diǎn)和缺點(diǎn)，而它們的結(jié)構(gòu)卻迥然不同，這給分析人員設(shè)計(jì) OLAP結(jié)構(gòu)時(shí)提出了難題，他們必須在兩種結(jié)構(gòu)之間進(jìn)行選擇。 b. 可根據(jù) RDBMS的元數(shù)據(jù)產(chǎn)生多維視圖 —— 一個(gè)真正的 HOLAP可利用 RDBMS的元數(shù)據(jù)來(lái)構(gòu)建多維模型并可以利用元數(shù)據(jù)方便快捷地更改多維視圖，減少開(kāi)發(fā)和維護(hù)人員的工作量。 3 數(shù)據(jù)挖掘技術(shù) 與 OLAP的探測(cè)式數(shù)據(jù)分析不同，數(shù)據(jù)挖掘是按照預(yù)定的規(guī)則對(duì)數(shù)據(jù)庫(kù)和數(shù)據(jù)倉(cāng)庫(kù)中已有的數(shù)據(jù)進(jìn)行信息開(kāi)采、挖掘和分析，從中識(shí)別和抽取隱含的模式和有趣知識(shí)，為決策者提供決策依據(jù)。此外，數(shù)據(jù)挖掘技術(shù)還會(huì)同可視化技術(shù)、地理信息系統(tǒng)、統(tǒng)計(jì)分析系統(tǒng)相結(jié)合，豐富數(shù)據(jù)挖掘技術(shù)及工具的功能與性能。這個(gè)定義包括好幾層含義： ①數(shù)據(jù)源必須是真實(shí)的、大量的、含噪聲的； ②發(fā)現(xiàn)的是用戶感興趣的知識(shí)； ③發(fā)現(xiàn)的知識(shí)要可接受、可理解、可運(yùn)用； ④并不要求發(fā)現(xiàn)放之四海皆準(zhǔn)的知識(shí)，僅支持特定的發(fā)現(xiàn)問(wèn)題。 c. 既然數(shù)據(jù)是海量的，那么數(shù)據(jù)中就會(huì)隱含一定的變化趨勢(shì)，在數(shù)據(jù)挖掘中也要對(duì)這個(gè)趨勢(shì)做應(yīng)有的考慮和評(píng)價(jià)。 f. 數(shù)據(jù)挖掘涉及到數(shù)據(jù)也就碰到了數(shù)據(jù)的私有性和安全性。例如曾經(jīng)用數(shù)據(jù)挖掘找出的啤酒和尿布的例子，如何去解釋這種現(xiàn)象，是應(yīng)該將兩者放在一起還是分開(kāi)銷(xiāo)售，這還需要對(duì)消費(fèi)心理學(xué)有所研究才能做出決定，而不是數(shù)據(jù)挖掘能力所及的了。 f. 交互式發(fā)現(xiàn)和知識(shí)的維護(hù)更新。 Visual Warehouse是數(shù)據(jù)倉(cāng)庫(kù)工具，提供數(shù)據(jù)抽取、整合、轉(zhuǎn)換、清洗、加載等功能，可以按預(yù)先設(shè)定的時(shí)間自動(dòng)更新數(shù)據(jù)倉(cāng)庫(kù)，甚至允許使用第三方工具完成數(shù)據(jù)抽取過(guò)程。 c. 數(shù)據(jù)挖掘 d. IBM Enterprise Analyties是 IBM的數(shù)據(jù)挖掘工具集，由 IBM DB2 Intelligent Miner for data和 DB2 Intelligent Miner Scoring組成。 IBM商務(wù)智能解決方案中，查詢工具還可以使用第三方前端展現(xiàn)工具，如 BO的 Business objects，Cognos的 Impromptu， Lotus的 Approach等。Sybase公司提供的商務(wù)智能解決方案以能夠支持多種關(guān)系型數(shù)據(jù)庫(kù)（如 Sybase、 Oracle、 Microsoft、 Informix和 IBM的關(guān)系數(shù)據(jù)庫(kù)管理系統(tǒng)）而受到業(yè)界推崇，其垂直數(shù)據(jù)存儲(chǔ)技術(shù)使得查詢速度比傳統(tǒng)的關(guān)系型數(shù)據(jù)庫(kù)管理系統(tǒng)快 100倍。 （ 2） Adaptive Server IQ Multiplex Adaptive Server IQ Multiplex是專(zhuān)門(mén)為滿足數(shù)據(jù)倉(cāng)庫(kù)和商業(yè)智能設(shè)計(jì)的高性能的關(guān)系數(shù)據(jù)庫(kù)系統(tǒng)。 Adaptive Server IQ Multiplex是數(shù)據(jù)管理領(lǐng)域和傳統(tǒng)數(shù)據(jù)管理技術(shù)中各種創(chuàng)新技術(shù)（其中很多是 Sybase具有專(zhuān)利權(quán)的技術(shù)）的集中體現(xiàn)。平衡計(jì)分卡是協(xié)助企業(yè)擬定策略及監(jiān)控執(zhí)行效果的強(qiáng)大工具，提供了延展性和可靠性來(lái)支持高需求的企業(yè)環(huán)境。 （ 2）數(shù)據(jù)倉(cāng)庫(kù) (Data Warehouse) 與在線分析服務(wù) (OLAP) 數(shù)據(jù)倉(cāng)庫(kù)就是將預(yù)先計(jì)算完成的聚合數(shù)據(jù)，儲(chǔ)存于 Cube 之中，對(duì)復(fù)雜的分析查詢提供快速響應(yīng)，也就是分析過(guò)去歷史中的數(shù)據(jù)變化。據(jù)悉，在微軟 Analysis Services的下一個(gè)版本中，會(huì)進(jìn)一步提供時(shí)間序列 (Time Series) 、連續(xù)聚集 (Sequence Clustering) 、關(guān)聯(lián)分析 (Association) 、貝氏分析 (Naive Bayes) 與神經(jīng)網(wǎng)絡(luò) (Neural Network)算法。 （ 5）商業(yè)智能門(mén)戶網(wǎng)站 (BI Portal) 完整的呈現(xiàn)與簡(jiǎn)易使用商業(yè)智能的報(bào)表與信息是決定商業(yè)智能能否發(fā)揮價(jià)值的重要環(huán)節(jié)，微軟的商業(yè)智能入口網(wǎng)站就是符合集中化設(shè)定、自我管理、個(gè)性化的入口網(wǎng)站，可讓企業(yè)增強(qiáng)員工的生產(chǎn)力、達(dá)到較高投資報(bào)酬率并整合多個(gè)分析數(shù)據(jù)來(lái)源