【文章內(nèi)容簡介】 ? 1991年，美國 PrismSolution公司副總裁 概念： ? 數(shù)據(jù)倉庫的廣義概念 ： 數(shù)據(jù)倉庫描述了一種語義一致的數(shù)據(jù)組織與處理的體系結(jié)構(gòu)，它將多個分散的、異質(zhì)的原始數(shù)據(jù)融合在一起，完成不同數(shù)據(jù)存取、查詢及文檔分析、報告生成，從而支持決策過程。 湖北工業(yè)大學(xué)工程技術(shù)學(xué)院 數(shù)據(jù)倉庫 ? 數(shù)據(jù)倉庫的狹義概念： 數(shù)據(jù)倉庫是支持經(jīng)營管理中的決策制定過程的、面向主題的、集成的、內(nèi)容相對穩(wěn)定持久的（非易失性）、不同時間的數(shù)據(jù)集合，用來支持管理人員的決策。 ?數(shù)據(jù)倉庫的主要特征： ? （ 1）面向主題 ? （ 2）集成 ? （ 3）非易失性 ? （ 4）時異性 ? 問題：怎么理解 “ 本質(zhì)上，數(shù)據(jù)倉庫是一個使用其自身數(shù)據(jù)庫管理系統(tǒng)的數(shù)據(jù)庫應(yīng)用 ” 這句話？ 湖北工業(yè)大學(xué)工程技術(shù)學(xué)院 數(shù)據(jù)倉庫 ?1 數(shù)據(jù)倉庫的幾個重要概念 ?(1)ETL(Extract/Transformation/Load) ?(2)元數(shù)據(jù)（是數(shù)據(jù)倉庫的最基本數(shù)據(jù)單元） ?(3)粒度（數(shù)據(jù)的細(xì)化或概化程度） ?(4)分割（物理單元） ?(5)數(shù)據(jù)集市 (data mart)（小型數(shù)據(jù)倉庫） 湖北工業(yè)大學(xué)工程技術(shù)學(xué)院 ?2 數(shù)據(jù)倉庫的結(jié)構(gòu) ? 數(shù)據(jù)倉庫的數(shù)據(jù)按層次組織，通常是一個多層機(jī)構(gòu)，可分為下列幾個層次： ? （ 1）當(dāng)前詳細(xì)數(shù)據(jù) (current detail data):反映當(dāng)前發(fā)生的用戶感興趣的數(shù)據(jù)，在粒度最底層。 ? （ 2）歷史詳細(xì)數(shù)據(jù) (older detail data):不經(jīng)常被訪問的，在一個與當(dāng)前詳細(xì)數(shù)據(jù)相同的粒度的層次。 ? （ 3）輕度概化數(shù)據(jù) (lightly summarized data):從當(dāng)前詳細(xì)數(shù)據(jù)提煉出來的數(shù)據(jù)。 ? （ 4）高度概化數(shù)據(jù) (highly summarized data):壓縮的易于訪問的數(shù)據(jù)。 數(shù)據(jù)倉庫 湖北工業(yè)大學(xué)工程技術(shù)學(xué)院 數(shù)據(jù)倉庫的層次結(jié)構(gòu) 數(shù)據(jù)倉庫的外部輸入輸出 聯(lián)機(jī)分析處理 ?1 聯(lián)機(jī)分析處理基本概念 ? 1993年， IBM公司的 OLAP(Online Analysis Processing)技術(shù)； ? OLAP是一種面向數(shù)據(jù)分析的交互式?jīng)Q策輔助方法，是針對特定問題的聯(lián)機(jī)數(shù)據(jù)訪問和分析，通過對信息的很多種可能的觀察形式進(jìn)行快速、穩(wěn)定一致和交互性的存取，允許決策人員對數(shù)據(jù)進(jìn)行深入觀察。 ? OLAP常用的基本概念： ? （ 1）變量 變量是數(shù)據(jù)的實際意義，即描述數(shù)據(jù)是“什么”。 湖北工業(yè)大學(xué)工程技術(shù)學(xué)院 聯(lián)機(jī)分析處理 ? （ 2）維 維是人們觀察數(shù)據(jù)的特定角度。（時間維、空間維、產(chǎn)品維） ? （ 3）維的層次 人們觀察數(shù)據(jù)的某個特定角度（某個維）還可以存在細(xì)節(jié)程度不同的多個描述方面，這就是維的層次。 ? （ 4）維成員 維的一個取值成為維成員。 ? （ 5）多維數(shù)組 一個多維數(shù)組可以表示為：維 1，維 2， … ，維 n，變量。 ? （ 6）數(shù)據(jù)單元 多維數(shù)組的取值稱為數(shù)據(jù)單元。 湖北工業(yè)大學(xué)工程技術(shù)學(xué)院 聯(lián)機(jī)分析處理 （ 1）切片： 在多維數(shù)組的某一維上選定一維成員的操作稱為切片。即在維 1，維2， … ，維 n，變量中選一維，如維 i，并取其一維成員維 i，則在維 i上的切片為（維 1，維 2， … ，維 i， … ，維 n，變量）。 ?2 聯(lián)機(jī)分析處理基本操作 湖北工業(yè)大學(xué)工程技術(shù)學(xué)院 聯(lián)機(jī)分析處理 （ 2）切塊： ? 在多維數(shù)組的某一維上選定某一區(qū)間的成員維的 操作稱為切塊，即限制多維數(shù)組的某一維的取值區(qū)間。顯然，當(dāng)區(qū)間退化到一個維成員時，就是切片。 湖北工業(yè)大學(xué)工程技術(shù)學(xué)院 聯(lián)機(jī)分析處理 （ 3）旋轉(zhuǎn)： ? 改變一個報告或頁面的維方向。例如，旋轉(zhuǎn)可能包含交換行和列，或是把某一個行維移到列維中。 湖北工業(yè)大學(xué)工程技術(shù)學(xué)院 聯(lián)機(jī)分析處理 （ 4）鉆探： ? 使用戶在數(shù)據(jù)倉庫的多層數(shù)據(jù)中能 通過導(dǎo)航信息 而獲得更多的細(xì)節(jié)性數(shù)據(jù)，一般是指向下鉆探。 地區(qū) 銷售額 上海 900 長沙 650 廣州 800 地區(qū) 1季度 2季度 3季度 四季度 上海 200 200 350 150 長沙 250 100 150 150 廣州 200 150 180 270 湖北工業(yè)大學(xué)工程技術(shù)學(xué)院 聯(lián)機(jī)分析處理 ?3 聯(lián)機(jī)分析處理與聯(lián)機(jī)事務(wù)處理的比較 ? 聯(lián)機(jī)事務(wù)處理（ OLTP）是操作人員和低層管理人員利用計算機(jī)網(wǎng)絡(luò)對數(shù)據(jù)庫中的數(shù)據(jù)進(jìn)行操作，以 完成日常事務(wù)處理工作 。 ? OLAP與 OLTP是兩類不同的應(yīng)用，前者面對的是決策人員和高層管理人員，后者面對的是操作人員和低層管理人員。二者區(qū)別詳見下表： 湖北工業(yè)大學(xué)工程技術(shù)學(xué)院 OLTP與 OLAP的比較 OLTP OLAP 數(shù)據(jù)庫原始數(shù)據(jù) 數(shù)據(jù)庫導(dǎo)出數(shù)據(jù)或數(shù)據(jù)倉庫 細(xì)節(jié)性數(shù)據(jù) 綜合性數(shù)據(jù) 當(dāng)前數(shù)據(jù) 歷史數(shù)據(jù) 經(jīng)常更新 不可更新，但周期性刷新 一次性處理數(shù)據(jù)量小 一次性處理數(shù)據(jù)量大 響應(yīng)時間要求高 響應(yīng)時間合理 用戶數(shù)量大 用戶數(shù)量相對少 面向操作人員，支持日常事務(wù)操作 面向決策人員，支持管理需要 面向應(yīng)用，事務(wù)驅(qū)動 面向分析，分析驅(qū)動 問題： OLTP與 OLAP的主要區(qū)別所在？ 數(shù)據(jù)挖掘 ?數(shù)據(jù)挖掘 DM（ Data Mining） 是近年來隨著數(shù)據(jù)庫和人工智能技術(shù)的發(fā)展而出現(xiàn)的一種全新信息技術(shù)， 也稱為數(shù)據(jù)庫中的知識發(fā)現(xiàn)（ Knowledge Discovery in Database, KDD），是指從大量數(shù)據(jù)中抽象出潛在的有用信息的過程。 ? 一般來說， KDD過程由三個部分組成：數(shù)據(jù)準(zhǔn)備、數(shù)據(jù)挖掘以及解釋評估。 ? 數(shù)據(jù)準(zhǔn)備： 包括數(shù)據(jù)選取、數(shù)據(jù)預(yù)處理和數(shù)據(jù)變換，完成對數(shù)據(jù)的抽取、清理和整理； ? 數(shù)據(jù)挖掘： 根據(jù)待發(fā)現(xiàn)的任務(wù)類別選擇有效的發(fā)現(xiàn)算法對數(shù)據(jù)進(jìn)行挖掘； ? 解釋評估 ： 對發(fā)現(xiàn)模式的評價和解釋，并進(jìn)一步用于決策分析或?qū)⑿掳l(fā)現(xiàn)的知識擴(kuò)充到知識庫中去。 湖北工業(yè)大學(xué)工程技術(shù)學(xué)院 數(shù)據(jù)挖掘 ? 目前，數(shù)據(jù)挖掘應(yīng)用于很多領(lǐng)域，尤其是在如銀行、電信保險、交通、零售等商業(yè)領(lǐng)域。 ? 數(shù)據(jù)挖掘工具可根據(jù)應(yīng)用領(lǐng)域分為三類： ? （ 1）通用單任務(wù)類： 僅支持 KDD的數(shù)據(jù)挖掘步驟，并需要大量的預(yù)處理和善后處理工作。 ? （ 2）通用多任務(wù)類： 可執(zhí)行多個領(lǐng)域的知識發(fā)現(xiàn)任務(wù)，集成了分類、可視化、聚集、概括等多種策略。 ? （ 3）專用領(lǐng)域類： 現(xiàn)有的許多數(shù)據(jù)挖掘系統(tǒng)是專為特定目的開發(fā)的，用于專用領(lǐng)域的知識發(fā)現(xiàn)，對采掘的數(shù)據(jù)庫有語義要求，發(fā)現(xiàn)的知識也較單一。 湖北工業(yè)大學(xué)工程技術(shù)學(xué)院 數(shù)據(jù)挖掘 ?根據(jù)所采用的技術(shù)，挖掘工具大致分為六類： ? (1)基于規(guī)則和決策樹的工具（ 課后查找軟件 Knowledge Seeker） ? (2)基于神經(jīng)元網(wǎng)絡(luò)的工具（針對非線性數(shù)據(jù)的快速建模） ? (3)數(shù)據(jù)可視化方法 ? (4)模糊發(fā)現(xiàn)方法 ? (5)統(tǒng)計方法 ? (6)綜合多方法 湖北工業(yè)大學(xué)工程技術(shù)學(xué)院 聯(lián)機(jī)分析處理與數(shù)據(jù)挖掘的聯(lián)系 ? OLAP作為一種多維分析工具，可提供數(shù)據(jù)多層面、多角度的邏輯視圖。用戶提出問題或假設(shè)， OLAP負(fù)責(zé)提取關(guān)于該問題的詳細(xì)信息，并將結(jié)果呈現(xiàn)給用戶。 ? 數(shù)據(jù)挖掘 是在數(shù)據(jù)集合中尋找模式的決策支持過程，它能從大量數(shù)據(jù)中發(fā)現(xiàn)潛在數(shù)據(jù)模式并做出預(yù)測性分析，是現(xiàn)有的人工智能、統(tǒng)計學(xué)等成熟技術(shù)在特定系統(tǒng)中具體的應(yīng)用。 ? OLAP和數(shù)據(jù)挖掘的共同點 ：二者都屬于分析性工具。 湖北工業(yè)大學(xué)工程技術(shù)學(xué)院 聯(lián)機(jī)分析處理與數(shù)據(jù)挖掘的聯(lián)系 ? OLAP與數(shù)據(jù)挖掘的主要區(qū)別： ? （ 1）數(shù)據(jù)挖掘的分析過程是自動的，用戶不必提出確切的問題，只需工具去挖掘隱藏的模式并預(yù)測未來的趨勢；而 OLAP更多地依靠用戶輸入問題和假設(shè)，從而影響最終結(jié)論。 ? （ 2） OLAP屬于較淺的層次，數(shù)據(jù)挖掘可以發(fā)現(xiàn) OLAP所不能發(fā)現(xiàn)的更復(fù)雜的問題。 ? OLAP技術(shù)和數(shù)據(jù)挖掘技術(shù)是既相對獨立又相互關(guān)聯(lián)的信息技術(shù)，近年來數(shù)據(jù)倉庫系統(tǒng)中 趨向于將兩者集成在一起 ，以便做出高效的分析。 ? 問題：數(shù)據(jù)倉庫、 OLAP和數(shù)據(jù)挖掘三者之間關(guān)系？ 湖北工業(yè)大學(xué)工程技術(shù)學(xué)院 數(shù)據(jù)挖掘與