【文章內(nèi)容簡(jiǎn)介】 ? 1991年，美國(guó) PrismSolution公司副總裁 概念： ? 數(shù)據(jù)倉(cāng)庫(kù)的廣義概念 ： 數(shù)據(jù)倉(cāng)庫(kù)描述了一種語(yǔ)義一致的數(shù)據(jù)組織與處理的體系結(jié)構(gòu)，它將多個(gè)分散的、異質(zhì)的原始數(shù)據(jù)融合在一起，完成不同數(shù)據(jù)存取、查詢及文檔分析、報(bào)告生成，從而支持決策過(guò)程。 湖北工業(yè)大學(xué)工程技術(shù)學(xué)院 數(shù)據(jù)倉(cāng)庫(kù) ? 數(shù)據(jù)倉(cāng)庫(kù)的狹義概念： 數(shù)據(jù)倉(cāng)庫(kù)是支持經(jīng)營(yíng)管理中的決策制定過(guò)程的、面向主題的、集成的、內(nèi)容相對(duì)穩(wěn)定持久的（非易失性）、不同時(shí)間的數(shù)據(jù)集合，用來(lái)支持管理人員的決策。 ?數(shù)據(jù)倉(cāng)庫(kù)的主要特征： ? （ 1）面向主題 ? （ 2）集成 ? （ 3）非易失性 ? （ 4）時(shí)異性 ? 問(wèn)題：怎么理解 “ 本質(zhì)上，數(shù)據(jù)倉(cāng)庫(kù)是一個(gè)使用其自身數(shù)據(jù)庫(kù)管理系統(tǒng)的數(shù)據(jù)庫(kù)應(yīng)用 ” 這句話？ 湖北工業(yè)大學(xué)工程技術(shù)學(xué)院 數(shù)據(jù)倉(cāng)庫(kù) ?1 數(shù)據(jù)倉(cāng)庫(kù)的幾個(gè)重要概念 ?(1)ETL(Extract/Transformation/Load) ?(2)元數(shù)據(jù)（是數(shù)據(jù)倉(cāng)庫(kù)的最基本數(shù)據(jù)單元） ?(3)粒度（數(shù)據(jù)的細(xì)化或概化程度） ?(4)分割（物理單元） ?(5)數(shù)據(jù)集市 (data mart)（小型數(shù)據(jù)倉(cāng)庫(kù)） 湖北工業(yè)大學(xué)工程技術(shù)學(xué)院 ?2 數(shù)據(jù)倉(cāng)庫(kù)的結(jié)構(gòu) ? 數(shù)據(jù)倉(cāng)庫(kù)的數(shù)據(jù)按層次組織，通常是一個(gè)多層機(jī)構(gòu)，可分為下列幾個(gè)層次： ? （ 1）當(dāng)前詳細(xì)數(shù)據(jù) (current detail data):反映當(dāng)前發(fā)生的用戶感興趣的數(shù)據(jù)，在粒度最底層。 ? （ 2）歷史詳細(xì)數(shù)據(jù) (older detail data):不經(jīng)常被訪問(wèn)的，在一個(gè)與當(dāng)前詳細(xì)數(shù)據(jù)相同的粒度的層次。 ? （ 3）輕度概化數(shù)據(jù) (lightly summarized data):從當(dāng)前詳細(xì)數(shù)據(jù)提煉出來(lái)的數(shù)據(jù)。 ? （ 4）高度概化數(shù)據(jù) (highly summarized data):壓縮的易于訪問(wèn)的數(shù)據(jù)。 數(shù)據(jù)倉(cāng)庫(kù) 湖北工業(yè)大學(xué)工程技術(shù)學(xué)院 數(shù)據(jù)倉(cāng)庫(kù)的層次結(jié)構(gòu) 數(shù)據(jù)倉(cāng)庫(kù)的外部輸入輸出 聯(lián)機(jī)分析處理 ?1 聯(lián)機(jī)分析處理基本概念 ? 1993年， IBM公司的 OLAP(Online Analysis Processing)技術(shù)； ? OLAP是一種面向數(shù)據(jù)分析的交互式?jīng)Q策輔助方法，是針對(duì)特定問(wèn)題的聯(lián)機(jī)數(shù)據(jù)訪問(wèn)和分析，通過(guò)對(duì)信息的很多種可能的觀察形式進(jìn)行快速、穩(wěn)定一致和交互性的存取，允許決策人員對(duì)數(shù)據(jù)進(jìn)行深入觀察。 ? OLAP常用的基本概念： ? （ 1）變量 變量是數(shù)據(jù)的實(shí)際意義，即描述數(shù)據(jù)是“什么”。 湖北工業(yè)大學(xué)工程技術(shù)學(xué)院 聯(lián)機(jī)分析處理 ? （ 2）維 維是人們觀察數(shù)據(jù)的特定角度。（時(shí)間維、空間維、產(chǎn)品維） ? （ 3）維的層次 人們觀察數(shù)據(jù)的某個(gè)特定角度（某個(gè)維）還可以存在細(xì)節(jié)程度不同的多個(gè)描述方面，這就是維的層次。 ? （ 4）維成員 維的一個(gè)取值成為維成員。 ? （ 5）多維數(shù)組 一個(gè)多維數(shù)組可以表示為：維 1，維 2， … ，維 n，變量。 ? （ 6）數(shù)據(jù)單元 多維數(shù)組的取值稱為數(shù)據(jù)單元。 湖北工業(yè)大學(xué)工程技術(shù)學(xué)院 聯(lián)機(jī)分析處理 （ 1）切片： 在多維數(shù)組的某一維上選定一維成員的操作稱為切片。即在維 1，維2， … ，維 n，變量中選一維，如維 i，并取其一維成員維 i，則在維 i上的切片為（維 1，維 2， … ，維 i， … ，維 n，變量）。 ?2 聯(lián)機(jī)分析處理基本操作 湖北工業(yè)大學(xué)工程技術(shù)學(xué)院 聯(lián)機(jī)分析處理 （ 2）切塊： ? 在多維數(shù)組的某一維上選定某一區(qū)間的成員維的 操作稱為切塊，即限制多維數(shù)組的某一維的取值區(qū)間。顯然，當(dāng)區(qū)間退化到一個(gè)維成員時(shí)，就是切片。 湖北工業(yè)大學(xué)工程技術(shù)學(xué)院 聯(lián)機(jī)分析處理 （ 3）旋轉(zhuǎn)： ? 改變一個(gè)報(bào)告或頁(yè)面的維方向。例如，旋轉(zhuǎn)可能包含交換行和列，或是把某一個(gè)行維移到列維中。 湖北工業(yè)大學(xué)工程技術(shù)學(xué)院 聯(lián)機(jī)分析處理 （ 4）鉆探： ? 使用戶在數(shù)據(jù)倉(cāng)庫(kù)的多層數(shù)據(jù)中能 通過(guò)導(dǎo)航信息 而獲得更多的細(xì)節(jié)性數(shù)據(jù)，一般是指向下鉆探。 地區(qū) 銷售額 上海 900 長(zhǎng)沙 650 廣州 800 地區(qū) 1季度 2季度 3季度 四季度 上海 200 200 350 150 長(zhǎng)沙 250 100 150 150 廣州 200 150 180 270 湖北工業(yè)大學(xué)工程技術(shù)學(xué)院 聯(lián)機(jī)分析處理 ?3 聯(lián)機(jī)分析處理與聯(lián)機(jī)事務(wù)處理的比較 ? 聯(lián)機(jī)事務(wù)處理（ OLTP）是操作人員和低層管理人員利用計(jì)算機(jī)網(wǎng)絡(luò)對(duì)數(shù)據(jù)庫(kù)中的數(shù)據(jù)進(jìn)行操作，以 完成日常事務(wù)處理工作 。 ? OLAP與 OLTP是兩類不同的應(yīng)用，前者面對(duì)的是決策人員和高層管理人員，后者面對(duì)的是操作人員和低層管理人員。二者區(qū)別詳見(jiàn)下表： 湖北工業(yè)大學(xué)工程技術(shù)學(xué)院 OLTP與 OLAP的比較 OLTP OLAP 數(shù)據(jù)庫(kù)原始數(shù)據(jù) 數(shù)據(jù)庫(kù)導(dǎo)出數(shù)據(jù)或數(shù)據(jù)倉(cāng)庫(kù) 細(xì)節(jié)性數(shù)據(jù) 綜合性數(shù)據(jù) 當(dāng)前數(shù)據(jù) 歷史數(shù)據(jù) 經(jīng)常更新 不可更新，但周期性刷新 一次性處理數(shù)據(jù)量小 一次性處理數(shù)據(jù)量大 響應(yīng)時(shí)間要求高 響應(yīng)時(shí)間合理 用戶數(shù)量大 用戶數(shù)量相對(duì)少 面向操作人員，支持日常事務(wù)操作 面向決策人員，支持管理需要 面向應(yīng)用，事務(wù)驅(qū)動(dòng) 面向分析，分析驅(qū)動(dòng) 問(wèn)題： OLTP與 OLAP的主要區(qū)別所在？ 數(shù)據(jù)挖掘 ?數(shù)據(jù)挖掘 DM（ Data Mining） 是近年來(lái)隨著數(shù)據(jù)庫(kù)和人工智能技術(shù)的發(fā)展而出現(xiàn)的一種全新信息技術(shù)， 也稱為數(shù)據(jù)庫(kù)中的知識(shí)發(fā)現(xiàn)（ Knowledge Discovery in Database, KDD），是指從大量數(shù)據(jù)中抽象出潛在的有用信息的過(guò)程。 ? 一般來(lái)說(shuō)， KDD過(guò)程由三個(gè)部分組成：數(shù)據(jù)準(zhǔn)備、數(shù)據(jù)挖掘以及解釋評(píng)估。 ? 數(shù)據(jù)準(zhǔn)備： 包括數(shù)據(jù)選取、數(shù)據(jù)預(yù)處理和數(shù)據(jù)變換，完成對(duì)數(shù)據(jù)的抽取、清理和整理； ? 數(shù)據(jù)挖掘： 根據(jù)待發(fā)現(xiàn)的任務(wù)類別選擇有效的發(fā)現(xiàn)算法對(duì)數(shù)據(jù)進(jìn)行挖掘； ? 解釋評(píng)估 ： 對(duì)發(fā)現(xiàn)模式的評(píng)價(jià)和解釋，并進(jìn)一步用于決策分析或?qū)⑿掳l(fā)現(xiàn)的知識(shí)擴(kuò)充到知識(shí)庫(kù)中去。 湖北工業(yè)大學(xué)工程技術(shù)學(xué)院 數(shù)據(jù)挖掘 ? 目前，數(shù)據(jù)挖掘應(yīng)用于很多領(lǐng)域，尤其是在如銀行、電信保險(xiǎn)、交通、零售等商業(yè)領(lǐng)域。 ? 數(shù)據(jù)挖掘工具可根據(jù)應(yīng)用領(lǐng)域分為三類： ? （ 1）通用單任務(wù)類： 僅支持 KDD的數(shù)據(jù)挖掘步驟，并需要大量的預(yù)處理和善后處理工作。 ? （ 2）通用多任務(wù)類： 可執(zhí)行多個(gè)領(lǐng)域的知識(shí)發(fā)現(xiàn)任務(wù)，集成了分類、可視化、聚集、概括等多種策略。 ? （ 3）專用領(lǐng)域類： 現(xiàn)有的許多數(shù)據(jù)挖掘系統(tǒng)是專為特定目的開(kāi)發(fā)的，用于專用領(lǐng)域的知識(shí)發(fā)現(xiàn)，對(duì)采掘的數(shù)據(jù)庫(kù)有語(yǔ)義要求，發(fā)現(xiàn)的知識(shí)也較單一。 湖北工業(yè)大學(xué)工程技術(shù)學(xué)院 數(shù)據(jù)挖掘 ?根據(jù)所采用的技術(shù)，挖掘工具大致分為六類： ? (1)基于規(guī)則和決策樹(shù)的工具（ 課后查找軟件 Knowledge Seeker） ? (2)基于神經(jīng)元網(wǎng)絡(luò)的工具（針對(duì)非線性數(shù)據(jù)的快速建模） ? (3)數(shù)據(jù)可視化方法 ? (4)模糊發(fā)現(xiàn)方法 ? (5)統(tǒng)計(jì)方法 ? (6)綜合多方法 湖北工業(yè)大學(xué)工程技術(shù)學(xué)院 聯(lián)機(jī)分析處理與數(shù)據(jù)挖掘的聯(lián)系 ? OLAP作為一種多維分析工具，可提供數(shù)據(jù)多層面、多角度的邏輯視圖。用戶提出問(wèn)題或假設(shè)， OLAP負(fù)責(zé)提取關(guān)于該問(wèn)題的詳細(xì)信息，并將結(jié)果呈現(xiàn)給用戶。 ? 數(shù)據(jù)挖掘 是在數(shù)據(jù)集合中尋找模式的決策支持過(guò)程，它能從大量數(shù)據(jù)中發(fā)現(xiàn)潛在數(shù)據(jù)模式并做出預(yù)測(cè)性分析，是現(xiàn)有的人工智能、統(tǒng)計(jì)學(xué)等成熟技術(shù)在特定系統(tǒng)中具體的應(yīng)用。 ? OLAP和數(shù)據(jù)挖掘的共同點(diǎn) ：二者都屬于分析性工具。 湖北工業(yè)大學(xué)工程技術(shù)學(xué)院 聯(lián)機(jī)分析處理與數(shù)據(jù)挖掘的聯(lián)系 ? OLAP與數(shù)據(jù)挖掘的主要區(qū)別： ? （ 1）數(shù)據(jù)挖掘的分析過(guò)程是自動(dòng)的，用戶不必提出確切的問(wèn)題，只需工具去挖掘隱藏的模式并預(yù)測(cè)未來(lái)的趨勢(shì)；而 OLAP更多地依靠用戶輸入問(wèn)題和假設(shè)，從而影響最終結(jié)論。 ? （ 2） OLAP屬于較淺的層次，數(shù)據(jù)挖掘可以發(fā)現(xiàn) OLAP所不能發(fā)現(xiàn)的更復(fù)雜的問(wèn)題。 ? OLAP技術(shù)和數(shù)據(jù)挖掘技術(shù)是既相對(duì)獨(dú)立又相互關(guān)聯(lián)的信息技術(shù)，近年來(lái)數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)中 趨向于將兩者集成在一起 ，以便做出高效的分析。 ? 問(wèn)題：數(shù)據(jù)倉(cāng)庫(kù)、 OLAP和數(shù)據(jù)挖掘三者之間關(guān)系？ 湖北工業(yè)大學(xué)工程技術(shù)學(xué)院 數(shù)據(jù)挖掘與