【正文】 質(zhì)量 ? 提供一種統(tǒng)一的、跨平臺(tái)的存取數(shù)據(jù)方法 ? 將數(shù)據(jù)“信息化”，為企業(yè)決策者的經(jīng)營(yíng)分析提供信息來(lái)源 ETL 2 數(shù)據(jù)倉(cāng)庫(kù)設(shè)計(jì)和實(shí)現(xiàn) 數(shù)據(jù)倉(cāng)庫(kù)設(shè)計(jì) ETL設(shè)計(jì) 數(shù)據(jù)倉(cāng)庫(kù)實(shí)現(xiàn) （ 1）確定數(shù)據(jù)倉(cāng)庫(kù)的主題 根據(jù)電信業(yè)務(wù)和電信運(yùn)營(yíng)的需求，電信公司涉及的最主要的 三 個(gè)主題是： ? 客戶發(fā)展 ? 收益分析 ? 呼叫特性分析 數(shù)據(jù)倉(cāng)庫(kù)設(shè)計(jì) （ 2）數(shù)據(jù)倉(cāng)庫(kù)模型的設(shè)計(jì) —— 可用的數(shù)據(jù) 例如，要完成客戶發(fā)展、收益分析、呼叫特性分析三個(gè)主題，下列三部分信息是必要的，即： ? 客戶的基本信息表 ? 客戶的賬單信息表 ? 客戶的呼叫信息表 數(shù)據(jù)倉(cāng)庫(kù)設(shè)計(jì) （ 2）數(shù)據(jù)倉(cāng)庫(kù)模型的設(shè)計(jì) —— 粒度的確定 在數(shù)據(jù)倉(cāng)庫(kù)設(shè)計(jì)中，最重要的步驟是確定數(shù)據(jù)的粒度。 ETL ETL過(guò)程不僅僅是數(shù)據(jù)的 遷移(Migration)或 凈化 (Cleansing)，也應(yīng)該是 企業(yè)數(shù)據(jù)管理策略 中不可缺少的一部分。在打造一個(gè)數(shù)據(jù)倉(cāng)庫(kù)的過(guò)程中，ETL的實(shí)施是一項(xiàng)繁瑣、冗長(zhǎng)而艱巨的任務(wù)，因?yàn)樗P(guān)系到數(shù)據(jù)倉(cāng)庫(kù)中數(shù)據(jù)的質(zhì)量問(wèn)題，如果導(dǎo)入的數(shù)據(jù)漏洞百出，對(duì)決策者來(lái)說(shuō)無(wú)疑是個(gè)噩耗。 數(shù)據(jù)模型 將原來(lái)業(yè)務(wù)系統(tǒng)的數(shù)據(jù)經(jīng)過(guò)抽取、轉(zhuǎn)換、加載到數(shù)據(jù)倉(cāng)庫(kù)所在的中心存儲(chǔ)庫(kù)的過(guò)程稱(chēng)為 ETL (Extraction, Transformation and Loading)過(guò)程，制定這個(gè)過(guò)程的策略稱(chēng)之為 ETL策略，而完成 ETL過(guò)程的工具則是 ETL工具。與數(shù)據(jù)庫(kù)的數(shù)據(jù)模型相類(lèi)似，數(shù)據(jù)倉(cāng)庫(kù)的數(shù)據(jù)模型也分為三個(gè)層次： ? 概念模型 ? 邏輯模型 ? 物理模型 ? 數(shù)據(jù)倉(cāng)庫(kù)的數(shù)據(jù)模型 星型結(jié)構(gòu) 雪花型結(jié)構(gòu) 星型雪花型結(jié)構(gòu) ? 數(shù)據(jù)倉(cāng)庫(kù)的數(shù)據(jù)＝事實(shí)數(shù)據(jù)＋維度數(shù)據(jù) 不論是星型、雪花型或者是星型雪花型結(jié)構(gòu)都是以事實(shí)表為中心。換言之，在一個(gè)很低的粒度級(jí)別上，幾乎可以回答任何問(wèn)題，但在高粒度級(jí)別上，數(shù)據(jù)所能處理的問(wèn)題的數(shù)量是有限的。 在數(shù)據(jù)倉(cāng)庫(kù)中的數(shù)據(jù)粒度與查詢(xún)的詳細(xì)程度之間要做出權(quán)衡。細(xì)化程度越高，粒度級(jí)就越??；相反，細(xì)化程度越低，粒度級(jí)就越大。 －技術(shù)元數(shù)據(jù)存儲(chǔ)關(guān)于數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)技術(shù)細(xì)節(jié)的數(shù)據(jù)，是用于開(kāi)發(fā)和管理數(shù)據(jù)倉(cāng)庫(kù)使用的數(shù)據(jù)，它保證了數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)的正常運(yùn)行； －業(yè)務(wù)元數(shù)據(jù)從業(yè)務(wù)角度描述數(shù)據(jù)倉(cāng)庫(kù)中的數(shù)據(jù)，它提供介于使用者和實(shí)際系統(tǒng)之間的語(yǔ)義層，使得數(shù)據(jù)倉(cāng)庫(kù)使用人員能夠“讀懂”數(shù)據(jù)倉(cāng)庫(kù)中的數(shù)據(jù)。 在數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)中，元數(shù)據(jù)可以幫助數(shù)據(jù)倉(cāng)庫(kù)管理員和數(shù)據(jù)倉(cāng)庫(kù)開(kāi)發(fā)人員非常方便地找到他們所需的數(shù)據(jù)；元數(shù)據(jù)是描述數(shù)據(jù)倉(cāng)庫(kù)中數(shù)據(jù)結(jié)構(gòu)和構(gòu)建方法的數(shù)據(jù)。但數(shù)據(jù)倉(cāng)庫(kù)中的數(shù)據(jù)則不同，通常是一起載入與訪問(wèn)的，在數(shù)據(jù)倉(cāng)庫(kù)環(huán)境中并不進(jìn)行一般意義上的數(shù)據(jù)更新。 引言 ? 不可修改的 面向應(yīng)用的事務(wù)數(shù)據(jù)庫(kù)需要對(duì)數(shù)據(jù)進(jìn)行頻繁的插入、更新操作，而對(duì)于數(shù)據(jù)倉(cāng)庫(kù)中數(shù)據(jù)的操作僅限于數(shù)據(jù)的初始導(dǎo)入和記錄查詢(xún)。 引言 ?與時(shí)間相關(guān)的 數(shù)據(jù)倉(cāng)庫(kù)以維的形式對(duì)數(shù)據(jù)進(jìn)行組織，時(shí)間維是數(shù)據(jù)倉(cāng)庫(kù)中很重要的一個(gè)維度。 此外 ， 對(duì)所有應(yīng)用所涉及的問(wèn)題都要考慮一致性 。 例如 ， 數(shù)據(jù)倉(cāng)庫(kù)中顧客 “ 性別 ” 的編碼 ， 可采用 “ 男 /女 ” 或 “ m/f”， 采用哪種方式并不重要 ，重要的是在數(shù)據(jù)倉(cāng)庫(kù)中應(yīng)該統(tǒng)一編碼 。 例如編碼 、命名習(xí)慣 、 實(shí)際屬性和屬性度量等方面不一致 。 引言 ?集成的 最重要的特點(diǎn) 。 引言 ?集成的 數(shù)據(jù)倉(cāng)庫(kù)中的數(shù)據(jù)來(lái)自各個(gè)不同的數(shù)據(jù)源（操作數(shù)據(jù)庫(kù)）。而面向主題則考慮一個(gè)個(gè)的問(wèn)題域，對(duì)問(wèn)題域涉及到的數(shù)據(jù)和分析數(shù)據(jù)所采用的功能給予同樣的重視。 ?面向主題的 是相對(duì)于傳統(tǒng)數(shù)據(jù)庫(kù)的面向應(yīng)用而言的。數(shù)據(jù)倉(cāng)庫(kù)與數(shù)據(jù)挖掘 原理及應(yīng)用 東華理工大學(xué) 理學(xué)院 劉愛(ài)華 目錄 1. 數(shù)據(jù)倉(cāng)庫(kù)基礎(chǔ) 7. 分類(lèi)和預(yù)測(cè) 2. 數(shù)據(jù)倉(cāng)庫(kù)設(shè)計(jì)和實(shí)現(xiàn) 8. 關(guān)聯(lián)分析 3. 數(shù)據(jù)倉(cāng)庫(kù)實(shí)例 9. Web挖掘 4. OLAP和 OLAM 10. 數(shù)據(jù)挖掘?qū)嵗? 5 . 數(shù)據(jù)挖掘基礎(chǔ) 11. 知識(shí) 6. 聚類(lèi)分析 12. 語(yǔ)義網(wǎng)和本體 1 數(shù)據(jù)倉(cāng)庫(kù)基礎(chǔ) 引言 體系結(jié)構(gòu) 組成 元數(shù)據(jù) 數(shù)據(jù)粒度 數(shù)據(jù)模型 ETL 引言 ? 數(shù)據(jù)倉(cāng)庫(kù)定義 數(shù)據(jù)倉(cāng)庫(kù)是在企業(yè)管理和決策中面向主題的、集成的、與時(shí)間相關(guān)的、不可修改的數(shù)據(jù)集合。 此定義由最為權(quán)威的、被稱(chēng)為 “ 數(shù)據(jù)倉(cāng)庫(kù)之父 ” 的 William H. Inmon 先生給出。所謂面向應(yīng)用，指的是系統(tǒng)實(shí)現(xiàn)過(guò)程中主要圍繞著一些應(yīng)用或功能。 ?典型的主題領(lǐng)域 顧客、產(chǎn)品、事務(wù)或活動(dòng)、保險(xiǎn)單、索賠和賬目。由于歷史的原因，各操作數(shù)據(jù)庫(kù)的組織結(jié)構(gòu)往往是不同的，在這些異構(gòu)數(shù)據(jù)輸入到數(shù)據(jù)倉(cāng)庫(kù)之前，必須經(jīng)歷一個(gè)集成過(guò)程。 應(yīng)用問(wèn)題的設(shè)計(jì)人員制定出不同的設(shè)計(jì)決策 ， 且表示方法不同 。 數(shù)據(jù)進(jìn)入數(shù)據(jù)倉(cāng)庫(kù)時(shí) ， 需要消除各種不一致性 。 如果應(yīng)用數(shù)據(jù)編碼為 “ X/Y”， 則進(jìn)入數(shù)據(jù)倉(cāng)庫(kù)時(shí)需要進(jìn)行轉(zhuǎn)換 。 例如命名習(xí)慣 、 鍵碼結(jié)構(gòu) 、 屬性度量以及數(shù)據(jù)特點(diǎn)等 。并且數(shù)據(jù)倉(cāng)庫(kù)中的數(shù)據(jù)時(shí)間跨度大，從幾年甚至到幾十年，稱(chēng)為歷史數(shù)據(jù)。 操作型數(shù)據(jù)是一次訪問(wèn)和處理一個(gè)記錄，可以對(duì)操作型數(shù)據(jù)庫(kù)中的數(shù)據(jù)進(jìn)行更新。 引言 體系結(jié)構(gòu) ? 二層體系結(jié)構(gòu) 數(shù)據(jù)挖掘 / 數(shù)據(jù)展現(xiàn)系統(tǒng)數(shù)據(jù)集市數(shù)據(jù)集市數(shù)據(jù)集市數(shù)據(jù)集市數(shù)據(jù)倉(cāng)庫(kù)存儲(chǔ)數(shù)據(jù) 元數(shù)據(jù)數(shù)據(jù)暫存區(qū)抽取 / 轉(zhuǎn)換 / 清潔業(yè)務(wù)系統(tǒng)數(shù)據(jù) 外部數(shù)據(jù) 體系結(jié)構(gòu) ? 三層體系結(jié)構(gòu) 數(shù)據(jù)挖掘 / 數(shù)據(jù)展現(xiàn)系統(tǒng)數(shù)據(jù)集市數(shù)據(jù)集市數(shù)據(jù)集市數(shù)據(jù)集市數(shù)據(jù)倉(cāng)庫(kù)存儲(chǔ)數(shù)據(jù) 元數(shù)據(jù)數(shù)據(jù)暫存區(qū)抽取 / 轉(zhuǎn)換 / 清潔業(yè)務(wù)系統(tǒng)數(shù)據(jù) 外部數(shù)據(jù)ODS 數(shù)據(jù)倉(cāng)庫(kù)組成 ? 一個(gè)數(shù)據(jù)倉(cāng)庫(kù)的大小一般都是在 100GB以上 ? 通常 ， 數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)應(yīng)該包含下列程序： （ 1） 抽取數(shù)據(jù)與加載數(shù)據(jù) （ 2） 整理并轉(zhuǎn)換數(shù)據(jù) （ 采用一種數(shù)據(jù)倉(cāng)庫(kù)適用的數(shù)據(jù)格式 ） （ 3） 備份與備存數(shù)據(jù) （ 4） 管理所有查詢(xún) （ 即將查詢(xún)導(dǎo)向適當(dāng)?shù)臄?shù)據(jù)源 ） 數(shù) 據(jù) 查 詢(xún)C L A P 工 具C L A P 工 具經(jīng) 營(yíng) 數(shù) 據(jù)外 部 數(shù) 據(jù)詳 細(xì) 信 息集 合 信 息元 數(shù) 據(jù)倉(cāng) 庫(kù) 管 理 器加 載管 理器查 詢(xún)管 理器信 息數(shù) 據(jù)決 策 數(shù)據(jù)倉(cāng)庫(kù)組成 元數(shù)據(jù) ? 定義 元數(shù)據(jù)（ Metadata）是關(guān)于數(shù)據(jù)的數(shù)據(jù)。 元數(shù)據(jù) ? 分類(lèi) 按照用途的不同分為技術(shù)元數(shù)據(jù)（ Technical Metadata）和業(yè)務(wù)元數(shù)據(jù)（ Business Metadata）兩大類(lèi)。 數(shù)據(jù)粒度 ? 定義 粒度是指數(shù)據(jù)倉(cāng)庫(kù)的數(shù)據(jù)單位中保存數(shù)據(jù)的細(xì)化或綜合程度的級(jí)別。 粒度深深地影響存放在數(shù)據(jù)倉(cāng)庫(kù)中數(shù)據(jù)量的大小，同時(shí)影響數(shù)據(jù)倉(cāng)庫(kù)所能回答的查詢(xún)類(lèi)型。 數(shù)據(jù)粒度 當(dāng)提高粒度級(jí)別時(shí)，數(shù)據(jù)所能回答查詢(xún)的能力會(huì)隨之降低。 數(shù)據(jù)模型 數(shù)據(jù)模型是對(duì)現(xiàn)實(shí)世界的一種抽象，根據(jù)抽象程度的不同，可形成不同抽象層次上的數(shù)據(jù)模型。不同點(diǎn)只是在外圍維度表相互之間的關(guān)系不同而已。相對(duì)于數(shù)據(jù)倉(cāng)庫(kù)中的表而言，業(yè)務(wù)系統(tǒng)數(shù)據(jù)庫(kù)中的表稱(chēng)為源表，業(yè)務(wù)系統(tǒng)數(shù)據(jù)庫(kù)稱(chēng)為源數(shù)據(jù)庫(kù)，數(shù)據(jù)倉(cāng)庫(kù)中所有的數(shù)據(jù)都來(lái)自于業(yè)務(wù)系統(tǒng)數(shù)據(jù)庫(kù)。 ETL過(guò)程是搭建“數(shù)據(jù)倉(cāng)庫(kù)”時(shí) 最重要的 和 最易誤解的 步驟之一。 ETL過(guò)程的功能是： 發(fā)現(xiàn) 數(shù)據(jù)倉(cāng)庫(kù)需要的數(shù)據(jù)，將其從源系統(tǒng)中 抽取 出來(lái)，并進(jìn)行一定的 處理 ，然后 裝載 到數(shù)據(jù)倉(cāng)庫(kù)中去。 ? 單一粒度 對(duì)于客戶基本信息表，由于它屬于增長(zhǎng)較為緩慢的信息（隨著客戶數(shù)量的增長(zhǎng)，客戶業(yè)務(wù)信息的變更表會(huì)增長(zhǎng)），可以使用單一的數(shù)據(jù)粒度。 以客戶信息