【文章內(nèi)容簡介】 Webbased Data [Adapted from SunExpert Magazine, October 1998.] ______________________________________________________ INCOME ANNUAL REPORT ___ ___ ____ _____ ___ __ ___ ___ ____ _____ ___ __ ___ ___ ____ _____ ___ __ 報(bào)表 /查詢 EIS OLAP 數(shù)據(jù)挖掘 抽取 轉(zhuǎn)換 清洗 數(shù)據(jù)倉庫 數(shù)據(jù)集市 元數(shù)據(jù) 加 載 61 數(shù)據(jù)準(zhǔn)備部分（ 1） ?源數(shù)據(jù)部分 ? 內(nèi)部數(shù)據(jù)、外部數(shù)據(jù) ? 多來源，數(shù)據(jù)庫（面向業(yè)務(wù)、 ER） ?數(shù)據(jù)準(zhǔn)備部分 ? 把不同數(shù)據(jù)源得到的數(shù)據(jù)修改、轉(zhuǎn)換成適合數(shù)據(jù)分析的格式存儲(chǔ) ——面向主題、多維、一致 ? 抽取、轉(zhuǎn)換和裝載，簡稱為 ETL流程 ?數(shù)據(jù)抽取 (data extraction) ? 數(shù)據(jù)抽取是數(shù)據(jù)倉庫按分析主題從業(yè)務(wù)數(shù)據(jù)庫抽取相關(guān)數(shù)據(jù)的過程。 ? 抽取全部數(shù)據(jù)么？ 62 數(shù)據(jù)準(zhǔn)備部分（ 2） ?數(shù)據(jù)清洗 (data cleaning) ? 將錯(cuò)誤的、不一致的數(shù)據(jù)予以更正或刪除。 ? 得到準(zhǔn)確的數(shù)據(jù)！ ?數(shù)據(jù)轉(zhuǎn)換 (data transformation) ? 將不同格式的數(shù)據(jù)轉(zhuǎn)換成統(tǒng)一的數(shù)據(jù)格式 ?不同的數(shù)據(jù)庫產(chǎn)品，數(shù)據(jù)類型可能不同。 。 ? 得到統(tǒng)一格式的數(shù)據(jù)。 ?數(shù)據(jù)加載 (data load) ? 指把清洗后的數(shù)據(jù)裝入數(shù)據(jù)倉庫的過程。 ? 數(shù)據(jù)加載策略包括數(shù)據(jù)加載周期和數(shù)據(jù)追加策略。 63 數(shù)據(jù)存儲(chǔ)部分 （ 1） ?3部分：數(shù)據(jù)倉庫、數(shù)據(jù)集市、元數(shù)據(jù) ?數(shù)據(jù)倉庫的數(shù)據(jù)組織結(jié)構(gòu) ? 粒度：分析過程由粗到細(xì) ~OLAP鉆取、時(shí)間 64 數(shù)據(jù)存儲(chǔ)部分 （ 2） ?數(shù)據(jù)集市（ data mart ） ? 面向企業(yè)中的某個(gè)部門（主題）而在邏輯上或物理上劃分出來的數(shù)據(jù)倉庫中的數(shù)據(jù)子集稱為數(shù)據(jù)集市 ? 數(shù)據(jù)倉庫面向整個(gè)企業(yè)，而數(shù)據(jù)集市則面向企業(yè)中的某個(gè)部門 ? 目的是減少數(shù)據(jù)處理量，提高處理效率 ?兩種數(shù)據(jù)集市：獨(dú)立的、非獨(dú)立的 ?非獨(dú)立的 （復(fù)制的）數(shù)據(jù)集市 ? 數(shù)據(jù)倉庫某部分主題的復(fù)制品。 ? 目的：提高效率、易訪問 ? 數(shù)據(jù)源于數(shù)據(jù)倉庫，要首先建立數(shù)據(jù)倉庫。 65 數(shù)據(jù)存儲(chǔ)部分 （ 3） ?獨(dú)立的數(shù)據(jù)集市 ? 出發(fā)點(diǎn)：成本、時(shí)間 ? 直接從操作型環(huán)境獲取數(shù)據(jù) ? 每個(gè)數(shù)據(jù)集市都負(fù)責(zé)某個(gè)特定領(lǐng)域的信息集合 ? 難點(diǎn)：各集市的數(shù)據(jù)一致性問題，需要集成 ——元數(shù)據(jù)的規(guī)則 ? Q：多個(gè)獨(dú)立的數(shù)據(jù)集市能代替數(shù)據(jù)倉庫么？ ?Ralph Kimball： 數(shù)據(jù)倉庫只不過是一些數(shù)據(jù)集市的集 合而已 ?Inmon： 你可以在大海中捕到很多的小魚并堆積起來 ,但它們?nèi)匀徊皇泅L 66 數(shù)據(jù)存儲(chǔ)部分 （ 4） ?數(shù)據(jù)集市具有如下一些優(yōu)點(diǎn) ? 其成本和企業(yè)數(shù)據(jù)倉庫相比較低 (通常在 10萬 100萬美元左右 )。 ? 實(shí)施的時(shí)間短，通常少于 90天。 ? 數(shù)據(jù)集市可以在局部進(jìn)行控制而不需要在企業(yè)范圍集中控制，用戶就有了更多的權(quán)力。 ? 數(shù)據(jù)集市比數(shù)據(jù)倉庫包含更少的信息，因此比企業(yè)級(jí)數(shù)據(jù)倉庫更容易被瀏覽。 ? 數(shù)據(jù)集市允許業(yè)務(wù)單元建立自己的決策支持系統(tǒng)而不需要依靠公司的信息系統(tǒng)部門。 ? 獨(dú)立的數(shù)據(jù)集市可以用于驗(yàn)證開發(fā)全面的企業(yè)數(shù)據(jù)倉庫所需資源，這能夠快速實(shí)現(xiàn)收益，投資回報(bào)更快。 67 數(shù)據(jù)存儲(chǔ)部分 （ 5） ?元數(shù)據(jù) ? 元數(shù)據(jù)部分是數(shù)據(jù)倉庫數(shù)據(jù)本身信息的數(shù)據(jù)。 ? 從哪里來？操作型元數(shù)據(jù)。建立數(shù)據(jù)倉庫中的數(shù)據(jù)與操作型數(shù)據(jù)源的原始數(shù)據(jù)間的聯(lián)系。 ? 怎么來？抽取和轉(zhuǎn)換元數(shù)據(jù)。包含了源數(shù)據(jù)系統(tǒng)的數(shù)據(jù)抽取信息，即抽取頻率、抽取方法和數(shù)據(jù)抽取的商業(yè)規(guī)則。 ? 怎么用？最終用戶元數(shù)據(jù)。是數(shù)據(jù)倉庫的導(dǎo)航圖，它使最終用戶可以從數(shù)據(jù)倉庫中找到自己需要的信息。 68 本講的主要內(nèi)容 ?決策與決策支持系統(tǒng) ?DSS的結(jié)構(gòu)與工作原理 ?多維數(shù)據(jù)模型 ?數(shù)據(jù)倉庫 ?OLAP、 EIS與數(shù)據(jù)可視化 ?數(shù)據(jù)挖掘 ?商業(yè)智能 69 OLAP ?OLAP：聯(lián)機(jī)分析處理 ? 由關(guān)系數(shù)據(jù)庫之父 1993年提出的。 ? OLAP理事會(huì)的定義： OLAP是一種軟件技術(shù)，它使分析人員能夠迅速、一致、交互地從各個(gè)方面觀察信息，以達(dá)到深入理解數(shù)據(jù)的目的。這些信息是從原始數(shù)據(jù)直接轉(zhuǎn)換過來的，它們以用戶容易理解的方式反映企業(yè)的真實(shí)狀況。 ? 理解 OL： OLAP vs. OLTP，復(fù)雜查詢、快 ? 理解分析： OLA P的一個(gè)主要特點(diǎn)是多維數(shù)據(jù)分析 ? OLAP的數(shù)據(jù)源從哪里來？是什么樣的數(shù)據(jù)？ 70 OLAP的 12條準(zhǔn)則 ?Codd提出 OLAP的 12條準(zhǔn)則來描述 OLAP系統(tǒng) ? 準(zhǔn)則 1 OLAP模型必須提供多維概念視圖 ? 準(zhǔn)則 2 透明性準(zhǔn)則 ? 準(zhǔn)則 3 存取能力推測 ? 準(zhǔn)則 4 穩(wěn)定的報(bào)表能力 ? 準(zhǔn)則 5 客戶 /服務(wù)器體系結(jié)構(gòu) ? 準(zhǔn)則 6 維的等同性準(zhǔn)則 ? 準(zhǔn)則 7 動(dòng)態(tài)的稀疏矩陣處理準(zhǔn)則 ? 準(zhǔn)則 8 多用戶支持能力準(zhǔn)則 ? 準(zhǔn)則 9 非受限的跨維操作 ? 準(zhǔn)則 10 直觀的數(shù)據(jù)操縱 ? 準(zhǔn)則 11 靈活的報(bào)表生成 ? 準(zhǔn)則 12 不受限的維與聚集層次 71 Q4 時(shí)間 Q1 Q2 Q3 Product Grapes Apples Melons Cherries Pears Location Atlanta Denver Detroit Sales Introduction to Cubes 產(chǎn)品 空調(diào) 冰箱 洗衣機(jī) 彩電 小家電 地區(qū) 華北 華中 華南 Sales 72 OLAP的基本多維分析操作（ 1） ?切片（ slice） ? 多維數(shù)據(jù)是由多個(gè)維度組成的，如果在某一維度上選定一個(gè)值，則多維數(shù)據(jù)就從 n維下降至 n 1維，稱多維數(shù)據(jù)的子集 (維 l，維 2， … ，維 i1，維 i+1， …，維 n，度量變量 )是多維數(shù)據(jù)在維 i上切片。 ? 切片操作在給定的數(shù)據(jù)多維模型的一個(gè)維度上進(jìn)行選擇，導(dǎo)致一個(gè)子方（ Cube）。 ?比如：可以對(duì)時(shí)間維度按 時(shí)間 =2023年 1月 進(jìn)行切片，得到一個(gè)含產(chǎn)品和門店兩個(gè)緯度的片狀圖。 73 OLAP的基本多維分析操作（ 2） ?切塊（ dice） ? 選定多維數(shù)組 (維 1，維 2， … ，維 n，度量變量 )中的若干維度 (圖形顯示最多只能做到 3維 )的取值范圍，從而形成多維數(shù)據(jù)的子集 (維 1，維 2， … ， a1維 i b1， … ， a2 維 j b2， … ， a3維 k b3， … ，維 n，度量變量 )，稱這個(gè)子集為維數(shù)據(jù)切塊。 ? 切塊操作通過對(duì)兩個(gè)維度或多個(gè)維度進(jìn)行選擇，定義子方 (Cube)。 ?如：可按 時(shí)間 =2023年 1月 AND城市 =上海 進(jìn)行切塊。 74 OLAP的基本多維分析操作（ 3） ?鉆?。?roll up和 drill down） ? 鉆取是改變維的層次，變換分析的粒度。 ? 它包括向下鉆?。ㄣ@取、下鉆）和向上鉆?。ň酆稀⑸暇恚? ? 聚合是在某一維上將低層次的細(xì)節(jié)數(shù)據(jù)概括到高層次的匯總數(shù)據(jù) ?如：在產(chǎn)品維度上，由產(chǎn)品向小類上卷，可得到小類的聚合數(shù)據(jù)；再由小類向大類上卷，可得到大類層次的聚合數(shù)據(jù)。 ? 而下鉆則相反，它從匯總數(shù)據(jù)深入到細(xì)節(jié)數(shù)據(jù)進(jìn)行觀察 . ?如：沿著時(shí)間維度，從年到季度，再到月下鉆，可以得到更加詳細(xì)的數(shù)據(jù)。 75 OLAP的基本多維分析操作（ 4） ?旋轉(zhuǎn)（ pivot) ? 旋轉(zhuǎn)是變換維的方向，即在表格中重新安排維的放置（例如行列互換 ). ? 旋轉(zhuǎn)是一種目視操作，它轉(zhuǎn)動(dòng)數(shù)據(jù)的視角，提供數(shù)據(jù)的替代表示。 76 經(jīng)理 (決策角色 )的決策流程 ?階段 1識(shí)別問題和機(jī)遇 ?階段 2針對(duì)這些問題和機(jī)遇應(yīng)采取的措施 ?EIS vs. DSS 77 基于 OLAP的 EIS（ 1） ?EIS ? 傳統(tǒng)意義上的 EIS是指利用計(jì)算機(jī)工具，及時(shí)準(zhǔn)確地為企業(yè)高層管理者提供所需信息的系統(tǒng)。通常具有圖形支持、用戶友好，并能提供報(bào)告和鉆取功能。 ? 商業(yè)智能工具 ? 發(fā)展：每個(gè)人的信息系統(tǒng) ?一般特征 ? 用圖形用戶界面，定制信息顯示方式，使用顏色和聲音 ? 使用例外報(bào)告和趨勢分析等方式顯示信息。異常報(bào)告！ ? 狀態(tài)查詢 、分析、信息導(dǎo)覽 ?關(guān)鍵特征：下鉆 ? 了解數(shù)據(jù)源，確定經(jīng)理需要哪些方面的信息。數(shù)據(jù)倉庫的出現(xiàn)使得這一工作變得容易 ——DW中的主題 ? 粗粒度 的信息 ?…… 78 基于 OLAP的 EIS（ 2） ?從粗粒度信息，逐步 鉆取 求精 ? CSF，關(guān)鍵成功因素 ? KPI, Key Performance Indicator ,關(guān)鍵績效指標(biāo) ?提供最粗略的信息（而非數(shù)據(jù)） :“是或不是、正常還是不正?！眮頌橄乱徊降臎Q策作出依據(jù)。 ?軟件中常表現(xiàn)為 儀表盤 （有的地方稱作駕駛艙） 。 ? 如果說度量和指標(biāo)是定量話， KPI就是一種定性的。 ?度量：確切數(shù)據(jù) —— 定量 ?“指標(biāo)” （ Metric）是基于兩個(gè)或更多度量計(jì)算得出的 相對(duì)值；它是表示某種相對(duì)程度的值 —— 定量 ?管理工具或模型 ? 績效儀表盤、平衡記分卡、作業(yè)成本管理（ ABC） ? 在軟件系統(tǒng)中，常表現(xiàn)為“績效管理”模塊 79 OLAP、 EIS演示 ?觀察、理解以下問題 ?技術(shù)層面 ? 多維模型 ?什么是主題（用什么變量度量） ?什么是維度 ?什么是粒度 ? OLAP ?演示中的哪些操作是切片、旋轉(zhuǎn)、鉆取 ?管理層面 ? 如何支持管理決策 80 理解 OLAP ?OLAP是一種數(shù)據(jù)動(dòng)態(tài)分析模型 ? 它探究不同的維度 (某一維度可表示為不同的粒度 )對(duì)主題（可用不同的變量來度量）有什么樣的影響 ? 維度：自變量， x1, x2…… ? 主題：因變量 y ? OLAP: y ~ f(x1, x2…… xn) ?OLAP與傳統(tǒng)的查詢報(bào)表有什么區(qū)別？ 81 DW、 O