數(shù)據(jù)挖掘概念與技術(shù)原書第2版第3章數(shù)據(jù)倉庫與olap技術(shù)概述(參考版)
2025-05-03 02:58本頁面
【正文】 ? 邏輯上， OLAP服務(wù)器從數(shù)據(jù)倉庫或數(shù)據(jù)集市中給商業(yè)用戶提供多維數(shù)據(jù) ? 物理上， OLAP的底層數(shù)據(jù)存儲實(shí)現(xiàn)可以有多種不同的方式 ? 關(guān)系 OLAP服務(wù)器 (ROLAP) ? 使用關(guān)系數(shù)據(jù)庫或擴(kuò)展的關(guān)系數(shù)據(jù)庫存放并管理數(shù)據(jù)倉庫的數(shù)據(jù)，而用 OLAP中間件支持其余部分 ? 包括每個(gè) DBMS后端優(yōu)化，聚集導(dǎo)航邏輯的實(shí)現(xiàn)，附加的工具和服務(wù) ? 較大的可擴(kuò)展性 ? 多維 OLAP服務(wù)器 (MOLAP) ? 基于數(shù)組的多維存儲引擎（稀疏矩陣技術(shù)） ? 能對預(yù)計(jì)算的匯總數(shù)據(jù)快速索引 ? 混合 OLAP服務(wù)器 (HOLAP) ? 結(jié)合上述兩種技術(shù)，更大的使用靈活性 ? 特殊的 SQL服務(wù)器 ? 在星型和雪花模型上支持 SQL查詢 ? 什么是數(shù)據(jù)倉庫 ? 多維數(shù)據(jù)模型 ? 數(shù)據(jù)倉庫的體系結(jié)構(gòu) ? 數(shù)據(jù)倉庫實(shí)現(xiàn) ? 從數(shù)據(jù)倉庫到數(shù)據(jù)挖掘 ? 數(shù)據(jù)倉庫中的 OLAP查詢是一種海量數(shù)據(jù)計(jì)算 ? 10年各地區(qū)的軟件產(chǎn)品銷售的匯總查詢 ? 用戶卻希望這個(gè)計(jì)算能在數(shù)秒鐘內(nèi)完成 ? 解決方法在于以下數(shù)據(jù)倉庫實(shí)現(xiàn)的關(guān)鍵技術(shù) ? 數(shù)據(jù)立方體計(jì)算技術(shù) ? 存取方法 ? 查詢處理技術(shù) ? 核心：有效計(jì)算多個(gè)維集合上的聚集 (pute cube) ? 類似于實(shí)現(xiàn) SQL中的 GROUP BY操作 ? . 一個(gè)數(shù)據(jù)立方體 sales_cube，包含 city， item，year和 sales_in_dollars，可以在不同的層次上查詢匯總這些數(shù)據(jù) ? (item, city, year) –3D ? (item, city), (item year), (city, year) —2D ? (item), (city), (year) —1D ? () 0D (item) (city) () (year) (city, item) (city, year) (item, year) (city, item, year) ? 數(shù)據(jù)立方體可以被看成是一個(gè) 方體的格 ? 最底層的方體是基本方體 ? 最頂端的方體（頂點(diǎn)）只包含一個(gè)單元的值 ? 一個(gè) n維的數(shù)據(jù)立方體，每維 L層，可能產(chǎn)生的方體總數(shù)是多少？ ? 維災(zāi)難 ? . 假設(shè)數(shù)據(jù)立方體有 10個(gè)維，每維 5層，則可能產(chǎn)生的方體總數(shù)為 510 ≈ 106個(gè) )11( ???? ni iLT? 數(shù)據(jù)立方體的 物化 可以有以下三種選擇： ? 全物化 ? 預(yù)先計(jì)算所有方體 ? 不物化 ? 不預(yù)先計(jì)算任何“非基本”方體 ? 部分物化 ? 有選擇的計(jì)算一個(gè)所有方體的適當(dāng)子集 ? 考慮因素 :(1)確定要物化的方體； (2)在查詢時(shí)利用物化的方體；(3)在裝載和刷新時(shí)，有效的更新物化的方體 ? 確定物化哪些方體 ? 考慮工作負(fù)荷下的查詢、它們的頻率和它們的開銷等等 )11( ???? ni iLT? 什么是數(shù)據(jù)倉庫 ? 多維數(shù)據(jù)模型 ? 數(shù)據(jù)倉庫的體系結(jié)構(gòu) ? 數(shù)據(jù)倉庫實(shí)現(xiàn) ? 從數(shù)據(jù)倉庫到數(shù)據(jù)挖掘 ? 數(shù)據(jù)倉庫的三種應(yīng)用 ? 信息處理 ? 支持查詢和基本的統(tǒng)計(jì)分析，并使用交叉表、表、圖標(biāo)和圖進(jìn)行報(bào)表處理 ? 分析處理 ? 對數(shù)據(jù)倉庫中的數(shù)據(jù)進(jìn)行多維數(shù)據(jù)分析 ? 支持基本的 OLAP操作，切塊、切片、上卷、下鉆、轉(zhuǎn)軸等 ? 數(shù)據(jù)挖掘 ? 從隱藏模式中發(fā)現(xiàn)知識 ? 支持關(guān)聯(lián)分析，構(gòu)建分析性模型，分類和預(yù)測，并用可視化工具呈現(xiàn)挖掘的結(jié)果 ? 三種應(yīng)用間的差別 ? 為什么要聯(lián)機(jī)分析挖掘 ? 數(shù)據(jù)倉庫中有高質(zhì)量的數(shù)據(jù) ? 數(shù)據(jù)倉庫中存放著整合的、一致的、清理過的數(shù)據(jù) ? 圍繞數(shù)據(jù)倉庫的信息處理結(jié)構(gòu) ? 存取、集成、合并多個(gè)異種數(shù)據(jù)庫的轉(zhuǎn)換， ODBC/OLEDB連接 ,Web訪問和訪問工具等 ? 基于 OLAP的探測式數(shù)據(jù)分析 ? 使用上卷、下鉆、切片、轉(zhuǎn)軸等技術(shù)進(jìn)行數(shù)據(jù)挖掘 ? 數(shù)據(jù)挖掘功能的聯(lián)機(jī)選擇 ? 多種數(shù)據(jù)挖掘功能、算法和任務(wù)的整合 數(shù)據(jù)倉庫 元數(shù)據(jù) 多維數(shù)據(jù)庫 OLAM 引擎 OLAP 引擎 用戶圖形界面 API 數(shù)據(jù)方體 API 數(shù)據(jù)庫 API 數(shù)據(jù)清理 數(shù)據(jù)集成 第三層 OLAP/OLAM 第二層 多維數(shù)據(jù)庫 第一層 數(shù)據(jù)存儲 第四層 用戶界面 數(shù)據(jù)的過濾、集成 過濾 數(shù)據(jù)庫 基于約束的數(shù)據(jù)挖掘 挖掘結(jié)果 。 ? 自底向上方法提供了更多的開發(fā)靈活性，價(jià)格便宜；但往往會遇到集成問題（每個(gè)模塊單獨(dú)運(yùn)行都沒有問題，但是一集成就出異常） ? 解決方法： ? 使用遞增性、演化性的開發(fā)方法 ? 高層數(shù)據(jù)模型 ?企業(yè)倉庫和數(shù)據(jù)集市并行開發(fā) ?通過分布式模型集成各數(shù)據(jù)集市 ?多層數(shù)據(jù)倉庫 ? 數(shù)據(jù)倉庫后端工具主要指的是用來裝入和刷新數(shù)據(jù)的工具，包括： ? 數(shù)據(jù)提?。? ? 從多個(gè)外部的異構(gòu)數(shù)據(jù)源收集數(shù)據(jù) ? 數(shù)據(jù)清理 ? 檢測數(shù)據(jù)種的錯(cuò)誤并作可能的訂正 ? 數(shù)據(jù)變換 ? 將數(shù)據(jù)由歷史或主機(jī)的格式轉(zhuǎn)化為數(shù)據(jù)倉庫的格式 ? 裝載 ? 排序、匯總、合并、計(jì)算視圖，檢查完整性，并建立索引和分區(qū) ? 刷新 ? 將數(shù)據(jù)源的更新傳播到數(shù)據(jù)倉庫中 ? 在數(shù)據(jù)倉庫中，元數(shù)據(jù)就是定義數(shù)據(jù)倉庫對象的數(shù)據(jù)。 ? 多維數(shù)據(jù)模型（數(shù)據(jù)立方體）使得從不同的角度對數(shù)據(jù)進(jìn)行觀察成為可能，而概念分層則提供了從不同層次對數(shù)據(jù)進(jìn)行觀察的能力；結(jié)合這兩者的特征，我們可以在多維數(shù)據(jù)模型上定義各種 OLAP操作，為用戶從不同角度不同層次觀察數(shù)據(jù)提供了靈活性： ? 上卷 (rollup):匯總數(shù)據(jù) ? 通過一個(gè)維的概念分層向上攀升或者通過維規(guī)約 ? 當(dāng)用維歸約進(jìn)行上卷時(shí)，一個(gè)或多個(gè)維由給定的數(shù)據(jù)立方體刪除 ? 下鉆 (drilldown)：上卷的逆操作 ? 由不太詳細(xì)的數(shù)據(jù)到更詳細(xì)的數(shù)據(jù)，可以通過沿維的概念分層向下或引入新的維來實(shí)現(xiàn) (為給定數(shù)據(jù)添加更多細(xì)節(jié) ) ? 切片和切塊 (slice and dice) ? 切片操作在給定的數(shù)據(jù)立方體的一個(gè)維上進(jìn)行選擇，導(dǎo)致一個(gè)子方 ? 切塊操作通過對兩個(gè)或多個(gè)維進(jìn)行選擇，定義子方
教學(xué)課件相關(guān)推薦
鄂ICP備17016276號-1