數(shù)據(jù)挖掘2章數(shù)據(jù)倉庫和數(shù)據(jù)挖掘的olap技術(編輯修改稿)
2025-06-14 03:06 本頁面
【文章內容簡介】 理中，并不是對從事務型處理環(huán)境 中得到的細節(jié)數(shù)據(jù)進行分析。細節(jié)數(shù)據(jù)量太大，會嚴重影響分析的效率，而且太多的細節(jié)數(shù)據(jù)不利于分析人員將注意力集中于有用的信息。分析型處理過程中經(jīng)常用到外部數(shù)據(jù)，這部分數(shù)據(jù)不是由事務型處理系統(tǒng)產(chǎn)生的，而是來自于其他外部數(shù)據(jù)源。 事務型處理數(shù)據(jù)和分析型處理數(shù)據(jù)的區(qū)別 事務型處理數(shù)據(jù) 分析型處理數(shù)據(jù) 細節(jié)的 綜合的，或提煉的 在存取瞬間是準確的 代表過去的數(shù)據(jù) 可更新 不可更新，只讀的 操作需求事先可知道 操作需求事先不知 生命周期符合 SDLC 完全不同的生命周期 對性能要求高 對性能要求寬松 一個時刻操作一個單元 一個時刻操作一個 事務驅動 分析驅動 面向應用 面向分析 一次操作數(shù)據(jù)量小 一次操作數(shù)據(jù)量大 支持日常操作 支持管理需求 OLTP和 OLAP的區(qū)別 ? 用戶和系統(tǒng)的面向性 : OLTP是面向顧客的 ,用于事務和查詢處理 OLAP是面向市場的 ,用于數(shù)據(jù)分析 ? 數(shù)據(jù)內容 : OLTP系統(tǒng)管理當前數(shù)據(jù) . OLAP系統(tǒng)管理大量歷史數(shù)據(jù) ,提供匯總和 聚集機制 . ? 數(shù)據(jù)庫設計 : OLTP采用實體 聯(lián)系 ER模型和面向應用的 數(shù)據(jù)庫設計 . OLAP采用星型或雪花模型和面向主題的數(shù) 據(jù)庫設計 . ? 視圖 : OLTP主要關注一個企業(yè)或部門內部的當前 數(shù)據(jù) ,不涉及歷史數(shù)據(jù)或不同組織的數(shù)據(jù) OLAP則相反 . ? 訪問模式 : OLTP系統(tǒng)的訪問主要由短的原子事務組成 . 這種系統(tǒng)需要并行和恢復機制 . OLAP系統(tǒng)的訪問大部分是只讀操作 . 為什么需要分離的數(shù)據(jù)倉庫 ? 分離操作數(shù)據(jù)庫系統(tǒng)和數(shù)據(jù)倉庫的主要 原因是提高兩個系統(tǒng)的性能 .操作數(shù)據(jù)庫系統(tǒng)是為已知的任務和負載設計的 ,而數(shù)據(jù)倉庫的查詢通常是復雜的 ,涉及大量數(shù)據(jù)在匯總級的計算 ,在操作數(shù)據(jù)庫系統(tǒng)上處理 OLAP查詢 ,可能會大大降低操作任務的性能 . 多維數(shù)據(jù)模型 ? 數(shù)據(jù)倉庫和 OLAP工具基于多維數(shù)據(jù)模型 ,該模型將數(shù)據(jù)看作數(shù)據(jù)立方體形式 ? 數(shù)據(jù)立方體允許以多維對數(shù)據(jù)建模和觀察 .具體圖形詳見 71頁圖 31 多維數(shù)據(jù)庫模式 星型 ,雪花和事實星座模式是主要的存在形式 ? 星型模式包含一個大的包含大批數(shù)據(jù)的事實表和一系列維表 .如 73頁圖 34 ? 雪花模式是星型模式的變種 ,不同的是將某些維表規(guī)范化 .如 74頁圖 35 ? 事實星座模式對應多個事實表共享維表 .如 74頁圖 36 定義模式的例子 定義圖 34的星型模式 : ? 定義立方體 : Define cube sales_star[time,item,branch,location]: dollars_sold=sum(sales_in_dollars), units_old=count(*) ? 定義維 Define dimension time as (time_key,day,day_of_week,month,quarter,year) 度量的分類和計算 ? 分布的 : 設數(shù)據(jù)被劃分為 n個集合 ,函數(shù)在每一部分上的計算得到一個聚集值 .如果將函數(shù)用于 n個聚集值得到的結果 ,與將函數(shù)用于所有數(shù)據(jù)得到的結果一樣則該度量是分布的 ,如 count(),sum()等 ? 代數(shù)的 : 如果一個聚集函數(shù)能夠由一個具有 M個參數(shù)的代數(shù)函數(shù)計算 ,且每個參數(shù)都可以用一個分布聚集函數(shù)求得 .如 avg()可以由sum()/count()計算 ,其中 sum()和 count()是分布聚集函數(shù) . ? 整體的 : 如果一個聚集函數(shù)無法用具有 M個參數(shù)的代數(shù)函數(shù)進行這一計算 ,則這個函數(shù)稱是整體的 ,如 rand()等 ? 許多度量可以用關系的聚集操作計算 對應圖 24,我們也可寫出 SQL語句 .
畢業(yè)設計相關推薦
鄂ICP備17016276號-1