數(shù)據倉庫培訓課件(編輯修改稿)
2025-01-26 19:51 本頁面
【文章內容簡介】 – 前端工具與應用 數(shù)據倉庫架構 數(shù)據倉庫 提取 清理 轉換 裝入 刷新 OLAP服務器 查詢報告 分析 數(shù)據挖掘 監(jiān)控、 整合 元數(shù)據 存儲 數(shù)據源 前端工具 輸出 數(shù)據集市 操作數(shù)據庫 其他外部信息源 數(shù)據存儲和管理 OLAP服務器 數(shù)據源 ■ 數(shù)據源是數(shù)據倉庫系統(tǒng)的基礎，即系統(tǒng)的數(shù)據來源，通常包含企事業(yè)單位的各種內部信息和外部信息。 – 內部信息，例如存于操作型數(shù)據庫中的各種業(yè)務數(shù)據和辦公自動化系統(tǒng)中包含的各類文檔數(shù)據； – 外部數(shù)據，例如各類法律法規(guī)、市場信息、競爭對手的信息以及各類外部統(tǒng)計數(shù)據及其它有關文檔等。 數(shù)據的存儲與管理 ■ 數(shù)據的存儲與管理是整個數(shù)據倉庫系統(tǒng)的核心。 ■ 存儲 – 在現(xiàn)有各業(yè)務系統(tǒng)的基礎上，對數(shù)據進行抽取、清理、并有效集成，按照主題進行重新組織，最終確定數(shù)據倉庫的物理存儲結構，同時組織存儲數(shù)據倉庫的元數(shù)據（包括數(shù)據倉庫的數(shù)據字典、記錄系統(tǒng)定義、數(shù)據轉換規(guī)則、數(shù)據加載頻率以及業(yè)務規(guī)則等信息）。 ■ 管理 – 對數(shù)據倉庫系統(tǒng)的管理也就是對其相應數(shù)據庫系統(tǒng)的管理，通常包括數(shù)據的安全、歸檔、備份、恢復等維護工作。 OLAP服務器 ■ OLAP（聯(lián)機分析處理）是針對某個特定的主題進行聯(lián)機數(shù)據訪問、處理、分析，通過直觀的方式，從多個維度、多種數(shù)據綜合度進行分析，并將結果呈現(xiàn)給使用者。 ■ OLAP讓使用者能夠從多角度對信息進行快速、一致、交互地存取。 前端工具與應用 ■ 前端工具主要包括各種數(shù)據分析工具、報表工具、查詢工具、數(shù)據挖掘工具（例如關聯(lián)分析、分類、預測等）以及各種基于數(shù)據倉庫或數(shù)據集市開發(fā)的應用。 ■ 其中： – 數(shù)據分析工具主要針對 OLAP服務器 – 報表工具、數(shù)據挖掘工具既可以用于數(shù)據倉庫，也可針對 OLAP服務器 ETL簡介 ■ 數(shù)據從源系統(tǒng)加載到數(shù)據庫倉庫之前，需要進行抽取E(Extract) 、清洗 C(cleaning)、轉換 T(transform)，最后加載L(load) ，這就是 ETL過程。 ■ 抽取和加載通常是定期的，每天、每周、或者每月，根據數(shù)據倉庫面向的主題而定。 ■ ETL過程是一個數(shù)據流動的過程，中間的“ T” （轉換）是關鍵 數(shù)據倉庫系統(tǒng)的體系結構 數(shù)據倉庫系統(tǒng)的體系結構根據應用需求的不同 ， 可以分為四種類型： （ 1）兩層架構（ Generic TwoLevel Architecture）。 （ 2）獨立型數(shù)據集市（ Independent Data Mart）。 （ 3）依賴型數(shù)據集市和操作型數(shù)據存儲（ Dependent Data Mart and Operational Data Store）。 （ 4）邏輯型數(shù)據集市和實時數(shù)據倉庫（ Logical Data Mart and RealTime Data Warehouse）。 從體系結構的角度去看，數(shù)據倉庫模型可以有以下三種： – 企業(yè)倉庫 ■ 搜集關于跨越整個組織的主題的所有信息 – 數(shù)據集市 ■ 企業(yè)范圍數(shù)據的一個子集，對于特定的客戶是有用的。其范圍限于選定的主題，比如一個商場的數(shù)據集市 – 獨立的數(shù)據集市 VS. 非獨立的數(shù)據集市（數(shù)據來自于企業(yè)數(shù)據倉庫） – 虛擬倉庫 ■ 操作數(shù)據庫上的一系列視圖 ■ 只有一些可能的匯總視圖被物化 獨立的數(shù)據倉庫系統(tǒng) （企業(yè)數(shù)據倉庫） 唯 一 的 、 企 業(yè) 級 的數(shù) 據 倉 庫數(shù) 據 倉 庫D a t a W a r e h o u s e外 部 的內 部 的源 數(shù) 據 系 統(tǒng)( S o u r c e D a t a S y s t e m s )數(shù) 據 集 結 區(qū)( D a t a S t a g i n g A r e a )處 理 過 程 ：清 洗 ( c l e a n )調 和 ( r e c o n c i l e )導 出 ( d e r i v e )匹 配 ( m a t c h )合 并 ( c o m b i n e )消 除 重 復( r e m o v e d u p s )標 準 化( s t a n d a r d i z e )轉 換 ( t r a n s f o r m )輸 出 到 倉 庫( e x p o r t t o D W )抽 取 E x t r a c t抽 取 E x t r a c t抽 取 E x t r a c t抽 取 E x t r a c t清
醫(yī)療健康相關推薦
鄂ICP備17016276號-1