【文章內(nèi)容簡介】 倉庫的擴充，因此不必修改已存在的軟件就可在數(shù)據(jù)倉庫 中增加新表。 第 2章 數(shù)據(jù)倉庫 數(shù)據(jù)倉庫元數(shù)據(jù)管理 元數(shù)據(jù)對數(shù)據(jù)倉庫功能的支持 （一）數(shù)據(jù)倉庫內(nèi)容的描述：描述數(shù)據(jù)倉庫中的各種復雜關(guān)系 （二）定義數(shù)據(jù)抽取和轉(zhuǎn)換 第 2章 數(shù)據(jù)倉庫 數(shù)據(jù)倉庫元數(shù)據(jù)管理 元數(shù)據(jù)對數(shù)據(jù)倉庫功能的支持 從源系統(tǒng)數(shù)據(jù)到數(shù)據(jù)倉庫中目標數(shù)據(jù)的轉(zhuǎn)移是一項復雜工作 ,其工作量占整個 數(shù)據(jù)倉庫開發(fā)的 80%。這里主要涉及到以下兩個問題： (1) 抽取工作間的復雜關(guān)系 ,一個抽取要經(jīng)過許多步驟 獲?。簭耐獠炕騼?nèi)部源數(shù)據(jù)系統(tǒng)中獲取對決策支持系統(tǒng)用戶有用的數(shù)據(jù)。 過濾：過濾掉不需要的內(nèi)容 (如上次抽取后一直沒有改變的數(shù)據(jù) )。 驗證：從 DSS用戶的角度驗證數(shù)據(jù)的質(zhì)量。 融合：將本次抽取的數(shù)據(jù)與數(shù)據(jù)倉庫中的數(shù)據(jù)進行融合； 綜合：對數(shù)據(jù)進行綜合 ,生成概要級數(shù)據(jù)。 裝載：把新數(shù)據(jù)裝入到數(shù)據(jù)倉庫中。 存檔：把新裝入的數(shù)據(jù)單獨存為一個文件 ,以便減少更新操作的數(shù)據(jù)量。 (2)源數(shù)據(jù)與目標數(shù)據(jù)之間的映射是一種復雜的多對多關(guān)系。元數(shù)據(jù)要能夠描述這些限制 所帶來的一系列問題。這組元數(shù)據(jù)要定義的內(nèi)容有以下幾點： 抽取工作：描述每個抽取工作，并為其標識源系統(tǒng)。每一抽取都應有一個刷新類型代碼 , 一般有四種刷新類型，包括全倉庫替換、全倉庫附加、更新替換、更新追加。另外對每 一抽取都要明確其刷新周期 (兩次抽取之間的間隔 )和初始觸發(fā)事件 (系統(tǒng)環(huán)境中激活第一 次抽取的事件 )。 抽取工作步：定義抽取工作中的步驟包括說明每一步的類型 (如過濾、驗證等 )及其作業(yè)控 制語言 (Job Control Languge,TCL),JCL用來初始化抽取工作步。 抽取表映射：為每個抽取工作步建立輸入文件 /表和輸出文件 /表之間的關(guān)聯(lián)。它應提供兩 種類型的屬性以滿足抽取工作的特殊處理要求。一類是過程的輸入數(shù)據(jù)集合 。另一類是數(shù) 據(jù)處理過程標識及其參數(shù)。這些屬性用來自動生成程序代碼以完成相應抽取工作步。 抽取域映射：為每個抽取工作步建立輸入表 (文件 )的域與輸出表 (文件 )的域之間的關(guān)聯(lián)。 其定義的內(nèi)容與抽取表類似 ,但是處理的粒度是表中的每個域。 （二）定義數(shù)據(jù)抽取和轉(zhuǎn)換 第 2章 數(shù)據(jù)倉庫 數(shù)據(jù)倉庫元數(shù)據(jù)管理 元數(shù)據(jù)對數(shù)據(jù)倉庫功能的支持 記錄篩選規(guī)則：提供一種過濾機制 ,以在抽取工作的每一步驟中進行記錄的篩選。 如下是一個規(guī)則的例子： IF ‘1996_11_0139。 OR ‘1996_11_0139。 THEN Reserve(保留 )ELSE Delete(刪除 ) 這組元數(shù)據(jù)可以用來生成源代碼以完成數(shù)據(jù)的轉(zhuǎn)換工作 ,即完成由操作型數(shù)據(jù)轉(zhuǎn) 換生成以特殊形式存放的、面向主題的數(shù)據(jù)倉庫數(shù)據(jù)。元數(shù)據(jù)中的抽取表映射 和抽取域映射定義了進行實際抽取轉(zhuǎn)換工作的過程。數(shù)據(jù)倉庫管理核心是 :利用 該組元數(shù)據(jù)所定義的抽取過程生成某種語言的源代碼 ,然后編譯成可執(zhí)行的程序 以完成數(shù)據(jù)的抽取工作。其核心也可直接以解釋的方式從元數(shù)據(jù)存儲中讀出每 個抽取步的處理過程，從而進行數(shù)據(jù)轉(zhuǎn)換。 （二）定義數(shù)據(jù)抽取和轉(zhuǎn)換 第 2章 數(shù)據(jù)倉庫 數(shù)據(jù)倉庫元數(shù)據(jù)管理 元數(shù)據(jù)對數(shù)據(jù)倉庫功能的支持 （三）基于商業(yè)事件的抽取調(diào)度 第 2章 數(shù)據(jù)倉庫 數(shù)據(jù)倉庫元數(shù)據(jù)管理 元數(shù)據(jù)對數(shù)據(jù)倉庫功能的支持 抽取調(diào)度 (Extract Schedule)是指數(shù)據(jù)抽取的時間安排 ,即什么時間進行從源數(shù)據(jù)到 數(shù)據(jù)倉庫的抽取工作。抽取調(diào)度的合理與否對整個數(shù)據(jù)倉庫的有效正常運行影響 很大。元數(shù)據(jù)必須對數(shù)據(jù)的抽取安排加以說明?；谏虡I(yè)事件抽取調(diào)度的元數(shù)據(jù) 要定義的內(nèi)容有以下幾點： 事件：指在公司中能夠引發(fā)對數(shù)據(jù)進行處理的各種情況。其中有些是周期性的， 有些是預先安排的，而有些則是突發(fā)事件。 事件依賴：事件之間的關(guān)系及描述這些關(guān)系的時間規(guī)律性和特征。一般要指明主 事件和從事件以及兩者的時間間隔和最大容忍時間。 事件日志：刻畫了事件發(fā)生的時間安排 ,即指明事件的調(diào)度周期。系統(tǒng)應允許用戶 定義事件及相應的調(diào)度。 抽取調(diào)度：對一個事件響應后必須完成的對數(shù)據(jù)抽取工作的安排。抽取調(diào)度把事件 和相應的抽取工作聯(lián)系起來。 抽取日志：對每次抽取工作進行記錄 ,并記下相關(guān)的引發(fā)抽取事件及抽取調(diào)度。抽取 日志可以用來維護系統(tǒng)工作，如輸入和輸出工作。 時間戳日志：記錄下各表被抽取的時間及表中被更新的數(shù)據(jù)。時間戳日志可以用來 與系統(tǒng)數(shù)據(jù)進行比較以引發(fā)抽取工作。 第 2章 數(shù)據(jù)倉庫 數(shù)據(jù)倉庫元數(shù)據(jù)管理 元數(shù)據(jù)對數(shù)據(jù)倉庫功能的支持 (四 ) 描述數(shù)據(jù)同步需求 在一個公司各部門間的數(shù)據(jù)協(xié)調(diào)中 ,時間是一個關(guān)鍵因素。上述的抽取調(diào)度 是針對熟悉公司各部門之間數(shù)據(jù)同步關(guān)系的用戶而言的。對不熟悉的用戶，則 需要進一步利用元數(shù)據(jù)來幫助用戶理解數(shù)據(jù)及數(shù)據(jù)處理的同步關(guān)系，以免誤用 數(shù)據(jù)。尤其當數(shù)據(jù)倉庫中涉及到復雜關(guān)系的數(shù)據(jù)而且抽取調(diào)度受多個事件制約 時，這種附加數(shù)據(jù)就更不可缺少。時間的元數(shù)據(jù)要定義的內(nèi)容主要有： 同步視圖：為支持不同級別用戶而標識同步數(shù)據(jù)的時間規(guī)則。同步視圖可 定義為一個特殊功能視圖的名稱和描述以及該視圖中的一系列表，每個表與有 關(guān)的事件相關(guān)聯(lián)。 同步實例：當實際事件發(fā)生時 ,記錄下不同系統(tǒng)同步數(shù)據(jù)集合的更新軌跡。 當一個同步視圖中的數(shù)據(jù)都已滿足時，元數(shù)據(jù)管理機制就提醒用戶可用的數(shù)據(jù) 已經(jīng)準備好，系統(tǒng)在抽取調(diào)度后生成同步實例。 第 2章 數(shù)據(jù)倉庫 數(shù)據(jù)倉庫元數(shù)據(jù)管理 元數(shù)據(jù)對數(shù)據(jù)倉庫功能的支持 (五 ) 衡量數(shù)據(jù)質(zhì)量 數(shù)據(jù)倉庫把數(shù)據(jù)從源事務系統(tǒng)移到數(shù)據(jù)倉庫中的目的是用于決策支持。這 就對數(shù)據(jù)質(zhì)量提出了新的要求。若忽視這個問題 ,則意味著在 壞 數(shù)據(jù)上做決策 , 其風險可想而知。保證質(zhì)量的第一步是建立支持商業(yè)目標的數(shù)據(jù)質(zhì)量期望標準 , 以及達不到該標準所需冒風險的大小。下面是一組衡量數(shù)據(jù)質(zhì)量的公共參數(shù) ,包 括準確性、完整性、一致性、相關(guān)性、時間性、唯一性、有效性。在評價體系 確定以后，問題往往變?yōu)槭欠癜延匈|(zhì)量問題的數(shù)據(jù)放進數(shù)據(jù)倉庫中。這一般由 應用本身決定。對甲用戶有用的數(shù)據(jù)未必對乙用戶也有用。因此元數(shù)據(jù)必須提 供一個機制 ,即針對特定應用并根據(jù)用戶確立的數(shù)據(jù)容忍程度來提醒用戶是否采 用該數(shù)據(jù)進行決策。 數(shù)據(jù)質(zhì)量的元數(shù)據(jù)要定義的內(nèi)容有以下幾點： 目標質(zhì)量特征：是針對 DSS應用的某一數(shù)據(jù)域質(zhì)量評價的期望尺 度 ,其基本屬性是目標特征值。 實際質(zhì)量特征：是針對 DSS應用的某一數(shù)據(jù)域質(zhì)量評價的實際尺度 , 其基本屬性是實際特征值。 用戶描述的 VVC：針對 DSS應用需求 ,從 VVC(驗證、有效、證實 ) 對數(shù)據(jù)質(zhì)量進行衡量。 用戶功能：周期地檢查針對某一應用的數(shù)據(jù)是否滿足 VVC或目標質(zhì) 量的要求。 另外 ,這組元數(shù)據(jù)也應從結(jié)構(gòu)上提供記錄一級的管理 ,用以保證數(shù)據(jù)質(zhì) 量 ,消除因不適當使用數(shù)據(jù)所帶來的不一致。 第 2章 數(shù)據(jù)倉庫 數(shù)據(jù)倉庫元數(shù)據(jù)管理 元數(shù)據(jù)對數(shù)據(jù)倉庫功能的支持 (五 ) 衡量數(shù)據(jù)質(zhì)量 第 2章 數(shù)據(jù)倉庫 數(shù)據(jù)倉庫元數(shù)據(jù)管理 元數(shù)據(jù)分類 技術(shù)元數(shù)據(jù) 業(yè)務元數(shù)據(jù) 技術(shù)元數(shù)據(jù)是存儲關(guān)于數(shù)據(jù)倉庫系統(tǒng)技術(shù)細節(jié)的數(shù)據(jù)，是用 于開發(fā)和治理數(shù)據(jù)倉庫使用的數(shù)據(jù)。描述和設計如何訪問和處理 數(shù)據(jù)，包括查詢、匯總、遞交等。它主要包括以下信息： 1 數(shù)據(jù)倉庫結(jié)構(gòu)的描述，包括倉庫模式、視圖、維、層次結(jié) 構(gòu)和導出數(shù)據(jù)的定義，以及數(shù)據(jù)集市的位臵和內(nèi)容； 2 業(yè)務系統(tǒng)、數(shù)據(jù)倉庫和數(shù)據(jù)集市的體系結(jié)構(gòu)和模式； 3匯總用的算法，包括度量和維定義算法，數(shù)據(jù)粒度、主題領(lǐng) 域、聚集、匯總、預定義的查詢與報告； 4 由操作環(huán)境到數(shù)據(jù)倉庫環(huán)境的映射，包括源數(shù)據(jù)和它們的內(nèi) 容、數(shù)據(jù)分割、數(shù)據(jù)提取、清理、轉(zhuǎn)換規(guī)則和數(shù)據(jù)刷新規(guī)則、安全 （用戶授權(quán)和存取控制）。 第 2章 數(shù)據(jù)倉庫 技術(shù)元數(shù)據(jù) 數(shù)據(jù)倉庫元數(shù)據(jù)管理 技術(shù)元數(shù)據(jù)示例： 用戶報表和查詢訪問模式、頻率和執(zhí)行時間； 審計控制和負載平衡信息； 數(shù)據(jù)的技術(shù)結(jié)構(gòu)； 提供給 DSS的記錄系統(tǒng)； 源數(shù)據(jù)字段標識； 從操作型記錄系統(tǒng)到 DSS的映射與轉(zhuǎn)換； 編碼 /引用表轉(zhuǎn)換； 物理和邏輯數(shù)據(jù)模型； DSS表名、鍵和索引；域值； DSS表結(jié)構(gòu)和屬性； 數(shù)據(jù)模型和 DSS之間的關(guān)系； 操作型系統(tǒng)的表結(jié)構(gòu)和屬性； 抽取歷史； DSS表訪問模式； DSS歸檔；工作相關(guān)性； 程序名和描述；版本維護；安全性；清洗規(guī)則等。 第 2章 數(shù)據(jù)倉庫 數(shù)據(jù)倉庫元數(shù)據(jù)管理 業(yè)務元數(shù)據(jù)從業(yè)務角度描述了數(shù)據(jù)倉庫中的數(shù)據(jù)，它提供了 介于使用者和實際系統(tǒng)之間的語義層，使得不懂計算機技術(shù)的業(yè) 務人員也能夠“讀懂”數(shù)據(jù)倉庫中的數(shù)據(jù)。 業(yè)務元數(shù)據(jù)為 DSS分析人員提供了訪問 DSS底層的數(shù)據(jù)倉庫和 數(shù)據(jù)集市中信息的線路圖。 第 2章 數(shù)據(jù)倉庫 業(yè)務元數(shù)據(jù) 數(shù)據(jù)倉庫元數(shù)據(jù)管理 業(yè)務元數(shù)據(jù)主要包括以下信息：使用者的業(yè)務術(shù)語所表達的數(shù)據(jù)模型、對象名和屬性名；訪問數(shù)據(jù)的原則和數(shù)據(jù)的來源；系統(tǒng)所提供的分析方法以及公式和報表的信息；具體包括以下信息： 1企業(yè)概念模型：這是業(yè)務元數(shù)據(jù)所應提供的重要的信息，它表示企業(yè)數(shù)據(jù)模型的高層信息、整個企業(yè)的業(yè)務概念和相互關(guān)系。以這個企業(yè)模型為基礎(chǔ)，不懂數(shù)據(jù)庫技術(shù)和 SQL語句的業(yè)務人員對數(shù)據(jù)倉庫中的數(shù)據(jù)也能做到心中有數(shù)。 2多維數(shù)據(jù)模型：這是企業(yè)概念模型的重要組成部分，它告訴業(yè)務分析人員在數(shù)據(jù)集市當中有哪些維、維的類別、數(shù)據(jù)立方體以及數(shù)據(jù)集市中的聚合規(guī)則。這里的數(shù)據(jù)立方體表示某主題領(lǐng)域業(yè)務事實表和維表的多維組織形式。 3業(yè)務概念模型和物理數(shù)據(jù)之間的依靠：以上提到的業(yè)務元數(shù)據(jù)只是表示出了數(shù)據(jù)的業(yè)務視圖，這些業(yè)務視圖與實際的數(shù)據(jù)倉庫或數(shù)據(jù)庫、多維數(shù)據(jù)庫中的表、字段、維、層次等之間的對應關(guān)系也應該在元數(shù)據(jù)知識庫中有所體現(xiàn)。 第 2章 數(shù)據(jù)倉庫 業(yè)務元數(shù)據(jù) 數(shù)據(jù)倉庫元數(shù)據(jù)管理 業(yè)務數(shù)據(jù)示例： 業(yè)務分析員了解的數(shù)據(jù)結(jié)構(gòu)（與技術(shù)用戶比較，產(chǎn)品體系對 于業(yè)務用戶的意義有所不同）； DSS中信息的常見訪問例程； 主題領(lǐng)域（例如產(chǎn)品、客戶、銷售等）； 表名的業(yè)務定義； 屬性名和業(yè)務術(shù)語的定義； 數(shù)據(jù)質(zhì)量的統(tǒng)計信息； DSS字段映射、轉(zhuǎn)換和概要； 下鉆、上鉆、鉆過和鉆透的規(guī)則； 域值； 數(shù)據(jù)負責人； 數(shù)據(jù)位臵； DSS刷新日期等。 第 2章 數(shù)據(jù)倉庫 業(yè)務元數(shù)據(jù) 數(shù)據(jù)倉庫元數(shù)據(jù)管理 元數(shù)據(jù)源 元數(shù)據(jù)存儲 元數(shù)據(jù)用戶 ETL工具 /處理過程 數(shù)據(jù)建模工具 業(yè)務人員 /文檔 生產(chǎn)系統(tǒng)應用 數(shù)據(jù)質(zhì)量工具 其他元數(shù)據(jù)源 報表和 OLAP工具 版本控制 /權(quán)限管理 數(shù)據(jù)倉庫元數(shù)據(jù) 技術(shù)元數(shù)據(jù) 業(yè)務元數(shù)據(jù) 操作元數(shù)據(jù) 業(yè)務用戶 管理員 開發(fā)人員 第 2章 數(shù)據(jù)倉庫 關(guān)于元數(shù)據(jù) 數(shù)據(jù)倉庫元數(shù)據(jù)管理 第 2章 數(shù)據(jù)倉庫 數(shù)據(jù)倉庫元數(shù)據(jù)管理 元數(shù)據(jù)主要工具 常見的元數(shù)據(jù)位置 元數(shù)據(jù)類型 常見工具 ETL 數(shù)據(jù)轉(zhuǎn)換規(guī)則 Ardent Datastage 程序任務間的相關(guān)性 Sagent Solution DSS負載平衡統(tǒng)計及加載統(tǒng)計 Informatic Powermart SAS Institute 數(shù)據(jù)譜系（ Data Lineage） 數(shù)據(jù)建模