【正文】 數(shù)據(jù)倉庫和 ETL部分的數(shù)據(jù)和元數(shù)據(jù)和 OLAP 的都是相關(guān)的，一方面 OLAP 的數(shù)據(jù)來源于數(shù)據(jù)倉庫，另一方面 OLAP 展現(xiàn)的數(shù)據(jù)可以通過 ETL 的元數(shù)據(jù)直接查到這些數(shù)據(jù)來源于哪個(gè)生產(chǎn)系統(tǒng)的哪個(gè)部分。本節(jié)所述所有元數(shù)據(jù)內(nèi)容都嚴(yán)格遵循 CWM 模型 版本中 Warehouse Operation 包中的所有標(biāo)準(zhǔn)。此外，本節(jié)中的元數(shù)據(jù)將會(huì)涉及到 ETL 過程中的元數(shù)據(jù)，其中相關(guān)聯(lián)部分的元數(shù)據(jù)一致性和元數(shù)據(jù)質(zhì)量問題請(qǐng)參考 節(jié)中有關(guān)數(shù)據(jù)質(zhì)量和一致性的相關(guān)規(guī)定。34 / 104一個(gè)數(shù)據(jù)倉庫過程表示一個(gè) ETL 執(zhí)行的過程，和 ETL 過程中的轉(zhuǎn)換活動(dòng)和轉(zhuǎn)換步驟想對(duì)應(yīng)，這個(gè)可以是數(shù)據(jù)倉庫活動(dòng)或者是數(shù)據(jù)倉庫的步驟組成的。無論是數(shù)據(jù)倉庫還是數(shù)據(jù)集市，其本質(zhì)都是關(guān)系型數(shù)據(jù)，其底層元數(shù)據(jù)都是相同的。在具體執(zhí)行過程中，有些不支持 CWM 模型的 ETL 工具的元數(shù)據(jù)則需要支持 CWM 模型的元數(shù)據(jù)管理工具從其中讀出元數(shù)據(jù)并整理為符合 CWM 模型的形式進(jìn)行存儲(chǔ)，有關(guān)存儲(chǔ)要求詳見本規(guī)范第 4 章的有關(guān)內(nèi)容。27 / 104 圖 315 ETL 數(shù)據(jù)轉(zhuǎn)換和數(shù)據(jù)關(guān)系主類圖 (參考附件 CWM Figure 102)28 / 104 圖 316 ETL 數(shù)據(jù)轉(zhuǎn)換和數(shù)據(jù)關(guān)系主類圖 2 (參考附件 CWM Figure 103)（二） 數(shù)據(jù)分組和執(zhí)行 一般在 ETL 過程中，會(huì)把可以并行的導(dǎo)入加載過程分在同一個(gè)的邏輯單元，并行的執(zhí)行這些邏輯單元來提高導(dǎo)入的效率。ETL 包中的數(shù)據(jù)源或者數(shù)據(jù)目標(biāo)需要和相應(yīng)系統(tǒng)中的元數(shù)據(jù)一一映射，這些系統(tǒng)的元數(shù)據(jù)可能是關(guān)系模型包中的或者 OLAP，多維數(shù)據(jù)庫或者是數(shù)據(jù)挖掘包中的元數(shù)據(jù)，他們必須和 ETL 過程中的元數(shù)據(jù)進(jìn)行關(guān)聯(lián)。本章的元數(shù)據(jù)主要涉及到和 ETL 過程相關(guān)中的元數(shù)據(jù)。一對(duì)多的映射允許出現(xiàn)在任何一個(gè)映射對(duì)之間，而且在一對(duì)多映射的過程中必須確定一個(gè)最適合的類型作為首選。 圖 311 鍵索引模型主類圖 (參考附件 CWM Figure 59) 系統(tǒng)部署系統(tǒng)部署包是為了記錄經(jīng)營(yíng)分析系統(tǒng)中系統(tǒng)和軟件是怎樣應(yīng)用的。表達(dá)式包嚴(yán)格遵循 CWM 模型 標(biāo)準(zhǔn)中基礎(chǔ)模型里面 Expressions 包的所有標(biāo)準(zhǔn)。圖 38 業(yè)務(wù)信息主類圖 (參考附件 CWM 標(biāo)準(zhǔn) .pdf Figure 52)19 / 104 數(shù)據(jù)類型數(shù)據(jù)類型元模型提供經(jīng)營(yíng)分析系統(tǒng)中建立不同系統(tǒng)需要的數(shù)據(jù)類型的元數(shù)據(jù)模型定義。這里說的業(yè)務(wù)部門指的是支持?jǐn)?shù)據(jù)倉庫和商業(yè)智能系統(tǒng)的相關(guān)的業(yè)務(wù)部門或項(xiàng)目組而不是所有移動(dòng)通信公司的業(yè)務(wù)部門。 基礎(chǔ)元數(shù)據(jù) 概述基礎(chǔ)元數(shù)據(jù)的內(nèi)容是包括經(jīng)營(yíng)分析系統(tǒng)中所有其他元數(shù)據(jù)共享的表示概念和結(jié)構(gòu)元數(shù)據(jù)。CWM 模型中 Relationships Metamodel 描述了兩種關(guān)系：關(guān)聯(lián)和繼承。它嚴(yán)格遵循 CWM 模型中對(duì)象模型里面 Core Metamodel 的所有標(biāo)準(zhǔn)。13 / 104 對(duì)象模型元數(shù)據(jù)經(jīng)營(yíng)分析系統(tǒng)中對(duì)象模型元數(shù)據(jù)對(duì)應(yīng) CWM 模型中最底層的對(duì)象模型包中的內(nèi)容。12 / 1043 經(jīng)營(yíng)分析系統(tǒng)核心元數(shù)據(jù) 概述經(jīng)營(yíng)分析系統(tǒng)核心元數(shù)據(jù)指的是經(jīng)營(yíng)分析系統(tǒng)中主要系統(tǒng)涉及到的元數(shù)據(jù)，包括了經(jīng)營(yíng)分析系統(tǒng)基礎(chǔ)層元數(shù)據(jù)，經(jīng)營(yíng)分析系統(tǒng)獲取曾元數(shù)據(jù)，經(jīng)營(yíng)分析系統(tǒng)存儲(chǔ)層元數(shù)據(jù)和經(jīng)營(yíng)分析系統(tǒng)數(shù)據(jù)訪問層元數(shù)據(jù)。? 省級(jí)元數(shù)據(jù)管理平臺(tái)提供對(duì)省級(jí)存儲(chǔ)服務(wù)器中的元數(shù)據(jù)進(jìn)行訪問，查詢，分析等功能，它本身應(yīng)支持服務(wù)器客戶端架構(gòu)，支持多人，分角色對(duì)經(jīng)營(yíng)分析系統(tǒng)元數(shù)據(jù)進(jìn)行訪問?；蛘咄ㄟ^調(diào)用省級(jí)元數(shù)據(jù)庫的 CORBA IDL 接口直接訪問省級(jí)元數(shù)據(jù)庫中的內(nèi)容。圖中的轉(zhuǎn)換工具或者 API 指的是經(jīng)營(yíng)分析系統(tǒng)子系統(tǒng)元數(shù)據(jù)不支持 CWM 模型情況下，需要進(jìn)行雙向轉(zhuǎn)換，而支持 CWM 元數(shù)據(jù)標(biāo)準(zhǔn)的子系統(tǒng)則不需要轉(zhuǎn)換直接和元數(shù)據(jù)庫接口交互。此部分元數(shù)據(jù)是全國(guó)統(tǒng)一必須嚴(yán)格遵守。CWM 模型涉及以下幾個(gè)國(guó)際標(biāo)準(zhǔn)，在元數(shù)據(jù)管理規(guī)范中涉及到的接口、定義默認(rèn)是遵循下列版本的國(guó)際標(biāo)準(zhǔn)：? CWM ? XMI ? CORBA IDL（由 MOF 產(chǎn)生）? MOF ? UML 其中 UML 用來描述元數(shù)據(jù)模型本身和一些對(duì)象元數(shù)據(jù)，本規(guī)范中核心元數(shù)據(jù)相關(guān)的類定義是借助 UML 語言進(jìn)行表述的。具體而言，目標(biāo)有如下幾點(diǎn)：? 指導(dǎo)各省公司以及集團(tuán)公司元數(shù)據(jù)庫和管理平臺(tái)的建設(shè)，規(guī)定元數(shù)據(jù)基本內(nèi)容 ? 定義經(jīng)營(yíng)分析系統(tǒng)元數(shù)據(jù)管理框架和流程? 約束各省公司元數(shù)據(jù)庫接口以及集團(tuán)公司元數(shù)據(jù)接口和存儲(chǔ)模型? 對(duì)元數(shù)據(jù)管理平臺(tái)提出基本的功能和規(guī)定 適用范圍本規(guī)范適用于集團(tuán)公司元數(shù)據(jù)管理、一級(jí)經(jīng)營(yíng)分析系統(tǒng)元數(shù)據(jù)管理和中國(guó)移動(dòng)各?。ㄖ陛犑?、自治區(qū)）經(jīng)營(yíng)分析系統(tǒng)元數(shù)據(jù)管理系統(tǒng) 包含附件內(nèi)容隨本規(guī)范附件有省級(jí)本地 IDL 接口定義（省級(jí) 本地 IDL ） ，中央本地 IDL 接口定義（中央本地 IDL ） ，省級(jí) 本地 XMI 接口定義（省級(jí)本地 XMI 接口 .dtd） ，中央本地 XMI 接口定義（中央本地 XMI ） ，省級(jí)中央接口定義（省級(jí) ） ，一級(jí)中央接口定義（一級(jí) 中央接口.dtd） 。從技術(shù)實(shí)現(xiàn)上講，元數(shù)據(jù)分布在倉庫的不同組件中，業(yè)務(wù)規(guī)則和技術(shù)元數(shù)據(jù)是分離的，而且由不同系統(tǒng)以不同格式保存且用戶界面不同，不利于業(yè)務(wù)人員和技術(shù)人員對(duì)于元數(shù)據(jù)的管理和使用。本規(guī)范是中國(guó)移動(dòng)經(jīng)營(yíng)分析系統(tǒng)元數(shù)據(jù)管理和建設(shè)的基本要求。本規(guī)范包含有關(guān)元數(shù)據(jù)四個(gè)接口規(guī)范、一個(gè)存儲(chǔ)規(guī)范（邏輯模型）以及基于元數(shù)據(jù)庫的幾類基本應(yīng)用等內(nèi)容。閱讀此規(guī)范時(shí)，必須參閱 CWM 模型 版本 1，該標(biāo)準(zhǔn)中有對(duì)于本規(guī)范規(guī)定的各類詳細(xì)定義，關(guān)聯(lián)以及屬性詳細(xì)定義進(jìn)行的細(xì)致的說明。CWM 標(biāo)準(zhǔn)涉及到的元數(shù)據(jù)模型結(jié)構(gòu)如圖 21。 圖 22各異元數(shù)據(jù)各省核心元數(shù)據(jù)集團(tuán)核心元數(shù)據(jù)7 / 104 省級(jí)（包括一級(jí)經(jīng)營(yíng)分析系統(tǒng)）元數(shù)據(jù)管理架構(gòu)省級(jí)（包括一級(jí)經(jīng)營(yíng)分析系統(tǒng)，以下略）元數(shù)據(jù)管理是以各省元數(shù)據(jù)庫為中心展開，在規(guī)范中定義了元數(shù)據(jù)庫的邏輯（對(duì)象）模型，其存儲(chǔ)標(biāo)準(zhǔn)是按照OMG 組織的 MOF 標(biāo)準(zhǔn)。8 / 104ETL元數(shù)據(jù)數(shù)據(jù)倉庫元數(shù)據(jù)數(shù)據(jù)集市OLAP SERVER….直接訪問或轉(zhuǎn)換工具、 API等XMI 接口或CORBA IDL接口核心元數(shù)據(jù)元數(shù)據(jù)管理工具CORBA IDL 轉(zhuǎn)換后XMI文件中央元數(shù)據(jù)庫 圖 23 中央元數(shù)據(jù)庫管理架構(gòu)中央元數(shù)據(jù)庫管理架構(gòu)如圖 24 所示。? 省級(jí)元數(shù)據(jù)抽取服務(wù)器的主要功能是將符合 CWM 模型的各經(jīng)營(yíng)分析子系統(tǒng)的元數(shù)據(jù)（通過 XMI 文件獲取或者通過 CWM 兼容 CORBA IDL 讀出）存入省級(jí)元數(shù)據(jù)存儲(chǔ)服務(wù)器之中（綠色線條） ，如果有些系統(tǒng)不支持 CWM 模型則需要通過 API 或者其他手段獲得其元數(shù)據(jù)并轉(zhuǎn)換為 CWM 模型格式的元數(shù)據(jù)存儲(chǔ)到省級(jí)元數(shù)據(jù)存儲(chǔ)服務(wù)器內(nèi)（紅色線條） 。11 / 104? 中央元數(shù)據(jù)存儲(chǔ)服務(wù)器主要是接受中央元數(shù)據(jù)抽取服務(wù)器提供的元數(shù)據(jù)（接受 XMI 文件或者接受訪問元數(shù)據(jù)存儲(chǔ)服務(wù)器的 CORBA IDL） ，并把這些元數(shù)據(jù)按照本規(guī)范的規(guī)定進(jìn)行存儲(chǔ)，中央元數(shù)據(jù)存儲(chǔ)服務(wù)器必須提供符合 CWM 模型 標(biāo)準(zhǔn)的 XMI 接口和 CORBA IDL 接口以便中央元數(shù)據(jù)管理平臺(tái)和中央元數(shù)據(jù)抽取服務(wù)器進(jìn)行訪問。 經(jīng)營(yíng)分析系統(tǒng)基礎(chǔ)層元數(shù)據(jù) 概述經(jīng)營(yíng)分析系統(tǒng)基礎(chǔ)層元數(shù)據(jù)的內(nèi)容是包括經(jīng)營(yíng)分析系統(tǒng)中所有其他元數(shù)據(jù)共享的表示概念和結(jié)構(gòu)元數(shù)據(jù)。這部分使得經(jīng)營(yíng)分析系統(tǒng)的元數(shù)據(jù)標(biāo)準(zhǔn)可以在遵循 CWM 模型的基礎(chǔ)上以 UML 標(biāo)準(zhǔn)進(jìn)行表述。其中所有的類和關(guān)系如 圖 34 所示。經(jīng)營(yíng)分析系統(tǒng)元數(shù)據(jù)對(duì)象模型中的Instance Metamodel 就是用來描述這些附帶在元數(shù)據(jù)后的具體數(shù)據(jù)的。為了控制復(fù)雜性，基礎(chǔ)元數(shù)據(jù)內(nèi)部分為六個(gè)包，他們是業(yè)務(wù)信息包、數(shù)據(jù)類型包、表達(dá)式包、主鍵和索引包、類型映射包、系統(tǒng)部署包，分別對(duì)應(yīng) CWM 標(biāo)準(zhǔn)中 Foundation部分中 BusinesssInformation 包、DataTypes 包、Expressions 包、KeyIndexes 包、TypeMapping 包、SoftwareDeployment 包，它們之間的關(guān)系如圖 37：17 / 104圖 37 基礎(chǔ)元數(shù)據(jù)結(jié)構(gòu)圖 (參考附件 CWM Figure 51) 經(jīng)營(yíng)分析系統(tǒng)基礎(chǔ)元數(shù)據(jù)中，包與包之間的關(guān)系是在不犧牲共有目的的情況下可以單獨(dú)的使用，例如，如果對(duì)于經(jīng)營(yíng)分析系統(tǒng)中自主開發(fā)某一個(gè)支持CWM 標(biāo)準(zhǔn)的數(shù)據(jù)倉庫軟件時(shí)，支持某種編程語言的元數(shù)據(jù)可能用到數(shù)據(jù)類型包、表達(dá)式包、類型映射包和軟件發(fā)布包，而鍵索引和業(yè)務(wù)信息包就不需要了。業(yè)務(wù)信息元數(shù)據(jù)嚴(yán)格遵循 CWM 模型中基礎(chǔ)元數(shù)據(jù)里面BusinesssInformation 的所有標(biāo)準(zhǔn)。 圖 39 數(shù)據(jù)類型主類圖 (參考附件 CWM 標(biāo)準(zhǔn) .pdf Figure 55)20 / 104 表達(dá)式表達(dá)式元模型提供了定義經(jīng)營(yíng)分析系統(tǒng)中所有表達(dá)式樹的基本支持。鍵和索引包模型包所有的類和關(guān)系如 圖 311 所示。其中類和關(guān)聯(lián)的詳細(xì)定義與約束請(qǐng)參見附件 CWM CWM 模型 標(biāo)準(zhǔn)中第 節(jié)的有關(guān)內(nèi)容。這個(gè)過程主要涉及到 ETL 的過程本身元數(shù)據(jù)。這使得 ETL 元數(shù)據(jù)比較復(fù)雜，而其本質(zhì)是一種轉(zhuǎn)換的過程。（一） 數(shù)據(jù)轉(zhuǎn)換和數(shù)據(jù)關(guān)系數(shù)據(jù)轉(zhuǎn)換和數(shù)據(jù)關(guān)系元數(shù)據(jù)指的是和 ETL 相關(guān)的數(shù)據(jù)源，目標(biāo)，約束，操26 / 104作相關(guān)的元數(shù)據(jù)。一般由 ETL 工具產(chǎn)生的元數(shù)據(jù)都是白箱操作。本章涉及的元數(shù)據(jù)嚴(yán)格遵循 CWM 模型 標(biāo)準(zhǔn)，涉及到的具體內(nèi)容可以參考附件 CWM CWM 模型 標(biāo)準(zhǔn) 第 6 章、第 8 章、第 15 章、第 16章、的內(nèi)容，有關(guān)可選元數(shù)據(jù)的內(nèi)容，參考 CWM 模型 標(biāo)準(zhǔn)的第 7 章、第9 章的有關(guān)內(nèi)容。這個(gè)流程可以在每一步 ETL 活動(dòng)或者是每一個(gè)獨(dú)立的 ETL 步驟的高度來存儲(chǔ)管理元數(shù)據(jù)。35 / 104 圖 318 倉庫過程主類圖 (參考附件 CWM Figure 151)以上是有關(guān)倉庫過程的元數(shù)據(jù)，這里只給出主要倉庫過程元數(shù)據(jù)的大致內(nèi)容和類，詳細(xì)的類定義和屬性定義以及關(guān)聯(lián)關(guān)系和約束請(qǐng)參見附件 CWM 標(biāo)準(zhǔn).pdf CWM 模型 標(biāo)準(zhǔn)的第 15 章的有關(guān)內(nèi)容。修改請(qǐng)求記錄了影響每一個(gè)元數(shù)據(jù)元素的修改記錄，一般會(huì)記錄下哪些修改被執(zhí)行或者被拒絕。本章的涉及到的元數(shù)據(jù)嚴(yán)格遵守 CWM 模型 標(biāo)準(zhǔn)，其中涉及到的元數(shù)39 / 104據(jù)的詳細(xì)定義、范圍、約束可以參見附件 CWM 中第 11 章，第 12 章，第 13 章的有關(guān)內(nèi)容。? 確保邏輯 OLAP 結(jié)構(gòu)和它所用的數(shù)據(jù)源統(tǒng)一的特型，也就是通過相應(yīng)的 ETL 包中的元數(shù)據(jù)來進(jìn)行 OLAP 元數(shù)據(jù)和數(shù)據(jù)源之間的映射。這部分的元數(shù)據(jù)包括 OLAP 元數(shù)據(jù)，數(shù)據(jù)挖掘元數(shù)據(jù)，信息可視化元數(shù)據(jù)。這些細(xì)節(jié)必須包括 ETL 過程的每一步的執(zhí)行狀況，使得我們可以了解通過經(jīng)營(yíng)分析系統(tǒng)給出的指標(biāo)和生產(chǎn)系統(tǒng)提供數(shù)據(jù)的時(shí)差。一個(gè)倉庫事件被分為三種類型：計(jì)劃型、外部型、內(nèi)部型。本節(jié)的元數(shù)據(jù)嚴(yán)格遵循 CWM 模型 標(biāo)準(zhǔn)中的有關(guān) Relational 的內(nèi)容，其中元數(shù)據(jù)類之間的關(guān)系，約束，定義等請(qǐng)參見附件 CWM 中有33 / 104關(guān)第 6 章的內(nèi)容。在經(jīng)營(yíng)分析系統(tǒng)中還有一些數(shù)據(jù)的存儲(chǔ)不是關(guān)系型，例如普通的文件、磁帶、XML、對(duì)象數(shù)據(jù)庫等等，對(duì)于這些數(shù)據(jù)源的元數(shù)據(jù)定義在 節(jié)可選元數(shù)據(jù)中給出定義。而每一個(gè)類的詳細(xì)定義，屬性的定義和約束可以參見附件 CWM CWM 模型 標(biāo)準(zhǔn)的第 10 章的內(nèi)容。和 ETL 相關(guān)的元數(shù)據(jù)嚴(yán)格遵循 CWM 模型 標(biāo)準(zhǔn)中 ETL 元模型的所有標(biāo)準(zhǔn)，相關(guān)的定義和內(nèi)容可以參照附件 CWM CWM 模型 標(biāo)準(zhǔn)第10 章的有關(guān)內(nèi)容。ETL 的過程是經(jīng)營(yíng)分析系統(tǒng)中的核心，因此這部分的元數(shù)據(jù)必須保證準(zhǔn)確，具體的數(shù)據(jù)質(zhì)量和一致性約束，參見第 小節(jié)。其中類和關(guān)聯(lián)的詳細(xì)定義與約束請(qǐng)參見附件 CWM CWM 模型 標(biāo)準(zhǔn)中第 節(jié)的有關(guān)內(nèi)容。系統(tǒng)部署包所有的類和關(guān)系如 圖 312 所示，有關(guān)系統(tǒng)部署中數(shù)據(jù)接口的類和關(guān)聯(lián)如 圖 313 所示。在基礎(chǔ)模型中，我們只給出了定義鍵和索引基本概念的元數(shù)據(jù)模型，具體的面向某些具體應(yīng)用的鍵結(jié)構(gòu)會(huì)在面向具體應(yīng)用的包中給出。數(shù)據(jù)類型元模型所有的類和關(guān)系如 圖 39 所示。 小節(jié)關(guān)于數(shù)據(jù)質(zhì)量和一致性要求中對(duì)于經(jīng)營(yíng)分析系統(tǒng)的元數(shù)據(jù)內(nèi)容（元數(shù)據(jù)的對(duì)象）要求必須具有的確切描述這項(xiàng)元數(shù)據(jù)內(nèi)容的 Description（每一個(gè)具體元數(shù)據(jù)的業(yè)務(wù)描述或功能描述）用到本節(jié)元數(shù)據(jù)中的描述一項(xiàng)，同時(shí)元數(shù)據(jù)涉及到的系統(tǒng)負(fù)責(zé)人或者負(fù)責(zé)部門的內(nèi)容利用本節(jié)關(guān)于 ResponsibleParty 的內(nèi)容?；A(chǔ)元數(shù)據(jù)的內(nèi)容和對(duì)象模型元數(shù)據(jù)的內(nèi)容是不同的，因?yàn)樗菍榻?jīng)營(yíng)分析系統(tǒng)所設(shè)計(jì)的元數(shù)據(jù)，而對(duì)象模型元數(shù)據(jù)從某個(gè)角度上來說是可以應(yīng)用在很多其他領(lǐng)域（數(shù)據(jù)倉庫領(lǐng)域之外，例如系統(tǒng)部署領(lǐng)域等） 。其中類和關(guān)聯(lián)的詳細(xì)定義與約束請(qǐng)參見附件 CWM CWM 模型 標(biāo)準(zhǔn)中第 節(jié)的有關(guān)內(nèi)容。14 / 104圖 32 Core Metamodel 類關(guān)系圖 參考附件 CWM 中 fig