【正文】 數據倉庫和 ETL部分的數據和元數據和 OLAP 的都是相關的，一方面 OLAP 的數據來源于數據倉庫，另一方面 OLAP 展現(xiàn)的數據可以通過 ETL 的元數據直接查到這些數據來源于哪個生產系統(tǒng)的哪個部分。本節(jié)所述所有元數據內容都嚴格遵循 CWM 模型 版本中 Warehouse Operation 包中的所有標準。此外，本節(jié)中的元數據將會涉及到 ETL 過程中的元數據，其中相關聯(lián)部分的元數據一致性和元數據質量問題請參考 節(jié)中有關數據質量和一致性的相關規(guī)定。34 / 104一個數據倉庫過程表示一個 ETL 執(zhí)行的過程，和 ETL 過程中的轉換活動和轉換步驟想對應，這個可以是數據倉庫活動或者是數據倉庫的步驟組成的。無論是數據倉庫還是數據集市，其本質都是關系型數據，其底層元數據都是相同的。在具體執(zhí)行過程中，有些不支持 CWM 模型的 ETL 工具的元數據則需要支持 CWM 模型的元數據管理工具從其中讀出元數據并整理為符合 CWM 模型的形式進行存儲，有關存儲要求詳見本規(guī)范第 4 章的有關內容。27 / 104 圖 315 ETL 數據轉換和數據關系主類圖 (參考附件 CWM Figure 102)28 / 104 圖 316 ETL 數據轉換和數據關系主類圖 2 (參考附件 CWM Figure 103)（二） 數據分組和執(zhí)行 一般在 ETL 過程中，會把可以并行的導入加載過程分在同一個的邏輯單元，并行的執(zhí)行這些邏輯單元來提高導入的效率。ETL 包中的數據源或者數據目標需要和相應系統(tǒng)中的元數據一一映射，這些系統(tǒng)的元數據可能是關系模型包中的或者 OLAP，多維數據庫或者是數據挖掘包中的元數據，他們必須和 ETL 過程中的元數據進行關聯(lián)。本章的元數據主要涉及到和 ETL 過程相關中的元數據。一對多的映射允許出現(xiàn)在任何一個映射對之間，而且在一對多映射的過程中必須確定一個最適合的類型作為首選。 圖 311 鍵索引模型主類圖 (參考附件 CWM Figure 59) 系統(tǒng)部署系統(tǒng)部署包是為了記錄經營分析系統(tǒng)中系統(tǒng)和軟件是怎樣應用的。表達式包嚴格遵循 CWM 模型 標準中基礎模型里面 Expressions 包的所有標準。圖 38 業(yè)務信息主類圖 (參考附件 CWM 標準 .pdf Figure 52)19 / 104 數據類型數據類型元模型提供經營分析系統(tǒng)中建立不同系統(tǒng)需要的數據類型的元數據模型定義。這里說的業(yè)務部門指的是支持數據倉庫和商業(yè)智能系統(tǒng)的相關的業(yè)務部門或項目組而不是所有移動通信公司的業(yè)務部門。 基礎元數據 概述基礎元數據的內容是包括經營分析系統(tǒng)中所有其他元數據共享的表示概念和結構元數據。CWM 模型中 Relationships Metamodel 描述了兩種關系：關聯(lián)和繼承。它嚴格遵循 CWM 模型中對象模型里面 Core Metamodel 的所有標準。13 / 104 對象模型元數據經營分析系統(tǒng)中對象模型元數據對應 CWM 模型中最底層的對象模型包中的內容。12 / 1043 經營分析系統(tǒng)核心元數據 概述經營分析系統(tǒng)核心元數據指的是經營分析系統(tǒng)中主要系統(tǒng)涉及到的元數據，包括了經營分析系統(tǒng)基礎層元數據，經營分析系統(tǒng)獲取曾元數據，經營分析系統(tǒng)存儲層元數據和經營分析系統(tǒng)數據訪問層元數據。? 省級元數據管理平臺提供對省級存儲服務器中的元數據進行訪問，查詢，分析等功能，它本身應支持服務器客戶端架構，支持多人，分角色對經營分析系統(tǒng)元數據進行訪問?；蛘咄ㄟ^調用省級元數據庫的 CORBA IDL 接口直接訪問省級元數據庫中的內容。圖中的轉換工具或者 API 指的是經營分析系統(tǒng)子系統(tǒng)元數據不支持 CWM 模型情況下，需要進行雙向轉換，而支持 CWM 元數據標準的子系統(tǒng)則不需要轉換直接和元數據庫接口交互。此部分元數據是全國統(tǒng)一必須嚴格遵守。CWM 模型涉及以下幾個國際標準，在元數據管理規(guī)范中涉及到的接口、定義默認是遵循下列版本的國際標準：? CWM ? XMI ? CORBA IDL（由 MOF 產生）? MOF ? UML 其中 UML 用來描述元數據模型本身和一些對象元數據，本規(guī)范中核心元數據相關的類定義是借助 UML 語言進行表述的。具體而言，目標有如下幾點：? 指導各省公司以及集團公司元數據庫和管理平臺的建設，規(guī)定元數據基本內容 ? 定義經營分析系統(tǒng)元數據管理框架和流程? 約束各省公司元數據庫接口以及集團公司元數據接口和存儲模型? 對元數據管理平臺提出基本的功能和規(guī)定 適用范圍本規(guī)范適用于集團公司元數據管理、一級經營分析系統(tǒng)元數據管理和中國移動各?。ㄖ陛犑小⒆灾螀^(qū)）經營分析系統(tǒng)元數據管理系統(tǒng) 包含附件內容隨本規(guī)范附件有省級本地 IDL 接口定義（省級 本地 IDL ） ，中央本地 IDL 接口定義（中央本地 IDL ） ，省級 本地 XMI 接口定義（省級本地 XMI 接口 .dtd） ，中央本地 XMI 接口定義（中央本地 XMI ） ，省級中央接口定義（省級 ） ，一級中央接口定義（一級 中央接口.dtd） 。從技術實現(xiàn)上講，元數據分布在倉庫的不同組件中，業(yè)務規(guī)則和技術元數據是分離的，而且由不同系統(tǒng)以不同格式保存且用戶界面不同，不利于業(yè)務人員和技術人員對于元數據的管理和使用。本規(guī)范是中國移動經營分析系統(tǒng)元數據管理和建設的基本要求。本規(guī)范包含有關元數據四個接口規(guī)范、一個存儲規(guī)范（邏輯模型）以及基于元數據庫的幾類基本應用等內容。閱讀此規(guī)范時，必須參閱 CWM 模型 版本 1，該標準中有對于本規(guī)范規(guī)定的各類詳細定義，關聯(lián)以及屬性詳細定義進行的細致的說明。CWM 標準涉及到的元數據模型結構如圖 21。 圖 22各異元數據各省核心元數據集團核心元數據7 / 104 省級（包括一級經營分析系統(tǒng)）元數據管理架構省級（包括一級經營分析系統(tǒng)，以下略）元數據管理是以各省元數據庫為中心展開，在規(guī)范中定義了元數據庫的邏輯（對象）模型，其存儲標準是按照OMG 組織的 MOF 標準。8 / 104ETL元數據數據倉庫元數據數據集市OLAP SERVER….直接訪問或轉換工具、 API等XMI 接口或CORBA IDL接口核心元數據元數據管理工具CORBA IDL 轉換后XMI文件中央元數據庫 圖 23 中央元數據庫管理架構中央元數據庫管理架構如圖 24 所示。? 省級元數據抽取服務器的主要功能是將符合 CWM 模型的各經營分析子系統(tǒng)的元數據（通過 XMI 文件獲取或者通過 CWM 兼容 CORBA IDL 讀出）存入省級元數據存儲服務器之中（綠色線條） ，如果有些系統(tǒng)不支持 CWM 模型則需要通過 API 或者其他手段獲得其元數據并轉換為 CWM 模型格式的元數據存儲到省級元數據存儲服務器內（紅色線條） 。11 / 104? 中央元數據存儲服務器主要是接受中央元數據抽取服務器提供的元數據（接受 XMI 文件或者接受訪問元數據存儲服務器的 CORBA IDL） ，并把這些元數據按照本規(guī)范的規(guī)定進行存儲，中央元數據存儲服務器必須提供符合 CWM 模型 標準的 XMI 接口和 CORBA IDL 接口以便中央元數據管理平臺和中央元數據抽取服務器進行訪問。 經營分析系統(tǒng)基礎層元數據 概述經營分析系統(tǒng)基礎層元數據的內容是包括經營分析系統(tǒng)中所有其他元數據共享的表示概念和結構元數據。這部分使得經營分析系統(tǒng)的元數據標準可以在遵循 CWM 模型的基礎上以 UML 標準進行表述。其中所有的類和關系如 圖 34 所示。經營分析系統(tǒng)元數據對象模型中的Instance Metamodel 就是用來描述這些附帶在元數據后的具體數據的。為了控制復雜性，基礎元數據內部分為六個包，他們是業(yè)務信息包、數據類型包、表達式包、主鍵和索引包、類型映射包、系統(tǒng)部署包，分別對應 CWM 標準中 Foundation部分中 BusinesssInformation 包、DataTypes 包、Expressions 包、KeyIndexes 包、TypeMapping 包、SoftwareDeployment 包，它們之間的關系如圖 37：17 / 104圖 37 基礎元數據結構圖 (參考附件 CWM Figure 51) 經營分析系統(tǒng)基礎元數據中，包與包之間的關系是在不犧牲共有目的的情況下可以單獨的使用，例如，如果對于經營分析系統(tǒng)中自主開發(fā)某一個支持CWM 標準的數據倉庫軟件時，支持某種編程語言的元數據可能用到數據類型包、表達式包、類型映射包和軟件發(fā)布包，而鍵索引和業(yè)務信息包就不需要了。業(yè)務信息元數據嚴格遵循 CWM 模型中基礎元數據里面BusinesssInformation 的所有標準。 圖 39 數據類型主類圖 (參考附件 CWM 標準 .pdf Figure 55)20 / 104 表達式表達式元模型提供了定義經營分析系統(tǒng)中所有表達式樹的基本支持。鍵和索引包模型包所有的類和關系如 圖 311 所示。其中類和關聯(lián)的詳細定義與約束請參見附件 CWM CWM 模型 標準中第 節(jié)的有關內容。這個過程主要涉及到 ETL 的過程本身元數據。這使得 ETL 元數據比較復雜，而其本質是一種轉換的過程。（一） 數據轉換和數據關系數據轉換和數據關系元數據指的是和 ETL 相關的數據源，目標，約束，操26 / 104作相關的元數據。一般由 ETL 工具產生的元數據都是白箱操作。本章涉及的元數據嚴格遵循 CWM 模型 標準，涉及到的具體內容可以參考附件 CWM CWM 模型 標準 第 6 章、第 8 章、第 15 章、第 16章、的內容，有關可選元數據的內容，參考 CWM 模型 標準的第 7 章、第9 章的有關內容。這個流程可以在每一步 ETL 活動或者是每一個獨立的 ETL 步驟的高度來存儲管理元數據。35 / 104 圖 318 倉庫過程主類圖 (參考附件 CWM Figure 151)以上是有關倉庫過程的元數據，這里只給出主要倉庫過程元數據的大致內容和類，詳細的類定義和屬性定義以及關聯(lián)關系和約束請參見附件 CWM 標準.pdf CWM 模型 標準的第 15 章的有關內容。修改請求記錄了影響每一個元數據元素的修改記錄，一般會記錄下哪些修改被執(zhí)行或者被拒絕。本章的涉及到的元數據嚴格遵守 CWM 模型 標準，其中涉及到的元數39 / 104據的詳細定義、范圍、約束可以參見附件 CWM 中第 11 章，第 12 章，第 13 章的有關內容。? 確保邏輯 OLAP 結構和它所用的數據源統(tǒng)一的特型，也就是通過相應的 ETL 包中的元數據來進行 OLAP 元數據和數據源之間的映射。這部分的元數據包括 OLAP 元數據，數據挖掘元數據，信息可視化元數據。這些細節(jié)必須包括 ETL 過程的每一步的執(zhí)行狀況，使得我們可以了解通過經營分析系統(tǒng)給出的指標和生產系統(tǒng)提供數據的時差。一個倉庫事件被分為三種類型：計劃型、外部型、內部型。本節(jié)的元數據嚴格遵循 CWM 模型 標準中的有關 Relational 的內容，其中元數據類之間的關系，約束，定義等請參見附件 CWM 中有33 / 104關第 6 章的內容。在經營分析系統(tǒng)中還有一些數據的存儲不是關系型，例如普通的文件、磁帶、XML、對象數據庫等等，對于這些數據源的元數據定義在 節(jié)可選元數據中給出定義。而每一個類的詳細定義，屬性的定義和約束可以參見附件 CWM CWM 模型 標準的第 10 章的內容。和 ETL 相關的元數據嚴格遵循 CWM 模型 標準中 ETL 元模型的所有標準，相關的定義和內容可以參照附件 CWM CWM 模型 標準第10 章的有關內容。ETL 的過程是經營分析系統(tǒng)中的核心，因此這部分的元數據必須保證準確，具體的數據質量和一致性約束，參見第 小節(jié)。其中類和關聯(lián)的詳細定義與約束請參見附件 CWM CWM 模型 標準中第 節(jié)的有關內容。系統(tǒng)部署包所有的類和關系如 圖 312 所示，有關系統(tǒng)部署中數據接口的類和關聯(lián)如 圖 313 所示。在基礎模型中，我們只給出了定義鍵和索引基本概念的元數據模型，具體的面向某些具體應用的鍵結構會在面向具體應用的包中給出。數據類型元模型所有的類和關系如 圖 39 所示。 小節(jié)關于數據質量和一致性要求中對于經營分析系統(tǒng)的元數據內容（元數據的對象）要求必須具有的確切描述這項元數據內容的 Description（每一個具體元數據的業(yè)務描述或功能描述）用到本節(jié)元數據中的描述一項，同時元數據涉及到的系統(tǒng)負責人或者負責部門的內容利用本節(jié)關于 ResponsibleParty 的內容?；A元數據的內容和對象模型元數據的內容是不同的，因為它是專為經營分析系統(tǒng)所設計的元數據，而對象模型元數據從某個角度上來說是可以應用在很多其他領域（數據倉庫領域之外，例如系統(tǒng)部署領域等） 。其中類和關聯(lián)的詳細定義與約束請參見附件 CWM CWM 模型 標準中第 節(jié)的有關內容。14 / 104圖 32 Core Metamodel 類關系圖 參考附件 CWM 中 fig