【正文】 ，稽核非正常返回錯誤文件記錄給數(shù)據(jù)管理者做數(shù)據(jù)標準的更新。4. 數(shù)據(jù)提供者將數(shù)據(jù)提交到企業(yè)級大數(shù)據(jù)平臺，并且完成對元數(shù)據(jù)的采集。5. 對數(shù)據(jù)提供者數(shù)據(jù)進行后向稽核，稽核正常則數(shù)據(jù)可提供數(shù)據(jù)消費者正常使用，稽核非正常返回錯誤信息記錄給數(shù)據(jù)提供者做數(shù)據(jù)修訂。. 本期建設范圍及內(nèi)容本期數(shù)據(jù)標準管理建設范圍要求涉及企業(yè)級省大數(shù)據(jù)平臺中數(shù)據(jù)標準內(nèi)容，但不在全集團范圍內(nèi)強制統(tǒng)一數(shù)據(jù)標準規(guī)范。 本期具體建設內(nèi)容包括：數(shù)據(jù)標準規(guī)范內(nèi)容涵蓋：l 行業(yè)參考模型實體標準l 指標數(shù)據(jù)標準l 公共代碼標準數(shù)據(jù)標準化管控內(nèi)容涵蓋：l 建立數(shù)據(jù)標準化管理組織架構。l 搭建數(shù)據(jù)標準管理模塊。l 實現(xiàn)數(shù)據(jù)標準管理流程的功能系統(tǒng)化，并銜接元數(shù)據(jù)管理、數(shù)據(jù)質量管理和數(shù)據(jù)資產(chǎn)管理形成數(shù)據(jù)治理的閉環(huán)運維。l 提供具數(shù)據(jù)標準產(chǎn)品，如數(shù)據(jù)標準查詢APP等。. 實施要求數(shù)據(jù)標準管理實施要求包括：數(shù)據(jù)標準統(tǒng)一規(guī)劃。按照企業(yè)級省大數(shù)據(jù)平臺的數(shù)據(jù)治理要求，結合數(shù)據(jù)標準規(guī)范指導內(nèi)容，構建適應企業(yè)級省大數(shù)據(jù)平臺的數(shù)據(jù)標準體系，并制定數(shù)據(jù)標準實施方案。建立數(shù)據(jù)標準管理的支撐體系。要求包括數(shù)據(jù)標準管理組織架構、數(shù)據(jù)標準管理辦法和制度流程，以及數(shù)據(jù)標準管理支撐工具。實現(xiàn)中國移動企業(yè)級省大數(shù)據(jù)平臺中數(shù)據(jù)業(yè)務口徑和技術口徑有效協(xié)同統(tǒng)一。支撐中國移動企業(yè)級省大數(shù)據(jù)平臺的平臺化、產(chǎn)品化和數(shù)據(jù)資產(chǎn)運營的需求。支撐新增企業(yè)級省大數(shù)據(jù)平臺數(shù)據(jù)接口內(nèi)容的標準化定義。滿足原有數(shù)據(jù)可逐步進行數(shù)據(jù)標準規(guī)范的遷移和統(tǒng)一。. 元數(shù)據(jù)管理. 背景元數(shù)據(jù)管理模塊是大數(shù)據(jù)平臺數(shù)據(jù)治理體系的重要組成部分。IT研究與顧問咨詢公司Gartner發(fā)布的《2013年十大戰(zhàn)略性技術趨勢》中對于企業(yè)戰(zhàn)略性大數(shù)據(jù)的描述如下：將多個系統(tǒng)，包括內(nèi)容管理、數(shù)據(jù)倉庫、數(shù)據(jù)集市和專門的文件系統(tǒng)等與數(shù)據(jù)服務和元數(shù)據(jù)相互結合，組合為“邏輯的”企業(yè)數(shù)據(jù)倉庫。通過對這個“邏輯的數(shù)據(jù)倉庫”的有效治理，為企業(yè)后續(xù)的數(shù)據(jù)資產(chǎn)運營、增值以及數(shù)據(jù)服務提供有效支撐。中國移動企業(yè)級省大數(shù)據(jù)平臺是這種邏輯的企業(yè)數(shù)據(jù)倉庫的一個具體落地實現(xiàn)，元數(shù)據(jù)管理的建設將貫穿大數(shù)據(jù)平臺建設、使用、運營、維護的全過程，并發(fā)揮以下作用：l 提供企業(yè)級數(shù)據(jù)字典，便于內(nèi)外部客戶更好地了解企業(yè)數(shù)據(jù)概況；l 提供全局元數(shù)據(jù)查詢檢索，便于用戶快速定位元數(shù)據(jù)；l 提供元數(shù)據(jù)詳細描述，使用戶了解數(shù)據(jù)組成、結構及數(shù)據(jù)流向；l 提供血緣/影響分析功能，便于用戶進行分析判斷、問題定位；l 提供元數(shù)據(jù)接口服務，便于其它系統(tǒng)或模塊使用元數(shù)據(jù)服務；l 提供元數(shù)據(jù)應用，方便終端用戶使用元數(shù)據(jù)。l 提供統(tǒng)一的基于元數(shù)據(jù)描述的API管理產(chǎn)品，集中管理平臺開放的內(nèi)外部API。大數(shù)據(jù)平臺的元數(shù)據(jù)管理方面，與傳統(tǒng)經(jīng)分相比，主要有以下不同點：l 管理范圍不同：216。 新增集群NameNode節(jié)點的管理元數(shù)據(jù)；216。 新增集群DataNode節(jié)點的業(yè)務/技術元數(shù)據(jù)；216。 新增大數(shù)據(jù)平臺內(nèi)部以及其與DW、MPP等跨工具/產(chǎn)品的復雜數(shù)據(jù)流元數(shù)據(jù)。l 管理制度方面：216。 管理流程：新增跨部門、跨系統(tǒng)的多層次交互式的元數(shù)據(jù)注冊、維護、管理、使用流程，同時需要針對不同用戶提供有針對性的元數(shù)據(jù)產(chǎn)品支持。216。 角色權限：管理上更加細致的分工，不同部門需新增相應的元數(shù)據(jù)查詢、管理、維護角色；l 工具支撐方面：216。 需支持大數(shù)據(jù)平臺新增元數(shù)據(jù)范圍地獲取、存儲與管理；216。 需支持大數(shù)據(jù)平臺海量元數(shù)據(jù)的獲取、存儲、管理及應用；216。 需提供標準化定義，并支持管理集群節(jié)點快速獲取分節(jié)點的運行元數(shù)據(jù)信息；216。 需對大數(shù)據(jù)平臺的文件、語音、圖片等非結構化數(shù)據(jù)的標記元數(shù)據(jù)，即大數(shù)據(jù)相關的詞庫元數(shù)據(jù)進行管理，并提供檢索查詢等應用支持；216。 需通過元數(shù)據(jù)對大數(shù)據(jù)平臺的新增數(shù)據(jù)進行敏感定義及標記；216。 需為終端用戶提供簡單易用的元數(shù)據(jù)產(chǎn)品，降低使用成本。. 元數(shù)據(jù)運營模式本期規(guī)范要求，在提升元數(shù)據(jù)用戶使用體驗的同時，著重改善元數(shù)據(jù)管理的運營模式，重點建設前向的元數(shù)據(jù)管控機制，并逐步探索集中的大數(shù)據(jù)平臺元數(shù)據(jù)管理方式。本期規(guī)范中，除元數(shù)據(jù)基礎功能外，對元數(shù)據(jù)管理的運行維護提出以下要求：l 對于集團統(tǒng)一標準規(guī)范的元數(shù)據(jù)，嚴格按照集團提供元數(shù)據(jù)標準落地；l 對于大數(shù)據(jù)平臺的集群NameNode、文件目錄等部分元數(shù)據(jù)，通過互通機制定期按集團要求格式上報。. 元模型標準關于元數(shù)據(jù)標準的元模型部分，將在經(jīng)分規(guī)范的核心元模型基礎上，根據(jù)大數(shù)據(jù)平臺新增數(shù)據(jù)結構特點進行擴充，以滿足這部分元數(shù)據(jù)獲取、存儲、管理及應用要求。主要涉及集群節(jié)點的namenode元數(shù)據(jù)及Hadoop的文件/目錄元數(shù)據(jù)。本期規(guī)范需要上報的元數(shù)據(jù)信息，主要涉及集群NameNode元數(shù)據(jù)，包括集群的運行監(jiān)控信息及文件/目錄元數(shù)據(jù)。圖67總部集群與省集群節(jié)點的元數(shù)據(jù)上報關系示意 圖67為集團總控節(jié)點與省集群節(jié)點的元數(shù)據(jù)上報關系示意圖。集群節(jié)點定期上報其自身的NameNode階段運行信息及數(shù)據(jù)節(jié)點的數(shù)據(jù)信息，供集團了解省分節(jié)點運行、存儲情況，為后續(xù)的統(tǒng)一管控提供基礎支撐。. 集群監(jiān)控類 對于集群NameNode節(jié)點的運行監(jiān)控類元數(shù)據(jù)，屬于Apache Hadoop的私有定義，暫無法使用或在CWM規(guī)范基礎上擴充。故直接引用Apache Hadoop的相關定義，并對其進行適當規(guī)范。本期對NameNode節(jié)點的元數(shù)據(jù)上報信息要求如下：英文名中文名類型備注Configured Capacity配置容量doublePresent Capacity當前總容量doubleDFS Remaining剩余容量doubleDFS Used已用容量doubleDFS Used%使用率double小數(shù)點后4位Under replicated blocks待復制數(shù)據(jù)塊doubleBlocks with corrupt replicas中斷復制數(shù)據(jù)塊doubleMissing blocks丟失數(shù)據(jù)塊doubleDatanodes available可用節(jié)點數(shù)doubleDatanodes Non available不可用節(jié)點數(shù)double需要上報的作業(yè)監(jiān)控信息如下：英文名中文名類型備注Name名稱textDescription描述textLastModified更新時間dateSteps步驟doubleStatus狀態(tài)textOwner擁有人textDatanode節(jié)點需要上報的元數(shù)據(jù)信息如下：英文名中文名類型備注Name節(jié)點名稱textHostname主機名textRack所屬機架textDemission Status 可用狀態(tài)textConfigured Capacity配置容量doubleDFS Used已用容量doubleNon DFS Used非DFS使用容量doubleDFS Remaining剩余容量doubleDFS Used%已用容量double小數(shù)點后4位DFS Remaining%使用率double小數(shù)點后4位Configured Cache Capacity配置緩存容量doubleCache Used緩存使用量doubleCache Remaining緩存剩余量doubleCache Used%緩存使用率double小數(shù)點后4位Cache Remaining%緩存剩余率double小數(shù)點后4位Last contact最近檢查時間date. 數(shù)據(jù)節(jié)點類為支持大數(shù)據(jù)平臺下文件、目錄、Hbase、Hive相關元數(shù)據(jù)的集中存儲，本期規(guī)范將CWM核心元模型的Table、Column、View類進行擴展，里邊包含目錄（Directory）和文件（File）兩個實體及相關屬性。關于經(jīng)分系統(tǒng)核心元模型及參考表，元模型標準CWM的相關定義，請參考《中國移動省級NG2BASS()技術規(guī)范核心元模型規(guī)范》中的相關章節(jié)描述。修訂內(nèi)容如下：需要修改的元模型包括：l Table類增加以下屬性：216。 location: String說明：存儲大數(shù)據(jù)平臺上該表對應的HDFS文件目錄信息。216。 createTime: String說明：該表的創(chuàng)建時間。216。 creator: String說明：該表的創(chuàng)建人。l Column類增加以下屬性：216。 partitionColumnId: String說明：Hive表對應的分區(qū)字段編號。l View類增加以下屬性：216。 createTime: String說明：該視圖的創(chuàng)建時間。216。 creator: String說明：該視圖的創(chuàng)建人。需要增加的元模型包括：l ColumnFamily類有如下屬性：216。 name: String說明：Hbase對應的列簇名稱。l File類有如下屬性：216。 name: String說明：文件名稱。216。 path: String說明：文件路徑信息。216。 pressorType: String說明：壓縮類型。216。 size: String說明：文件大小。216。 type: String說明：文件類型。216。 permission: String說明：權限。216。 owner: String說明：所有者。216。 group: String說明：所屬用戶組。l Directory類有如下屬性：216。 name: String說明：目錄名稱。216。 path: String說明：路徑信息。216。 permission: String說明：權限。216。 owner: String說明：所有者。216。 group: String說明：所屬用戶組。需要增加的元模型關系包括：216。 添加TableToDirectory關系；216。 添加ColumnFamilyToDirecitry關系。. 元數(shù)據(jù)運維在前期元數(shù)據(jù)運行維護要求的基礎上，滿足本期大數(shù)據(jù)平臺的數(shù)據(jù)治理要求，對元數(shù)據(jù)的維護提出以下補充要求：l 強化元數(shù)據(jù)管理制度要求，每個元數(shù)據(jù)均需將所屬部門、責任人信息補充完整；l 為加強數(shù)據(jù)安全及隱私保護，每個元數(shù)據(jù)需提供對應的數(shù)據(jù)隱私級別信息；l 細化元數(shù)據(jù)分類，在前期技術、業(yè)務、管理大分類的基礎上，增加從系統(tǒng)所屬部門、系統(tǒng)及模塊角度標記每個元數(shù)據(jù)；l 嚴控元數(shù)據(jù)版本，對于每次變更需詳細記錄變更原因、時間、人員等關鍵信息；l 細化元數(shù)據(jù)權限，對于不同的部門、人員、角色，僅授予工作所需的最小權限，對于權限變化要嚴格審批。. 本期重點建設內(nèi)容基于大數(shù)據(jù)平臺“邏輯集中、物理分散”的最終目標原則，元數(shù)據(jù)管理的建設也將按此目標分步實現(xiàn)。在本期規(guī)范中，強調元數(shù)據(jù)的運維管理及產(chǎn)品化支撐，元數(shù)據(jù)產(chǎn)品要簡單易用、用戶體驗不斷提升。主要建設以下內(nèi)容： 元數(shù)據(jù)之家產(chǎn)品?；诖髷?shù)據(jù)平臺數(shù)據(jù)治理及改善用戶體驗要求，建設一個方便內(nèi)外部用戶使用的元數(shù)據(jù)產(chǎn)品。主要包括以下模塊： l 集中分類展現(xiàn)；l 多樣化檢索；l 詳情多樣化展示；l 收藏與評價；l 統(tǒng)計分析；l 知識庫；l 權限審批。 元數(shù)據(jù)應用產(chǎn)品：l 查詢類APP，面向業(yè)務人員及大數(shù)據(jù)平臺分析人員。 輔助開發(fā)產(chǎn)品：l 團結幫API管理產(chǎn)品，對OpenAPI進行元數(shù)據(jù)結構化描述，用于對大數(shù)據(jù)平臺開放API進行注冊、發(fā)布、訂閱及使用管理。. 數(shù)據(jù)質量管理. 與傳統(tǒng)經(jīng)營分析系統(tǒng)的區(qū)別數(shù)據(jù)質量為數(shù)據(jù)的“適用性（fitness for use）”，即數(shù)據(jù)滿足使用需要的合適程度。數(shù)據(jù)質量通過完整性、一致性、準確性、及時性、合法性等多類維度對數(shù)據(jù)進行度量。在大數(shù)據(jù)平臺上，數(shù)據(jù)質量為其提供潔凈、結構清晰的數(shù)據(jù)，是大數(shù)據(jù)平臺開發(fā)數(shù)據(jù)產(chǎn)品、提供數(shù)據(jù)服務、發(fā)揮大數(shù)據(jù)價值的必要前提，是企業(yè)數(shù)據(jù)資產(chǎn)管理的關鍵因素。大數(shù)據(jù)平臺數(shù)據(jù)質量和傳統(tǒng)經(jīng)營分析系統(tǒng)的區(qū)別如表65所示。表65大數(shù)據(jù)平臺數(shù)據(jù)質量和傳統(tǒng)經(jīng)營分析系統(tǒng)的區(qū)別大數(shù)據(jù)平臺數(shù)據(jù)質量經(jīng)營分析系統(tǒng)數(shù)據(jù)質量監(jiān)控數(shù)據(jù)的類型可以對非/半結構化數(shù)據(jù)中指定信息項進行監(jiān)控，例如Gn日志中的終端信息等僅監(jiān)控結構化數(shù)據(jù)數(shù)據(jù)倉庫的類型支持傳統(tǒng)數(shù)據(jù)倉庫、MPP和Hadoop。僅支持傳統(tǒng)數(shù)據(jù)倉庫。使用者數(shù)據(jù)資產(chǎn)的所有者及其授權用戶、數(shù)據(jù)應用開發(fā)者、租戶等將成為大數(shù)據(jù)平臺數(shù)據(jù)質量管理模塊的主要使用者，負責監(jiān)控規(guī)則的設置和監(jiān)控結果的處理。經(jīng)分運維人員和數(shù)據(jù)質量管理員為主要使用者，負責將業(yè)務人員的需求在數(shù)據(jù)質量模塊上實現(xiàn)。運維工作運維人員主要負責保障數(shù)據(jù)質量功能模塊的正常運行和規(guī)則庫的擴充，規(guī)則配置、執(zhí)行和結果處理等實際工作由用戶自行負責。數(shù)據(jù)質量運維人員的工作范疇涵蓋數(shù)據(jù)質量監(jiān)控的全流程，包括采集、規(guī)則配置、告警、結果查看和處理。監(jiān)控模式由事后監(jiān)控向事中、事后監(jiān)控相結合轉化，用戶/應用設置數(shù)據(jù)質量監(jiān)控規(guī)則后，可以在計算執(zhí)行過程中調用數(shù)據(jù)質量監(jiān)控作業(yè)，無需等待結果出來后再進行監(jiān)控。用戶僅能在結果出來后才能進行監(jiān)控。質量保障數(shù)據(jù)質量功能模塊是大數(shù)據(jù)平臺接收源數(shù)據(jù)的屏障，保障所有接收的源數(shù)據(jù)均符合大數(shù)據(jù)平臺的要求；數(shù)據(jù)質量還是大數(shù)據(jù)平臺數(shù)據(jù)資產(chǎn)評估的重要組成部分，定期運行平臺數(shù)據(jù)資產(chǎn)的相關質量規(guī)則，為數(shù)據(jù)資產(chǎn)評估