【正文】 念，通過(guò)平臺(tái)化數(shù)據(jù)質(zhì)量監(jiān)控和規(guī)則庫(kù)的配合，讓大數(shù)據(jù)平臺(tái)的所有用戶能夠?qū)ψ约禾峁┗蛳M(fèi)的數(shù)據(jù)進(jìn)行數(shù)據(jù)質(zhì)量管理，可以在數(shù)據(jù)質(zhì)量模塊上方便自如的配置需要的監(jiān)控規(guī)則、查看結(jié)果并進(jìn)行后續(xù)處理。. 對(duì)內(nèi)質(zhì)量服務(wù)為大數(shù)據(jù)平臺(tái)內(nèi)部提供數(shù)據(jù)質(zhì)量支撐，包括兩方面：l 資產(chǎn)接收稽核：獲取接入源數(shù)據(jù)的元數(shù)據(jù)和數(shù)據(jù)標(biāo)準(zhǔn)信息，配置相應(yīng)的監(jiān)控規(guī)則，不滿足稽核規(guī)則的源數(shù)據(jù)則通知數(shù)據(jù)資產(chǎn)模塊，不予接收；l 數(shù)據(jù)資產(chǎn)評(píng)估支撐：對(duì)大數(shù)據(jù)平臺(tái)中的數(shù)據(jù)資產(chǎn)進(jìn)行定期的監(jiān)控，將監(jiān)控結(jié)果輸入到數(shù)據(jù)資產(chǎn)模塊，作為數(shù)據(jù)資產(chǎn)評(píng)估的一部分。圖68數(shù)據(jù)質(zhì)量模塊與元數(shù)據(jù)模塊交互流程用戶對(duì)監(jiān)控對(duì)象配置監(jiān)控規(guī)則，數(shù)據(jù)質(zhì)量功能模塊由元數(shù)據(jù)管理模塊自動(dòng)獲取該監(jiān)控對(duì)象的物理地址，按照用戶需求自動(dòng)生成采集規(guī)則。用戶僅能在結(jié)果出來(lái)后才能進(jìn)行監(jiān)控。大數(shù)據(jù)平臺(tái)數(shù)據(jù)質(zhì)量和傳統(tǒng)經(jīng)營(yíng)分析系統(tǒng)的區(qū)別如表65所示。主要建設(shè)以下內(nèi)容： 元數(shù)據(jù)之家產(chǎn)品。216。l Directory類有如下屬性：216。216。l File類有如下屬性：216。l Column類增加以下屬性：216。本期對(duì)NameNode節(jié)點(diǎn)的元數(shù)據(jù)上報(bào)信息要求如下：英文名中文名類型備注Configured Capacity配置容量doublePresent Capacity當(dāng)前總?cè)萘縟oubleDFS Remaining剩余容量doubleDFS Used已用容量doubleDFS Used%使用率double小數(shù)點(diǎn)后4位Under replicated blocks待復(fù)制數(shù)據(jù)塊doubleBlocks with corrupt replicas中斷復(fù)制數(shù)據(jù)塊doubleMissing blocks丟失數(shù)據(jù)塊doubleDatanodes available可用節(jié)點(diǎn)數(shù)doubleDatanodes Non available不可用節(jié)點(diǎn)數(shù)double需要上報(bào)的作業(yè)監(jiān)控信息如下：英文名中文名類型備注Name名稱textDescription描述textLastModified更新時(shí)間dateSteps步驟doubleStatus狀態(tài)textOwner擁有人textDatanode節(jié)點(diǎn)需要上報(bào)的元數(shù)據(jù)信息如下：英文名中文名類型備注Name節(jié)點(diǎn)名稱textHostname主機(jī)名textRack所屬機(jī)架textDemission Status 可用狀態(tài)textConfigured Capacity配置容量doubleDFS Used已用容量doubleNon DFS Used非DFS使用容量doubleDFS Remaining剩余容量doubleDFS Used%已用容量double小數(shù)點(diǎn)后4位DFS Remaining%使用率double小數(shù)點(diǎn)后4位Configured Cache Capacity配置緩存容量doubleCache Used緩存使用量doubleCache Remaining緩存剩余量doubleCache Used%緩存使用率double小數(shù)點(diǎn)后4位Cache Remaining%緩存剩余率double小數(shù)點(diǎn)后4位Last contact最近檢查時(shí)間date. 數(shù)據(jù)節(jié)點(diǎn)類為支持大數(shù)據(jù)平臺(tái)下文件、目錄、Hbase、Hive相關(guān)元數(shù)據(jù)的集中存儲(chǔ)，本期規(guī)范將CWM核心元模型的Table、Column、View類進(jìn)行擴(kuò)展，里邊包含目錄（Directory）和文件（File）兩個(gè)實(shí)體及相關(guān)屬性。本期規(guī)范中，除元數(shù)據(jù)基礎(chǔ)功能外，對(duì)元數(shù)據(jù)管理的運(yùn)行維護(hù)提出以下要求：l 對(duì)于集團(tuán)統(tǒng)一標(biāo)準(zhǔn)規(guī)范的元數(shù)據(jù)，嚴(yán)格按照集團(tuán)提供元數(shù)據(jù)標(biāo)準(zhǔn)落地；l 對(duì)于大數(shù)據(jù)平臺(tái)的集群NameNode、文件目錄等部分元數(shù)據(jù)，通過(guò)互通機(jī)制定期按集團(tuán)要求格式上報(bào)。 角色權(quán)限：管理上更加細(xì)致的分工，不同部門(mén)需新增相應(yīng)的元數(shù)據(jù)查詢、管理、維護(hù)角色；l 工具支撐方面：216。l 提供統(tǒng)一的基于元數(shù)據(jù)描述的API管理產(chǎn)品，集中管理平臺(tái)開(kāi)放的內(nèi)外部API。實(shí)現(xiàn)中國(guó)移動(dòng)企業(yè)級(jí)省大數(shù)據(jù)平臺(tái)中數(shù)據(jù)業(yè)務(wù)口徑和技術(shù)口徑有效協(xié)同統(tǒng)一。 本期具體建設(shè)內(nèi)容包括：數(shù)據(jù)標(biāo)準(zhǔn)規(guī)范內(nèi)容涵蓋：l 行業(yè)參考模型實(shí)體標(biāo)準(zhǔn)l 指標(biāo)數(shù)據(jù)標(biāo)準(zhǔn)l 公共代碼標(biāo)準(zhǔn)數(shù)據(jù)標(biāo)準(zhǔn)化管控內(nèi)容涵蓋：l 建立數(shù)據(jù)標(biāo)準(zhǔn)化管理組織架構(gòu)。 決策層將審批結(jié)果反饋給標(biāo)準(zhǔn)管理組織協(xié)調(diào)者，并由其進(jìn)行數(shù)據(jù)標(biāo)準(zhǔn)發(fā)布及版本維護(hù)。圖62數(shù)據(jù)標(biāo)準(zhǔn)管理的執(zhí)行流程圖 數(shù)據(jù)標(biāo)準(zhǔn)執(zhí)行的流程步驟如下： 數(shù)據(jù)標(biāo)準(zhǔn)制定發(fā)布后，將數(shù)據(jù)標(biāo)準(zhǔn)錄入到數(shù)據(jù)標(biāo)準(zhǔn)管理模塊。其制定的數(shù)據(jù)標(biāo)準(zhǔn)規(guī)范內(nèi)容在全省進(jìn)行發(fā)布和告知，要求企業(yè)級(jí)省大數(shù)據(jù)平臺(tái)系統(tǒng)按照該標(biāo)準(zhǔn)規(guī)范進(jìn)行統(tǒng)一的數(shù)據(jù)管理。數(shù)據(jù)值域數(shù)據(jù)的合理取值范圍。業(yè)務(wù)屬性主要依據(jù)關(guān)于指標(biāo)的解釋和描述文件。數(shù)據(jù)提供部門(mén)負(fù)責(zé)人該數(shù)據(jù)標(biāo)準(zhǔn)定義數(shù)據(jù)提供負(fù)責(zé)人。表64指標(biāo)類數(shù)據(jù)標(biāo)準(zhǔn)體系定義內(nèi)容指標(biāo)類標(biāo)準(zhǔn)說(shuō)明基礎(chǔ)屬性數(shù)據(jù)標(biāo)準(zhǔn)編碼根據(jù)數(shù)據(jù)標(biāo)準(zhǔn)編碼命名規(guī)則進(jìn)行編寫(xiě)。數(shù)據(jù)標(biāo)準(zhǔn)引入部門(mén)負(fù)責(zé)人該數(shù)據(jù)標(biāo)準(zhǔn)引入和數(shù)據(jù)維護(hù)負(fù)責(zé)人。公共代碼標(biāo)準(zhǔn)體系定義內(nèi)容如表63所示。數(shù)據(jù)維護(hù)部門(mén)負(fù)責(zé)人該數(shù)據(jù)標(biāo)準(zhǔn)定義數(shù)據(jù)維護(hù)負(fù)責(zé)人。實(shí)體編號(hào)根據(jù)行業(yè)參考模型實(shí)體編號(hào)命名規(guī)則進(jìn)行編寫(xiě)。圖62數(shù)據(jù)標(biāo)準(zhǔn)體系劃分. 數(shù)據(jù)標(biāo)準(zhǔn)內(nèi)容制定數(shù)據(jù)標(biāo)準(zhǔn)內(nèi)容的制定按照數(shù)據(jù)標(biāo)準(zhǔn)體系分類的要求分別給出數(shù)據(jù)標(biāo)準(zhǔn)制定的規(guī)范要求。. 目標(biāo)及原則 數(shù)據(jù)標(biāo)準(zhǔn)管理的總體目標(biāo)：通過(guò)統(tǒng)一的數(shù)據(jù)標(biāo)準(zhǔn)制定和發(fā)布，結(jié)合制度約束、系統(tǒng)控制等手段，實(shí)現(xiàn)中國(guó)移動(dòng)企業(yè)級(jí)省大數(shù)據(jù)平臺(tái)數(shù)據(jù)的完整性、有效性、一致性、規(guī)范性、開(kāi)放性和共享性管理，提高企業(yè)級(jí)省大數(shù)據(jù)平臺(tái)數(shù)據(jù)治理水平。最后，中國(guó)移動(dòng)通過(guò)數(shù)據(jù)標(biāo)準(zhǔn)管理的實(shí)施，實(shí)現(xiàn)對(duì)企業(yè)級(jí)省大數(shù)據(jù)平臺(tái)全網(wǎng)數(shù)據(jù)的統(tǒng)一運(yùn)營(yíng)管理。. 與對(duì)外能力開(kāi)放平臺(tái)關(guān)系數(shù)據(jù)治理為對(duì)外能力開(kāi)放平臺(tái)提供元數(shù)據(jù)查詢、數(shù)據(jù)安全管理支持；對(duì)外能力開(kāi)放平臺(tái)為數(shù)據(jù)治理提供統(tǒng)一的數(shù)據(jù)治理產(chǎn)品及功能注冊(cè)、發(fā)布、使用服務(wù)。L5：數(shù)據(jù)質(zhì)量管理模塊根據(jù)采集需求從大數(shù)據(jù)平臺(tái)采集數(shù)據(jù)。216。216。數(shù)據(jù)維護(hù)者數(shù)據(jù)維護(hù)人員制定相關(guān)數(shù)據(jù)標(biāo)準(zhǔn)、數(shù)據(jù)制度和規(guī)則；遵守和執(zhí)行數(shù)據(jù)標(biāo)準(zhǔn)管控相關(guān)的流程，根據(jù)數(shù)據(jù)標(biāo)準(zhǔn)要求提供相關(guān)數(shù)據(jù)規(guī)范；作為數(shù)據(jù)出現(xiàn)質(zhì)量問(wèn)題時(shí)的次要責(zé)任者。數(shù)據(jù)運(yùn)維貫穿整個(gè)數(shù)據(jù)治理體系的流程中，實(shí)現(xiàn)平臺(tái)化的運(yùn)維管理思路。l 數(shù)據(jù)標(biāo)準(zhǔn)管理：建立企業(yè)級(jí)省大數(shù)據(jù)平臺(tái)數(shù)據(jù)標(biāo)準(zhǔn)體系，并制定數(shù)據(jù)標(biāo)準(zhǔn)運(yùn)維管控制度和流程。D公共代碼標(biāo)準(zhǔn)需要引用外部公共標(biāo)準(zhǔn)機(jī)構(gòu)的標(biāo)準(zhǔn)。主要包括業(yè)務(wù)術(shù)語(yǔ)、信息分類、指標(biāo)定義（指標(biāo)口徑）、業(yè)務(wù)規(guī)則等信息。J技術(shù)元數(shù)據(jù)描述大數(shù)據(jù)平臺(tái)中技術(shù)領(lǐng)域相關(guān)概念、關(guān)系、規(guī)則的數(shù)據(jù)。[1]《中國(guó)移動(dòng)省級(jí)經(jīng)營(yíng)分析系統(tǒng)業(yè)務(wù)規(guī)范()》中國(guó)移動(dòng)通信有限公司[2]《中國(guó)移動(dòng)省級(jí)經(jīng)營(yíng)分析系統(tǒng)技術(shù)規(guī)范()》中國(guó)移動(dòng)通信有限公司[3]QBJ0102006《中國(guó)移動(dòng)省級(jí)經(jīng)營(yíng)分析系統(tǒng)數(shù)據(jù)質(zhì)量管理系統(tǒng)建設(shè)方案（）》中國(guó)移動(dòng)通信有限公司[4]QBJ0062006《中國(guó)移動(dòng)省級(jí)經(jīng)營(yíng)分析系統(tǒng)數(shù)據(jù)倉(cāng)庫(kù)邏輯數(shù)據(jù)模型說(shuō)明()》中國(guó)移動(dòng)通信有限公司[5]QBJ0072006《中國(guó)移動(dòng)省級(jí)經(jīng)營(yíng)分析系統(tǒng)數(shù)據(jù)集市業(yè)務(wù)技術(shù)規(guī)范()》中國(guó)移動(dòng)通信有限公司[6]QBJ0082006《中國(guó)移動(dòng)省級(jí)經(jīng)營(yíng)分析系統(tǒng)與源系統(tǒng)接口規(guī)范()》中國(guó)移動(dòng)通信有限公司[7]QBJ0092006《中國(guó)移動(dòng)省級(jí)經(jīng)營(yíng)分析系統(tǒng)與BOSS系統(tǒng)互動(dòng)技術(shù)規(guī)范()》中國(guó)移動(dòng)通信有限公司[8]QBJ0032006《中國(guó)移動(dòng)省級(jí)經(jīng)營(yíng)分析系統(tǒng)業(yè)務(wù)規(guī)范（）—基礎(chǔ)業(yè)務(wù)分冊(cè)》中國(guó)移動(dòng)通信有限公司[9]QBJ0042006《中國(guó)移動(dòng)省級(jí)經(jīng)營(yíng)分析系統(tǒng)業(yè)務(wù)規(guī)范（）—數(shù)據(jù)業(yè)務(wù)分冊(cè)》中國(guó)移動(dòng)通信有限公司[10]QBJ0052006《中國(guó)移動(dòng)省級(jí)經(jīng)營(yíng)分析系統(tǒng)業(yè)務(wù)規(guī)范（）—集團(tuán)客戶分冊(cè)》中國(guó)移動(dòng)通信有限公司[11]QBJ0012006《中國(guó)移動(dòng)業(yè)務(wù)運(yùn)營(yíng)支撐系統(tǒng)（BOSS）業(yè)務(wù)技術(shù)規(guī)范營(yíng)銷資源管理分冊(cè)（）》中國(guó)移動(dòng)通信有限公司[12]QBJ0012006《中國(guó)移動(dòng)業(yè)務(wù)運(yùn)營(yíng)支撐系統(tǒng)（BOSS）業(yè)務(wù)技術(shù)規(guī)范客服信息分冊(cè)（）》中國(guó)移動(dòng)通信有限公司[13]QBJ0012006《中國(guó)移動(dòng)業(yè)務(wù)運(yùn)營(yíng)支撐系統(tǒng)（BOSS）業(yè)務(wù)技術(shù)規(guī)范（）》中國(guó)移動(dòng)通信有限公司[14]QBJ0212007《中國(guó)移動(dòng)省級(jí)經(jīng)營(yíng)分析系統(tǒng)數(shù)據(jù)倉(cāng)庫(kù)邏輯數(shù)據(jù)模型規(guī)范（）》中國(guó)移動(dòng)通信有限公司[15]QBJ0202007《中國(guó)移動(dòng)省級(jí)經(jīng)營(yíng)分析系統(tǒng)與源數(shù)據(jù)接口規(guī)范（）》中國(guó)移動(dòng)通信有限公司[16]QBJ0222007《中國(guó)移動(dòng)省級(jí)經(jīng)營(yíng)分析系統(tǒng)數(shù)據(jù)集市業(yè)務(wù)技術(shù)規(guī)范（）》中國(guó)移動(dòng)通信有限公司[17]QBJ0192007《中國(guó)移動(dòng)省級(jí)經(jīng)營(yíng)分析系統(tǒng)業(yè)務(wù)規(guī)范渠道運(yùn)營(yíng)管理分析監(jiān)控分冊(cè)（）》中國(guó)移動(dòng)通信有限公司[18]QBJ0182007《中國(guó)移動(dòng)省級(jí)經(jīng)營(yíng)分析系統(tǒng)業(yè)務(wù)規(guī)范客戶服務(wù)分冊(cè)（）》中國(guó)移動(dòng)通信有限公司[19]QBJ0172007《中國(guó)移動(dòng)省級(jí)經(jīng)營(yíng)分析系統(tǒng)業(yè)務(wù)規(guī)范集團(tuán)客戶分冊(cè)（》中國(guó)移動(dòng)通信有限公司[20]QBJ0162007《中國(guó)移動(dòng)省級(jí)經(jīng)營(yíng)分析系統(tǒng)數(shù)據(jù)質(zhì)量管理系統(tǒng)業(yè)務(wù)技術(shù)規(guī)范（)》中國(guó)移動(dòng)通信有限公司[21]《中國(guó)移動(dòng)業(yè)務(wù)支撐網(wǎng)4A安全技術(shù)規(guī)范》中國(guó)移動(dòng)通信有限公司[22]《中國(guó)移動(dòng)省級(jí)經(jīng)營(yíng)分析系統(tǒng)技術(shù)規(guī)范總冊(cè)（）》中國(guó)移動(dòng)通信有限公司[23]《中國(guó)移動(dòng)省級(jí)經(jīng)營(yíng)分析系統(tǒng)技術(shù)規(guī)范邏輯模型分冊(cè)（）》中國(guó)移動(dòng)通信有限公司[24]《中國(guó)移動(dòng)省級(jí)經(jīng)營(yíng)分析系統(tǒng)技術(shù)規(guī)范數(shù)據(jù)集市分冊(cè)（）》中國(guó)移動(dòng)通信有限公司[25]《中國(guó)移動(dòng)省級(jí)經(jīng)營(yíng)分析系統(tǒng)技術(shù)規(guī)范數(shù)據(jù)質(zhì)量管理子系統(tǒng)分冊(cè)（）》中國(guó)移動(dòng)通信有限公司[26]《中國(guó)移動(dòng)省級(jí)經(jīng)營(yíng)分析系統(tǒng)業(yè)務(wù)規(guī)范（）》中國(guó)移動(dòng)通信有限公司[27]《中國(guó)移動(dòng)省級(jí)經(jīng)營(yíng)分析系統(tǒng)技術(shù)規(guī)范源系統(tǒng)接口分冊(cè)（）》中國(guó)移動(dòng)通信有限公司[28]QBJ0022008《中國(guó)移動(dòng)省級(jí)NG1BASS技術(shù)規(guī)范總冊(cè)()》中國(guó)移動(dòng)通信集團(tuán)公司[29]QBJ0032008《中國(guó)移動(dòng)省級(jí)NG1BASS技術(shù)規(guī)范數(shù)據(jù)集市分冊(cè)()》中國(guó)移動(dòng)通信集團(tuán)公司[30]QBJ0042008《中國(guó)移動(dòng)省級(jí)NG1BASS技術(shù)規(guī)范邏輯模型分冊(cè)()》中國(guó)移動(dòng)通信集團(tuán)公司[31]QBJ0052008《中國(guó)移動(dòng)省級(jí)NG1BASS技術(shù)規(guī)范源系統(tǒng)接口分冊(cè)()》中國(guó)移動(dòng)通信集團(tuán)公司[32]QBJ0062008《中國(guó)移動(dòng)省級(jí)NG1BASS技術(shù)規(guī)范元數(shù)據(jù)管理分冊(cè)()》中國(guó)移動(dòng)通信集團(tuán)公司[33]QBJ0072008《中國(guó)移動(dòng)省級(jí)NG1BASS技術(shù)規(guī)范數(shù)據(jù)質(zhì)量管理子系統(tǒng)分冊(cè)()》中國(guó)移動(dòng)通信集團(tuán)公司[34]QBJ0082008《中國(guó)移動(dòng)省級(jí)NG1BASS業(yè)務(wù)技術(shù)規(guī)范客戶分析及運(yùn)營(yíng)分冊(cè)()》中國(guó)移動(dòng)通信集團(tuán)公司[35]QBJ0012008《中國(guó)移動(dòng)省級(jí)NG1BASS業(yè)務(wù)規(guī)范()》中國(guó)移動(dòng)通信集團(tuán)公司[36]QBY0032009《中國(guó)移動(dòng)省級(jí)NG1BASS技術(shù)規(guī)范總冊(cè)()》中國(guó)移動(dòng)通信集團(tuán)公司[37]QBY0042009《中國(guó)移動(dòng)省級(jí)NG1BASS技術(shù)規(guī)范數(shù)據(jù)集市分冊(cè)()》中國(guó)移動(dòng)通信集團(tuán)公司[38]QBY0052009《中國(guó)移動(dòng)省級(jí)NG1BASS技術(shù)規(guī)范邏輯模型分冊(cè)()》中國(guó)移動(dòng)通信集團(tuán)公司[39]QBY0062009《中國(guó)移動(dòng)省級(jí)NG1BASS技術(shù)規(guī)范外部接口分冊(cè)()》中國(guó)移動(dòng)通信集團(tuán)公司[40]QBY0072009《中國(guó)移動(dòng)省級(jí)NG1BASS技術(shù)規(guī)范元數(shù)據(jù)管理分冊(cè)()》中國(guó)移動(dòng)通信集團(tuán)公司[41]QBY0082009《中國(guó)移動(dòng)省級(jí)NG1BASS技術(shù)規(guī)范數(shù)據(jù)質(zhì)量管理子系統(tǒng)分冊(cè)()》中國(guó)移動(dòng)通信集團(tuán)公司[42]QBY0022009《中國(guó)移動(dòng)省級(jí)NG1BASS業(yè)務(wù)規(guī)范()》中國(guó)移動(dòng)通信集團(tuán)公司[43]QBY0522010《中國(guó)移動(dòng)省級(jí)NG2BASS()業(yè)務(wù)規(guī)范》中國(guó)移動(dòng)通信集團(tuán)公司[44]QBY0532010《中國(guó)移動(dòng)省級(jí)NG2BASS()技術(shù)規(guī)范總冊(cè)》中國(guó)移動(dòng)通信集團(tuán)公司[45]QBY0542010《中國(guó)移動(dòng)省級(jí)NG2BASS()技術(shù)規(guī)范數(shù)據(jù)集市分冊(cè)》中國(guó)移動(dòng)通信集團(tuán)公司[46]QBY0552010《中國(guó)移動(dòng)省級(jí)NG2BASS()技術(shù)規(guī)范邏輯模型分冊(cè)》中國(guó)移動(dòng)通信集團(tuán)公司[47]QBY0562010《中國(guó)移動(dòng)省級(jí)NG2BASS()技術(shù)規(guī)范外部接口分冊(cè)》中國(guó)移動(dòng)通信集團(tuán)公司[48]QBY0572010《中國(guó)移動(dòng)省級(jí)NG2BASS()技術(shù)規(guī)范元數(shù)據(jù)管理分冊(cè)》中國(guó)移動(dòng)通信集團(tuán)公司[49]QBY0582010《中國(guó)移動(dòng)省級(jí)NG2BASS()技術(shù)