基于數(shù)據(jù)探針和元數(shù)據(jù)管理的數(shù)據(jù)質(zhì)量管理平臺(tái)(編輯修改稿)
2024-12-19 04:07 本頁面
【文章內(nèi)容簡介】 同步不全，導(dǎo)致缺數(shù) ， 無法進(jìn)行準(zhǔn)確的數(shù)據(jù)補(bǔ)采，只能進(jìn)行某時(shí)段的全量數(shù)據(jù)補(bǔ)采，補(bǔ)采時(shí)負(fù)荷較大。 而且 數(shù)據(jù)補(bǔ)采復(fù)雜，人工參與度高。 數(shù)據(jù)質(zhì)量管理 平臺(tái) 采用基于數(shù)據(jù)探針的數(shù)據(jù)同步機(jī)制，與傳統(tǒng)方式不同，較以往同步方式有很大改進(jìn)。 同步過程分三步： 第 1 步： 探測數(shù)據(jù)情況 通過編寫“數(shù)據(jù)探針” sql探測數(shù)據(jù)源的數(shù)據(jù)情況，主要記錄 源數(shù)據(jù)庫編號(hào)、源表名、數(shù)據(jù)開始時(shí)間、網(wǎng)元、本次記錄條數(shù)、上次記錄條數(shù)、時(shí)間戳。 (1)探測數(shù)據(jù)變化的時(shí)間范圍要合理，不可過長，避免因數(shù)據(jù)探測占用大量時(shí)間。 (2)探測時(shí)的統(tǒng)計(jì)粒度（如網(wǎng)元粒度、時(shí)間粒度）要 控制好 ，粒度既不能太粗也不能太細(xì)，太粗則有可能會(huì)導(dǎo)致大面積的重復(fù)采集，太細(xì)則會(huì)導(dǎo)致數(shù)據(jù)探測結(jié)果過多。例如 GSM小區(qū)小時(shí)性能原始數(shù)據(jù)，可以考慮使用 bsc+時(shí)間做為統(tǒng)計(jì)粒度。 5 第 2步：進(jìn)行 數(shù)據(jù)同步 根據(jù)數(shù)據(jù)探針探測到的記過構(gòu)造數(shù)據(jù)源查詢 的條件，限定數(shù)據(jù)同步的范圍。 (1)基于探針結(jié)果表中當(dāng)前數(shù)據(jù)條數(shù)和歷史數(shù)據(jù)條數(shù)的比對(duì) 。 (2)要注意構(gòu)造查詢條件時(shí) sql運(yùn)行的效率，保證數(shù)據(jù)同步的效率 。 第 3步： 更新探測結(jié)果 (1)采集正常結(jié)束后使用“當(dāng)前數(shù)據(jù)條數(shù)”更新“歷史數(shù)據(jù)條數(shù)”，保證兩者一致，下次探測時(shí)如果數(shù)據(jù)源無變化則不會(huì)重復(fù)采集數(shù)據(jù) 。 元數(shù)據(jù)管理 元數(shù)據(jù)管理 范疇 及 目標(biāo) 元數(shù)據(jù) (Meta Data)泛指描述領(lǐng)域概念 (Domain Concepts)、領(lǐng)域關(guān)系 (Domain Roles)、領(lǐng)域規(guī)則(Domain Rules)的數(shù)據(jù) 。 通過元數(shù)據(jù)管理，可以 加強(qiáng)系統(tǒng)數(shù)據(jù)的管控力度，增強(qiáng)系統(tǒng)自身管理能力 ，實(shí)現(xiàn)元數(shù)據(jù)的全程統(tǒng)一管理 ， 為數(shù)據(jù)質(zhì)量管理提供支持 。 元數(shù)據(jù)管理為用戶提供統(tǒng)一的元數(shù)據(jù)管理手段。通過建立元數(shù)據(jù)管理模塊，可以對(duì) 無線網(wǎng)優(yōu)平臺(tái)中的元數(shù)據(jù)進(jìn)行收集、存儲(chǔ)、輸出、查詢和分析等操作。用戶通過元數(shù)據(jù)管理模塊瀏覽元數(shù)據(jù)，并可以理解各種元數(shù)據(jù)的定義和整個(gè)運(yùn)作過程，以及相關(guān)元數(shù)據(jù)在其中發(fā)揮的作用，從而更有效地理解和控制系統(tǒng)的運(yùn)行。 無線網(wǎng)優(yōu)平臺(tái)中數(shù)據(jù)質(zhì)量管理的元數(shù)據(jù) 包括維度、指標(biāo)、數(shù)據(jù)庫、數(shù)據(jù)表、字段、 ETL（數(shù)據(jù)匯總過程 等 ），可對(duì)指標(biāo)、數(shù)據(jù)表進(jìn)行各種分析。 元數(shù)據(jù)管理技術(shù)架構(gòu) 和數(shù)據(jù)處理過程 業(yè)務(wù)元數(shù)據(jù) 技術(shù)元數(shù)據(jù) 管理元數(shù)據(jù) 基本維護(hù)管理 分析功能 指標(biāo)管理 其他應(yīng)用 應(yīng) 用 層 存儲(chǔ) 層 功能層 6 元數(shù)據(jù)管理技術(shù)架構(gòu) ? 對(duì)于能提供專用的或者標(biāo)準(zhǔn)的元數(shù)據(jù)獲取接口的實(shí)體，元數(shù)據(jù)管理模塊可以利用這些接口自動(dòng)抽取元數(shù)據(jù)。 對(duì)于無法通過獲取接口或者編譯技術(shù)進(jìn)行自動(dòng)獲取的元數(shù) 據(jù)， 需要通過手工整理的方式進(jìn)行處理。 ? 獲取的元數(shù)據(jù) 存儲(chǔ)在存儲(chǔ)層的元數(shù)據(jù)庫中 。 ? 通過 功能層為前端元數(shù)據(jù)應(yīng)用提供了基本的功能支撐， 主要包括 元數(shù)據(jù)基本功能、元數(shù)據(jù)分析功能、元數(shù)據(jù)服務(wù)接口等。 ? 元數(shù)據(jù)應(yīng)用層通過調(diào)用功能層的功能， 對(duì)元數(shù)據(jù)管理的實(shí)際問題提供應(yīng)用解決方案。 數(shù)據(jù)質(zhì)量管理 項(xiàng)目總結(jié)了北京公司網(wǎng)優(yōu)中心在日常數(shù)據(jù)支撐工作中的各項(xiàng)人工維護(hù)和干預(yù)工作經(jīng)驗(yàn)，通過采用數(shù)據(jù)探針和元數(shù)據(jù)管理的新技術(shù) ， 依托網(wǎng)優(yōu)平臺(tái)， IT化全網(wǎng)數(shù)據(jù)的數(shù)據(jù)質(zhì)量管理，有效 提升 了 數(shù)據(jù)的完整性、準(zhǔn)確性、及時(shí)性和穩(wěn)定性 ，推進(jìn)數(shù)據(jù)質(zhì)量管理自動(dòng)化、流程化。 目前，該平臺(tái)已實(shí)現(xiàn)無線側(cè) 全網(wǎng)數(shù)據(jù) 的有效監(jiān)控，監(jiān)控率達(dá) 100%，已接入 2G、 TD的資源類、性能類、參數(shù)類、 MR數(shù) 據(jù)，涉及諾西、 MOTO、華為、中興、諾西、普天共計(jì) 6個(gè)廠商，實(shí)現(xiàn)了多種類、
環(huán)評(píng)公示相關(guān)推薦
鄂ICP備17016276號(hào)-1