【正文】 特征分別具有一套數(shù)據(jù)質(zhì)量的基礎(chǔ)評(píng)估維度。1. 數(shù)據(jù)內(nèi)容質(zhì)量評(píng)估維度：2. 數(shù)據(jù)展示質(zhì)量評(píng)估維度： 數(shù)據(jù)質(zhì)量加權(quán)計(jì)分卡數(shù)據(jù)質(zhì)量加權(quán)評(píng)估計(jì)分是根據(jù)數(shù)據(jù)質(zhì)量評(píng)估維度、被評(píng)估數(shù)據(jù)的技術(shù)特性和業(yè)務(wù)特性等等要素對(duì)數(shù)據(jù)進(jìn)行分類，對(duì)不同類型進(jìn)行權(quán)重值設(shè)置，對(duì)根據(jù)各類數(shù)據(jù)質(zhì)量評(píng)估維度得出的基礎(chǔ)評(píng)估量化值進(jìn)行加權(quán)計(jì)算并最終得到數(shù)據(jù)質(zhì)量綜合水平計(jì)分的過程。具體分類方式如下：l 數(shù)據(jù)質(zhì)量評(píng)估維度分類：將上述的基礎(chǔ)評(píng)估維度進(jìn)行進(jìn)一步分類，可得到數(shù)據(jù)質(zhì)量六個(gè)方面的特性，即：合理性、一致性、及時(shí)性、完整性、唯一性和準(zhǔn)確性。l 數(shù)據(jù)技術(shù)特性分類：根據(jù)數(shù)據(jù)的來源不同，可以分為基礎(chǔ)數(shù)據(jù)、數(shù)據(jù)倉庫匯總數(shù)據(jù)、應(yīng)用層數(shù)據(jù)等。l 數(shù)據(jù)業(yè)務(wù)特性分類：可以根據(jù)業(yè)務(wù)條線對(duì)數(shù)據(jù)進(jìn)行分類，如市場風(fēng)險(xiǎn)數(shù)據(jù)、信貸風(fēng)險(xiǎn)數(shù)據(jù)、操作風(fēng)險(xiǎn)數(shù)據(jù)等。對(duì)不同分類設(shè)置權(quán)值后，即可進(jìn)行數(shù)據(jù)質(zhì)量水平的加權(quán)計(jì)算。數(shù)據(jù)質(zhì)量加權(quán)計(jì)分卡的總體設(shè)計(jì)思路示意圖如下所示：數(shù)據(jù)質(zhì)量加權(quán)計(jì)分卡 功能框架數(shù)據(jù)質(zhì)量組件包含兩塊內(nèi)容：規(guī)則制定，質(zhì)量評(píng)估。規(guī)則制定是基于咨詢數(shù)據(jù)標(biāo)準(zhǔn)的導(dǎo)入，也包含企業(yè)后續(xù)對(duì)數(shù)據(jù)質(zhì)量規(guī)則的制定（數(shù)據(jù)標(biāo)準(zhǔn)，數(shù)據(jù)接口，元數(shù)據(jù)規(guī)則等）；質(zhì)量評(píng)估則是對(duì)規(guī)則結(jié)果的調(diào)整，通過數(shù)據(jù)評(píng)估，制定一整套數(shù)據(jù)質(zhì)量管理流程，便于對(duì)數(shù)據(jù)進(jìn)行修正，對(duì)業(yè)務(wù)規(guī)則進(jìn)行合并，清理，更好得服務(wù)決策和分析。 質(zhì)量管理數(shù)據(jù)質(zhì)量管理系統(tǒng)通過對(duì)KPI指標(biāo)信息進(jìn)行采集，對(duì)監(jiān)控規(guī)則進(jìn)行設(shè)置，對(duì)異常信息進(jìn)行告警，出具數(shù)據(jù)質(zhì)量報(bào)告等功能，可以滿足企業(yè)對(duì)高管系統(tǒng)KPI指標(biāo)進(jìn)行監(jiān)控的需求。對(duì)于數(shù)據(jù)質(zhì)量管理來說，對(duì)規(guī)則的靈活設(shè)置，對(duì)任務(wù)的及時(shí)反饋，對(duì)結(jié)果的評(píng)估，以及和第三方工具緊密集合是一個(gè)產(chǎn)品成敗的關(guān)鍵。對(duì)于數(shù)據(jù)質(zhì)量流程，一般框架如下：l 存儲(chǔ)管理數(shù)據(jù)質(zhì)量管理系統(tǒng)定義了支撐數(shù)據(jù)質(zhì)量監(jiān)控功能并符合CWM標(biāo)準(zhǔn)的元模型結(jié)構(gòu)，包括監(jiān)控對(duì)象、采集項(xiàng)、采集規(guī)則以及監(jiān)控規(guī)則等。其中所涉及的元數(shù)據(jù)信息如監(jiān)控對(duì)象信息，需要從元數(shù)據(jù)管理系統(tǒng)獲取。質(zhì)量管理人員也可以創(chuàng)建新的元數(shù)據(jù)，來滿足質(zhì)量監(jiān)控的需要。相關(guān)的質(zhì)量信息存儲(chǔ)在數(shù)據(jù)質(zhì)量關(guān)系數(shù)據(jù)庫中。l 采集管理數(shù)據(jù)質(zhì)量采集模塊由采集服務(wù)器和采集代理組成，采集代理支持分布式部署，采集服務(wù)器對(duì)采集代理進(jìn)行集中管理，支持的功能如下所示： 代理啟動(dòng)時(shí)向服務(wù)器注冊(cè)請(qǐng)求，注冊(cè)信息包含代理的IP地址、通訊端口、進(jìn)程ID，啟動(dòng)時(shí)間；代理每個(gè)一段時(shí)間要向服務(wù)器發(fā)送心跳檢測信號(hào)，心跳間隔時(shí)間可配置；代理在允許結(jié)束時(shí)向服務(wù)器發(fā)送注銷請(qǐng)求；代理可以支持服務(wù)器對(duì)代理運(yùn)行狀態(tài)的查詢；代理在與服務(wù)器中斷連接后可以保留已運(yùn)行完畢檢查報(bào)告和未運(yùn)行完的任務(wù)狀態(tài)；代理負(fù)責(zé)采集數(shù)據(jù)，將采集的格式化成質(zhì)量平臺(tái)的數(shù)據(jù)格式，關(guān)聯(lián)相應(yīng)的監(jiān)控對(duì)象；服務(wù)器集中保管所有的采集配置數(shù)據(jù)，代理自動(dòng)從服務(wù)器獲取相關(guān)的采集信息。l 規(guī)則監(jiān)控管理數(shù)據(jù)質(zhì)量管理系統(tǒng)的規(guī)則包括數(shù)據(jù)采集規(guī)則、監(jiān)控規(guī)則以及告警規(guī)則等，因采集規(guī)則和告警規(guī)則相對(duì)較簡單。監(jiān)控規(guī)則存儲(chǔ)在數(shù)據(jù)質(zhì)量關(guān)系數(shù)據(jù)庫中，包括規(guī)則當(dāng)前信息、歷史信息以及變更信息等， 具體規(guī)則可以通過Quality One選擇，也可以通過前端二次開發(fā)，獲取更多的詳細(xì)分析。為了實(shí)現(xiàn)監(jiān)控規(guī)則的靈活調(diào)度及與業(yè)務(wù)分析過程相結(jié)合，規(guī)則調(diào)度部分支持時(shí)間觸發(fā)調(diào)度和規(guī)則依賴調(diào)度兩種方式，具體說明如下。時(shí)間觸發(fā)方式，即按照定時(shí)觸發(fā)、循環(huán)觸發(fā)及間隔觸發(fā)的方式對(duì)規(guī)則進(jìn)行調(diào)度。如下圖所示。規(guī)則依賴調(diào)度，即某規(guī)則是否執(zhí)行調(diào)度需要判斷它的前置條件是否滿足，或某規(guī)則執(zhí)行之后，根據(jù)其執(zhí)行的結(jié)果，來決定另一個(gè)節(jié)點(diǎn)是否執(zhí)行。此調(diào)度方式可支持?jǐn)?shù)據(jù)質(zhì)量問題的逐步探查式分析。l 告警管理數(shù)據(jù)質(zhì)量采集和檢查過程中發(fā)現(xiàn)數(shù)據(jù)質(zhì)量問題時(shí)，系統(tǒng)會(huì)提示某些數(shù)據(jù)或者規(guī)則超過了指定閥值，系統(tǒng)就對(duì)這些數(shù)據(jù)做告警處理。告警流程，可以通過數(shù)據(jù)接口的方式，嵌入到數(shù)據(jù)質(zhì)量管理流程中，便于后續(xù)做進(jìn)一步的處理。在告警時(shí)，客戶需分析查明告警原因，需要具體的明細(xì)數(shù)據(jù)，系統(tǒng)提供界面查詢的接口，也提供后端文件的接口，便于后續(xù)的檢查，也可以用于外部前端接口更深入的分析，或者檢查歷史趨勢。l 質(zhì)量報(bào)告數(shù)據(jù)管理系統(tǒng)提供數(shù)據(jù)質(zhì)量日常管理各種報(bào)告，包括數(shù)據(jù)質(zhì)量問題相關(guān)的各種明細(xì)及匯總報(bào)告。質(zhì)量報(bào)告模塊集成了內(nèi)置的圖形引擎，支持多種圖形的動(dòng)態(tài)展示，如柱狀圖、餅圖、折線圖等，可輸出數(shù)據(jù)表格與圖形動(dòng)態(tài)聯(lián)動(dòng)的各種數(shù)據(jù)質(zhì)量式樣， 也可通過提供外部數(shù)據(jù)接口的方式，輸出復(fù)雜的質(zhì)量報(bào)告。 質(zhì)量評(píng)估數(shù)據(jù)質(zhì)量評(píng)估是指依據(jù)數(shù)據(jù)質(zhì)量評(píng)估任務(wù)要求，結(jié)合數(shù)據(jù)質(zhì)量探查的結(jié)果，按照一定規(guī)則，對(duì)探查結(jié)果進(jìn)行統(tǒng)計(jì)分析，并形成綜合評(píng)估分析結(jié)果的活動(dòng)，該活動(dòng)需求包括任務(wù)管理、評(píng)估規(guī)則設(shè)置、評(píng)估結(jié)果分析等。數(shù)據(jù)質(zhì)量評(píng)估師對(duì)指定規(guī)則設(shè)置后的處理流程，如下圖所示（一圖為審計(jì)流程，二圖為評(píng)估處理流程） 圖一圖二 質(zhì)量探查 數(shù)據(jù)剖析功能l 內(nèi)置豐富的分析評(píng)估模型內(nèi)置針對(duì)指標(biāo)日常和節(jié)假日波動(dòng)的閾值分析和優(yōu)化模型、針對(duì)指標(biāo)業(yè)務(wù)相關(guān)性的關(guān)聯(lián)波動(dòng)分析模型、針對(duì)問題分布的監(jiān)控覆蓋和規(guī)則優(yōu)化分析模型等常用分析評(píng)估模型，并且可以根據(jù)業(yè)務(wù)需要進(jìn)行擴(kuò)充。1. 列分析，對(duì)數(shù)據(jù)源表中的字段的值進(jìn)行統(tǒng)計(jì)。比如：最大值，最小值，唯一值個(gè)數(shù)，NULL 值的比例，字段類型，長度，字段格式以及數(shù)值分布比例等；2. 連接分析，對(duì)兩個(gè)表之間的連接列和匹配程度進(jìn)行分析；3. 鍵值分析，分析和檢查表的中某1列或多列是否符合唯一性約束 高級(jí)分析功能規(guī)則管理：支持對(duì)數(shù)據(jù)源表中的字段設(shè)置評(píng)分權(quán)重，以及配置校驗(yàn)規(guī)則；規(guī)則分類：質(zhì)量監(jiān)控信息進(jìn)行規(guī)則校驗(yàn)、觸發(fā)質(zhì)量告警的計(jì)算準(zhǔn)則，