【正文】 ，集中管理元數(shù)據(jù)庫和分布式檢查點(diǎn)，并將適當(dāng)?shù)臋z查規(guī)則分配到特定的檢查點(diǎn)上，實(shí)現(xiàn)檢查點(diǎn)的遠(yuǎn)程配置。為了提高系統(tǒng)性能，檢查點(diǎn)應(yīng)對檢查規(guī)則進(jìn)行本地緩存，并根據(jù)配置信息，以定時或事件觸發(fā)的形式更新本地緩存。 報告 檢查結(jié)果報告基本過程檢查結(jié)果報告環(huán)節(jié)根據(jù)數(shù)據(jù)質(zhì)量檢查環(huán)節(jié)的結(jié)果信息，以規(guī)范的格式和特定的展現(xiàn)方式向數(shù)據(jù)質(zhì)量管理人員報告數(shù)據(jù)質(zhì)量情況?？梢愿鶕?jù)系統(tǒng)配置，分布式或集中式檢查點(diǎn)從不同角度生成不同類型的檢查或告警報告，并由檢查點(diǎn)將檢查報告存儲于運(yùn)行狀況信息庫中。多數(shù)情況下，質(zhì)量管理人員只關(guān)注存在質(zhì)量問題的報告，這些報告通常以告警形式出現(xiàn)。報告功能是經(jīng)營分析系統(tǒng)數(shù)據(jù)質(zhì)量管理的重要手段和方法，包括報告定義、報告生成與報告提示等功能。 報告定義用戶通過系統(tǒng)提供的界面，可以定義相關(guān)報告內(nèi)容，如：報告名稱、報告描述、報告所涉及人員、報告發(fā)布方法、報告重要程度、報告所涉及數(shù)據(jù)、報告計(jì)算規(guī)則、報告閥值等內(nèi)容。 報告生成報告生成是指結(jié)合預(yù)定義檢查規(guī)則配置對所采集信息進(jìn)行分析，根據(jù)相關(guān)情況，生成報告。 報告提示系統(tǒng)按照事先定義的方式和時間，自動向相關(guān)人員發(fā)送報告。 檢查結(jié)果報告的內(nèi)容檢查結(jié)果報告的具體內(nèi)容可根據(jù)實(shí)際情況進(jìn)行配置，一般應(yīng)包含以下內(nèi)容：168。 消息ID168。 告警發(fā)生時間168。 發(fā)出通知時間168。 解決時間168。 數(shù)據(jù)處理模塊168。 嚴(yán)重級別168。 問題描述168。 目前狀態(tài)可以將檢查結(jié)果報告從不同角度進(jìn)行分類，例如：(1) 從問題嚴(yán)重等級分類168。 提示(Information)168。 報警(Warning)168。 嚴(yán)重(Serious)168。 致命(Fatal)以上問題等級分類按嚴(yán)重級別由輕到重遞增。各省公司可以根據(jù)實(shí)際情況，調(diào)整以上的問題等級分類。(2) 從管理層次分類168。 事件管理168。 問題管理168。 服務(wù)水平管理事件管理是在數(shù)據(jù)質(zhì)量事件的粒度上反映和考查數(shù)據(jù)質(zhì)量情況；由于多種數(shù)據(jù)質(zhì)量事件?？蓺w結(jié)為特定的數(shù)據(jù)質(zhì)量問題，故問題管理是在問題的粒度上對數(shù)據(jù)質(zhì)量情況的反映和考查；因?yàn)榉?wù)水平管理常涉及多種數(shù)據(jù)質(zhì)量問題管理，所以服務(wù)水平管理是在服務(wù)的粒度上對數(shù)據(jù)質(zhì)量情況的反映和考查。 告警管理告警是一類重要的檢查報告，包括報警、嚴(yán)重、致命等級別，是數(shù)據(jù)質(zhì)量管理人員最為關(guān)注的報告類型。 告警界面監(jiān)控系統(tǒng)的監(jiān)控界面要求簡潔醒目，能夠形象直觀的表示系統(tǒng)問題故障。維護(hù)人員可以根據(jù)任意字段對結(jié)果進(jìn)行排序。 告警形式對于所有的告警信息，監(jiān)控系統(tǒng)的告警形式可包括聲音、短消息、電話。同時，告警形式可以具有不同的級別，如一級：聲音，二級：短消息，三級：電話。各種告警形式的具體描述如下：? 聲音：可根據(jù)預(yù)先定義的告警級別通過聲音進(jìn)行告警。? 短信息：可根據(jù)預(yù)先定義的告警級別通過短消息進(jìn)行告警。? 電話：可根據(jù)預(yù)先定義的告警級別通過電話進(jìn)行告警。 告警升級所有的告警信息都支持告警升級，如果告警信息超過告警升級的時間閥值尚未解決，告警信息自動升級告警級別(例如，報警升級到嚴(yán)重)。升級后的告警于獨(dú)立一欄顯示，僅當(dāng)事件解決后才消掉該欄的相關(guān)升級告警。 告警恢復(fù)監(jiān)控系統(tǒng)支持將已解決的告警問題的狀態(tài)進(jìn)行自動恢復(fù)，對于不能自動恢復(fù)的告警應(yīng)提供手工方式改變告警狀態(tài)，告警問題在預(yù)定義時間內(nèi)自動修復(fù)或已解決時相應(yīng)告警應(yīng)自動消失。 處理 問題處理的階段劃分在檢查過程中發(fā)現(xiàn)數(shù)據(jù)質(zhì)量問題時，系統(tǒng)需根據(jù)問題的嚴(yán)重級別啟動相應(yīng)的問題處理過程。問題處理過程可分為兩大階段：階段1：數(shù)據(jù)處理流程掛起，問題隔離。當(dāng)發(fā)生嚴(yán)重或致命級別的問題時，檢查環(huán)節(jié)直接根據(jù)預(yù)先定義的處理方案，將數(shù)據(jù)處理流程掛起，并將存在問題的數(shù)據(jù)進(jìn)行隔離。通過流程掛起和問題數(shù)據(jù)隔離，可將問題的影響范圍控制在較小的區(qū)間內(nèi)，防止問題放大，便于問題的解決。階段2：問題分析，問題處理。當(dāng)發(fā)生數(shù)據(jù)質(zhì)量問題時，檢查環(huán)節(jié)會通過報告環(huán)節(jié)發(fā)出數(shù)據(jù)質(zhì)量問題報告，處理環(huán)節(jié)對問題進(jìn)行分析，產(chǎn)生問題解決方案，并通過適當(dāng)?shù)耐緩浇鉀Q問題。對于嚴(yán)重或致命級別的問題，需要執(zhí)行以上兩個階段的問題處理過程；對于提示或報警級別的問題，則無需執(zhí)行階段1的操作，僅執(zhí)行第二階段的操作即可。 問題隔離階段當(dāng)數(shù)據(jù)質(zhì)量檢查環(huán)節(jié)發(fā)現(xiàn)嚴(yán)重或致命級別的問題時，檢查環(huán)節(jié)自身會在發(fā)出檢查報告的同時，直接采取問題隔離行動，包括掛起數(shù)據(jù)處理流程，將問題數(shù)據(jù)進(jìn)行隔離等。該階段任務(wù)主要是控制問題的影響范圍，防止問題擴(kuò)散，便于第二階段的問題分析和問題處理操作。根據(jù)具體系統(tǒng)的實(shí)際情況，問題隔離操作可采用分控和總控兩種形式實(shí)現(xiàn)。1. 分控方式. 由經(jīng)營分析系統(tǒng)數(shù)據(jù)處理各個階段上的分布式檢查點(diǎn)獨(dú)立執(zhí)行數(shù)據(jù)處理流程掛起和問題隔離操作。2. 總控方式. 數(shù)據(jù)處理各個階段上的分布式檢查點(diǎn)向某個中央調(diào)度控制器保送當(dāng)前問題狀態(tài)，并由調(diào)度控制器執(zhí)行數(shù)據(jù)處理流程掛起和問題隔離操作。 問題處理階段當(dāng)數(shù)據(jù)質(zhì)量檢查環(huán)節(jié)發(fā)現(xiàn)數(shù)據(jù)質(zhì)量異常，通過報告環(huán)節(jié)發(fā)出告警之后，系統(tǒng)進(jìn)入處理環(huán)節(jié)，通過問題分析，確定問題原因，生成解決方案，然后通過相應(yīng)途徑具體解決問題。1．問題分析根據(jù)告警提供的問題信息，對問題的原因進(jìn)行分析。分析過程主要由質(zhì)量管理人員完成，生成解決方案；對于簡單問題，可以由系統(tǒng)自動生成解決方案。無論人工分析還是系統(tǒng)自動分析，均可參考質(zhì)量檢查知識庫，通過對以往案例的分析，輔助得到問題解決方案。2．問題處理根據(jù)問題解決方案，采取具體行動解決問題。對數(shù)據(jù)的修正需要由數(shù)據(jù)的所屬系統(tǒng)完成，故處理環(huán)節(jié)需要與外部系統(tǒng)有交互接口。問題處理可以有多種途徑，例如：(1) 向外部系統(tǒng)發(fā)送檢查報告. 對于外部數(shù)據(jù)源問題，可以將報告環(huán)節(jié)生成的檢查報告發(fā)送給源數(shù)據(jù)所在系統(tǒng)的管理人員，由相應(yīng)人員解決數(shù)據(jù)質(zhì)量問題。(2) 啟動數(shù)據(jù)質(zhì)量維護(hù)流程. 對于經(jīng)營分析系統(tǒng)內(nèi)部處理環(huán)節(jié)造成的數(shù)據(jù)質(zhì)量問題，啟動相應(yīng)的數(shù)據(jù)質(zhì)量維護(hù)流程，解決相應(yīng)的數(shù)據(jù)質(zhì)量問題。 總結(jié) 總結(jié)的類型當(dāng)問題處理環(huán)節(jié)結(jié)束后，數(shù)據(jù)質(zhì)量監(jiān)控模塊需要啟動總結(jié)環(huán)節(jié)，對問題處理的全過程進(jìn)行記錄和總結(jié)?？偨Y(jié)可以需要劃分為不同的類型：? 數(shù)據(jù)質(zhì)量事件總結(jié)? 數(shù)據(jù)質(zhì)量問題總結(jié)? 數(shù)據(jù)質(zhì)量總體情況總結(jié)? 數(shù)據(jù)質(zhì)量階段性總結(jié)? 其他總結(jié)以下對問題總結(jié)和階段性總結(jié)做簡單闡述。 問題總結(jié)問題總結(jié)是針對數(shù)據(jù)質(zhì)量問題進(jìn)行的總結(jié)，主要完成兩方面的工作：1． 對處理環(huán)節(jié)問題處理的過程和結(jié)果進(jìn)行評估；2． 把問題的采集、檢查、報告、處理全過程信息進(jìn)行整理，形成問題處理案例，存入數(shù)據(jù)質(zhì)量知識庫中，以便質(zhì)量管理工作的改進(jìn)。 階段性總結(jié)階段性總結(jié)是對經(jīng)營分析系統(tǒng)一個時間階段內(nèi)的數(shù)據(jù)質(zhì)量狀況進(jìn)行總結(jié)。階段性總結(jié)以數(shù)據(jù)質(zhì)量知識庫為基礎(chǔ)，通過對知識庫中各種數(shù)據(jù)質(zhì)量問題案例進(jìn)行分類查詢和統(tǒng)計(jì)，得到不同角度的總結(jié)報告，如月度數(shù)據(jù)質(zhì)量分析報告等。 數(shù)據(jù)質(zhì)量監(jiān)控模塊技術(shù)實(shí)現(xiàn) 技術(shù)實(shí)現(xiàn)架構(gòu)數(shù)據(jù)質(zhì)量監(jiān)控模塊的技術(shù)實(shí)現(xiàn)架構(gòu)主要由以下三類實(shí)體構(gòu)成(如圖94)：? 各數(shù)據(jù)處理環(huán)節(jié)上的數(shù)據(jù)質(zhì)量檢查代理(Agent)? 中央數(shù)據(jù)質(zhì)量檢查服務(wù)器? 數(shù)據(jù)質(zhì)量檢查客戶端圖94 數(shù)據(jù)質(zhì)量監(jiān)控模塊技術(shù)實(shí)現(xiàn)架構(gòu)外部數(shù)據(jù)源系統(tǒng)的數(shù)據(jù)文件通過接口機(jī)進(jìn)入省級經(jīng)營分析系統(tǒng)，并順序經(jīng)過ETL服務(wù)器、數(shù)據(jù)倉庫服務(wù)器、數(shù)據(jù)集市服務(wù)器、應(yīng)用服務(wù)器、一級經(jīng)營分析系統(tǒng)等數(shù)據(jù)處理環(huán)節(jié)。在每個數(shù)據(jù)處理環(huán)節(jié)中，均部署數(shù)據(jù)質(zhì)量檢查代理，執(zhí)行與本處理環(huán)節(jié)相關(guān)的數(shù)據(jù)采集、檢查、報告等功能，并與監(jiān)控服務(wù)器進(jìn)行交互。數(shù)據(jù)質(zhì)量監(jiān)控服務(wù)器對監(jiān)控模塊的全局資源進(jìn)行管理和配置，并與相關(guān)的全局?jǐn)?shù)據(jù)庫(元數(shù)據(jù)庫、運(yùn)行狀況信息庫、知識庫)進(jìn)行交互。數(shù)據(jù)質(zhì)量檢查客戶端是用戶或管理人員與監(jiān)控服務(wù)器交互的界面。數(shù)據(jù)質(zhì)量管理用戶通過客戶端察看數(shù)據(jù)質(zhì)量檢查結(jié)果信息，監(jiān)控系統(tǒng)管理人員通過客戶端對監(jiān)控服務(wù)器和檢查代理進(jìn)行管理和配置。 數(shù)據(jù)質(zhì)量檢查代理數(shù)據(jù)質(zhì)量檢查代理(Agent)由多個模塊組成，可完成數(shù)據(jù)質(zhì)量監(jiān)控流程(圖91)中的數(shù)據(jù)采集、檢查、報告等功能。 目錄掃描模塊 源數(shù)據(jù)文件不定時到達(dá)數(shù)據(jù)質(zhì)量檢查代理端，為了能及時對到達(dá)的數(shù)據(jù)文件進(jìn)行處理，需要目錄掃描模塊每間隔一個特定時間段后去掃描存放源數(shù)據(jù)文件的目錄。當(dāng)發(fā)現(xiàn)有符合條件的源數(shù)據(jù)文件到達(dá)時，目錄掃描模塊發(fā)送一個消息給數(shù)據(jù)質(zhì)量檢查模塊，通知數(shù)據(jù)質(zhì)量檢查模塊已經(jīng)有源數(shù)據(jù)文件到達(dá)，可以開始對此文件進(jìn)行數(shù)據(jù)質(zhì)量檢查。 檢查規(guī)則讀取模塊 在數(shù)據(jù)質(zhì)量檢查代理端，需要讀取對此代理配置的數(shù)據(jù)質(zhì)量檢查規(guī)則，這項(xiàng)任務(wù)是由檢查規(guī)則讀取模塊來完成。其他系統(tǒng)模塊在需要數(shù)據(jù)質(zhì)量檢查規(guī)則時，如果此時還沒有獲取到檢查規(guī)則或者需要更新檢查規(guī)則時，向檢查規(guī)則讀取模塊發(fā)出讀取規(guī)則的請求，由此模塊生成特定格式的請求消息，并交給通信模塊發(fā)送給服務(wù)器端。 數(shù)據(jù)質(zhì)量檢查模塊 數(shù)據(jù)質(zhì)量檢查模塊是檢查代理的主要模塊，所有本地數(shù)據(jù)質(zhì)量檢查工作全部由該模塊完成。數(shù)據(jù)質(zhì)量檢查可包括以下內(nèi)容()： 1．文件級檢查 2．?dāng)?shù)據(jù)類型及格式檢查 3．主鍵檢查 4．編碼規(guī)范檢查 5．值域檢查 6．外鍵檢查 7．其他檢查 檢查結(jié)果生成模塊 代理上的檢查結(jié)果生成模塊負(fù)責(zé)接收數(shù)據(jù)質(zhì)量檢查模塊產(chǎn)生的檢查結(jié)果，按照對特定代理的配置信息，形成相應(yīng)的檢查報告，并將此結(jié)果發(fā)送給服務(wù)器端的檢查結(jié)果處理模塊。 代理活動采集模塊 在代理端的代理活動監(jiān)控模塊負(fù)責(zé)監(jiān)控此代理端運(yùn)行的進(jìn)程活動情況。當(dāng)數(shù)據(jù)質(zhì)量檢查代理端的代理進(jìn)程啟動時，代理活動監(jiān)控模塊負(fù)責(zé)向服務(wù)器端發(fā)送一個注冊請求，通知服務(wù)器端此代理進(jìn)程已經(jīng)處于啟動。注冊的內(nèi)容包括此代理進(jìn)程所在的IP地址、通信端口、進(jìn)程ID、啟動時間戳等能夠唯一標(biāo)識此活動代理進(jìn)程的信息。 當(dāng)進(jìn)程正常結(jié)束時，代理活動監(jiān)控模塊也要向服務(wù)器端發(fā)送一個注銷請求，通知服務(wù)器端此代理進(jìn)程已經(jīng)正常結(jié)束。 此外，在代理進(jìn)程活動期間，代理活動監(jiān)控模塊應(yīng)該每間隔一個特定時間（這個特定時間間隔在代理配置中設(shè)定）向服務(wù)器端提交一個更新的活動狀態(tài)，表明此代理進(jìn)程仍在正常運(yùn)行中。 當(dāng)服務(wù)器端向代理端發(fā)送刷新代理進(jìn)程活動情況的請求時，此代理活動監(jiān)控模塊要負(fù)責(zé)將最新的代理進(jìn)程活動情況返回給服務(wù)器端。 通信模塊 代理端的通信模塊的作用和服務(wù)器端的通信模塊相同，都是負(fù)責(zé)向其他系統(tǒng)模塊提供通信接口，所有需要在通信鏈路上傳輸?shù)南⒍纪ㄟ^通信模塊來進(jìn)行傳輸。 數(shù)據(jù)質(zhì)量監(jiān)控服務(wù)器 用戶管理模塊 用戶管理處理模塊是用戶管理的控制中心，涉及用戶管理的相關(guān)操作統(tǒng)一提交給服務(wù)器端的用戶管理模塊。數(shù)據(jù)質(zhì)量檢查客戶端提供給用戶一個友好的可操作界面，當(dāng)用戶提交相應(yīng)的用戶管理請求時，這些請求將被發(fā)送給用戶管理模塊，并由此模塊完成相應(yīng)的處理。此模塊對外應(yīng)該提供諸如增加用戶、修改用戶、刪除用戶等接口。 檢查規(guī)則處理模塊 本模塊處理所有和數(shù)據(jù)質(zhì)量檢查規(guī)則相關(guān)的請求。為了完成數(shù)據(jù)質(zhì)量檢查工作，首先要對各個數(shù)據(jù)處理環(huán)節(jié)進(jìn)行檢查規(guī)則的配置，即某個環(huán)節(jié)應(yīng)該進(jìn)行哪些數(shù)據(jù)質(zhì)量檢查。檢查規(guī)則的配置操作在客戶端進(jìn)行，當(dāng)確認(rèn)某一項(xiàng)配置時，客戶端向檢查規(guī)則處理模塊提交相應(yīng)的處理請求，由規(guī)則處理模塊來完成具體的規(guī)則配置過程。 當(dāng)數(shù)據(jù)檢查代理要開始進(jìn)行數(shù)據(jù)質(zhì)量檢查時，首先要知道對當(dāng)前數(shù)據(jù)要進(jìn)行哪些檢查，以及某項(xiàng)檢查的具體參數(shù)，也就是說，要獲取此源數(shù)據(jù)文件的具體數(shù)據(jù)質(zhì)量檢查規(guī)則。此時，代理向服務(wù)器端的檢查規(guī)則處理模塊發(fā)出獲取檢查規(guī)則的請求，由規(guī)則處理模塊處理后，將相應(yīng)的規(guī)則發(fā)送給請求代理。 因此，此模塊要提供諸如增加規(guī)則、讀取規(guī)則、修改規(guī)則之類的接口。 代理配置處理模塊 在具體部署數(shù)據(jù)質(zhì)量檢查功能時，每一個數(shù)據(jù)質(zhì)量檢查代理的具體分工可能不盡相同，例如不同的代理分別處理不同來源的源數(shù)據(jù)文件，或者對于同一個源數(shù)據(jù)文件由不同的代理來完成不同階段的數(shù)據(jù)質(zhì)量檢查工作。因此，需要對具體部署的各個數(shù)據(jù)質(zhì)量檢查代理進(jìn)行配置，所有的這些配置信息也都由服務(wù)器統(tǒng)一管理。 實(shí)際的代理配置操作在客戶端上進(jìn)行，由客戶端將此代理的配置信息發(fā)送給服務(wù)器端的代理配置處理模塊，由此模塊來完成最后的配置工作。配置的內(nèi)容包括各個代理的IP地址、通信端口號、源數(shù)據(jù)文件存放的目錄、源數(shù)據(jù)文件的命名格式等。 代理活動監(jiān)控模塊 在日常的數(shù)據(jù)質(zhì)量檢查管理時，要求能隨時監(jiān)控各個代理的活動情況，以更好地完成數(shù)據(jù)質(zhì)量檢查的任務(wù)，代理活動監(jiān)控模塊正是為了滿足這個需求而產(chǎn)生的。 當(dāng)數(shù)據(jù)質(zhì)量檢查代理端的代理進(jìn)程啟動時，代理活動監(jiān)控模塊負(fù)責(zé)向服務(wù)器端發(fā)送一個注冊請求，通知服務(wù)器端此代理進(jìn)程已經(jīng)處于啟動。注冊的內(nèi)容包括此代理進(jìn)程所在的IP地址、通信端口、進(jìn)程ID、啟動時間戳等能夠唯一標(biāo)識此活動代理進(jìn)程的信息。服務(wù)器端的代理活動監(jiān)控模塊接收到注冊信息后，將這些信息寫入到數(shù)據(jù)庫的相應(yīng)的表中，便于以后的查詢。 當(dāng)進(jìn)程正常結(jié)束時，代理活動監(jiān)控模塊也要向服務(wù)器端發(fā)送一個注銷請求，通知服務(wù)器端此代理進(jìn)程已經(jīng)正常結(jié)束，此時，服務(wù)器端的代理活動監(jiān)控模塊刪除這個進(jìn)程在服務(wù)器上的注冊信息。 此外，在代理進(jìn)程活動期間，代理活動監(jiān)控模塊應(yīng)該每間隔一個特定時間（這個特定時間間隔在代理配置中設(shè)定）向服務(wù)器端提交一個更新的活動狀態(tài)，表明此代理進(jìn)程仍在正常運(yùn)行中。 在客戶端，如果用戶啟動了監(jiān)控程序，并且需要刷新各個代理活動狀態(tài)時，將發(fā)送獲取活動狀態(tài)的請求到服務(wù)器端的活動監(jiān)控模塊上，由服務(wù)器從代理端的代理活動監(jiān)控模塊獲取最新的各個代理的活動狀態(tài)，并將結(jié)果返回給發(fā)送請求的客戶端。 檢查結(jié)果處理模塊 數(shù)據(jù)質(zhì)量檢查代理對數(shù)據(jù)質(zhì)量進(jìn)行檢查之后，將檢查的結(jié)果發(fā)送給服務(wù)器端的檢查結(jié)果處理模塊，由此模塊在服務(wù)器上將結(jié)果保存到運(yùn)行狀況信息庫中，以方便管理人員從客戶端上查看每個代理所產(chǎn)生的數(shù)據(jù)檢查結(jié)果。 此模塊還負(fù)責(zé)生成特定格式的數(shù)據(jù)檢查報告，并負(fù)責(zé)將此報告以電子郵件或者其他方式直接發(fā)送給關(guān)心這些數(shù)據(jù)檢查結(jié)果的相關(guān)人員。 當(dāng)管理人員從客戶端上查看檢查結(jié)果日志時，客戶端發(fā)送查看檢查結(jié)果的請求到此模塊，由此模塊從運(yùn)行狀況信息庫中取出相應(yīng)的結(jié)果送回控制臺或者客戶端。 數(shù)據(jù)庫接口模塊 數(shù)據(jù)質(zhì)量檢查服務(wù)器需要能夠支持對數(shù)據(jù)庫的訪問，這些數(shù)據(jù)庫包括：元數(shù)據(jù)庫、運(yùn)行狀況信息庫、數(shù)據(jù)質(zhì)量知識庫。