商業(yè)智能平臺研究：etl中的數(shù)據(jù)質(zhì)量控制(編輯修改稿)
2025-07-21 01:08 本頁面
【文章內(nèi)容簡介】 er 會發(fā)出通知，kettle在執(zhí)行監(jiān)控上提供的信息比oracle warehouse builder多一些，包括速度和時間,還可以看到你啟動多少線程組和線程，線程進行到那一步都顯示的出來。4號面板提供最多的信息，所以分成了10格tab,包含大量歸檔結(jié)果匯總的tab。5號面板顯示數(shù)據(jù)的統(tǒng)計信息，某一個column出現(xiàn)的值，出現(xiàn)的次數(shù)，占的百分比，有了這個功能，如果出現(xiàn)了錯誤的數(shù)據(jù)，將可以更容易的看到和清除。6號面板顯示數(shù)據(jù)規(guī)則?！ ∑渲?號面板有10個tab,其中有幾個tab非常有用。(看上面的圖）Data Type tab詳細說明表中每列的列名，數(shù)據(jù)格式，主要的數(shù)據(jù)類型，主要的數(shù)據(jù)類型所占的百分比，數(shù)據(jù)的長度，最大值和最小值，主要的長度，主要的長度所占的百分比，類型的精度。其中所謂的主要長度類型在Date那一列為40%，可見有些值為空，它不光列出最小值和最大值，而且還有主要值的長度和它所占百分比，統(tǒng)計方面功能比較強大，這種初步的數(shù)據(jù)統(tǒng)計不知道算不算接近于OLAP分析，功能上比kettle強大些.Unique Key tab顯示檢測到唯一鍵或主鍵的所有列。該選項卡還顯示唯一值的數(shù)量多得足以建議刪除或更正非唯一行時可以定義唯一鍵的列。你可以看到圖中有Six Sigma 列。這是一個 1 到 7 之間的數(shù)字，它指明“每千個的缺陷”數(shù)量，即對象中未能通過唯一約束的行。Profile Object tab 相當(dāng)于kettle中的 sql 編輯器 ，顯示所有的數(shù)據(jù)并加上查詢條件。Domain tab 為歸檔對象的每列顯示建議的域，以及數(shù)據(jù)與該域的一致程度。域就是列的一組允許的值，Oracle Warehouse Builder 認為出現(xiàn)兩次或以上值的列就叫域。從圖上看到，PACK_count , PROD_ID , PROD_NAME 都是唯一性比較高的列，所以沒有domain,這個面板同
高考資料相關(guān)推薦
鄂ICP備17016276號-1