資料品質(zhì)及資料凈化技術(shù)之探究(編輯修改稿)
2025-08-27 04:12 本頁面
【文章內(nèi)容簡介】 成的異?，F(xiàn)象。詮釋資料方法是以詮釋資料為基礎(chǔ)之資料品質(zhì)系統(tǒng)[4]，主要專注於資料品質(zhì)的持續(xù)改善，圖1顯示了從操作性系統(tǒng)到分析系統(tǒng)的整個(gè)資料倉儲(chǔ)系統(tǒng)架構(gòu)，資料品質(zhì)在整個(gè)資料流的過程中，不斷的被量測以及評估，其中詮釋資料扮演了重要的角色，特別是在資料轉(zhuǎn)換程序及資料綱要中所用到的詮釋資料都被用來量測資料品質(zhì)。以詮釋資料為基礎(chǔ)之資料品質(zhì)系統(tǒng)最重要的一個(gè)概念就是整合詮釋資料管理，經(jīng)由這個(gè)詮釋資料管理將所有有關(guān)資料品質(zhì)的重要資訊都納入，包含以下三個(gè)部份：1. 測量及評估資料品質(zhì)的規(guī)則庫(rule base)：透過規(guī)則的建立，不但可以設(shè)定測量資料品質(zhì)的條件及標(biāo)的，還包括了執(zhí)行的時(shí)間程序。2. 通知規(guī)則(notification rules)：當(dāng)有不符合品質(zhì)規(guī)則的資料或者是偏差的資料產(chǎn)生時(shí)，就可以根據(jù)通知規(guī)則來決定經(jīng)由何種方式通知相關(guān)品質(zhì)確認(rèn)工程師，例如利用電子郵件通知品質(zhì)確認(rèn)工程師之後，工程師就可以採取適當(dāng)?shù)奶幚聿襟E。3. 品質(zhì)聲明(quality statement)：這些聲明包含資料品質(zhì)測量的結(jié)果以及採用何種方式來展現(xiàn)給終端使用者，例如階層式的自動(dòng)化控制迴圈就可以聚集低階層的品質(zhì)，再將結(jié)果以三種不同的顏色(綠色代表品質(zhì)良好、黃色代表有部分瑕庛、紅色代表品質(zhì)低劣)讓使用者很容易辨別以及了解。詮釋資料是橫跨整個(gè)資料倉儲(chǔ)系統(tǒng)架構(gòu)的，詮釋資料的儲(chǔ)存與管理可說是資料倉儲(chǔ)系統(tǒng)最重要的一環(huán)，不過資料倉儲(chǔ)團(tuán)隊(duì)在作品質(zhì)確認(rèn)時(shí)通常不會(huì)去驗(yàn)證詮釋資料的正確與否，所以詮釋資料容易被忽視，而這份研究不但建立詮釋資料的管理機(jī)制，還加上資料品質(zhì)的稽核管控，整合了資料倉儲(chǔ)系統(tǒng)的兩個(gè)關(guān)鍵成功因素，可以提昇資料倉儲(chǔ)系統(tǒng)成功率。圖1：以詮釋資料為基底之資料品質(zhì)系統(tǒng)架構(gòu)[4] 但若僅以詮釋資料作為基礎(chǔ)之資料品質(zhì)系統(tǒng)，端賴資料倉儲(chǔ)團(tuán)隊(duì)成員耗費(fèi)心力持續(xù)維護(hù)資料品質(zhì)規(guī)則庫，且只能對於已定義的品質(zhì)問題進(jìn)行處理，是以有其侷限性，倘能搭配資料探勘的機(jī)制，自動(dòng)發(fā)現(xiàn)潛藏的問題，並產(chǎn)生新的調(diào)和規(guī)則，應(yīng)能提升資料品質(zhì)問題的處理速度及適當(dāng)性。 行政院環(huán)境保護(hù)署針對環(huán)境資料庫建置，已有若干成果，特別是在資料整合的規(guī)模與範(fàn)圍方面，正逐年擴(kuò)增並有具體效益，惟在資料品質(zhì)管控方面，尚有下列改善空間： 1. 缺乏完整之資料品質(zhì)作業(yè)準(zhǔn)則，以致資料整合時(shí)，須仰賴大量人力作業(yè)。 2. 資料品質(zhì)淨(jìng)化規(guī)則與自動(dòng)化作業(yè)工具尚待強(qiáng)化。以下我們提出階層性資料品質(zhì)模式搭配詮釋資料及資料探勘等機(jī)制，嘗試改善上述情況，以期環(huán)境資料庫整合能質(zhì)量兼?zhèn)洹?. 階層性資料品質(zhì)模式我們參考EPA的現(xiàn)況與相關(guān)研究建立資料品質(zhì)的方法。就資料品質(zhì)本質(zhì)上的觀點(diǎn)而言，在使用資料庫或資料倉儲(chǔ)中的資料時(shí)，使用者最關(guān)切的莫過於資料是否適於使用，因此目前不論是學(xué)理或?qū)崉?wù)上，大部份都將資料品質(zhì)的意義定位在「適於使用」(fit to use)的目標(biāo)上[5]。由這項(xiàng)定義繼續(xù)延伸，必須再明確推衍出使資料適於使用的基本要素，基於這項(xiàng)需求，可將資料品質(zhì)再細(xì)分成四個(gè)層面(dimension)來討論分析[13]，每個(gè)層面又可再細(xì)分為若干個(gè)資料品質(zhì)參數(shù)(data quality parameter)，資料品質(zhì)參數(shù)的主要作用是讓使用者評估資料倉儲(chǔ)中的資料品質(zhì)[14]。品質(zhì)參數(shù)的形成與選擇目前雖沒有一定之規(guī)則，但仍須符合能表示出原始資料特徵的先決條件。圖2是構(gòu)成資料品質(zhì)定義之階層圖，資料品質(zhì)的四個(gè)層面與品質(zhì)參數(shù)說明如下：1. 存取性(accessibility)：對使用者而言，具有良好資料品質(zhì)特性的資料倉儲(chǔ)應(yīng)具有輕易取得所需資料以便進(jìn)一步分析操作的功能。其次是安全性(security)的考量，對於機(jī)密性的資料為確保其安全性與隱密性，必須有效限制使用者的存取。乍看之下，資料的存取性與安全性考量在某些情形下是相衝突的，但若完全無法取得這些保密性資料，則分析人員將無法研究解決資料不適用的問題，資料的需求管理者也無法作出相關(guān)的決策。所以發(fā)展一套合理的機(jī)制，有效限制機(jī)密資料的存取是必要的。例如環(huán)保機(jī)關(guān)對於未經(jīng)確認(rèn)的環(huán)境監(jiān)測數(shù)據(jù)，必須適當(dāng)規(guī)範(fàn)存取的限制，以確保資料不被誤用。2. 詮釋性(interpretability)：詮釋性層面的品質(zhì)參數(shù)主要用來描述資料本身的定義，資料的定義明確清晰將有助於使用者或分析人員提高對資料的了解度，了解的層面應(yīng)包含資料的格式、內(nèi)容與主要用途。因此在詮釋性層面中包含了資料格式(syntax)與資料語意(semantics)等兩個(gè)品質(zhì)因子，用來定義資料項(xiàng)的屬性。例如水質(zhì)檢測資料必須定義其數(shù)據(jù)所用的單位、檢測地點(diǎn)名稱與座標(biāo)位置，以確保資料被正確解讀。3. 議題關(guān)聯(lián)性(contextual)：資料是否切於議題，在於資料的適用性。資料是否適於使用則可由資料量的多寡、資料之相關(guān)性(relevancy)及合時(shí)性(timeliness)等三方面來探討，其中合時(shí)性品質(zhì)參數(shù)又將資料的時(shí)間性質(zhì)區(qū)分為非揮發(fā)性(nonvolatile：資料的使用無時(shí)效限制)與具時(shí)效性(current：資料項(xiàng)被存入資料庫的時(shí)間及其有效期限)。匯入資料倉儲(chǔ)的資料量多寡應(yīng)視應(yīng)用為基準(zhǔn)，而非將所有資訊源中的資料完全整合匯入系統(tǒng)中。例如空氣或水質(zhì)的監(jiān)測資料就必須分成即時(shí)性資料與歷史性資料二類，二者所服務(wù)的對象及其對品質(zhì)的要求有相當(dāng)程度的差異。4. 可信度(believable)：資料倉儲(chǔ)的資料除了要與議題具有相關(guān)性外，還要能取得使用者的信任；假設(shè)民眾不信任環(huán)保機(jī)關(guān)所發(fā)布的監(jiān)測數(shù)據(jù)，則這樣的資料是否具有利用價(jià)值，不無疑問。資料的可信度，一般可由完整性(pleteness)、一致性(consistence)、正確性(accurate)及可靠性(credible)等四個(gè)品質(zhì)參數(shù)來衡量[1,6]。圖2：資料品質(zhì)定義之階層圖一般而言，資料品質(zhì)的概念是屬於多維度的，而品質(zhì)參數(shù)的訂定也最好要符合各種不同的資料型態(tài)，來自各個(gè)不同的應(yīng)用領(lǐng)域中，都有著共同的品質(zhì)參數(shù)用以評估其資料品質(zhì)
環(huán)評公示相關(guān)推薦
鄂ICP備17016276號(hào)-1