教你利用信息整合技術(shù)解決“信息孤島”問題-資料下載頁
2025-03-25 02:45本頁面
【正文】 行的。ETL的設(shè)計(jì)開發(fā)就是用于對數(shù)據(jù)進(jìn)行清洗，數(shù)據(jù)源有可能來至于各種業(yè)務(wù)系統(tǒng)，也可能是系統(tǒng)之外的數(shù)據(jù)，這些數(shù)據(jù)以各種形式存儲(chǔ)，ETL的功能就是要將這些不同的數(shù)據(jù)源進(jìn)行清洗流程整合到一個(gè)統(tǒng)一的數(shù)據(jù)倉庫中。數(shù)據(jù)清洗又稱為合并/凈化問題(merge/purge ):它涉及到記錄聯(lián)接(recordlinkage)、語義集成(semantic integration)、實(shí)例標(biāo)識(shí)(instance identification),對象識(shí)別問題，數(shù)據(jù)清理目的就是要在數(shù)據(jù)中消除錯(cuò)誤和不一致，并解決對象識(shí)別的問題。重復(fù)數(shù)據(jù)清理的公認(rèn)的方法:對合并/凈化問題用基本的排序冷fl居方法進(jìn)行解決的過程。 清洗主要是針對系統(tǒng)的各個(gè)環(huán)節(jié)可能出現(xiàn)的數(shù)據(jù)二義性、重復(fù)、不完整、違反業(yè)務(wù)規(guī)則等問題，允許通過試抽取，將有問題的紀(jì)錄先剔除出來，根據(jù)實(shí)際情況調(diào)整相應(yīng)的清洗操作。 客戶數(shù)據(jù)清理的六個(gè)步驟:216。 216。 元素化((elementizing):將數(shù)分解為最小的原子單元216。 216。 標(biāo)準(zhǔn)化((standardizing):將縮寫，大小寫等都轉(zhuǎn)換為同一格式216。 216。 校驗(yàn)((verifying):利用規(guī)則或已有的數(shù)據(jù)集合驗(yàn)證數(shù)據(jù)的有效性216。 216。 匹配((matching):主要是判別冗余數(shù)據(jù)216。 216。 戶主化((householding):主要是確定數(shù)據(jù)之間的聯(lián)系216。 216。 文檔化(documenting):將清洗好的數(shù)據(jù)以同一的標(biāo)準(zhǔn)格式保存Ⅴ：這個(gè)階段對數(shù)據(jù)進(jìn)行整體集成、在共享數(shù)據(jù)的基礎(chǔ)上，實(shí)現(xiàn)應(yīng)用集成（操作型應(yīng)用），對于分析型的應(yīng)用，主要是設(shè)計(jì)和開發(fā)前端展現(xiàn)的程序，也就是要使用這個(gè)程序具將數(shù)據(jù)倉庫和多維數(shù)據(jù)庫中的數(shù)據(jù)展現(xiàn)出來。這個(gè)應(yīng)用程序基本上分為兩種構(gòu)架，一是CS方式，通過客戶端安裝軟件，server進(jìn)行數(shù)據(jù)的存取，二是BS方式，通過瀏覽器如IE，對服務(wù)器的數(shù)據(jù)進(jìn)行瀏覽分析。在數(shù)據(jù)倉庫開發(fā)的期初，數(shù)據(jù)倉庫主要應(yīng)用于企業(yè)的內(nèi)部，所以CS的方式應(yīng)用較多，在隨著數(shù)據(jù)倉庫的發(fā)展，BS構(gòu)架的應(yīng)用越來越多應(yīng)用于企業(yè)的商業(yè)分析之中。
環(huán)評公示相關(guān)推薦
鄂ICP備17016276號(hào)-1