【正文】 后按照主題進(jìn)行了重組，并包含歷史數(shù)據(jù)，而且存放在數(shù)據(jù)倉庫中的數(shù)據(jù)一般不再修改。第五章將根據(jù)實際應(yīng)用對提高數(shù)據(jù)質(zhì)量的效果做進(jìn)一步的說明并總結(jié)獲得結(jié)論。；第三章將根據(jù)EMC項目情況講解ETL的應(yīng)用情況。本文結(jié)構(gòu)分為五章，第一章為緒論，主要介紹該課題的背景，過內(nèi)外發(fā)展概況以及應(yīng)用的技術(shù)以及論文的組織結(jié)果等。在我國，對ETL的研究開發(fā)甚少，還沒有一個成型的、完善的ETL工具應(yīng)用于數(shù)據(jù)倉庫的系統(tǒng)中。(4)；如何消除合并后數(shù)據(jù)集中以及重復(fù)數(shù)據(jù)。(2)；在自動化異常檢測和清洗處理間增加人工判斷處理以提高處理精度。等。早期的數(shù)據(jù)遷移工作往往是由程序人員手工編寫存儲過程完成的，對編寫人員的技術(shù)要求很高，而且隨著系統(tǒng)的升級換代、人員變動等原因使系統(tǒng)維護(hù)變得十分困難隨著計算機(jī)技術(shù)的發(fā)展與進(jìn)步，逐漸出現(xiàn)了使用特定的ETL工具來完成數(shù)據(jù)遷移過程。相反，成功的數(shù)據(jù)遷移可以有效地保障新系統(tǒng)的順利運(yùn)行，能夠繼承珍貴的歷史數(shù)據(jù)。如果數(shù)據(jù)遷移失敗，新系統(tǒng)將不能正常啟用。銀行、電信、稅務(wù)、工商、保險以及銷售等領(lǐng)域發(fā)生系統(tǒng)切換時，一般都需要進(jìn)行數(shù)據(jù)遷移對于多對一的情況，例如由于信息化建設(shè)的先后，造成有多個不同的系統(tǒng)同時運(yùn)行，但相互間不能做到有效信息共享，所以就需要一套新系統(tǒng)包容幾套舊系統(tǒng)的問題。數(shù)據(jù)遷移，就是將這些歷史數(shù)據(jù)進(jìn)行清洗、轉(zhuǎn)換，并裝載至新系統(tǒng)中的過程。原有的舊系統(tǒng)從啟用到被新系統(tǒng)取代，在其使用期間往往積累了大量珍貴的歷史數(shù)據(jù)，其中許多歷史數(shù)據(jù)都是新系統(tǒng)順利啟用所必須的。同時，本文將流程的控制過程用可視化效果表現(xiàn)出來，提供流程定義和流程監(jiān)控功能，并最終生成多維表。所以本文將以ETL框架設(shè)計為基礎(chǔ)出發(fā)。慶幸的是，已經(jīng)有很多成熟的ETL工具，它們幾乎能夠自動完成數(shù)據(jù)的ETL過程。要提供有質(zhì)量保證數(shù)據(jù)，數(shù)據(jù)的抽取、轉(zhuǎn)換和裝載過程特別是轉(zhuǎn)換過程相當(dāng)重要?；诖爽F(xiàn)狀，電信公司確定整合客戶數(shù)據(jù)并以客戶為中心實行統(tǒng)一視圖的目標(biāo)，那么建設(shè)本企業(yè)的數(shù)據(jù)倉庫就勢在必行了，而同時保證數(shù)據(jù)倉庫中數(shù)據(jù)的質(zhì)量的有效性就成為了一個重點研究的問題。在過去多年中電信行業(yè)建立了計費(fèi)帳務(wù)系統(tǒng)、綜合結(jié)算系統(tǒng)、97系統(tǒng)、10000號系統(tǒng)、大客戶系統(tǒng)等多種業(yè)務(wù)支撐系統(tǒng)，然而各個系統(tǒng)相對獨(dú)立，數(shù)據(jù)分散不一致。而面對客戶的多樣化、層次化、個性化的需求，大眾化營銷已經(jīng)失去了其優(yōu)勢，基于客戶信息、客戶價值和行為，深入數(shù)據(jù)分析的洞察力營銷、精確化營銷的理念逐漸被各大電信運(yùn)營商所接受。隨著我國電信體制改革的深化，行業(yè)壟斷格局已被打破，國內(nèi)通信市場形成了電信、移動、聯(lián)通、網(wǎng)通、鐵通等多元化競爭局面，競爭日趨激烈。只有以數(shù)據(jù)為基礎(chǔ)，從基于經(jīng)驗的分析到基于準(zhǔn)確事實的洞察，才能有效保證企業(yè)服務(wù)質(zhì)量、營銷成功率和管理水平，節(jié)約企業(yè)營銷成本，最終使企業(yè)利潤和客戶滿意度的最大化。湖南大學(xué)畢業(yè)設(shè)計(論文) 第 40 頁提高數(shù)據(jù)倉庫中數(shù)據(jù)質(zhì)量的研究畢業(yè)論文目 錄1 緒言 2 課題背景 2 國內(nèi)外發(fā)展概況 2 本章小結(jié) 42 數(shù)據(jù)倉庫 5 數(shù)據(jù)倉庫（Data Warehouse，DW） 5 數(shù)據(jù)倉庫應(yīng)用的作用和意義 7 本章小節(jié) 103 數(shù)據(jù)倉庫中的ETL及EMC中ETL的應(yīng)用 11 數(shù)據(jù)倉庫中的ETL 11 ETL簡介 11 ETL過程的特點 11 數(shù)據(jù)質(zhì)量保證 12 元數(shù)據(jù)：拓展新型應(yīng)用 13 實例概述 14 總體流程 15 接口表 16 企業(yè)數(shù)據(jù)遷移(EDM)模型層 17 事實表層 18 數(shù)據(jù)集市（DM）層 18 多維分析（OLAP）層 18 總體處理流程、反饋過程 19 本章小結(jié) 204 EMC中數(shù)據(jù)調(diào)度校驗的應(yīng)用 21 需求分析 21 需求設(shè)計描述 21 功能性需求描述（按功能模塊進(jìn)行說明） 21 非功能性需求描述 22 系統(tǒng)總體設(shè)計 23 系統(tǒng)總體功能設(shè)計圖 23 系統(tǒng)總體功能設(shè)計圖說明 23 系統(tǒng)功能設(shè)計描述 24 概要設(shè)計 25 概要功能設(shè)計圖 25 功能性描述（按功能模塊） 26 后臺調(diào)度流程 28 ETL任務(wù)調(diào)度概述 28 任務(wù)/任務(wù)組實例化 28 任務(wù)實例調(diào)度 29 后臺校驗流程 30 功能 30 數(shù)據(jù)結(jié)構(gòu) 30 流程 31 重要函數(shù) 34 本章小結(jié) 435 效果說明和總結(jié) 44致謝 45參考文獻(xiàn) 46附錄A 471．. 緒論 1 研究背景 1 國內(nèi)外研究現(xiàn)狀 2 本文的主要研究內(nèi)容和內(nèi)容組織 32．. 數(shù)據(jù)倉庫以及ETL 4 數(shù)據(jù)倉庫（Data WareHouse, DW） 4 ETL（Extract, Transform, loading） 6 ETL簡介 6 ETL過程特點 7 數(shù)據(jù)質(zhì)量保證 8 元數(shù)據(jù)：拓展新星應(yīng)用 93．. EMC項目中的ETL應(yīng)用 10 業(yè)務(wù)背景 10 實例概述 12 總體流程 13 接口表 14 企業(yè)數(shù)據(jù)遷移(（EDM）)模型層 15 事實表層 16 數(shù)據(jù)集市（DM）層 17 多維分析（OLAP）層 17 總體處理流程、反饋過程 174. . EMC中數(shù)據(jù)調(diào)度校驗的應(yīng)用 19 需求分析 19 需求設(shè)計描述 19 功能性需求描述（按功能模塊進(jìn)行說明） 19 非功能性需求描述 20 系統(tǒng)總體設(shè)計 21 系統(tǒng)總體功能設(shè)計圖 21 系統(tǒng)總體功能設(shè)計圖說明 21 系統(tǒng)功能設(shè)計描述 22 概要設(shè)計 23 概要功能設(shè)計圖 23 功能性描述（按功能模塊） 24 后臺調(diào)度流程 26 ETL任務(wù)調(diào)度概述 26 任務(wù)/任務(wù)組實例化 27 任務(wù)實例調(diào)度 28 后臺校驗流程 29 功能 29 數(shù)據(jù)結(jié)構(gòu) 29 流程 29 重要函數(shù) 325. .效果說明和總結(jié) 42致謝 43參考文獻(xiàn) 441．. 緒論 研究背景隨著全球經(jīng)濟(jì)一體化進(jìn)程的推進(jìn)以及我國的經(jīng)濟(jì)快速增長，大多數(shù)行業(yè)的市場競爭激烈加劇。這對企業(yè)管理和經(jīng)營決策的制定的時效性、科學(xué)性、準(zhǔn)確性提出了很高的要求。數(shù)據(jù)倉庫正是在這種大環(huán)境下應(yīng)運(yùn)而生了。電信運(yùn)營商的經(jīng)營理念也逐漸從“以產(chǎn)品為中心”轉(zhuǎn)移到“以客戶為中心”了。商務(wù)活動的主動權(quán)被交到了客戶手中，而保持原有的客戶對電信公司來說變的至關(guān)重要。這就產(chǎn)生了數(shù)據(jù)依賴系統(tǒng)存在、缺少完整統(tǒng)一的客戶視圖、數(shù)據(jù)共享缺少統(tǒng)一的標(biāo)準(zhǔn)共享困難、數(shù)據(jù)對閉環(huán)的業(yè)務(wù)流程支撐程度較弱等問題?？茖W(xué)決策是現(xiàn)代企業(yè)的管理的核心與基礎(chǔ)，但高質(zhì)量的數(shù)據(jù)是正確決策的前提。針對電信業(yè)務(wù)種類多，業(yè)務(wù)更新快，數(shù)據(jù)來源廣的特點，ETL過程就變得充滿挑戰(zhàn)性。但用戶顯然不放心這樣一個重要的過程對他們來說完全是“透明化”的，加上多用戶多任務(wù)必然會帶來線程（或進(jìn)程）的同步或互斥問題。同時為了便于理解整個框架，來詳細(xì)介紹ETL過程管理的具體流程和方法。 國內(nèi)外研究現(xiàn)狀在企業(yè)信息化建設(shè)過程中，隨著技術(shù)的發(fā)展，原有的信息系統(tǒng)不斷被功能更強(qiáng)大的新系統(tǒng)所取代，從兩層結(jié)構(gòu)到三層結(jié)構(gòu)，從Client/Serve:到Browser/Server，在新舊系統(tǒng)的切換過程中，必然面臨一個數(shù)據(jù)遷移的問題。另外，這些歷史數(shù)據(jù)也是執(zhí)行決策分析的重要依據(jù)。數(shù)據(jù)遷移主要適用于一套舊系統(tǒng)切換到另一套新系統(tǒng)，或多套舊系統(tǒng)切換到同一套新系統(tǒng)時，需要將舊系統(tǒng)中的歷史數(shù)據(jù)轉(zhuǎn)換到新系統(tǒng)中的情況。數(shù)據(jù)遷移對系統(tǒng)切換乃至新系統(tǒng)的運(yùn)行有著十分重要的意義，數(shù)據(jù)遷移的質(zhì)量不僅僅是新系統(tǒng)成功運(yùn)行的重要前提，同時也是新系統(tǒng)今后穩(wěn)定運(yùn)行的有力保障。；如果數(shù)據(jù)遷移的質(zhì)量較差，沒能屏蔽全部的垃圾數(shù)據(jù)，對新系統(tǒng)將會造成很大的隱患，新系統(tǒng)一旦訪問這些垃圾數(shù)據(jù)，可能會由這些垃圾數(shù)據(jù)產(chǎn)生新的錯誤數(shù)據(jù)，嚴(yán)重時還會導(dǎo)致系統(tǒng)異常。無論對于一個公司還是一個部門，歷史數(shù)據(jù)都是十分珍貴的一種資源，如公司的客戶信息、銀行的存款記錄、稅務(wù)部門的納稅資料等。目前很多數(shù)據(jù)庫廠商紛紛推出針對其數(shù)據(jù)倉庫產(chǎn)品的ETL解決方案，如Oracle公司的Warehouse Builder。這些工具具有功能強(qiáng)大，提供圖形化界面以利于用戶操作，易與第三方軟件集成等優(yōu)點，但其高昂的價格，復(fù)雜的操作往往讓人望而卻步。 人工編碼與ETL工具比較對比項手工編碼ETL工具靈活性最靈活比較靈活難易程度要求一定的技術(shù)水平相對容易管理和維護(hù)較難容易性能和效率取決于編寫者水平較高開發(fā)周期較長較短工作量較重中等價格相對較低較高目前國內(nèi)外關(guān)于ETL領(lǐng)域的研究非?；钴S，主要涉及以下幾個方面:：(1)、建立一種通用的與領(lǐng)域無關(guān)的工具框架。(3)；對海量數(shù)據(jù)集進(jìn)行并行處理。(5)；研究高效的數(shù)據(jù)異常檢測算法以避免掃描整個龐大的數(shù)據(jù)集。 本文的主要研究內(nèi)容和內(nèi)容組織本次設(shè)計主要采用的技術(shù)手段是：利用ETL在構(gòu)造數(shù)據(jù)倉庫中的原理，通過構(gòu)造ETL數(shù)據(jù)流來實現(xiàn)數(shù)據(jù)的自動化處理，通過編寫校驗程序來處理數(shù)據(jù)流中非法數(shù)據(jù)，從而保證數(shù)據(jù)倉庫中數(shù)據(jù)的高質(zhì)量。；第二章為基礎(chǔ)技術(shù)介紹，主要根據(jù)項目需要用到的數(shù)據(jù)倉庫以及、ETL等技術(shù)做詳細(xì)的介紹。；第四章重點講解調(diào)度和校驗過程，使讀者能夠更清晰的了解EMC項目中的實現(xiàn)方法；。2．. 數(shù)據(jù)倉庫以及ETL 1 數(shù)據(jù)倉庫（Data WareHouse, DW）目前，數(shù)據(jù)倉庫一詞尚沒有一個統(tǒng)一的定義， 《Building the Data Warehouse》 一書中給予如下描述：數(shù)據(jù)倉庫（Data Warehouse）是一個面向主題的（Subject Oriented）、集成的（Integrate）、相對穩(wěn)定的（NonVolatile）、反映歷史變化（Time Variant）的數(shù)據(jù)集合，用于支持管理決策。 根據(jù)數(shù)據(jù)倉庫概念的含義，數(shù)據(jù)倉庫擁有以下四個特點：　(1) 面向主題:：操作型數(shù)據(jù)庫的數(shù)據(jù)組織面向事務(wù)處理任務(wù)，各個業(yè)務(wù)系統(tǒng)之間各自分離，而數(shù)據(jù)倉庫中的數(shù)據(jù)是按照一定的主題域進(jìn)行組織。 　　(2) 集成的:：面向事務(wù)處理的操作型數(shù)據(jù)庫通常與某些特定的應(yīng)用相關(guān)，數(shù)據(jù)庫之間相互獨(dú)立，并且往往是異構(gòu)的。 　　(3) 相對穩(wěn)定的：:操作型數(shù)據(jù)庫中的數(shù)據(jù)通常實時更新，數(shù)據(jù)根據(jù)需要及時發(fā)生變化。(4) 反映歷史變化:：操作型數(shù)據(jù)庫主要關(guān)心當(dāng)前某一個時間段內(nèi)的數(shù)據(jù)，而數(shù)據(jù)倉庫中的數(shù)據(jù)通常包含歷史信息，系統(tǒng)記錄了企業(yè)從過去某一時點(（如開始應(yīng)用數(shù)據(jù)倉庫的時點)）到目前的各個階段的信息，通過這些信息，可以對企業(yè)的發(fā)展歷程和未來趨勢做出定量分析和預(yù)測。數(shù)據(jù)倉庫不是靜態(tài)的概念，只有把信息及時交給需要這些信息的使用者，供他們做出改善其業(yè)務(wù)經(jīng)營的決策，信息才能發(fā)揮作用，信息才有意義。因此，從產(chǎn)業(yè)界的角度看，數(shù)據(jù)倉庫建設(shè)是一個工程，是一個過程，而不是一個產(chǎn)品。通常包括企業(yè)內(nèi)部信息和外部信息。外部信息包括各類法律法規(guī)、市場信息和競爭對手的信息等等；數(shù)據(jù)的存儲與管理：是整個數(shù)據(jù)倉庫系統(tǒng)的核心。數(shù)據(jù)倉庫的組織管理方式?jīng)Q定了它有別于傳統(tǒng)數(shù)據(jù)庫，同時也決定了其對外部數(shù)據(jù)的表現(xiàn)形式。針對現(xiàn)有各業(yè)務(wù)系統(tǒng)的數(shù)據(jù)，進(jìn)行抽取、清理，并有效集成，按照主題進(jìn)行組織。 OLAP服務(wù)器：對分析需要的數(shù)據(jù)進(jìn)行有效集成，按多維模型予以組織，以便進(jìn)行多角度、多層次的分析，并發(fā)現(xiàn)趨勢。ROLAP基本數(shù)據(jù)和聚合數(shù)據(jù)均存放在RDBMS之中；MOLAP基本數(shù)據(jù)和聚合數(shù)據(jù)均存放于多維數(shù)據(jù)庫中；HOLAP基本數(shù)據(jù)存放于RDBMS之中，聚合數(shù)據(jù)存放于多維數(shù)據(jù)庫中。其中數(shù)據(jù)分析工具主要針對OLAP服務(wù)器，報表工具、數(shù)據(jù)挖掘工具主要針對數(shù)據(jù)倉庫。數(shù)據(jù)倉庫中的數(shù)據(jù)往往來自不同時期，不同硬件平臺，不同操作系統(tǒng)等，數(shù)據(jù)源的多樣性造成了“臟數(shù)據(jù)”（Dirty data）的