【正文】 owb,odi都是ELT工具，不過支持ETL。例如：如果數(shù)據(jù)源的臟數(shù)據(jù)很多，在搭建數(shù)據(jù)倉庫之前我們首先要進行數(shù)據(jù)清洗，以剔除掉不需要的信息和臟數(shù)據(jù)。在ETL的流程搭建好后，要定期對其運行，所以調(diào)度是執(zhí)行ETL流程的關鍵步驟。在使用調(diào)度前要考慮到事實數(shù)據(jù)量，確定需要多長時間更新一次。例如：在進行數(shù)據(jù)抽取時，我們將按照時間戳對OLTP系統(tǒng)中的數(shù)據(jù)進行抽取，比如在午夜0：00取前一天的數(shù)據(jù)，我們將按照OLTP系統(tǒng)中的時間戳取GETDATE到GETDATE減一天，這樣得到前一天數(shù)據(jù)。數(shù)據(jù)準備區(qū)中將存在原始抽取表、轉(zhuǎn)換中間表和臨時表以及ETL日志表等。ETL為我們搭建了OLTP系統(tǒng)和OLAP系統(tǒng)之間的橋梁。例如：下圖就向我們展示了ETL的數(shù)據(jù)轉(zhuǎn)換效果。如果說數(shù)據(jù)倉庫是一座大廈，那么ETL就是大廈的根基?！　∪绻紤]到擴展，可以將事實表加一唯一標識列，以為了以后擴展將該事實作為雪花型維度，不過不需要時一般建議不用這樣做。　　(五)、創(chuàng)建事實表　　在確定好事實數(shù)據(jù)和維度后，我們將考慮加載事實表。另一種方法是將該維度打上時間戳，即將歷史數(shù)據(jù)生效的時間段作為它的一個屬性，在與原始表匹配生成事實表時將按照時間段進行關聯(lián)，這種方法的好處是該維度成員生效時間明確。這時，要將原數(shù)據(jù)更新，將新數(shù)據(jù)插入，我們使用UPDATE / INSERT。對于緩慢變化維度，有三種情況：　　緩慢變化維度第一種類型：　　歷史數(shù)據(jù)需要修改。同時，代理鍵對緩慢變化維度有著重要的意義，在原數(shù)據(jù)主鍵相同的情況下，它起到了對新數(shù)據(jù)與歷史數(shù)據(jù)的標識作用。我們也可以使用三張表，分別保存產(chǎn)品大類、產(chǎn)品子類、產(chǎn)品三部分數(shù)據(jù)，比如產(chǎn)品維度?！　∵@里我們首先要確定維度的層次(Hierarchy)和級別(Level)(圖四：)。關于建立多維分析模型(CUBE)的相關問題，我們將在下期欄目中予以闡述?！　±纾杭僭O目前的數(shù)據(jù)最小記錄到秒，即數(shù)據(jù)庫中記錄了每一秒的交易額。我們或者將該數(shù)據(jù)匯總，或者將該數(shù)據(jù)取次數(shù)、獨立次數(shù)或取最大最小值等，這樣的數(shù)據(jù)稱為量度。從而，不同的主題來源于數(shù)據(jù)倉庫中的不同子集，我們可以稱之為數(shù)據(jù)集市。　　我們可以形象的將一個主題想象為一顆星星：統(tǒng)計數(shù)值型數(shù)據(jù)(量度)存在于星星中間的事實表。　　那么，下面我們就來看一看，構(gòu)建企業(yè)級數(shù)據(jù)倉庫的流程。而相比較而言，雪花型架構(gòu)的中間為事實表，兩邊的維度表可以再有其關聯(lián)子表，從而表達了清晰的維度層次關系。數(shù)據(jù)倉庫建模與ETL的實踐技巧開發(fā)者在線 更新時間:20080916作者： 來源:本文關鍵詞： IT技術 ETL 數(shù)據(jù)倉庫 　一、數(shù)據(jù)倉庫的架構(gòu) 　　數(shù)據(jù)倉庫(Data Warehouse DW)是為了便于多維分析和多角度展現(xiàn)而將數(shù)據(jù)按特定的模式進行存儲所建立起來的關系型數(shù)據(jù)庫，它的數(shù)據(jù)基于OLTP源系統(tǒng)?！　?3)抽取和裝載的性能是不是較高，且對業(yè)務系統(tǒng)的性能影響大不大，傾入性高不高。數(shù)據(jù)流的終點通常是數(shù)據(jù)的目的地(目標表)。數(shù)據(jù)流是新的概念。控制流也稱為工作流或者任務流，它更像工作流，在工作流中每個組件都是一個任務。在SQL Server 2005的前兩個版本SQL Server Server 2000中，DTS主要集中于提取和加載?！　?，清洗和回收臟數(shù)據(jù)。ODI能夠檢測事件，一個事件可以觸發(fā)ODI的一個接口流程，從而完成近乎實時的數(shù)據(jù)集成。另外一種是第三方工具提供商，如Kettle?！　〈蠖鄶?shù)情況下會使用第一種方法，因為它們進行了日志記錄并且是可恢復的。 　　 數(shù)據(jù)裝載　　將轉(zhuǎn)換和加工后的數(shù)據(jù)裝載到目的庫中通常是ETL過程的最后步驟。 39。　　有些ETL工具還提供了腳本支持，使得用戶可以以一種編程的方式定制數(shù)據(jù)的轉(zhuǎn)換和加工行為?！　?shù)據(jù)的轉(zhuǎn)換和加工可以在ETL引擎中進行，也可以在數(shù)據(jù)抽取過程中利用關系數(shù)據(jù)庫的特性同時進行。異步模式則是基于Oracle的流復制技術。訂閱者需要清楚自己感興趣的是哪些變化數(shù)據(jù)。通常，CDC系統(tǒng)擁有一個發(fā)布者和多個訂閱者。這樣就可以捕獲發(fā)生變化的數(shù)據(jù)，然后利用數(shù)據(jù)庫視圖以一種可控的方式提供給目標系統(tǒng)。Oracle的改變數(shù)據(jù)捕獲(CDC，Changed Data Capture)技術是這方面的代表。每次進行數(shù)據(jù)抽取時，對源表和MD5臨時表進行MD5校驗碼的比對，從而決定源表中的數(shù)據(jù)是新增、修改還是刪除，同時更新MD5校驗碼。同觸發(fā)器方式一樣，時間戳方式的性能也比較好，數(shù)據(jù)抽取相對清楚簡單，但對業(yè)務系統(tǒng)也有很大的傾入性(加入額外的時間戳字段)，特別是對不支持時間戳的自動更新的數(shù)據(jù)庫，還要求業(yè)務系統(tǒng)進行額外的更新時間戳操作?！　。核且环N基于快照比較的變化數(shù)據(jù)捕獲方式，在源表上增加一個時間戳字段，系統(tǒng)中更新修改表數(shù)據(jù)的時候，同時修改時間戳字段的值。對捕獲方法一般有兩點要求：準確性，能夠?qū)I(yè)務系統(tǒng)中的變化數(shù)據(jù)按一定的頻率準確地捕獲到?！　?2)增量抽取　　增量抽取只抽取自上次抽取以來數(shù)據(jù)庫中要抽取的表中新增或修改的數(shù)據(jù)。實際應用中，數(shù)據(jù)源較多采用的是關系數(shù)據(jù)庫?，F(xiàn)在也越來越多地將ETL應用于一般信息系統(tǒng)中數(shù)據(jù)的遷移、交換和同步。(1)數(shù)據(jù)抽?。簭脑磾?shù)據(jù)源系統(tǒng)抽取目的數(shù)據(jù)源系統(tǒng)需要的數(shù)據(jù)。 　　但是，在實施數(shù)據(jù)集成的過程中，由于不同用戶提供的數(shù)據(jù)可能來自不同的途徑，其數(shù)據(jù)內(nèi)容、數(shù)據(jù)格式和數(shù)據(jù)質(zhì)量千差萬別，有時甚至會遇到數(shù)據(jù)格式不能轉(zhuǎn)換或數(shù)據(jù)轉(zhuǎn)換格式后丟失信息等棘手問題，嚴重阻礙了數(shù)據(jù)在各部門和各應用系統(tǒng)中的流動與共享。但是隨著信息系統(tǒng)的增加，各自孤立工作的信息系統(tǒng)將會造成大量的冗余數(shù)據(jù)和業(yè)務人員的重復勞動。第三類日志是總體日志，只記錄ETL開始時間，結(jié)束時間是否成功信息。　　ETL日志與警告發(fā)送　　ETL日志，記錄日志的目的是隨時可以知道ETL運行情況，如果出錯了，出錯在那里。 數(shù)據(jù)清洗需要注意的是不要將有用的數(shù)據(jù)過濾掉了，對于每個過濾規(guī)則認真進行驗證，并要用戶確認才行。 　　C、重復的數(shù)據(jù)，特別是維表中比較常見，將重復的數(shù)據(jù)的記錄所有字段導出來，讓客戶確認并整理。 　　B、錯誤的數(shù)據(jù)，產(chǎn)生原因是業(yè)務系統(tǒng)不夠健全，在接收輸入后沒有進行判斷直接寫入后臺數(shù)據(jù)庫造成的，比如數(shù)值數(shù)據(jù)輸成全角數(shù)字字符、字符串數(shù)據(jù)后面有一個回車、日期格式不正確、日期越界等。 　　A、不完整的數(shù)據(jù)，其特征是是一些應該有的信息缺失，如供應商的名稱，分公司的名稱，客戶的區(qū)域信息缺失、業(yè)務系統(tǒng)中主表與明細表不能匹配等。 1 2 :12下一頁 一般情況，業(yè)務系統(tǒng)會記錄業(yè)務發(fā)生的時間，可以用作增量的標志，每次抽取之前首先判斷ODS中記錄最大的時間，然后根據(jù)這個時間去業(yè)務系統(tǒng)取大于這個時間的所有記錄。另外一種方法通過程序接口來完成?！　∨c存放DW的數(shù)據(jù)庫系統(tǒng)相同的數(shù)據(jù)源處理方法　　這一類數(shù)源在設計比較容易，一般情況下，DBMS(包括SQLServer，Oracle)都會提供數(shù)據(jù)庫鏈接功能，在DW數(shù)據(jù)庫服務器和原業(yè)務系統(tǒng)之間建立直接的鏈接關系就可以寫Select 語句直接訪問。前兩種方法各有優(yōu)缺點，借助工具可以快速的建立起ETL工程，屏蔽復雜的編碼任務，提高速度，降低難度，但是欠缺靈活性。數(shù)據(jù)的抽取是從各個不同的數(shù)據(jù)源抽取到ODS中(這個過程也可以做一些數(shù)據(jù)的清洗和轉(zhuǎn)換)，在抽取的過程中需要挑選不同的抽取方法，盡可能的提高ETL的運行效率。數(shù)據(jù)抽取、清洗與轉(zhuǎn)換 BI項目中ETL設計作者: 葉江, 　出處:ITPub,　責任編輯: 葉江,　 20070514 13:39　　ETL是將業(yè)務系統(tǒng)的數(shù)據(jù)經(jīng)過抽取、清洗轉(zhuǎn)換之后加載到數(shù)據(jù)倉庫的過程，目的是將企業(yè)中的分散、零亂、標準不統(tǒng)一的數(shù)據(jù)整合到一起