【正文】 據(jù)輸入錯誤、數(shù)據(jù)不完整等等，因此有必要對抽取出的數(shù)據(jù)進(jìn)行數(shù)據(jù)轉(zhuǎn)換和加工。select ID as USERID, substr(TITLE, 1, 20) as TITLE, case when REMARK is null then 39?！　?2)采用批量裝載方法，如bcp、bulk、關(guān)系數(shù)據(jù)庫特有的批量裝載工具或api。ODI和Oracle原來的ETL工具OWB相比有一些顯著的特點(diǎn)，比如和OWB一樣是ELT架構(gòu)，但是比OWB支持更多的異構(gòu)的數(shù)據(jù)源，ODI提供了call web service的機(jī)制，并且ODI的接口也可以暴露為web service，從而可以和SOA環(huán)境進(jìn)行交互。　　(2)SQL Server Integration Services(SSIS)　　SSIS是SQL Server 2005的新成員，在SQL Server的早期版本中，其實(shí)就已經(jīng)有了它的雛形，那時的名稱叫做數(shù)據(jù)轉(zhuǎn)換服務(wù)(DTS)。當(dāng)前任務(wù)的執(zhí)行結(jié)果決定沿哪條分支前進(jìn)。　　(2)對數(shù)據(jù)源的支持程度。如圖所示，星型架構(gòu)的中間為事實(shí)表，四周為維度表，類似星星。主題要體現(xiàn)出某一方面的各分析角度(維度)和統(tǒng)計(jì)數(shù)值型數(shù)據(jù)(量度)之間的關(guān)系，確定主題時要綜合考慮。它們一般為數(shù)值型數(shù)據(jù)?！　≡诓捎谩白钚×６仍瓌t”的同時，我們不必?fù)?dān)心海量數(shù)據(jù)所帶來的匯總分析效率問題，因?yàn)樵诤罄m(xù)建立多維分析模型(CUBE)的時候，我們會對數(shù)據(jù)提前進(jìn)行匯總，從而保障產(chǎn)生分析結(jié)果的效率?！　∧敲?，我們分析中所用到的這些維度，在數(shù)據(jù)倉庫中的存在形式是怎樣的呢? 　我們可以將3個級別設(shè)置成一張數(shù)據(jù)表中的3個字段，比如時間維度。這樣，我們在ETL的過程中，就要考慮到緩慢變化維度的處理。而在統(tǒng)計(jì)2006年數(shù)據(jù)時就應(yīng)該定位到B部門，然后再有新的數(shù)據(jù)插入時，將按照新部門(B部門)進(jìn)行處理，這樣我們的做法是將該維度成員列表加入標(biāo)識列，將歷史的數(shù)據(jù)標(biāo)識為“過期”，將目前的數(shù)據(jù)標(biāo)識為“當(dāng)前的”。注意在關(guān)聯(lián)時有為空的數(shù)據(jù)時(數(shù)據(jù)源臟)，需要使用外連接，連接后我們將各維度的代理鍵取出放于事實(shí)表中，事實(shí)表除了各維度代理鍵外，還有各量度數(shù)據(jù)，這將來自原始表，事實(shí)表中將存在維度代理鍵和各量度，而不應(yīng)該存在描述性信息，即符合“瘦高原則”，即要求事實(shí)表數(shù)據(jù)條數(shù)盡量多(粒度最小)，而描述性信息盡量少?！　TL是數(shù)據(jù)抽取(Extract)、轉(zhuǎn)換(Transform)、加載(Load )的簡寫，它是指：將OLTP系統(tǒng)中的數(shù)據(jù)抽取出來，并將不同數(shù)據(jù)源的數(shù)據(jù)進(jìn)行轉(zhuǎn)換和整合，得出一致性的數(shù)據(jù)，然后加載到數(shù)據(jù)倉庫中?！　±缥覀兛梢园凑仗鞂?shù)據(jù)抽取到準(zhǔn)備區(qū)中，基于數(shù)據(jù)準(zhǔn)備區(qū)，我們將進(jìn)行數(shù)據(jù)的轉(zhuǎn)換、整合、將不同數(shù)據(jù)源的數(shù)據(jù)進(jìn)行一致性處理?！　?四)、使用調(diào)度　　在對數(shù)據(jù)倉庫進(jìn)行增量更新時必須使用調(diào)度(圖九：)，即對事實(shí)數(shù)據(jù)表進(jìn)行增量更新處理。然而，每一步都有很深的內(nèi)容需要研究與挖掘，尤其在實(shí)際項(xiàng)目中，我們要綜合考慮。發(fā)表于 2009615 18:022使用道具 aaliuhl 劉星星 來自 廣州精華貼數(shù) 0個人空間 0技術(shù)積分 305 (8149)社區(qū)積分 3 (27932)注冊日期 2004717論壇徽章:4每一次調(diào)度除了寫入Log日志表的數(shù)據(jù)處理信息外，還要使用發(fā)送Email或報(bào)警服務(wù)等，這樣也方便的技術(shù)人員對ETL流程的把握，增強(qiáng)了安全性和數(shù)據(jù)處理的準(zhǔn)確性?！　?三)、日志表的運(yùn)用　　在對數(shù)據(jù)進(jìn)行處理時，難免會發(fā)生數(shù)據(jù)處理錯誤，產(chǎn)生出錯信息，那么我們?nèi)绾潍@得出錯信息并及時修正呢? 方法是我們使用一張或多張Log日志表，將出錯信息記錄下來，在日志表中我們將記錄每次抽取的條數(shù)、處理成功的條數(shù)、處理失敗的條數(shù)、處理失敗的數(shù)據(jù)、處理時間等等?！　∷?、項(xiàng)目實(shí)踐技巧　　(一)、準(zhǔn)備區(qū)的運(yùn)用　　在構(gòu)建數(shù)據(jù)倉庫時，如果數(shù)據(jù)源位于一臺服務(wù)器上，數(shù)據(jù)倉庫在另一臺服務(wù)器端，考慮到數(shù)據(jù)源Server端訪問頻繁，并且數(shù)據(jù)量大，需要不斷更新，所以可以建立準(zhǔn)備區(qū)數(shù)據(jù)庫(圖八：)。ETL抽取整合數(shù)據(jù)的好壞直接影響到最終的結(jié)果展現(xiàn)?！　≡诠镜拇罅繑?shù)據(jù)堆積如山時，我們想看看里面究竟是什么，結(jié)果發(fā)現(xiàn)里面是一筆筆生產(chǎn)記錄，一筆筆交易記錄… 那么這些記錄是我們將要建立的事實(shí)表的原始數(shù)據(jù)，即關(guān)于某一主題的事實(shí)記錄表。比如：某一員工2005年在A部門，2006年時他調(diào)到了B部門。　　在此，我們不妨談一談維度表隨時間變化的問題，這是我們經(jīng)常會遇到的情況，我們稱其為緩慢變化維度。如圖所示，我們在時間維度上，按照“年季度月”形成了一個層次，其中“年”、“季度”、“月”成為了這個層次的3個級別。那么，如果我們可以確認(rèn)，在將來的分析需求中，時間只需要精確到天就可以的話，我們就可以在ETL處理過程中，按天來匯總數(shù)據(jù)，此時，數(shù)據(jù)倉庫中量度的粒度就是“天”。數(shù)據(jù)集市體現(xiàn)了數(shù)據(jù)倉庫某一方面的信息，多個數(shù)據(jù)集市構(gòu)成了數(shù)據(jù)倉庫?！　《?gòu)建企業(yè)級數(shù)據(jù)倉庫五步法　　(一)、確定主題　　即確定數(shù)據(jù)分析或前端展現(xiàn)的主題。數(shù)據(jù)倉庫中的數(shù)據(jù)是細(xì)節(jié)的、集成的、面向主題的，以O(shè)LAP系統(tǒng)的分析需求為目的。可以將數(shù)據(jù)流的執(zhí)行認(rèn)為是一個流水線的過程，在該過程中，每一行數(shù)據(jù)都是裝配線中需要處理的零件，而每一個轉(zhuǎn)換都是裝配線中的處理單元。這些任務(wù)是按預(yù)定義的順序執(zhí)行的?！　　ｉ_源世界也有很多的ETL工具，功能各異，強(qiáng)弱不一。裝載數(shù)據(jù)的最佳方法取決于所執(zhí)行操作的類型以及需要裝入多少數(shù)據(jù)?！　?2)在數(shù)據(jù)庫中進(jìn)行數(shù)據(jù)加工　　關(guān)系數(shù)據(jù)庫本身已經(jīng)提供了強(qiáng)大的SQL、函數(shù)來支持?jǐn)?shù)據(jù)的加工，如在SQL查詢語句中添加where條件進(jìn)行過濾，查詢中重命名字段名與目的表進(jìn)行映射，substr函數(shù)，case條件判斷等等?！　TL處理的數(shù)據(jù)源除了關(guān)系數(shù)據(jù)庫外，還可能是文件，例如txt文件、excel文件、xml文件等。發(fā)布者首先需要識別捕獲變化數(shù)據(jù)所需的源表。CDC 特性是在Oracle9i數(shù)據(jù)庫中引入的。另外，無法捕獲對時間戳以前數(shù)據(jù)的delete和update操作,在數(shù)據(jù)準(zhǔn)確性上受到了一定的限制。性能，不能對業(yè)務(wù)系統(tǒng)造成太大的壓力，影響現(xiàn)有業(yè)務(wù)。從數(shù)據(jù)庫中抽取數(shù)據(jù)一般有以下幾種方式。(2)數(shù)據(jù)轉(zhuǎn)換：將從源數(shù)據(jù)源獲取的數(shù)據(jù)按照業(yè)務(wù)需求，轉(zhuǎn)換成目的數(shù)據(jù)源要求的形式，并對錯誤、不一致的數(shù)據(jù)進(jìn)行清洗和加工。企業(yè)應(yīng)用集成(EAI，Enterprise Application Integration)應(yīng)運(yùn)而生?！　TL日志分為三類?！　?shù)據(jù)轉(zhuǎn)換　　數(shù)據(jù)轉(zhuǎn)換的任務(wù)主要是進(jìn)行不一致的數(shù)據(jù)轉(zhuǎn)換、數(shù)據(jù)粒度的轉(zhuǎn)換和一些商務(wù)規(guī)則的計(jì)算。這一類數(shù)據(jù)也要分類，對于類似于全角字符、數(shù)據(jù)前后有不面見字符的問題只能寫SQL的方式找出來，然后要求客戶在業(yè)務(wù)系統(tǒng)修正之后抽取?！　?shù)據(jù)清洗　　數(shù)據(jù)清洗的任務(wù)是過濾那些不符合要求的數(shù)據(jù)，將過濾的結(jié)果交給業(yè)務(wù)主管部門，確認(rèn)是否過濾掉還是由業(yè)務(wù)單位修正之后再進(jìn)行抽取?！　τ谖募愋蛿?shù)據(jù)源(.txt,，xls)，可以培訓(xùn)業(yè)務(wù)人員利用數(shù)據(jù)庫工具將這些數(shù)據(jù)導(dǎo)入到指定的數(shù)據(jù)庫，然后從指定的數(shù)據(jù)庫抽取。SQL的方法優(yōu)點(diǎn)是靈活，提高ETL運(yùn)行效率，但是編碼復(fù)雜，對技術(shù)要求比較高。ETL也是一個長期的過程，只有不斷的發(fā)現(xiàn)問題并解決問題，才能使ETL運(yùn)行效率更高，為項(xiàng)目后期開發(fā)提供準(zhǔn)確的數(shù)據(jù)。一類是錯誤日志，當(dāng)某個模塊出錯的時候?qū)戝e誤日志，記錄每次出錯的時間、出錯的模塊以及出錯的信息等?！　?2)數(shù)據(jù)粒度的轉(zhuǎn)換：業(yè)務(wù)系統(tǒng)一般存儲非常明細(xì)的數(shù)據(jù)，而數(shù)據(jù)倉庫中數(shù)據(jù)是用來分析的，不需要非常明細(xì)的數(shù)據(jù)。這一類數(shù)據(jù)也要分類，