【正文】 載到任何數(shù)據(jù)源中。這些任務(wù)是按預(yù)定義的順序執(zhí)行的。數(shù)據(jù)流也稱為流水線，主要解決數(shù)據(jù)轉(zhuǎn)換的問題。可以將數(shù)據(jù)流的執(zhí)行認(rèn)為是一個(gè)流水線的過程，在該過程中，每一行數(shù)據(jù)都是裝配線中需要處理的零件，而每一個(gè)轉(zhuǎn)換都是裝配線中的處理單元?！　?4)數(shù)據(jù)轉(zhuǎn)換和加工的功能強(qiáng)不強(qiáng)。數(shù)據(jù)倉庫中的數(shù)據(jù)是細(xì)節(jié)的、集成的、面向主題的，以O(shè)LAP系統(tǒng)的分析需求為目的?！　腛LAP系統(tǒng)的分析需求和ETL的處理效率兩方面來考慮：星型結(jié)構(gòu)聚合快，分析效率高。　　二、構(gòu)建企業(yè)級數(shù)據(jù)倉庫五步法　　(一)、確定主題　　即確定數(shù)據(jù)分析或前端展現(xiàn)的主題。分析角度(維度)是星星的各個(gè)角。數(shù)據(jù)集市體現(xiàn)了數(shù)據(jù)倉庫某一方面的信息，多個(gè)數(shù)據(jù)集市構(gòu)成了數(shù)據(jù)倉庫?！　×慷仁且y(tǒng)計(jì)的指標(biāo)，必須事先選擇恰當(dāng)，基于不同的量度可以進(jìn)行復(fù)雜關(guān)鍵性能指標(biāo)(KPI)等的設(shè)計(jì)和計(jì)算。那么，如果我們可以確認(rèn)，在將來的分析需求中，時(shí)間只需要精確到天就可以的話，我們就可以在ETL處理過程中，按天來匯總數(shù)據(jù)，此時(shí)，數(shù)據(jù)倉庫中量度的粒度就是“天”?！　?四)、確定維度　　維度是指分析的各個(gè)角度。如圖所示，我們在時(shí)間維度上，按照“年季度月”形成了一個(gè)層次，其中“年”、“季度”、“月”成為了這個(gè)層次的3個(gè)級別。(圖五：) 　　另外，值得一提的是，我們在建立維度表時(shí)要充分使用代理鍵。　　在此，我們不妨談一談維度表隨時(shí)間變化的問題，這是我們經(jīng)常會(huì)遇到的情況，我們稱其為緩慢變化維度。這種情況下，我們使用UPDATE方法來修改維度表中的數(shù)據(jù)。比如：某一員工2005年在A部門，2006年時(shí)他調(diào)到了B部門?！　【徛兓S度第三種類型：　　新增數(shù)據(jù)維度成員改變了屬性。　　在公司的大量數(shù)據(jù)堆積如山時(shí)，我們想看看里面究竟是什么，結(jié)果發(fā)現(xiàn)里面是一筆筆生產(chǎn)記錄，一筆筆交易記錄… 那么這些記錄是我們將要建立的事實(shí)表的原始數(shù)據(jù)，即關(guān)于某一主題的事實(shí)記錄表。　　事實(shí)數(shù)據(jù)表是數(shù)據(jù)倉庫的核心，需要精心維護(hù)，在JOIN后將得到事實(shí)數(shù)據(jù)表，一般記錄條數(shù)都比較大，我們需要為其設(shè)置復(fù)合主鍵和索引，以實(shí)現(xiàn)數(shù)據(jù)的完整性和基于數(shù)據(jù)倉庫的查詢性能優(yōu)化。ETL抽取整合數(shù)據(jù)的好壞直接影響到最終的結(jié)果展現(xiàn)。(圖七：)　　那么，在這一轉(zhuǎn)換過程中，我們就完成了對數(shù)據(jù)格式的更正、對數(shù)據(jù)字段的合并、以及新增指標(biāo)的計(jì)算三項(xiàng)操作?！　∷摹㈨?xiàng)目實(shí)踐技巧　　(一)、準(zhǔn)備區(qū)的運(yùn)用　　在構(gòu)建數(shù)據(jù)倉庫時(shí)，如果數(shù)據(jù)源位于一臺(tái)服務(wù)器上，數(shù)據(jù)倉庫在另一臺(tái)服務(wù)器端，考慮到數(shù)據(jù)源Server端訪問頻繁，并且數(shù)據(jù)量大，需要不斷更新，所以可以建立準(zhǔn)備區(qū)數(shù)據(jù)庫(圖八：)?！　?二)、時(shí)間戳的運(yùn)用　　時(shí)間維度對于某一事實(shí)主題來說十分重要，因?yàn)椴煌臅r(shí)間有不同的統(tǒng)計(jì)數(shù)據(jù)信息，那么按照時(shí)間記錄的信息將發(fā)揮很重要的作用?！　?三)、日志表的運(yùn)用　　在對數(shù)據(jù)進(jìn)行處理時(shí)，難免會(huì)發(fā)生數(shù)據(jù)處理錯(cuò)誤，產(chǎn)生出錯(cuò)信息，那么我們?nèi)绾潍@得出錯(cuò)信息并及時(shí)修正呢? 方法是我們使用一張或多張Log日志表，將出錯(cuò)信息記錄下來，在日志表中我們將記錄每次抽取的條數(shù)、處理成功的條數(shù)、處理失敗的條數(shù)、處理失敗的數(shù)據(jù)、處理時(shí)間等等。比如希望按天進(jìn)行查看，那么我們最好按天進(jìn)行抽取，如果數(shù)據(jù)量不大，可以按照月或半年對數(shù)據(jù)進(jìn)行更新。每一次調(diào)度除了寫入Log日志表的數(shù)據(jù)處理信息外，還要使用發(fā)送Email或報(bào)警服務(wù)等，這樣也方便的技術(shù)人員對ETL流程的把握，增強(qiáng)了安全性和數(shù)據(jù)處理的準(zhǔn)確性?！　TL是OLTP系統(tǒng)和OLAP系統(tǒng)之間的橋梁，是數(shù)據(jù)從源系統(tǒng)流入數(shù)據(jù)倉庫的通道。 aaliuhl 劉星星 來自 廣州精華貼數(shù) 0個(gè)人空間 0技術(shù)積分 305 (8149)社區(qū)積分 3 (27932)注冊日期 2004717論壇徽章:42使用道具19 / 19。發(fā)表于 2009615 18:02ORACLE的ETL工具是什么?以前一直以為是BIEE.....今天才發(fā)現(xiàn)BIEE是類似COGNOS的報(bào)表工具......只看該作者 然而，每一步都有很深的內(nèi)容需要研究與挖掘，尤其在實(shí)際項(xiàng)目中，我們要綜合考慮。　　調(diào)度是數(shù)據(jù)倉庫的關(guān)鍵環(huán)節(jié)，要考慮縝密?！　?四)、使用調(diào)度　　在對數(shù)據(jù)倉庫進(jìn)行增量更新時(shí)必須使用調(diào)度(圖九：)，即對事實(shí)數(shù)據(jù)表進(jìn)行增量更新處理。在記錄數(shù)據(jù)庫和數(shù)據(jù)倉庫的操作時(shí)，我們也將使用時(shí)間戳標(biāo)識(shí)信息?！　±缥覀兛梢园凑仗鞂?shù)據(jù)抽取到準(zhǔn)備區(qū)中，基于數(shù)據(jù)準(zhǔn)備區(qū)，我們將進(jìn)行數(shù)據(jù)的轉(zhuǎn)換、整合、將不同數(shù)據(jù)源的數(shù)據(jù)進(jìn)行一致性處理。　　簡而言之，通過ETL，我們可以基于源系統(tǒng)中的數(shù)據(jù)來生成數(shù)據(jù)倉庫。　　ETL是數(shù)據(jù)抽取(Extract)、轉(zhuǎn)換(Transform)、加載(Load )的簡寫，它是指：將OLTP系統(tǒng)中的數(shù)據(jù)抽取出來，并將不同數(shù)據(jù)源的數(shù)據(jù)進(jìn)行轉(zhuǎn)換和整合，得出一致性的數(shù)據(jù)，然后加載到數(shù)據(jù)倉庫中?！　∪?、什么是ETL　　在數(shù)據(jù)倉庫的構(gòu)建中，ETL貫穿于項(xiàng)目始終，它是整個(gè)數(shù)據(jù)倉庫的生命線，包括了數(shù)據(jù)清洗、整合、轉(zhuǎn)換、加載等各個(gè)過程。注意在關(guān)聯(lián)時(shí)有為空的數(shù)據(jù)時(shí)(數(shù)據(jù)源臟)，需要使用外連接，連接后我們將各維度的代理鍵取出放于事實(shí)表中，事實(shí)表除了各維度代理鍵外，還有各量度數(shù)據(jù)，這將來自原始表，事實(shí)表中將存在維度代理鍵和各量度，而不應(yīng)該存在描述性信息，即符合“瘦高原則”，即要求事實(shí)表數(shù)據(jù)條數(shù)盡量多(粒度最小)，而描述性信息盡量少。那么，我們將使用存儲(chǔ)過程或程序生成新的維度屬性，在后續(xù)的數(shù)據(jù)中將基于新的屬性進(jìn)行查看。而在統(tǒng)計(jì)2006年數(shù)據(jù)時(shí)就應(yīng)該定位到B部門，然后再有新的數(shù)據(jù)插入時(shí)，將按照新部門(B部門)進(jìn)行處理，這樣我們的做法是將該維度成員列表加入標(biāo)識(shí)列，將歷史的數(shù)據(jù)標(biāo)識(shí)為“過期”，將目前的數(shù)據(jù)標(biāo)識(shí)為“當(dāng)前的”?！　【徛兓S度第二種類型：　　歷史數(shù)據(jù)保留，新增數(shù)據(jù)也要保留。這樣，我們在ETL的過程中，就要考慮到緩慢變化維度的處理。更重要的是，在聚合時(shí)，數(shù)值型字段的匹配和比較，JOIN效率高，便于聚合?！　∧敲?，我們分析中所用到的這些維度，在數(shù)據(jù)倉庫中的存在形式是怎樣的呢? 　我們可以將3個(gè)級別設(shè)置成一張數(shù)據(jù)表中的3個(gè)字段，比如時(shí)間維度?；诓煌木S度，我們可以看到各量度的匯總情況，也可以基于所有的維度進(jìn)行交叉分析。　　在采用“最小粒度原則”的同時(shí)，我們不必?fù)?dān)心海量數(shù)據(jù)所帶來的匯總分析效率問題，因?yàn)樵诤罄m(xù)建立多維分析模型(CUBE)的時(shí)候，我們會(huì)對數(shù)據(jù)提前進(jìn)行匯總，從而保障產(chǎn)生分析結(jié)果的效率?？紤]到量度的聚合程度不同，我們將采用“最小粒度原則”，即將量度的粒度設(shè)置到最小。它們一般為數(shù)值型數(shù)據(jù)。那么，“某年某月某一地區(qū)的啤酒銷售情況”這樣一個(gè)主題，就要求我們通過時(shí)間和地區(qū)兩個(gè)維度的組合，來考察銷售情況這個(gè)量度。主題要體現(xiàn)出某一方面的各分析角度(維度)和統(tǒng)計(jì)數(shù)值型數(shù)據(jù)(量度)之間的關(guān)系，確定主題時(shí)要綜合考慮。因此，在實(shí)際項(xiàng)目中，我們將綜合運(yùn)用星型架構(gòu)與雪花型架構(gòu)來設(shè)計(jì)數(shù)據(jù)倉庫。如圖所示，星型架構(gòu)的中間為事實(shí)表，四周為維度表，類似星星。　　(6)是否具有良好的集成性和開放性?！　?2)對數(shù)據(jù)源的支持程度。數(shù)據(jù)流的起點(diǎn)通常是數(shù)據(jù)源(源表)。當(dāng)前任務(wù)的執(zhí)行結(jié)果決定沿哪條分支前進(jìn)。SSIS提供了數(shù)據(jù)相關(guān)的控制流、數(shù)據(jù)流、日志、變量、event、連接管理等基礎(chǔ)設(shè)施。　　(2)SQL Server Integration Services(SSIS)　　SSIS是SQL Server 2005的新成員，在SQL Server的早期版本中，其實(shí)就已經(jīng)有了它的雛形，那時(shí)的名稱叫做數(shù)據(jù)轉(zhuǎn)換服務(wù)(DTS)?！　?、版本