【文章內(nèi)容簡介】 技術(shù)。2. 數(shù)據(jù)導(dǎo)入導(dǎo)出數(shù)據(jù)導(dǎo)入導(dǎo)出是利用EXP/IMP等技術(shù)實現(xiàn)的一種初始抽取加載方法。它相比于物化視圖完全刷新唯一的好處就是可以一次性導(dǎo)出和加載整個庫。但是在我們的業(yè)務(wù)場景中，這個優(yōu)點不太能用到。因為不論是從生產(chǎn)系統(tǒng)數(shù)據(jù)層到集結(jié)區(qū)，還是從集結(jié)區(qū)到數(shù)據(jù)倉庫這兩個初始抽取加載過程，我們的目標表相比于源表都會在數(shù)據(jù)結(jié)構(gòu)上有一定的變化，而數(shù)據(jù)導(dǎo)入導(dǎo)出很難處理這種變化。3. 批量數(shù)據(jù)加載批量數(shù)據(jù)加載適用于源系統(tǒng)和目標系統(tǒng)不能互聯(lián)，或者雖然能互聯(lián)但因為各種原因（比如網(wǎng)絡(luò)有問題，訪問源系統(tǒng)很慢），不適宜使用物化視圖進行完全刷新，只能通過批量加載外部文件的方式來實現(xiàn)數(shù)據(jù)初始抽取加載。當然，在源系統(tǒng)和目標系統(tǒng)能互聯(lián)的情況下也可以使用批量數(shù)據(jù)加載。這時用一個簡單的CTAS或者INSERT /* +APPEND*/ SELECT就能實現(xiàn)數(shù)據(jù)的初始化。相比于物化視圖完全刷新，這種方式能減少數(shù)據(jù)庫中的對象。但是，這個優(yōu)點不是質(zhì)的，在源系統(tǒng)和目標系統(tǒng)能互聯(lián)的情況下，在項目中選用上述兩個技術(shù)中的哪個技術(shù)可以根據(jù)實際情況權(quán)宜進行。 實施步驟根據(jù)實現(xiàn)技術(shù)小節(jié)的描述，結(jié)合總體抽取思路，對于應(yīng)用架構(gòu)中的從生產(chǎn)系統(tǒng)數(shù)據(jù)層到集結(jié)區(qū)的初始抽取加載（數(shù)據(jù)流轉(zhuǎn)1）、從集結(jié)區(qū)到數(shù)據(jù)倉庫的初始抽取加載（數(shù)據(jù)流轉(zhuǎn)2）和從生產(chǎn)系統(tǒng)數(shù)據(jù)層到數(shù)據(jù)倉庫的初始抽取加載（數(shù)據(jù)流轉(zhuǎn)5）這三個初始抽取加載過程，可以確定如下的實施步驟。 從生產(chǎn)系統(tǒng)數(shù)據(jù)層到集結(jié)區(qū)的初始抽取加載首先，根據(jù)總體抽取思路的描述，這里采用分步初始化的方式，即先初始化項目當前階段需要的表。其次，在技術(shù)選擇上，由于生產(chǎn)系統(tǒng)數(shù)據(jù)層中的數(shù)據(jù)存儲方式比較多樣，可能存儲在數(shù)據(jù)庫中，其數(shù)據(jù)庫管理系統(tǒng)可能是Oracle、SQL SERVER或者SYBASE，也有可能存儲在平面文件中。而集結(jié)區(qū)使用的數(shù)據(jù)庫管理系統(tǒng)肯定是Oracle。那么，這時就需要分成三種場景進行處理。1. 生產(chǎn)系統(tǒng)的數(shù)據(jù)存儲在Oracle數(shù)據(jù)庫中這種場景最簡單，通過創(chuàng)建連接到生產(chǎn)系統(tǒng)數(shù)據(jù)庫的dblink，然后使用物化視圖完全刷新或者批量數(shù)據(jù)加載的CTAS和INSERT /* +APPEND*/ SELECT，就可以把數(shù)據(jù)初始化到集結(jié)區(qū)中。這里需要注意一個問題，由于創(chuàng)建了dblink，在很多項目中就沒有把生產(chǎn)系統(tǒng)中的表真正的抽取到集結(jié)區(qū)中，而是在需要時，使用dblink直接連接到生產(chǎn)系統(tǒng)中進行取數(shù)。這樣的方式違背了構(gòu)建集結(jié)區(qū)的本意，增加了生產(chǎn)系統(tǒng)的性能壓力，不可取。2. 生產(chǎn)系統(tǒng)的數(shù)據(jù)存儲在非Oracle數(shù)據(jù)庫中對于這種場景，需要先安裝連接到相應(yīng)數(shù)據(jù)庫管理系統(tǒng)的透明網(wǎng)關(guān)，然后再按照第1點的描述進行處理。3. 生產(chǎn)系統(tǒng)的數(shù)據(jù)存儲在文件中對于這種場景，如果是平面文件，可以使用批量數(shù)據(jù)加載外部文件的方式來執(zhí)行初始抽取加載操作（詳見平面文件數(shù)據(jù)加載）。如果是其它類型的文件，最簡單的方式只能是借助于各種數(shù)據(jù)抽取工具了，這里不再描述。 從集結(jié)區(qū)到數(shù)據(jù)倉庫的初始抽取加載由于集結(jié)區(qū)和數(shù)據(jù)倉庫都是我們可以控制的子系統(tǒng)，可以明確這兩個子系統(tǒng)都使用Oracle數(shù)據(jù)庫管理系統(tǒng)。那么，從方便操作和管理的角度出發(fā)，可以采用物化視圖完全刷新或者批量數(shù)據(jù)加載的CTAS和INSERT /* +APPEND*/ SELECT方式來實現(xiàn)這個過程。 從生產(chǎn)系統(tǒng)數(shù)據(jù)層到數(shù)據(jù)倉庫的數(shù)據(jù)初始抽取加載這個數(shù)據(jù)流轉(zhuǎn)過程實際上就是總體抽取思路里描述的針對數(shù)據(jù)結(jié)構(gòu)簡單的維度表的抽取，可以通過物化視圖完全刷新的方式來實現(xiàn)。6 增量抽取加載增量抽取加載包括增量捕獲和增量處理兩個步驟的工作。增量捕獲是利用一定的技術(shù)手段，通過對源表的跟蹤，捕獲源表的增加、刪除和修改等數(shù)據(jù)變化。增量處理則是根據(jù)一定處理規(guī)則，對捕獲到的增量數(shù)據(jù)進行相應(yīng)的處理。通常情況下，這兩個步驟中間有一個涇渭分明的界線，具體就是在捕獲到增量信息后，必須由其它東西來觸發(fā)增量處理過程。但是，在有些時候，它們又是一個連續(xù)和自動處理的過程。比如在同一個數(shù)據(jù)庫中使用物化視圖增量刷新或利用復(fù)制工具來處理增量抽取加載就屬于這種情況。 實現(xiàn)技術(shù)在實現(xiàn)增量抽取加載的技術(shù)手段（主要是指增量捕獲）上，可以通過全表比對、時間戳、觸發(fā)器、物化視圖增量刷新、分析數(shù)據(jù)庫日志和利用數(shù)據(jù)復(fù)制工具等方式來實現(xiàn)。1. 全表比對全表比對方式通過對源表中的每條記錄分別到目標表中進行比對，判斷兩者是否一致。對于像CTAIS中的申報信息表、征收信息表和增值稅申報附表1這些數(shù)據(jù)量動輒千萬條以上的表來說根本就是不可行的。另一方面，在我們的數(shù)據(jù)抽取過程中，目標表的表結(jié)構(gòu)往往與源表的表結(jié)構(gòu)不一致。并且目標表某些字段的值需要由源表的一個或多個字段的值經(jīng)過運算才能得到。那么這時候利用全表比對方式來實現(xiàn)增量更新也會非常復(fù)雜。2. 時間戳?xí)r間戳方式通過在源表中增加一個用于記錄數(shù)據(jù)上次變化時間的字段來實現(xiàn)增量捕獲功能。它一方面要求源表中含有時間字段，另一方面要求數(shù)據(jù)變化和增量抽取后去更新源表的這個字段。從數(shù)據(jù)庫管理（要求源表上有時間字段）、訪問權(quán)限及安全（更新源表）和對源系統(tǒng)的性能影響（更新源表會給源系統(tǒng)帶來壓力）等多種因素分析，在數(shù)據(jù)抽取中大范圍的用時間戳方式來實現(xiàn)增量捕獲也是不可行的。3. 觸發(fā)器觸發(fā)器方式要求在源表上創(chuàng)建增加、刪除和修改類型的觸發(fā)器，并在觸發(fā)器中編寫相應(yīng)的業(yè)務(wù)邏輯。與用時間戳方式實現(xiàn)增量抽取不可行一樣的理由，用觸發(fā)器來實現(xiàn)數(shù)據(jù)增量捕獲也是不可行的。4. 物化視圖增量刷新用物化視圖增量刷新方式實現(xiàn)增量抽取加載要求在源庫上創(chuàng)建基于源表的物化視圖日志，會對源系統(tǒng)也會有一定的性能影響。但是，由于現(xiàn)在包括CTAIS在內(nèi)的很多生產(chǎn)系統(tǒng)數(shù)據(jù)庫都是通過物化視圖增量刷新來實現(xiàn)增量抽取的，在這些數(shù)據(jù)庫上已經(jīng)創(chuàng)建了物化視圖日志。所以，采用物化視圖增量刷新還算是一個簡便、易用的方案。，還有另一層含義。就是利用物化視圖日志，根據(jù)業(yè)務(wù)規(guī)則，通過編寫存儲過程去應(yīng)用這些增量變化信息。也就是說，物化視圖增量刷新有下面兩層意思：(1). ；(2). ，而是利用物化視圖日志，通過存儲過程實現(xiàn)業(yè)務(wù)規(guī)則來應(yīng)用增量信息；5. 分析數(shù)據(jù)庫日志分析數(shù)據(jù)庫日志方式是通過分析源庫產(chǎn)生的數(shù)據(jù)庫日志，從而獲取增量信息，并通過編程把這些增量信息應(yīng)用到目標庫中。相比于以上幾種方式，分析數(shù)據(jù)庫日志來實現(xiàn)增量抽取加載對源庫的影響是最小的，但這種方式對技術(shù)要求非常高。并且由于很多數(shù)據(jù)庫日志的規(guī)范是不公開的，直接分析這些數(shù)據(jù)庫的日志也存在一定的風(fēng)險。6. 利用數(shù)據(jù)復(fù)制工具數(shù)據(jù)復(fù)制工具根據(jù)其底層技術(shù)實現(xiàn)原理可以分為兩類：一類實際上就是對觸發(fā)器的封裝；另一類實際上就是對數(shù)據(jù)庫日志分析的封裝。常見的數(shù)據(jù)復(fù)制工具包括DataGuard（容災(zāi)工具）、Streams、GoldenGate或RealSync等，大部分優(yōu)秀的數(shù)據(jù)復(fù)制工具需要付費。關(guān)于數(shù)據(jù)復(fù)制的更多內(nèi)容詳見根據(jù)以上描述，結(jié)合我們的實際情況，可行的增量抽取加載技術(shù)主要就是物化視圖增量刷新和利用數(shù)據(jù)復(fù)制工具兩種。下面對它們的優(yōu)缺點進行說明。用數(shù)據(jù)復(fù)制工具比用物化視圖增量刷新實現(xiàn)增量抽取加載有以下幾個優(yōu)點：1. 對源庫的性能影響較小由于大部分數(shù)據(jù)復(fù)制工具實際上就是通過分析數(shù)據(jù)庫日志來實現(xiàn)增量抽取加載功能，所以對源庫的性能影響是非常小的。2. 配置靈活數(shù)據(jù)復(fù)制工具可以實現(xiàn)模式、表空間和表等不同粒度的配置，而物化視圖增量刷新方式只支持表這個粒度。3. 減少管理負擔數(shù)據(jù)復(fù)制工具可以自動捕獲源庫的變化，并把這些變化快速的應(yīng)用到目標庫中，這個過程無需外部觸發(fā)，完全自動。而用物化視圖增量刷新方式在跨庫的情況下必須通過Job或者ETL工具來觸發(fā)，那么就需要考慮增量刷新的觸發(fā)時機和配置相應(yīng)的增量刷新流程。用數(shù)據(jù)復(fù)制工具比用物化視圖增量刷新實現(xiàn)增量抽取加載有以下幾個缺點或者功能上的欠缺：1. 在對數(shù)據(jù)加工方面不夠靈活由于物化視圖實際上就是一段返回結(jié)果集的SQL，那么在物化視圖中可以通過一段SELECT代碼來實現(xiàn)多表關(guān)聯(lián)和條件過濾等數(shù)據(jù)加工過程。而用數(shù)據(jù)復(fù)制工具來做的話則需要比較復(fù)雜的配置，甚至不能配置出來。2. 缺乏對業(yè)務(wù)規(guī)則處理的支持在很多情況下，當捕獲到源表的增量信息后，不一定是直接把數(shù)據(jù)增量刷新到目標表中，而需要按照一定的業(yè)務(wù)規(guī)則來進行相應(yīng)的處理。對于這些業(yè)務(wù)場景，如果使用物化視圖增量刷新的話，由于記錄了物化視圖日志。那么，我們可以通過編寫存儲過程，從物化視圖日志中獲取增量信息。然后根據(jù)業(yè)務(wù)規(guī)則進行后續(xù)的操作。最后再通過Job或者特定的ETL工具來周期性的調(diào)用存儲過程。而利用數(shù)據(jù)復(fù)制工具則做不到這些。3. 配置問題利用數(shù)據(jù)復(fù)制工具需要在源庫上做一些配置，而像Streams這些工具的配置還比較復(fù)雜。對此，一些生產(chǎn)系統(tǒng)的管理員可能會拒絕使用數(shù)據(jù)復(fù)制工具。而由于現(xiàn)在很多生產(chǎn)系統(tǒng)的數(shù)據(jù)庫上已經(jīng)創(chuàng)建了物化視圖日志，所以用物化視圖增量刷新的方式，他們可能會比較樂于接受。綜上，用數(shù)據(jù)復(fù)制工具適合數(shù)據(jù)結(jié)構(gòu)不存在變化或變化很小的場合使用，對于數(shù)據(jù)結(jié)構(gòu)變化較大或者需要應(yīng)用業(yè)務(wù)規(guī)則的場合就不太適用。 實施步驟根據(jù)實現(xiàn)技術(shù)小節(jié)的描述，結(jié)合總體抽取思路，對于應(yīng)用架構(gòu)中的從生產(chǎn)系統(tǒng)數(shù)據(jù)層到集結(jié)區(qū)的增量抽取加載（數(shù)據(jù)流