【正文】 或失敗事件中，故障切換管理組件將系統(tǒng)資源重路由到穩(wěn)定配置的備份系統(tǒng)中，直到主系統(tǒng)被恢復(fù)或替代。２６ / 47 性能和容量規(guī)劃性能和容量規(guī)劃組件代表了從環(huán)境中的不同系統(tǒng)元素收集利用數(shù)據(jù)，并規(guī)劃硬件和軟件能力需求的工具。數(shù)據(jù)通過(guò)放置在環(huán)境中系統(tǒng)元素一端的代理進(jìn)行的收集，并由容量規(guī)劃組件進(jìn)行分析，包括磁盤(pán)容量、內(nèi)存使用、處理器使用、數(shù)據(jù)庫(kù)、和網(wǎng)絡(luò)等。性能容量規(guī)劃包括如下組件：? 信息收集：收集性能容量相關(guān)的重要分析數(shù)據(jù)；? 性能管理：對(duì)系統(tǒng)系統(tǒng)性能進(jìn)行監(jiān)控、管理、分析和調(diào)優(yōu)；? 性能容量規(guī)劃：基于歷史趨勢(shì)和未來(lái)性能容量需求進(jìn)行規(guī)劃；性能容量規(guī)劃的主要任務(wù)及工具支持如下圖所示： 運(yùn)維安全管理安全管理組件通過(guò)制定和管理安全策略，并利用安全工具，維護(hù)信息系統(tǒng)資產(chǎn)（包括硬件、軟件、固件、用戶(hù)數(shù)據(jù)、信息/數(shù)據(jù)）的機(jī)密性、一致性和可用性。２７ / 47安全管理是貫穿 EDW 總體架構(gòu)的。例如，在運(yùn)維架構(gòu)中可能需要使用安全控制工具對(duì)系統(tǒng)管理工具的訪問(wèn)進(jìn)行管理，在開(kāi)發(fā)架構(gòu)中則可能使用安全控制工具對(duì)代碼存儲(chǔ)的訪問(wèn)進(jìn)行管理。為防止安全內(nèi)容的重復(fù)，所有安全組件都應(yīng)統(tǒng)一被考慮，它是跨開(kāi)發(fā)、執(zhí)行、運(yùn)維架構(gòu)的。 EDW 數(shù)據(jù)架構(gòu) 數(shù)據(jù)架構(gòu)設(shè)計(jì)原則? 統(tǒng)一規(guī)范對(duì)各源系統(tǒng)數(shù)據(jù)按主題進(jìn)行統(tǒng)一整合；分行特色也按統(tǒng)一規(guī)范進(jìn)行補(bǔ)充建設(shè)。? 靈活性原則數(shù)據(jù)模型要為數(shù)據(jù)應(yīng)用提供有效的信息支持，這些信息需求會(huì)隨著銀行需求的變化而不斷增加，進(jìn)而會(huì)引起需求的不可預(yù)料性。特別是加工匯總層的數(shù)據(jù)架構(gòu)必須符合“匯總指標(biāo)可靈活增加”的技術(shù)要求，不會(huì)隨著指標(biāo)的增加而變更數(shù)據(jù)模型。? 可擴(kuò)展性原則隨著源系統(tǒng)和數(shù)據(jù)集市應(yīng)用系統(tǒng)的不斷增加，數(shù)據(jù)模型應(yīng)提供一個(gè)規(guī)范化的設(shè)計(jì)思路，以便業(yè)務(wù)系統(tǒng)的擴(kuò)展。２８ / 47? 高效原則數(shù)據(jù)模型面臨海量數(shù)據(jù)的加工和存儲(chǔ)，隨著時(shí)間的推移，數(shù)據(jù)將不斷累積，因此效率問(wèn)題是直接影響系統(tǒng)可用性的關(guān)鍵因素。數(shù)據(jù)模型的效率包括 ETL 的加工效率和數(shù)據(jù)展現(xiàn)的查詢(xún)效率，因此數(shù)據(jù)模型的數(shù)據(jù)組織和存儲(chǔ)，必須是高效可用的。? 實(shí)用性原則處理大量的源系統(tǒng)數(shù)據(jù)，將會(huì)占用大量的系統(tǒng)資源，因此必須仔細(xì)分析數(shù)據(jù)的實(shí)用性、指標(biāo)的使用頻率，以業(yè)務(wù)需求驅(qū)動(dòng)為原則，對(duì)業(yè)務(wù)提出的基礎(chǔ)數(shù)據(jù)和指標(biāo)需求進(jìn)行優(yōu)先級(jí)劃分，正確制定指標(biāo)的匯總粒度。加工匯總層要重點(diǎn)解決共性指標(biāo)的加工。? 存儲(chǔ)空間合理性原則數(shù)據(jù)模型需要處理海量數(shù)據(jù)。隨時(shí)間的增加，存儲(chǔ)數(shù)據(jù)越來(lái)越多。因此在設(shè)計(jì)時(shí)必須考慮如何合理組織數(shù)據(jù)，以減小數(shù)據(jù)冗余。２９ / 47 數(shù)據(jù)架構(gòu)分層設(shè)計(jì)數(shù)據(jù)庫(kù)統(tǒng)一存儲(chǔ)管理所轄數(shù)據(jù)，由于數(shù)據(jù)類(lèi)型比較多，數(shù)據(jù)庫(kù)表也比較多，如何有效的組織管理好全行多種業(yè)務(wù)的數(shù)據(jù)和信息，對(duì)下一步清晰的信息應(yīng)用、方便地使用數(shù)據(jù)是很關(guān)鍵的。因此數(shù)據(jù)和信息不能隨意堆積存放到數(shù)據(jù)庫(kù)中，需要對(duì)全行的數(shù)據(jù)和信息進(jìn)行分層、分類(lèi)存放，并制定相應(yīng)的數(shù)據(jù)分層、分類(lèi)的規(guī)范，EDW 系統(tǒng)上所有數(shù)據(jù)和應(yīng)用的建設(shè)都應(yīng)遵從統(tǒng)一的數(shù)據(jù)管理規(guī)范。存放到 EDW 數(shù)據(jù)庫(kù)中的數(shù)據(jù)有以下幾類(lèi)：從原業(yè)務(wù)系統(tǒng)直接采集過(guò)來(lái)的經(jīng)標(biāo)準(zhǔn)化處理的標(biāo)準(zhǔn)數(shù)據(jù)，由標(biāo)準(zhǔn)數(shù)據(jù)按主題整合形成的基礎(chǔ)業(yè)務(wù)數(shù)據(jù)；經(jīng)過(guò)中間加工匯總形成的匯總數(shù)據(jù)；管理應(yīng)用所專(zhuān)用的操作型數(shù)據(jù)；為滿(mǎn)足應(yīng)用分析需要而加工形成的多維分析數(shù)據(jù)。為了更好的管理這些數(shù)據(jù)，EDW 數(shù)據(jù)按層次進(jìn)行劃分存放及管理，從邏輯模型上劃分為以下幾個(gè)數(shù)據(jù)層次：３０ / 47? 源數(shù)據(jù)緩沖層：數(shù)據(jù)層與業(yè)務(wù)源的數(shù)據(jù)結(jié)構(gòu)一一對(duì)應(yīng)，是數(shù)據(jù)存儲(chǔ)的臨時(shí)存儲(chǔ)區(qū)域，數(shù)據(jù)在其中只作暫時(shí)性保存，當(dāng)新的數(shù)據(jù)到達(dá)緩儲(chǔ)區(qū)時(shí)，現(xiàn)有數(shù)據(jù)被刪除或覆蓋。? 標(biāo)準(zhǔn)化數(shù)據(jù)層：對(duì)數(shù)據(jù)做標(biāo)準(zhǔn)化處理，主要有公共代碼標(biāo)準(zhǔn)化、數(shù)據(jù)類(lèi)型標(biāo)準(zhǔn)化和數(shù)據(jù)格式標(biāo)準(zhǔn)化，未來(lái)可以做客戶(hù)信息標(biāo)準(zhǔn)化。? 標(biāo)準(zhǔn)化全量層? 基礎(chǔ)數(shù)據(jù)層數(shù)據(jù)模型基礎(chǔ)數(shù)據(jù)模型用于整合、存儲(chǔ)全行各業(yè)務(wù)系統(tǒng)的基礎(chǔ)業(yè)務(wù)數(shù)據(jù)。原則上該區(qū)域的數(shù)據(jù)不作復(fù)雜加工，直接存儲(chǔ)業(yè)務(wù)系統(tǒng)中原始數(shù)據(jù)記錄的關(guān)鍵數(shù)據(jù)（主數(shù)據(jù)） ，盡量保持貼近源系統(tǒng)的數(shù)據(jù)結(jié)構(gòu)。為應(yīng)用方便、查詢(xún)高效考慮，可以對(duì)源系統(tǒng)進(jìn)行適當(dāng)?shù)恼?、拆分，也可以裁減掉源系統(tǒng)中沒(méi)有必要整合的數(shù)據(jù)。同時(shí)需要對(duì)各系統(tǒng)冗余及標(biāo)準(zhǔn)不一致的數(shù)據(jù)進(jìn)行規(guī)范和整合。在基礎(chǔ)據(jù)模型中按照八大主題對(duì)銀行全行數(shù)據(jù)進(jìn)行整合、分類(lèi)組織和存儲(chǔ)，這八大主題包括總帳(GL)、客戶(hù)(CI)、存款(DEP)、貸款(LN)、銀行卡(CRD)、中間業(yè)務(wù)(NIN)、渠道(CHN)、公用(CM)；每個(gè)主題下設(shè)計(jì)相應(yīng)的數(shù)據(jù)模型，最后構(gòu)成全行統(tǒng)一的基礎(chǔ)數(shù)據(jù)模型。EDW 對(duì)各源系統(tǒng)機(jī)構(gòu)編碼進(jìn)行統(tǒng)一，提供統(tǒng)一的基線機(jī)構(gòu)。EDW 對(duì)源系統(tǒng)客戶(hù)號(hào)進(jìn)行統(tǒng)一，提供統(tǒng)一的客戶(hù)號(hào)（ECIF 客戶(hù)編號(hào)） 。? 加工匯總數(shù)據(jù)層數(shù)據(jù)模型；加工匯總數(shù)據(jù)層的主題劃分為八大主題：總帳(GL)、客戶(hù)(CI)、存款(DEP)、貸款(LN)、銀行卡(CRD)、中間業(yè)務(wù)(NIN)、渠道(CHN)、公用(CM)。加工匯總數(shù)據(jù)層下的匯總需求由“應(yīng)用需要”來(lái)確定。多個(gè)應(yīng)用相同的匯總要求，或者多個(gè)應(yīng)用在匯總計(jì)算的基礎(chǔ)部分有重復(fù)匯總的部分可以納入該區(qū)域進(jìn)行匯總，形成應(yīng)用共享的中間匯總結(jié)果，如按客戶(hù)、機(jī)構(gòu)、產(chǎn)品、渠道等主題的一些公共匯總數(shù)據(jù)（包括每天或每個(gè)階段的業(yè)務(wù)量、業(yè)務(wù)額、平均額等數(shù)據(jù)的匯總） 。加工匯總數(shù)據(jù)層的數(shù)據(jù)模型設(shè)計(jì)在有相應(yīng)的匯總需求情況下才針對(duì)匯總需求進(jìn)行數(shù)據(jù)表和數(shù)據(jù)匯總?cè)蝿?wù)的擴(kuò)展設(shè)計(jì)，逐步積累公共匯總指標(biāo)，最后形成全行可共享的面向各個(gè)主題的中間匯３１ / 47總指標(biāo)。加工匯總數(shù)據(jù)層分為兩種不同數(shù)據(jù)形態(tài)：1）匯總指標(biāo)－如平均余額等2）根據(jù)業(yè)務(wù)要求形成的分析加工數(shù)據(jù)－如理財(cái)卡帳務(wù)數(shù)據(jù)、客戶(hù)大額存取款等? 集市數(shù)據(jù)層數(shù)據(jù)模型集市數(shù)據(jù)層用于建立面向各個(gè)應(yīng)用主題的數(shù)據(jù)集市，不同的主題應(yīng)用在集市數(shù)據(jù)區(qū)下建立不同的數(shù)據(jù)集市，數(shù)據(jù)集市的數(shù)據(jù)模型根據(jù)應(yīng)用模型的需要進(jìn)行設(shè)計(jì)。數(shù)據(jù)集市中可存在操作型數(shù)據(jù)、匯總型數(shù)據(jù)和多維分析數(shù)據(jù)，根據(jù)應(yīng)用的需要分別進(jìn)行建立。 EDW 應(yīng)用架構(gòu) 應(yīng)用架構(gòu)設(shè)計(jì)原則EDW 系統(tǒng)的應(yīng)用架構(gòu)應(yīng)考慮開(kāi)放性、完整性、合理性。開(kāi)放性：EDW 系統(tǒng)的應(yīng)用架構(gòu)設(shè)計(jì)必須考慮平臺(tái)、系統(tǒng)、功能的開(kāi)放性，與XX 銀行的科技規(guī)劃相適應(yīng)，能夠與周邊各系統(tǒng)進(jìn)行良好的信息傳遞。３２ / 47完整性：EDW 系統(tǒng)的應(yīng)用架構(gòu)設(shè)計(jì)應(yīng)具備完整性，涵蓋目前的應(yīng)用需求，并以框架形式界定 EDW 項(xiàng)目的應(yīng)用需求范圍。EDW 系統(tǒng)的應(yīng)用架構(gòu)應(yīng)該能夠作為需求檢查列表，檢驗(yàn)當(dāng)前用戶(hù)需求是否被涵蓋，而不會(huì)發(fā)生遺漏。合理性：應(yīng)用架構(gòu)的設(shè)計(jì)應(yīng)是對(duì)用戶(hù)需求的全面反映。應(yīng)用架構(gòu)應(yīng)采用先進(jìn)的理念和技術(shù)，并結(jié)合 XX 銀行科技規(guī)劃與現(xiàn)有的技術(shù)平臺(tái)。 數(shù)據(jù)服務(wù)EDW 將提供全行各個(gè)系統(tǒng)的批量數(shù)據(jù)服務(wù)，如應(yīng)用架構(gòu)圖所示 EDW 即可以為核心系統(tǒng)、財(cái)務(wù)系統(tǒng)、個(gè)貸系統(tǒng)、信貸系統(tǒng)等業(yè)務(wù)系統(tǒng)提供數(shù)據(jù)，也可以為資產(chǎn)負(fù)債系統(tǒng)、內(nèi)部評(píng)級(jí)系統(tǒng)、戰(zhàn)略客戶(hù)管理信息系統(tǒng)等管理內(nèi)的系統(tǒng)提供數(shù)據(jù)服務(wù)；同時(shí)也可以為未來(lái)實(shí)現(xiàn)的 EDW 系統(tǒng)提供數(shù)據(jù)，從而實(shí)現(xiàn)全行范圍內(nèi)系統(tǒng)間的批量數(shù)據(jù)采集、加工和發(fā)布，原則上各系統(tǒng)不能再建設(shè)其他渠道實(shí)現(xiàn)批量數(shù)據(jù)采集、加工、發(fā)布。EDW 數(shù)據(jù)采集、加工、發(fā)布的范圍包括：? 總行各應(yīng)用系統(tǒng)之間? 總行與分行應(yīng)用系統(tǒng)之間? 同一分行應(yīng)用系統(tǒng)間? 不同分行應(yīng)用系統(tǒng)間? 分布部署的同一應(yīng)用系統(tǒng)間EDW 數(shù)據(jù)服務(wù)具備的能力有：? EDW 快速提供批量數(shù)據(jù)，可以滿(mǎn)足應(yīng)用系統(tǒng)準(zhǔn)實(shí)時(shí)的數(shù)據(jù)要求。? EDW 能夠提供的數(shù)據(jù)會(huì)覆蓋全行所有系統(tǒng)，可以滿(mǎn)足全行所有的數(shù)據(jù)加工對(duì)數(shù)據(jù)的需求。? EDW 模型化各系統(tǒng)數(shù)據(jù)，可以滿(mǎn)足各應(yīng)用系統(tǒng)對(duì)全量數(shù)據(jù)、增量數(shù)據(jù)的需求，減少對(duì)重要交易系統(tǒng)的干擾。? EDW 能夠根據(jù)應(yīng)用系統(tǒng)的需要，對(duì)源系統(tǒng)數(shù)據(jù)進(jìn)行必要的加工處理，按照全行數(shù)據(jù)架構(gòu)原則，合理地在數(shù)據(jù)線上分配數(shù)據(jù)加工功能，保證數(shù)據(jù)處理的高效、準(zhǔn)確。３３ / 47 應(yīng)用服務(wù)基于數(shù)據(jù)分析功能和交易功能分離原則，為保證交易系統(tǒng)運(yùn)行效率和數(shù)據(jù)分析功能日益增加的需求，新系統(tǒng)設(shè)計(jì)時(shí)，應(yīng)該將數(shù)據(jù)分析功能和交易功能分離到不同系統(tǒng)中，或者至少為將來(lái)分離做好技術(shù)準(zhǔn)備。在這個(gè)原則下，EDW 可以對(duì)外提供應(yīng)用服務(wù)，如：駕駛艙報(bào)表系統(tǒng)中的報(bào)表功能；某些時(shí)效性要求較高的即時(shí) OLAP 分析；經(jīng)營(yíng)關(guān)鍵指標(biāo) KPI 展示等。３４ / 47第二章 ETL 體系建設(shè) ETL 架構(gòu)概述在商業(yè)銀行的 EDW 系統(tǒng)中，數(shù)據(jù)由數(shù)據(jù)源系統(tǒng)加載到 EDW 的各個(gè)數(shù)據(jù)層中，并通過(guò)供數(shù)接口提供給相關(guān)使用者系統(tǒng)。其實(shí)現(xiàn)的困難在于 ETL 系統(tǒng)將面臨復(fù)雜的數(shù)據(jù)環(huán)境，包括巨大的加載數(shù)據(jù)量、錯(cuò)綜復(fù)雜的數(shù)據(jù)關(guān)系和參差不齊的數(shù)據(jù)質(zhì)量，這些都使 ETL 的架構(gòu)和應(yīng)用設(shè)計(jì)面臨相當(dāng)?shù)奶魬?zhàn)。通過(guò)高效的 ETL 系統(tǒng)結(jié)構(gòu)、層次化的應(yīng)用功能劃分和標(biāo)準(zhǔn)的程序模板，EDW 系統(tǒng)能夠達(dá)到以下目標(biāo)：? 支持在此框架下實(shí)現(xiàn)EDW項(xiàng)目所需要的ETL功能；? 支持在規(guī)定的批處理時(shí)間窗口（Batch Window）內(nèi)能夠完成數(shù)據(jù)加載工作，即需要滿(mǎn)足日常數(shù)據(jù)加載的性能需求；? 能夠支持有效的應(yīng)用程序開(kāi)發(fā)模式，提高開(kāi)發(fā)效率，盡量減少應(yīng)用開(kāi)發(fā)成本；? 減少系統(tǒng)維護(hù)的復(fù)雜性，支持后續(xù)增加新數(shù)據(jù)或功能的開(kāi)發(fā)工作。? 和上下游系統(tǒng)接口的松耦合設(shè)計(jì)，避免上下游系統(tǒng)的變更導(dǎo)致ETL程序本身頻繁變更。XX 銀行總行的 EDW 系統(tǒng)數(shù)據(jù)源環(huán)境復(fù)雜，應(yīng)用系統(tǒng)數(shù)據(jù)需求旺盛，數(shù)據(jù)質(zhì)量參差不齊，結(jié)合以上系統(tǒng)目標(biāo)及設(shè)計(jì)原則，建議采用如下體系架構(gòu)建設(shè)：３５ / 47ETL 邏輯結(jié)構(gòu)按照處理過(guò)程可劃分為 ETL 預(yù)處理、ETL 轉(zhuǎn)換清洗、ETL 目標(biāo)數(shù)據(jù)裝載。對(duì)于數(shù)據(jù)提供者，包括業(yè)務(wù)系統(tǒng)（核心業(yè)務(wù)系統(tǒng)、個(gè)貸系統(tǒng)、信貸系統(tǒng)、國(guó)際業(yè)務(wù)系統(tǒng)、財(cái)務(wù)系統(tǒng)、渠道系統(tǒng)）以及管理系統(tǒng)（數(shù)據(jù)倉(cāng)庫(kù) EDW 系統(tǒng)、客戶(hù)關(guān)系管理 CRM 系統(tǒng)、績(jī)效考核系統(tǒng)、稽核管理系統(tǒng)、報(bào)表中心） ，通過(guò)ETL 預(yù)處理，數(shù)據(jù)裝載入數(shù)據(jù)緩沖區(qū)。ETL 轉(zhuǎn)換清洗通過(guò)連接、合并、分割，按照清洗規(guī)則對(duì)數(shù)據(jù)緩沖區(qū)、數(shù)據(jù)存儲(chǔ)區(qū)的數(shù)據(jù)進(jìn)行加工、匯總，最終裝載入數(shù)據(jù)存儲(chǔ)區(qū)。ETL 目標(biāo)數(shù)據(jù)裝載按照 EDW 的數(shù)據(jù)接口要求，給目標(biāo)系統(tǒng)提供數(shù)據(jù)。? ETL1：屬于ETL預(yù)處理。加載源系統(tǒng)數(shù)據(jù)，增加時(shí)間拉鏈，數(shù)據(jù)裝載入數(shù)據(jù)緩沖區(qū)。對(duì)源數(shù)據(jù)做數(shù)據(jù)平衡檢查、稽核數(shù)據(jù)有效性，報(bào)告數(shù)據(jù)質(zhì)量問(wèn)題。? ETL2：屬于ETL清洗。對(duì)數(shù)據(jù)緩沖區(qū)數(shù)據(jù)標(biāo)準(zhǔn)化，統(tǒng)一數(shù)據(jù)表達(dá)格式，排序數(shù)據(jù)，篩選重復(fù)數(shù)據(jù)，合并或分割數(shù)據(jù)項(xiàng)，裝載入數(shù)據(jù)存儲(chǔ)區(qū)的基礎(chǔ)數(shù)據(jù)層。報(bào)告數(shù)據(jù)轉(zhuǎn)換清洗異常。? ETL3：屬于ETL轉(zhuǎn)換。對(duì)操作型存儲(chǔ)區(qū)的貼源標(biāo)準(zhǔn)化數(shù)據(jù)，按照業(yè)務(wù)轉(zhuǎn)換規(guī)則、通用數(shù)據(jù)清洗規(guī)則，加工數(shù)據(jù)，裝載入數(shù)據(jù)倉(cāng)庫(kù)區(qū)的FDM基礎(chǔ)層。ETL3處理是耗時(shí)最長(zhǎng)，邏輯處理最復(fù)雜的階段，需要非常重視。３６ / 47? ETL4：屬于ETL轉(zhuǎn)換。從數(shù)據(jù)倉(cāng)庫(kù)FDM層進(jìn)行適量的維度、指標(biāo)建模。一些低粒度數(shù)據(jù)逐步向高粒度數(shù)據(jù)歸并和匯總。? ETL5：屬于ETL目標(biāo)數(shù)據(jù)裝載。提供數(shù)據(jù)存儲(chǔ)區(qū)的FDM層數(shù)據(jù)、ADM層數(shù)據(jù)。本模式提供EDW允許的相應(yīng)時(shí)間段的歷史數(shù)據(jù)支持。? ETL6：屬于ETL目標(biāo)數(shù)據(jù)裝載。提供數(shù)據(jù)存儲(chǔ)區(qū)的FDM層數(shù)據(jù)、ADM層數(shù)據(jù)。本模式提供EDW允許的相應(yīng)時(shí)間段的歷史數(shù)據(jù)支持。 ETL 設(shè)計(jì)方案 ETL 關(guān)鍵設(shè)計(jì)環(huán)節(jié) 接口層設(shè)計(jì)策略將數(shù)據(jù)源環(huán)境下的數(shù)據(jù)裝載進(jìn)入 EDW 環(huán)境，需要在兩個(gè)不同環(huán)境的記錄系統(tǒng)之間建立一個(gè)接口。建立和設(shè)計(jì)這個(gè)接口，似乎只要編制一個(gè)抽取程序就可以了，事實(shí)上，在這一階段的工作中，的確對(duì)數(shù)據(jù)進(jìn)行了抽取，但抽取并不是全部的工作，這一接口還應(yīng)具有以下的功能： ? 從面向應(yīng)用和操作的環(huán)境生成完整的數(shù)據(jù)； ? 數(shù)據(jù)的基于時(shí)間的轉(zhuǎn)換； ? 數(shù)據(jù)的聚合 ； ? 對(duì)現(xiàn)有記錄系統(tǒng)的有效掃描，以便以后進(jìn)行追加。 從業(yè)務(wù)系統(tǒng)抽取數(shù)據(jù)，采用 ETL 平臺(tái)直接從業(yè)務(wù)系統(tǒng)抽取數(shù)據(jù)，也可以先把業(yè)務(wù)系統(tǒng)的數(shù)據(jù)導(dǎo)出為文本文件再加載到臨時(shí)存儲(chǔ)區(qū)。 Staging Area 設(shè)計(jì)策略Staging Area Storage 由一些 ETL 處理過(guò)程的輔助表組成，輔助 ETL 工具完成復(fù)雜的轉(zhuǎn)換和計(jì)算，Staging Area 通常是一些臨時(shí)表。Staging Area 的作用與實(shí)現(xiàn)：1. 減少對(duì)數(shù)據(jù)源的查詢(xún)壓力，有助于數(shù)據(jù)整合。將數(shù)據(jù)源的數(shù)據(jù)統(tǒng)一抽取到 Staging Area ，協(xié)調(diào)獲取不同數(shù)據(jù)源的３７ / 47調(diào)度。2. 應(yīng)用于增量處理可以減少處理的記錄數(shù)量，使增量處理更加容易，例如應(yīng)用于 SCD Type 2。Staging Area 的另一個(gè)應(yīng)用是僅存儲(chǔ)被更改的記錄。3. 對(duì)數(shù)據(jù)的格式進(jìn)行轉(zhuǎn)換在 Staging Area 完成數(shù)據(jù)格式的轉(zhuǎn)換，例如日期格式、字符串右邊的空格、NULL 值的替換、數(shù)據(jù)類(lèi)型轉(zhuǎn)換等。4. 時(shí)間調(diào)度上的靈活性通過(guò)建立 Staging Area，把數(shù)據(jù)存儲(chǔ)在臨時(shí)空間，使 ETL 調(diào)度更靈活。5. 作為 ETL 后續(xù)處理的統(tǒng)一接口建立 Staging Area 作為 ETL 每個(gè)處理階段的接口，對(duì)系統(tǒng)的靈活性和可擴(kuò)展性非常有幫助。 數(shù)據(jù)加載策略數(shù)據(jù)加載分為歷史數(shù)據(jù)加載（Initial Load）和日常數(shù)據(jù)加載（Incremental Load） 。歷史數(shù)據(jù)加載指在第一次加載數(shù)據(jù)到數(shù)據(jù)倉(cāng)庫(kù)中，此時(shí)數(shù)據(jù)倉(cāng)庫(kù)中不存在歷史數(shù)據(jù)。日常數(shù)據(jù)加載是指在歷史數(shù)據(jù)加載完成后，將變化了的增量數(shù)據(jù)加載到數(shù)據(jù)倉(cāng)庫(kù)中。我們認(rèn)為只需要建立一套增量加載的 ETL 同樣處理歷史數(shù)據(jù)加載和日常數(shù)據(jù)加載，而不再開(kāi)發(fā)另一套全量加載 ETL 程序處理歷史數(shù)據(jù)加載。 這樣只需要開(kāi)