【正文】 關(guān)系進(jìn)行調(diào)度。一個(gè)好的調(diào)度管理是一個(gè)數(shù)據(jù)倉庫平臺(tái)平穩(wěn)、高效運(yùn)行的關(guān)鍵。ETL將數(shù)據(jù)加載到數(shù)據(jù)倉庫的過程最終實(shí)現(xiàn)了從操作型業(yè)務(wù)系統(tǒng)到最終數(shù)據(jù)應(yīng)用分析系統(tǒng)的徹底分離。最終用戶一旦開始控制數(shù)據(jù)，就最終“擁有”了這些數(shù)據(jù)。數(shù)據(jù)抽?。簲?shù)據(jù)抽取程序能將數(shù)據(jù)從高性能聯(lián)機(jī)事務(wù)處理方式中（如銀行的核心系統(tǒng)、信貸系統(tǒng)、國結(jié)系統(tǒng)等）轉(zhuǎn)移出來，所以在對數(shù)據(jù)進(jìn)行總體分析和使用時(shí)就不會(huì)影響聯(lián)機(jī)事務(wù)處理的性能。是構(gòu)建數(shù)據(jù)倉庫的重要環(huán)節(jié)。并且，數(shù)據(jù)倉庫的建設(shè)是根據(jù)各個(gè)應(yīng)用系統(tǒng)的需要進(jìn)行靈活設(shè)計(jì)，這種做法的好處是保證數(shù)據(jù)倉庫不會(huì)因?yàn)橥鈬鷳?yīng)用系統(tǒng)的增加而受到影響，也不會(huì)對數(shù)據(jù)倉庫造成任何性能上的壓力。這種實(shí)現(xiàn)方式既不影響源業(yè)務(wù)系統(tǒng)又實(shí)現(xiàn)了監(jiān)管數(shù)據(jù)的統(tǒng)一存儲(chǔ)、統(tǒng)一規(guī)劃、又為日后的監(jiān)管機(jī)構(gòu)的現(xiàn)場檢查提供的依據(jù)。例如，在2003年銀監(jiān)會(huì)成了之后提出了1104工程，在2006年初便要求全國所有的商業(yè)銀行報(bào)送1104報(bào)表。在很多銀行已經(jīng)建設(shè)了針對不同業(yè)務(wù)應(yīng)用需要的數(shù)據(jù)集市，如監(jiān)管數(shù)據(jù)集市、風(fēng)險(xiǎn)數(shù)據(jù)集市、信貸報(bào)表數(shù)據(jù)集市等。而對于更進(jìn)一步的匯總和加工處理通常由各個(gè)應(yīng)用系統(tǒng)根據(jù)自身對數(shù)據(jù)的需求進(jìn)行加工處理。這樣處理的目的是便于下游各個(gè)應(yīng)用系統(tǒng)之間是有數(shù)據(jù)倉庫中的數(shù)據(jù)。IDS是位于FDS之上的一層數(shù)據(jù)，數(shù)據(jù)的特點(diǎn)是對FDS層的數(shù)據(jù)進(jìn)行了高度的整合和匯總。FDS層的數(shù)據(jù)每天通過增量和全量的方式進(jìn)行加載，數(shù)據(jù)不進(jìn)行刪除，持續(xù)保存歷史數(shù)據(jù)。各個(gè)主題下的數(shù)據(jù)是由來源于ODS層的各個(gè)業(yè)務(wù)系統(tǒng)的數(shù)據(jù)進(jìn)行了集成后的數(shù)據(jù)。FDS層的數(shù)據(jù)特點(diǎn)是“面向主題的、集成的、非易失的和隨時(shí)間變化”的。所謂基礎(chǔ)數(shù)據(jù)，即數(shù)據(jù)不進(jìn)行更新、與源系統(tǒng)的數(shù)據(jù)保持一致。而是“歷史的、不再變化的”數(shù)據(jù)?！鐾瓿蓴?shù)據(jù)倉庫中不能完成的一些功能通常，帶有ODS的數(shù)據(jù)倉庫的體系結(jié)構(gòu)中，數(shù)據(jù)倉庫層所存儲(chǔ)的數(shù)據(jù)都是進(jìn)行匯總過的數(shù)據(jù)，并不存儲(chǔ)每筆交易產(chǎn)生的細(xì)節(jié)數(shù)據(jù)，但是在某些特殊的應(yīng)用中，可能需要對交易細(xì)節(jié)數(shù)據(jù)進(jìn)行查詢，這時(shí)就需要把細(xì)節(jié)數(shù)據(jù)查詢的功能轉(zhuǎn)移到ODS來完成，而且ODS的數(shù)據(jù)模型按照面向主題的方式進(jìn)行存儲(chǔ)，可以方便地支持多維分析等查詢功能?！鲛D(zhuǎn)移一部分業(yè)務(wù)系統(tǒng)細(xì)節(jié)查詢的功能 在數(shù)據(jù)倉庫建立之前，大量的報(bào)表、分析是由業(yè)務(wù)系統(tǒng)直接支持的，在一些比較復(fù)雜的報(bào)表生成過程中，對業(yè)務(wù)系統(tǒng)的運(yùn)行產(chǎn)生相當(dāng)大的壓力。數(shù)據(jù)倉庫通常都有非常復(fù)雜的數(shù)據(jù)來源，這些數(shù)據(jù)存放在不同的地理位置、不同的數(shù)據(jù)庫、不同的應(yīng)用之中，從這些業(yè)務(wù)系統(tǒng)對數(shù)據(jù)抽取不是一件容易的事情。ODS層的數(shù)據(jù)是對數(shù)據(jù)源的緩沖，通常不保留歷史數(shù)據(jù)，根據(jù)數(shù)據(jù)量的大小數(shù)據(jù)通常存儲(chǔ)七天到一個(gè)月的數(shù)據(jù)。流水表的特點(diǎn)是，數(shù)據(jù)真實(shí)性高、與原系統(tǒng)流水表信息一致。通常在數(shù)據(jù)倉庫中，對于交易流水?dāng)?shù)據(jù)采用流水表進(jìn)行存儲(chǔ)。因?yàn)?，字段較多，如果不采用快照表而采用拉鏈表會(huì)影響數(shù)據(jù)倉庫數(shù)據(jù)的跑批效率。如果數(shù)據(jù)量較大不宜使用快照表，會(huì)占用大量的存儲(chǔ)空間，并且隨著時(shí)間的推移，訪問效率會(huì)越來越低。FDATEDUEBILLNODUEBILLSUMDBRESTSUMDUEBILLDATEDBMATUREDATEYSYJLX20120706XDYC00009495201107192014071820120707XDYC00009495201107192014071820120708XDYC00009495201107192014071820120709XDYC000094952011071920140718在數(shù)據(jù)倉庫設(shè)計(jì)時(shí)選擇使用接鏈表存儲(chǔ)數(shù)據(jù)應(yīng)該考慮以下幾點(diǎn)：■數(shù)據(jù)量較小的數(shù)據(jù)表，可以考慮使用快照表。快照表的優(yōu)點(diǎn)是數(shù)據(jù)處理邏輯簡單、方便，數(shù)據(jù)質(zhì)量較高不會(huì)出現(xiàn)錯(cuò)誤；缺點(diǎn)是數(shù)據(jù)存在冗余，存取效率低。另外，拉鏈表的數(shù)據(jù)能夠連續(xù)的反映某條數(shù)據(jù)記錄變化的過程，通過整條數(shù)據(jù)鏈就能清晰的看到該條記錄的整個(gè)變化情況。拉鏈表的數(shù)據(jù)在發(fā)生變化進(jìn)行關(guān)鏈和開鏈的時(shí)候需要通過增量數(shù)據(jù)的主鍵與原有數(shù)據(jù)進(jìn)行比對。■數(shù)據(jù)表的邏輯主鍵明確，需要清晰反映數(shù)據(jù)業(yè)務(wù)變化過程的時(shí)候，可以考慮使用拉鏈表。因?yàn)槔湵淼臄?shù)據(jù)是在發(fā)生變化是插入新記錄，在插入新記錄時(shí)需要將新記錄與原有記錄做比較，比較的時(shí)候需要逐個(gè)字段進(jìn)行比較?？梢杂行У墓?jié)約存儲(chǔ)空間，并且能夠提高對該數(shù)據(jù)表數(shù)據(jù)的存取效率。因?yàn)閿?shù)據(jù)倉庫中的數(shù)據(jù)是長期存儲(chǔ)并且數(shù)據(jù)量是不斷增長的。這就是整個(gè)接鏈表的變化過程。 拉鏈表的具體形態(tài)如下表（存款賬戶信息表）所示，該表中體現(xiàn)接鏈表的一個(gè)顯著特征是通過字段開始日期（SDATE）和結(jié)束日期（EDATE）來標(biāo)識(shí)，表示某一條記錄在開始日期和結(jié)束日期之間是有效的數(shù)據(jù)。 拉鏈表拉鏈表是數(shù)據(jù)倉庫在存儲(chǔ)數(shù)據(jù)時(shí)最常用的一種方式。 各個(gè)主題間關(guān)系：業(yè)務(wù)主題優(yōu)點(diǎn)：以貼源的原則進(jìn)行設(shè)計(jì)，設(shè)計(jì)基礎(chǔ)層的時(shí)候以具體業(yè)務(wù)作為主導(dǎo)，體現(xiàn)在銀行方面就會(huì)劃分出類似貸款，存款這樣的常用主題。包括統(tǒng)一標(biāo)準(zhǔn)代碼，以及標(biāo)準(zhǔn)代碼與各個(gè)源系統(tǒng)代碼的映射及人工補(bǔ)充代碼。公用：用于存儲(chǔ)各種業(yè)務(wù)主題公用的一些信息?？傎~：組織和存儲(chǔ)銀行當(dāng)前會(huì)計(jì)核算總賬以及內(nèi)部帳有關(guān)的信息。根據(jù)客戶性質(zhì)可將渠道數(shù)據(jù)分為企業(yè)客戶和個(gè)人客戶。在中間業(yè)務(wù)主題域中以客戶號(hào)、賬號(hào)、產(chǎn)品、機(jī)構(gòu)、渠道為唯一識(shí)別,分別通過客戶號(hào)、賬號(hào)、產(chǎn)品、機(jī)構(gòu)、渠道與客戶、存款、公用主題進(jìn)行關(guān)聯(lián)。中間業(yè)務(wù)：主要整合銀行除存、貸款業(yè)務(wù)以外的業(yè)務(wù)，即非利息收入以外的所有業(yè)務(wù)。銀行卡:組織和存儲(chǔ)客戶銀行卡的基本信息和交易信息。根據(jù)客戶的性質(zhì)，將貸款客戶劃分為企業(yè)貸款和個(gè)人貸款兩類。在存款主題域中以賬號(hào)為唯一識(shí)別，通過賬號(hào)與客戶，中間業(yè)務(wù)、渠道、銀行卡、公用主題進(jìn)行關(guān)聯(lián)。存款；組織和存儲(chǔ)企業(yè)和個(gè)人客戶的在銀行的存款業(yè)務(wù)相關(guān)信息，主要包括賬戶信息、事件信息及事故信息。包括基本信息、地址信息、信用信息、黑名單信息、財(cái)務(wù)信息等。 各模型層次的主題可根據(jù)實(shí)際情況劃分二級(jí)主題，便于用戶定位所需數(shù)據(jù)； 模型主題劃分216。 共性加工數(shù)據(jù)層的主題劃分則是基于業(yè)務(wù)關(guān)注的視角，也就是和業(yè)務(wù)應(yīng)用需求緊密相關(guān)，會(huì)根據(jù)應(yīng)用系統(tǒng)的共性需求變化而變化；216。 基礎(chǔ)數(shù)據(jù)層的主題劃分是通過抽象銀行業(yè)經(jīng)營活動(dòng)中的要素及要素之間關(guān)系的形式，來表達(dá)商業(yè)銀行的實(shí)際業(yè)務(wù)和具體的業(yè)務(wù)聯(lián)系。 模型設(shè)計(jì)原則216。 根據(jù)本期項(xiàng)目的目標(biāo)和應(yīng)用系統(tǒng)的需求，需要產(chǎn)生輕度的數(shù)據(jù)應(yīng)用層模型。216。這種方法效率高，但得到的數(shù)據(jù)模型需要不斷地進(jìn)行修正。 拿來主義：選擇共性加工層的參考模型，完善基礎(chǔ)層。 需要在對源系統(tǒng)分析的基礎(chǔ)上，對基礎(chǔ)層模型各系統(tǒng)之間的同類數(shù)據(jù)進(jìn)行輕度整合，并結(jié)合本行的業(yè)務(wù)特點(diǎn)和目前的應(yīng)用需求，按一定的業(yè)務(wù)主題重新組織數(shù)據(jù)模型，形成基礎(chǔ)層邏輯模型。216。 數(shù)據(jù)源驅(qū)動(dòng)：確定ODS層。 模型設(shè)計(jì)思路 數(shù)據(jù)模型的設(shè)計(jì)是一個(gè)比較復(fù)雜的過程，需要經(jīng)過多次迭代過程，經(jīng)過反復(fù)檢驗(yàn)和修正，才可能逐漸接近能夠反映業(yè)務(wù)的真實(shí)現(xiàn)狀。其中，數(shù)據(jù)結(jié)構(gòu)主要描述數(shù)據(jù)的類型、內(nèi)容、性質(zhì)及數(shù)據(jù)間的關(guān)系；數(shù)據(jù)操作主要描述在相應(yīng)的數(shù)據(jù)結(jié)構(gòu)上的操作類型和操作方式；數(shù)據(jù)約束主要描述數(shù)據(jù)結(jié)構(gòu)內(nèi)數(shù)據(jù)間的語法、詞義聯(lián)系、他們之間的制約和依存關(guān)系以及數(shù)據(jù)動(dòng)態(tài)變化的規(guī)則，以保證數(shù)據(jù)正確、有效和相容。3．3 數(shù)據(jù)倉庫核心內(nèi)容 典型數(shù)據(jù)倉庫架構(gòu)圖 數(shù)據(jù)模型模型是現(xiàn)實(shí)世界的抽象，數(shù)據(jù)模型（Data Model）是數(shù)據(jù)特征的抽象，是數(shù)據(jù)庫系統(tǒng)中用以提供信息表示和操作手段的形式構(gòu)架。【E】數(shù)據(jù)倉庫的建設(shè)過程涉及到數(shù)據(jù)的集成和整合的操作，在此階段可以通過補(bǔ)錄的方式完善數(shù)據(jù)質(zhì)量?！綞】數(shù)據(jù)質(zhì)量受系統(tǒng)功能及使用者的習(xí)慣決定?！綝】數(shù)據(jù)存儲(chǔ)時(shí)間較長，通常為5到10年，便于對數(shù)據(jù)的長期持續(xù)性分析?！綝】數(shù)據(jù)存儲(chǔ)時(shí)間較短，有些數(shù)據(jù)實(shí)時(shí)發(fā)生變化的，不存儲(chǔ)歷史數(shù)據(jù)。記錄著某一時(shí)點(diǎn)的數(shù)據(jù)狀態(tài)。沒有記錄某一時(shí)點(diǎn)的數(shù)據(jù)狀態(tài)，不能反映數(shù)據(jù)的歷史變化情況。便于分析人員使用數(shù)據(jù)，便于對數(shù)據(jù)的靈活查詢和分析?！荆隆繑?shù)據(jù)沒有按照業(yè)務(wù)主題進(jìn)行劃分，沒有進(jìn)行集成和整合?！続】形成了統(tǒng)一的數(shù)據(jù)平臺(tái)，對各個(gè)操作型系統(tǒng)的數(shù)據(jù)進(jìn)行了整合。便于高效的進(jìn)行聯(lián)機(jī)事務(wù)處理。數(shù)據(jù)倉庫主要面向管理者服務(wù)。操作型系統(tǒng)主要是面向日常工作服務(wù)。下表從各個(gè)層面列出了數(shù)據(jù)倉庫的好處：數(shù)據(jù)倉庫的好處比較方面?zhèn)鹘y(tǒng)的操作型系統(tǒng)數(shù)據(jù)倉庫1．系統(tǒng)用途面向交易的聯(lián)機(jī)事務(wù)處理系統(tǒng)，注重的是事務(wù)處理的響應(yīng)結(jié)果和響應(yīng)效率。那么，為了能夠更清晰的理解數(shù)據(jù)倉庫的好處。如下圖所示，以貸款基本信息表為例分別列出了維度信息和度量信息。在數(shù)據(jù)倉庫的理論中，維度是一個(gè)與業(yè)務(wù)相關(guān)的觀察角度，是依賴于數(shù)據(jù)的有效性和表達(dá)業(yè)務(wù)成效的關(guān)鍵性能指標(biāo)。因此，銀行建立了數(shù)據(jù)倉庫的基礎(chǔ)上建設(shè)決策支持類系統(tǒng)更加滿足系統(tǒng)建設(shè)和規(guī)劃的要求。典型的決策支持系統(tǒng)有商業(yè)銀行管理駕駛艙系統(tǒng)、商業(yè)銀行CRM系統(tǒng)、商業(yè)銀行績效管理系統(tǒng)、商業(yè)銀行全面風(fēng)險(xiǎn)管理系統(tǒng)、商業(yè)銀行全行報(bào)表系統(tǒng)等等。它不是面向交易的系統(tǒng)，它屬于銀行內(nèi)部的管理類系統(tǒng)，可以用于指導(dǎo)營銷、分析銀行的業(yè)務(wù)經(jīng)營情況、預(yù)測銀行的各種業(yè)務(wù)風(fēng)險(xiǎn)、指導(dǎo)經(jīng)營決策，它的數(shù)據(jù)來源為銀行內(nèi)部的各種交易型系統(tǒng)（如核心業(yè)務(wù)系統(tǒng)、信貸管理系統(tǒng)、國際結(jié)算系統(tǒng)、銀行卡系統(tǒng)、資金業(yè)務(wù)系統(tǒng)等）。而數(shù)據(jù)倉庫的鍵碼結(jié)構(gòu)總是包含某時(shí)間元素。而數(shù)據(jù)倉庫中的數(shù)據(jù)僅僅是一系列某一時(shí)刻生成的復(fù)雜的快照。操作型系統(tǒng)的時(shí)間期限一般是6 0～9 0天，而數(shù)據(jù)倉庫中數(shù)據(jù)的時(shí)間期限通常是5～1 0年。 隨時(shí)間變化數(shù)據(jù)倉庫的另一個(gè)顯著特征是隨時(shí)間變化的。如下圖所示，操作型環(huán)境中的數(shù)據(jù)通常是一次訪問和處理一個(gè)記錄，并且操作型環(huán)境中的數(shù)據(jù)是可以被更新的。下圖為一個(gè)客戶信息集成的簡單的例子。如下圖所示： 集成集成的是數(shù)據(jù)倉庫的重要特點(diǎn)之一，數(shù)據(jù)倉庫中存儲(chǔ)的數(shù)據(jù)都是經(jīng)過集成之后的數(shù)據(jù)。對于一個(gè)銀行來說，應(yīng)用問題可能是儲(chǔ)蓄存款、對公存款、住房貸款、銀行承兌匯票。所做的一切都是為了讓用戶更快更方便查詢所需要的信息，提供決策支持。數(shù)據(jù)倉庫是