【文章內(nèi)容簡介】 率低?？煺毡淼木唧w形態(tài)如下表（貸款借據(jù)表）所示。FDATEDUEBILLNODUEBILLSUMDBRESTSUMDUEBILLDATEDBMATUREDATEYSYJLX20120706XDYC00009495201107192014071820120707XDYC00009495201107192014071820120708XDYC00009495201107192014071820120709XDYC000094952011071920140718在數(shù)據(jù)倉庫設(shè)計時選擇使用接鏈表存儲數(shù)據(jù)應(yīng)該考慮以下幾點：■數(shù)據(jù)量較小的數(shù)據(jù)表，可以考慮使用快照表。因為快照表是每天一個快照，數(shù)據(jù)量重復(fù)存儲。如果數(shù)據(jù)量較大不宜使用快照表，會占用大量的存儲空間，并且隨著時間的推移，訪問效率會越來越低。■字段較多的數(shù)據(jù)表，可以考慮用快照表。因為，字段較多，如果不采用快照表而采用拉鏈表會影響數(shù)據(jù)倉庫數(shù)據(jù)的跑批效率。 流水表流水表即按照每天的交易日期增量存儲數(shù)據(jù)。通常在數(shù)據(jù)倉庫中，對于交易流水?dāng)?shù)據(jù)采用流水表進(jìn)行存儲。如存款余額變動明細(xì)表、總賬流水表等數(shù)據(jù)均需要采用流水表的方式存儲。流水表的特點是，數(shù)據(jù)真實性高、與原系統(tǒng)流水表信息一致。 ODS層 ODS定義ODS（Operational Data Store）操作型數(shù)據(jù)存儲，是數(shù)據(jù)倉庫體系中的一個可選部分，ODS具備數(shù)據(jù)倉庫的部分特征和OLTP系統(tǒng)的部分特征，它是“面向主題的、集成的、當(dāng)前或接近當(dāng)前的、不斷變化的”數(shù)據(jù)。ODS層的數(shù)據(jù)是對數(shù)據(jù)源的緩沖，通常不保留歷史數(shù)據(jù)，根據(jù)數(shù)據(jù)量的大小數(shù)據(jù)通常存儲七天到一個月的數(shù)據(jù)。 ODS作用 ODS的設(shè)計主要體現(xiàn)在以下幾個作用：■在業(yè)務(wù)系統(tǒng)和數(shù)據(jù)倉庫之間形成一個隔離層。數(shù)據(jù)倉庫通常都有非常復(fù)雜的數(shù)據(jù)來源，這些數(shù)據(jù)存放在不同的地理位置、不同的數(shù)據(jù)庫、不同的應(yīng)用之中，從這些業(yè)務(wù)系統(tǒng)對數(shù)據(jù)抽取不是一件容易的事情。因此，ODS用于存放從業(yè)務(wù)系統(tǒng)直接抽取出來的數(shù)據(jù)，這些數(shù)據(jù)從數(shù)據(jù)結(jié)構(gòu)、數(shù)據(jù)之間的邏輯關(guān)系上與業(yè)務(wù)系統(tǒng)基本保持一致，因此在抽取過程中極大降低了數(shù)據(jù)轉(zhuǎn)化的復(fù)雜性，而主要關(guān)注數(shù)據(jù)抽取的接口、數(shù)據(jù)量大小、抽取方式等方面的問題。■轉(zhuǎn)移一部分業(yè)務(wù)系統(tǒng)細(xì)節(jié)查詢的功能 在數(shù)據(jù)倉庫建立之前，大量的報表、分析是由業(yè)務(wù)系統(tǒng)直接支持的，在一些比較復(fù)雜的報表生成過程中，對業(yè)務(wù)系統(tǒng)的運行產(chǎn)生相當(dāng)大的壓力。ODS的數(shù)據(jù)從粒度、組織方式等各個方面都保持了與業(yè)務(wù)系統(tǒng)的一致性，那么原來由業(yè)務(wù)系統(tǒng)產(chǎn)生的報表、細(xì)節(jié)數(shù)據(jù)的查詢自然能夠從ODS中進(jìn)行，從而降低業(yè)務(wù)系統(tǒng)的查詢壓力?！鐾瓿蓴?shù)據(jù)倉庫中不能完成的一些功能通常，帶有ODS的數(shù)據(jù)倉庫的體系結(jié)構(gòu)中，數(shù)據(jù)倉庫層所存儲的數(shù)據(jù)都是進(jìn)行匯總過的數(shù)據(jù)，并不存儲每筆交易產(chǎn)生的細(xì)節(jié)數(shù)據(jù)，但是在某些特殊的應(yīng)用中，可能需要對交易細(xì)節(jié)數(shù)據(jù)進(jìn)行查詢，這時就需要把細(xì)節(jié)數(shù)據(jù)查詢的功能轉(zhuǎn)移到ODS來完成，而且ODS的數(shù)據(jù)模型按照面向主題的方式進(jìn)行存儲，可以方便地支持多維分析等查詢功能。在一個沒有ODS的數(shù)據(jù)倉庫應(yīng)用系統(tǒng)體系結(jié)構(gòu)中，數(shù)據(jù)倉庫中存儲的數(shù)據(jù)粒度是根據(jù)需要而確定的，但一般來說，最為細(xì)節(jié)的業(yè)務(wù)數(shù)據(jù)也是需要保留的，實際上也就相當(dāng)于ODS，但與ODS所不同的是，這時的細(xì)節(jié)數(shù)據(jù)不是“當(dāng)前、不斷變化的”數(shù)據(jù)。而是“歷史的、不再變化的”數(shù)據(jù)。 FDS層FDS（Fundational Data Strore）基礎(chǔ)數(shù)據(jù)存儲。所謂基礎(chǔ)數(shù)據(jù)，即數(shù)據(jù)不進(jìn)行更新、與源系統(tǒng)的數(shù)據(jù)保持一致。FDS層在整個數(shù)據(jù)倉庫中位于ODS層之上，是數(shù)據(jù)倉庫的核心層。FDS層的數(shù)據(jù)特點是“面向主題的、集成的、非易失的和隨時間變化”的。對于商業(yè)銀行來說，F(xiàn)DS層的主題通常分為客戶、公共、渠道、貸款、銀行卡、存款、貸款、中間業(yè)務(wù)和總賬共八類主題。各個主題下的數(shù)據(jù)是由來源于ODS層的各個業(yè)務(wù)系統(tǒng)的數(shù)據(jù)進(jìn)行了集成后的數(shù)據(jù)。數(shù)據(jù)在集成的過程中不進(jìn)行更新，只加時間標(biāo)識，數(shù)據(jù)的存儲方式主要分為拉鏈表、快照表和流水表的方式進(jìn)行存儲。FDS層的數(shù)據(jù)每天通過增量和全量的方式進(jìn)行加載，數(shù)據(jù)不進(jìn)行刪除，持續(xù)保存歷史數(shù)據(jù)。 IDS層IDS（Integrated Data Store）集成數(shù)據(jù)存儲。IDS是位于FDS之上的一層數(shù)據(jù)，數(shù)據(jù)的特點是對FDS層的數(shù)據(jù)進(jìn)行了高度的整合和匯總。數(shù)據(jù)匯總方式主要將存款、貸款、總賬、中間業(yè)務(wù)、客戶等各個主題下的數(shù)據(jù)按照時間維、機(jī)構(gòu)維和幣種等維度進(jìn)行匯總。這樣處理的目的是便于下游各個應(yīng)用系統(tǒng)之間是有數(shù)據(jù)倉庫中的數(shù)據(jù)。IDS層在數(shù)據(jù)倉庫中所做的匯總通常是針對共性的信息進(jìn)行處理。而對于更進(jìn)一步的匯總和加工處理通常由各個應(yīng)用系統(tǒng)根據(jù)自身對數(shù)據(jù)的需求進(jìn)行加工處理。 數(shù)據(jù)集市數(shù)據(jù)集市在整個BI領(lǐng)域是經(jīng)常提及到的概念。在很多銀行已經(jīng)建設(shè)了針對不同業(yè)務(wù)應(yīng)用需要的數(shù)據(jù)集市，如監(jiān)管數(shù)據(jù)集市、風(fēng)險數(shù)據(jù)集市、信貸報表數(shù)據(jù)集市等。在銀行沒有建設(shè)數(shù)據(jù)倉庫的情況下，數(shù)據(jù)集市是介于銀行各類業(yè)務(wù)系統(tǒng)與應(yīng)用系統(tǒng)之間的一層數(shù)據(jù)的集合，作為源系統(tǒng)數(shù)據(jù)的緩沖和應(yīng)用系統(tǒng)的數(shù)據(jù)源。例如，在2003年銀監(jiān)會成了之后提出了1104工程，在2006年初便要求全國所有的商業(yè)銀行報送1104報表。當(dāng)時，大多數(shù)銀行在建立1104報表系統(tǒng)時在沒有數(shù)據(jù)倉庫的情況下只能從銀行的各個源業(yè)務(wù)系統(tǒng)抽取數(shù)據(jù)，在這種情況下，為了更好的實現(xiàn)1104報表，提高報表的取數(shù)率，大多會為銀行建設(shè)監(jiān)管數(shù)據(jù)集市，即從各個源業(yè)務(wù)系統(tǒng)中抽取出所需要的數(shù)，對數(shù)據(jù)進(jìn)行一定的整合、集成，視報表情況進(jìn)行一定時期內(nèi)的報表歷史數(shù)據(jù)的存儲，以便于1104報表能夠方便的從數(shù)據(jù)集市中取數(shù)。這種實現(xiàn)方式既不影響源業(yè)務(wù)系統(tǒng)又實現(xiàn)了監(jiān)管數(shù)據(jù)的統(tǒng)一存儲、統(tǒng)一規(guī)劃、又為日后的監(jiān)管機(jī)構(gòu)的現(xiàn)場檢查提供的依據(jù)。在銀行建設(shè)了數(shù)據(jù)倉庫的情況下，數(shù)據(jù)集市通常建設(shè)在整個數(shù)據(jù)倉庫的基層數(shù)據(jù)模型的最上層，應(yīng)用系統(tǒng)之下。并且，數(shù)據(jù)倉庫的建設(shè)是根據(jù)各個應(yīng)用系統(tǒng)的需要進(jìn)行靈活設(shè)計，這種做法的好處是保證數(shù)據(jù)倉庫不會因為外圍應(yīng)用系統(tǒng)的增加而受到影響，也不會對數(shù)據(jù)倉庫造成任何性能上的壓力。 ETL過程ETL即數(shù)據(jù)抽?。‥xtract）、轉(zhuǎn)換（Transfer）、加載（Load）的意思。是構(gòu)建數(shù)據(jù)倉庫的重要環(huán)節(jié)。ETL的過程即從數(shù)據(jù)源抽取出所需的數(shù)據(jù)，經(jīng)過數(shù)據(jù)清洗轉(zhuǎn)換，最終按照預(yù)先定義好的數(shù)據(jù)倉庫模型，將數(shù)據(jù)加載到數(shù)據(jù)倉庫中去。數(shù)據(jù)抽?。簲?shù)據(jù)抽取程序能將數(shù)據(jù)從高性能聯(lián)機(jī)事務(wù)處理方式中（如銀行的核心系統(tǒng)、信貸系統(tǒng)、國結(jié)系統(tǒng)等）轉(zhuǎn)移出來，所以在對數(shù)據(jù)進(jìn)行總體分析和使用時就不會影響聯(lián)機(jī)事務(wù)處理的性能。當(dāng)數(shù)據(jù)抽取程序?qū)?shù)據(jù)從操作型事務(wù)處理范圍內(nèi)移出時，數(shù)據(jù)的控制方式就發(fā)生了轉(zhuǎn)變。最終用戶一旦開始控制數(shù)據(jù)，就最終“擁有”了這些數(shù)據(jù)。就可以直接對數(shù)據(jù)進(jìn)行進(jìn)一步的加工使用。ETL將數(shù)據(jù)加載到數(shù)據(jù)倉庫的過程最終實現(xiàn)了從操作型業(yè)務(wù)系統(tǒng)到最終數(shù)據(jù)應(yīng)用分析系統(tǒng)的徹底分離。 調(diào)度管理調(diào)度是數(shù)據(jù)倉庫運轉(zhuǎn)的總協(xié)調(diào)員，任何一個數(shù)據(jù)倉庫平臺都離不開調(diào)度管理。一個好的調(diào)度管理是一個數(shù)據(jù)倉庫平臺平穩(wěn)、高效運行的關(guān)鍵。一個好的調(diào)度管理平臺通常應(yīng)包含以下內(nèi)容：任務(wù)作業(yè)的編排和配置；任務(wù)調(diào)度過程的監(jiān)控和查看；調(diào)度日志。任務(wù)作業(yè)的編排和配置是在調(diào)度平臺上線正式運行之前進(jìn)行配置的內(nèi)容，通常將整個數(shù)據(jù)倉庫的所有的跑批任務(wù)進(jìn)行統(tǒng)一的編號，設(shè)置前、后置的任務(wù)依賴關(guān)系，然后將具體的任務(wù)關(guān)系配置到調(diào)度平臺中，之后調(diào)度管理平臺就可以按照我們希望的先后順序及并行和串行的關(guān)系進(jìn)行調(diào)度。任務(wù)調(diào)度過程的監(jiān)控和查看通常是提供可視化的界面供數(shù)據(jù)倉庫的維護(hù)和管理人員使用，維護(hù)人員可以通過在界面上操作，方便靈活的查看到每一個任務(wù)節(jié)點的運行情況。包括查看任務(wù)節(jié)點中包含哪些子任務(wù)、每個子任務(wù)的運行狀態(tài)、運行的開始時間、結(jié)束時間、正在運行的任務(wù)個數(shù)、等待運行的任務(wù)個數(shù)、成功運行的任務(wù)個數(shù)、失敗運行的任務(wù)個數(shù)、任務(wù)運行的時長等。調(diào)度日志主要體現(xiàn)在整個調(diào)度管理平臺能夠接收各種ETL工具及腳本返回的日志，如可以集成Datastage、Kettle、Infomatica、存儲過程、Shell、Java Class等，即具有較好的兼容性。 元數(shù)據(jù)管理 基本定義元數(shù)據(jù)是數(shù)據(jù)倉庫環(huán)境中一個重要方面。元數(shù)據(jù)是關(guān)于數(shù)據(jù)的數(shù)據(jù)。在數(shù)據(jù)倉庫中，元數(shù)據(jù)扮演一個新的重要角色，通過元數(shù)據(jù)，可以最有效地利用數(shù)據(jù)倉庫。元數(shù)據(jù)使得最終用戶、決策分析人員能夠探索各種可能性。元數(shù)據(jù)在數(shù)據(jù)倉庫的上層，并且記錄數(shù)據(jù)倉庫中對象的位置。典型的元數(shù)據(jù)記錄：■ 數(shù)據(jù)倉庫表的結(jié)構(gòu)。■ 數(shù)據(jù)倉庫表的屬性?！?數(shù)據(jù)倉庫的源數(shù)據(jù)（銀行的各種操作型系統(tǒng))?！?從各種操作型系統(tǒng)到數(shù)據(jù)倉庫的映射?！?數(shù)據(jù)模型的規(guī)格說明?！?抽取數(shù)據(jù)的歷史記錄?！?訪問數(shù)據(jù)的公用例行程序?！?數(shù)據(jù)模型和數(shù)據(jù)倉庫的關(guān)系。元數(shù)據(jù)為訪問數(shù)據(jù)倉庫提供了一個信息目錄（information directory），這個目錄全面描述了數(shù)據(jù)倉庫中都有什么數(shù)據(jù)、這些數(shù)據(jù)怎么得到的、怎么訪問這些數(shù)據(jù)。是數(shù)據(jù)倉庫運行和維護(hù)的中心，數(shù)據(jù)倉庫服務(wù)器利用他來存貯和更新數(shù)據(jù)，用戶通過他來了解和訪問數(shù)據(jù)。元數(shù)據(jù)分為技術(shù)元數(shù)據(jù)和業(yè)務(wù)元數(shù)據(jù)。技術(shù)元數(shù)據(jù)是存儲關(guān)于數(shù)據(jù)倉庫系統(tǒng)技術(shù)細(xì)節(jié)的數(shù)據(jù)，常見的有庫表結(jié)構(gòu)、數(shù)據(jù)映射、匯總算法等。業(yè)務(wù)元數(shù)據(jù)從業(yè)務(wù)角度描述了數(shù)據(jù)倉庫中的數(shù)據(jù)，使得不懂計算機(jī)技術(shù)的業(yè)務(wù)人員也能“讀懂”數(shù)據(jù)倉庫中的數(shù)據(jù)。業(yè)務(wù)元數(shù)據(jù)具體包括以下信息：企業(yè)概念模型、指標(biāo)定義、代碼標(biāo)準(zhǔn)化、用戶訪問報表的規(guī)則、權(quán)限等。如下圖所示，說明了元數(shù)據(jù)與數(shù)據(jù)的區(qū)別。 元數(shù)據(jù)管理的作用在數(shù)據(jù)倉庫中，元數(shù)據(jù)管理具有多方面的作用。主要包括：知識共享與標(biāo)準(zhǔn)化、影響分析、血統(tǒng)分析、數(shù)據(jù)質(zhì)量改進(jìn)、版本管理、改善業(yè)務(wù)人員數(shù)據(jù)訪問界面。◆知識共享與標(biāo)準(zhǔn)化降低學(xué)習(xí)與溝通成本；減少缺乏共享與標(biāo)準(zhǔn)帶來的數(shù)據(jù)問題；減少員工流動帶來的影響；◆影響分析減少元數(shù)據(jù)變更出錯率；提高開發(fā)效率；◆血統(tǒng)分析支持?jǐn)?shù)據(jù)分析與審計；減少數(shù)據(jù)冗余