【文章內(nèi)容簡(jiǎn)介】 率低?？煺毡淼木唧w形態(tài)如下表（貸款借據(jù)表）所示。FDATEDUEBILLNODUEBILLSUMDBRESTSUMDUEBILLDATEDBMATUREDATEYSYJLX20120706XDYC00009495201107192014071820120707XDYC00009495201107192014071820120708XDYC00009495201107192014071820120709XDYC000094952011071920140718在數(shù)據(jù)倉(cāng)庫(kù)設(shè)計(jì)時(shí)選擇使用接鏈表存儲(chǔ)數(shù)據(jù)應(yīng)該考慮以下幾點(diǎn)：■數(shù)據(jù)量較小的數(shù)據(jù)表，可以考慮使用快照表。因?yàn)榭煺毡硎敲刻煲粋€(gè)快照，數(shù)據(jù)量重復(fù)存儲(chǔ)。如果數(shù)據(jù)量較大不宜使用快照表，會(huì)占用大量的存儲(chǔ)空間，并且隨著時(shí)間的推移，訪問(wèn)效率會(huì)越來(lái)越低?！鲎侄屋^多的數(shù)據(jù)表，可以考慮用快照表。因?yàn)?，字段較多，如果不采用快照表而采用拉鏈表會(huì)影響數(shù)據(jù)倉(cāng)庫(kù)數(shù)據(jù)的跑批效率。 流水表流水表即按照每天的交易日期增量存儲(chǔ)數(shù)據(jù)。通常在數(shù)據(jù)倉(cāng)庫(kù)中，對(duì)于交易流水?dāng)?shù)據(jù)采用流水表進(jìn)行存儲(chǔ)。如存款余額變動(dòng)明細(xì)表、總賬流水表等數(shù)據(jù)均需要采用流水表的方式存儲(chǔ)。流水表的特點(diǎn)是，數(shù)據(jù)真實(shí)性高、與原系統(tǒng)流水表信息一致。 ODS層 ODS定義ODS（Operational Data Store）操作型數(shù)據(jù)存儲(chǔ)，是數(shù)據(jù)倉(cāng)庫(kù)體系中的一個(gè)可選部分，ODS具備數(shù)據(jù)倉(cāng)庫(kù)的部分特征和OLTP系統(tǒng)的部分特征，它是“面向主題的、集成的、當(dāng)前或接近當(dāng)前的、不斷變化的”數(shù)據(jù)。ODS層的數(shù)據(jù)是對(duì)數(shù)據(jù)源的緩沖，通常不保留歷史數(shù)據(jù)，根據(jù)數(shù)據(jù)量的大小數(shù)據(jù)通常存儲(chǔ)七天到一個(gè)月的數(shù)據(jù)。 ODS作用 ODS的設(shè)計(jì)主要體現(xiàn)在以下幾個(gè)作用：■在業(yè)務(wù)系統(tǒng)和數(shù)據(jù)倉(cāng)庫(kù)之間形成一個(gè)隔離層。數(shù)據(jù)倉(cāng)庫(kù)通常都有非常復(fù)雜的數(shù)據(jù)來(lái)源，這些數(shù)據(jù)存放在不同的地理位置、不同的數(shù)據(jù)庫(kù)、不同的應(yīng)用之中，從這些業(yè)務(wù)系統(tǒng)對(duì)數(shù)據(jù)抽取不是一件容易的事情。因此，ODS用于存放從業(yè)務(wù)系統(tǒng)直接抽取出來(lái)的數(shù)據(jù)，這些數(shù)據(jù)從數(shù)據(jù)結(jié)構(gòu)、數(shù)據(jù)之間的邏輯關(guān)系上與業(yè)務(wù)系統(tǒng)基本保持一致，因此在抽取過(guò)程中極大降低了數(shù)據(jù)轉(zhuǎn)化的復(fù)雜性，而主要關(guān)注數(shù)據(jù)抽取的接口、數(shù)據(jù)量大小、抽取方式等方面的問(wèn)題?！鲛D(zhuǎn)移一部分業(yè)務(wù)系統(tǒng)細(xì)節(jié)查詢的功能 在數(shù)據(jù)倉(cāng)庫(kù)建立之前，大量的報(bào)表、分析是由業(yè)務(wù)系統(tǒng)直接支持的，在一些比較復(fù)雜的報(bào)表生成過(guò)程中，對(duì)業(yè)務(wù)系統(tǒng)的運(yùn)行產(chǎn)生相當(dāng)大的壓力。ODS的數(shù)據(jù)從粒度、組織方式等各個(gè)方面都保持了與業(yè)務(wù)系統(tǒng)的一致性，那么原來(lái)由業(yè)務(wù)系統(tǒng)產(chǎn)生的報(bào)表、細(xì)節(jié)數(shù)據(jù)的查詢自然能夠從ODS中進(jìn)行，從而降低業(yè)務(wù)系統(tǒng)的查詢壓力?！鐾瓿蓴?shù)據(jù)倉(cāng)庫(kù)中不能完成的一些功能通常，帶有ODS的數(shù)據(jù)倉(cāng)庫(kù)的體系結(jié)構(gòu)中，數(shù)據(jù)倉(cāng)庫(kù)層所存儲(chǔ)的數(shù)據(jù)都是進(jìn)行匯總過(guò)的數(shù)據(jù)，并不存儲(chǔ)每筆交易產(chǎn)生的細(xì)節(jié)數(shù)據(jù)，但是在某些特殊的應(yīng)用中，可能需要對(duì)交易細(xì)節(jié)數(shù)據(jù)進(jìn)行查詢，這時(shí)就需要把細(xì)節(jié)數(shù)據(jù)查詢的功能轉(zhuǎn)移到ODS來(lái)完成，而且ODS的數(shù)據(jù)模型按照面向主題的方式進(jìn)行存儲(chǔ)，可以方便地支持多維分析等查詢功能。在一個(gè)沒(méi)有ODS的數(shù)據(jù)倉(cāng)庫(kù)應(yīng)用系統(tǒng)體系結(jié)構(gòu)中，數(shù)據(jù)倉(cāng)庫(kù)中存儲(chǔ)的數(shù)據(jù)粒度是根據(jù)需要而確定的，但一般來(lái)說(shuō)，最為細(xì)節(jié)的業(yè)務(wù)數(shù)據(jù)也是需要保留的，實(shí)際上也就相當(dāng)于ODS，但與ODS所不同的是，這時(shí)的細(xì)節(jié)數(shù)據(jù)不是“當(dāng)前、不斷變化的”數(shù)據(jù)。而是“歷史的、不再變化的”數(shù)據(jù)。 FDS層FDS（Fundational Data Strore）基礎(chǔ)數(shù)據(jù)存儲(chǔ)。所謂基礎(chǔ)數(shù)據(jù)，即數(shù)據(jù)不進(jìn)行更新、與源系統(tǒng)的數(shù)據(jù)保持一致。FDS層在整個(gè)數(shù)據(jù)倉(cāng)庫(kù)中位于ODS層之上，是數(shù)據(jù)倉(cāng)庫(kù)的核心層。FDS層的數(shù)據(jù)特點(diǎn)是“面向主題的、集成的、非易失的和隨時(shí)間變化”的。對(duì)于商業(yè)銀行來(lái)說(shuō)，F(xiàn)DS層的主題通常分為客戶、公共、渠道、貸款、銀行卡、存款、貸款、中間業(yè)務(wù)和總賬共八類主題。各個(gè)主題下的數(shù)據(jù)是由來(lái)源于ODS層的各個(gè)業(yè)務(wù)系統(tǒng)的數(shù)據(jù)進(jìn)行了集成后的數(shù)據(jù)。數(shù)據(jù)在集成的過(guò)程中不進(jìn)行更新，只加時(shí)間標(biāo)識(shí)，數(shù)據(jù)的存儲(chǔ)方式主要分為拉鏈表、快照表和流水表的方式進(jìn)行存儲(chǔ)。FDS層的數(shù)據(jù)每天通過(guò)增量和全量的方式進(jìn)行加載，數(shù)據(jù)不進(jìn)行刪除，持續(xù)保存歷史數(shù)據(jù)。 IDS層IDS（Integrated Data Store）集成數(shù)據(jù)存儲(chǔ)。IDS是位于FDS之上的一層數(shù)據(jù)，數(shù)據(jù)的特點(diǎn)是對(duì)FDS層的數(shù)據(jù)進(jìn)行了高度的整合和匯總。數(shù)據(jù)匯總方式主要將存款、貸款、總賬、中間業(yè)務(wù)、客戶等各個(gè)主題下的數(shù)據(jù)按照時(shí)間維、機(jī)構(gòu)維和幣種等維度進(jìn)行匯總。這樣處理的目的是便于下游各個(gè)應(yīng)用系統(tǒng)之間是有數(shù)據(jù)倉(cāng)庫(kù)中的數(shù)據(jù)。IDS層在數(shù)據(jù)倉(cāng)庫(kù)中所做的匯總通常是針對(duì)共性的信息進(jìn)行處理。而對(duì)于更進(jìn)一步的匯總和加工處理通常由各個(gè)應(yīng)用系統(tǒng)根據(jù)自身對(duì)數(shù)據(jù)的需求進(jìn)行加工處理。 數(shù)據(jù)集市數(shù)據(jù)集市在整個(gè)BI領(lǐng)域是經(jīng)常提及到的概念。在很多銀行已經(jīng)建設(shè)了針對(duì)不同業(yè)務(wù)應(yīng)用需要的數(shù)據(jù)集市，如監(jiān)管數(shù)據(jù)集市、風(fēng)險(xiǎn)數(shù)據(jù)集市、信貸報(bào)表數(shù)據(jù)集市等。在銀行沒(méi)有建設(shè)數(shù)據(jù)倉(cāng)庫(kù)的情況下，數(shù)據(jù)集市是介于銀行各類業(yè)務(wù)系統(tǒng)與應(yīng)用系統(tǒng)之間的一層數(shù)據(jù)的集合，作為源系統(tǒng)數(shù)據(jù)的緩沖和應(yīng)用系統(tǒng)的數(shù)據(jù)源。例如，在2003年銀監(jiān)會(huì)成了之后提出了1104工程，在2006年初便要求全國(guó)所有的商業(yè)銀行報(bào)送1104報(bào)表。當(dāng)時(shí)，大多數(shù)銀行在建立1104報(bào)表系統(tǒng)時(shí)在沒(méi)有數(shù)據(jù)倉(cāng)庫(kù)的情況下只能從銀行的各個(gè)源業(yè)務(wù)系統(tǒng)抽取數(shù)據(jù)，在這種情況下，為了更好的實(shí)現(xiàn)1104報(bào)表，提高報(bào)表的取數(shù)率，大多會(huì)為銀行建設(shè)監(jiān)管數(shù)據(jù)集市，即從各個(gè)源業(yè)務(wù)系統(tǒng)中抽取出所需要的數(shù)，對(duì)數(shù)據(jù)進(jìn)行一定的整合、集成，視報(bào)表情況進(jìn)行一定時(shí)期內(nèi)的報(bào)表歷史數(shù)據(jù)的存儲(chǔ)，以便于1104報(bào)表能夠方便的從數(shù)據(jù)集市中取數(shù)。這種實(shí)現(xiàn)方式既不影響源業(yè)務(wù)系統(tǒng)又實(shí)現(xiàn)了監(jiān)管數(shù)據(jù)的統(tǒng)一存儲(chǔ)、統(tǒng)一規(guī)劃、又為日后的監(jiān)管機(jī)構(gòu)的現(xiàn)場(chǎng)檢查提供的依據(jù)。在銀行建設(shè)了數(shù)據(jù)倉(cāng)庫(kù)的情況下，數(shù)據(jù)集市通常建設(shè)在整個(gè)數(shù)據(jù)倉(cāng)庫(kù)的基層數(shù)據(jù)模型的最上層，應(yīng)用系統(tǒng)之下。并且，數(shù)據(jù)倉(cāng)庫(kù)的建設(shè)是根據(jù)各個(gè)應(yīng)用系統(tǒng)的需要進(jìn)行靈活設(shè)計(jì)，這種做法的好處是保證數(shù)據(jù)倉(cāng)庫(kù)不會(huì)因?yàn)橥鈬鷳?yīng)用系統(tǒng)的增加而受到影響，也不會(huì)對(duì)數(shù)據(jù)倉(cāng)庫(kù)造成任何性能上的壓力。 ETL過(guò)程ETL即數(shù)據(jù)抽?。‥xtract）、轉(zhuǎn)換（Transfer）、加載（Load）的意思。是構(gòu)建數(shù)據(jù)倉(cāng)庫(kù)的重要環(huán)節(jié)。ETL的過(guò)程即從數(shù)據(jù)源抽取出所需的數(shù)據(jù)，經(jīng)過(guò)數(shù)據(jù)清洗轉(zhuǎn)換，最終按照預(yù)先定義好的數(shù)據(jù)倉(cāng)庫(kù)模型，將數(shù)據(jù)加載到數(shù)據(jù)倉(cāng)庫(kù)中去。數(shù)據(jù)抽?。簲?shù)據(jù)抽取程序能將數(shù)據(jù)從高性能聯(lián)機(jī)事務(wù)處理方式中（如銀行的核心系統(tǒng)、信貸系統(tǒng)、國(guó)結(jié)系統(tǒng)等）轉(zhuǎn)移出來(lái)，所以在對(duì)數(shù)據(jù)進(jìn)行總體分析和使用時(shí)就不會(huì)影響聯(lián)機(jī)事務(wù)處理的性能。當(dāng)數(shù)據(jù)抽取程序?qū)?shù)據(jù)從操作型事務(wù)處理范圍內(nèi)移出時(shí)，數(shù)據(jù)的控制方式就發(fā)生了轉(zhuǎn)變。最終用戶一旦開(kāi)始控制數(shù)據(jù)，就最終“擁有”了這些數(shù)據(jù)。就可以直接對(duì)數(shù)據(jù)進(jìn)行進(jìn)一步的加工使用。ETL將數(shù)據(jù)加載到數(shù)據(jù)倉(cāng)庫(kù)的過(guò)程最終實(shí)現(xiàn)了從操作型業(yè)務(wù)系統(tǒng)到最終數(shù)據(jù)應(yīng)用分析系統(tǒng)的徹底分離。 調(diào)度管理調(diào)度是數(shù)據(jù)倉(cāng)庫(kù)運(yùn)轉(zhuǎn)的總協(xié)調(diào)員，任何一個(gè)數(shù)據(jù)倉(cāng)庫(kù)平臺(tái)都離不開(kāi)調(diào)度管理。一個(gè)好的調(diào)度管理是一個(gè)數(shù)據(jù)倉(cāng)庫(kù)平臺(tái)平穩(wěn)、高效運(yùn)行的關(guān)鍵。一個(gè)好的調(diào)度管理平臺(tái)通常應(yīng)包含以下內(nèi)容：任務(wù)作業(yè)的編排和配置；任務(wù)調(diào)度過(guò)程的監(jiān)控和查看；調(diào)度日志。任務(wù)作業(yè)的編排和配置是在調(diào)度平臺(tái)上線正式運(yùn)行之前進(jìn)行配置的內(nèi)容，通常將整個(gè)數(shù)據(jù)倉(cāng)庫(kù)的所有的跑批任務(wù)進(jìn)行統(tǒng)一的編號(hào)，設(shè)置前、后置的任務(wù)依賴關(guān)系，然后將具體的任務(wù)關(guān)系配置到調(diào)度平臺(tái)中，之后調(diào)度管理平臺(tái)就可以按照我們希望的先后順序及并行和串行的關(guān)系進(jìn)行調(diào)度。任務(wù)調(diào)度過(guò)程的監(jiān)控和查看通常是提供可視化的界面供數(shù)據(jù)倉(cāng)庫(kù)的維護(hù)和管理人員使用，維護(hù)人員可以通過(guò)在界面上操作，方便靈活的查看到每一個(gè)任務(wù)節(jié)點(diǎn)的運(yùn)行情況。包括查看任務(wù)節(jié)點(diǎn)中包含哪些子任務(wù)、每個(gè)子任務(wù)的運(yùn)行狀態(tài)、運(yùn)行的開(kāi)始時(shí)間、結(jié)束時(shí)間、正在運(yùn)行的任務(wù)個(gè)數(shù)、等待運(yùn)行的任務(wù)個(gè)數(shù)、成功運(yùn)行的任務(wù)個(gè)數(shù)、失敗運(yùn)行的任務(wù)個(gè)數(shù)、任務(wù)運(yùn)行的時(shí)長(zhǎng)等。調(diào)度日志主要體現(xiàn)在整個(gè)調(diào)度管理平臺(tái)能夠接收各種ETL工具及腳本返回的日志，如可以集成Datastage、Kettle、Infomatica、存儲(chǔ)過(guò)程、Shell、Java Class等，即具有較好的兼容性。 元數(shù)據(jù)管理 基本定義元數(shù)據(jù)是數(shù)據(jù)倉(cāng)庫(kù)環(huán)境中一個(gè)重要方面。元數(shù)據(jù)是關(guān)于數(shù)據(jù)的數(shù)據(jù)。在數(shù)據(jù)倉(cāng)庫(kù)中，元數(shù)據(jù)扮演一個(gè)新的重要角色，通過(guò)元數(shù)據(jù)，可以最有效地利用數(shù)據(jù)倉(cāng)庫(kù)。元數(shù)據(jù)使得最終用戶、決策分析人員能夠探索各種可能性。元數(shù)據(jù)在數(shù)據(jù)倉(cāng)庫(kù)的上層，并且記錄數(shù)據(jù)倉(cāng)庫(kù)中對(duì)象的位置。典型的元數(shù)據(jù)記錄：■ 數(shù)據(jù)倉(cāng)庫(kù)表的結(jié)構(gòu)?！?數(shù)據(jù)倉(cāng)庫(kù)表的屬性?！?數(shù)據(jù)倉(cāng)庫(kù)的源數(shù)據(jù)（銀行的各種操作型系統(tǒng))?！?從各種操作型系統(tǒng)到數(shù)據(jù)倉(cāng)庫(kù)的映射?！?數(shù)據(jù)模型的規(guī)格說(shuō)明?！?抽取數(shù)據(jù)的歷史記錄。■ 訪問(wèn)數(shù)據(jù)的公用例行程序。■ 數(shù)據(jù)模型和數(shù)據(jù)倉(cāng)庫(kù)的關(guān)系。元數(shù)據(jù)為訪問(wèn)數(shù)據(jù)倉(cāng)庫(kù)提供了一個(gè)信息目錄（information directory），這個(gè)目錄全面描述了數(shù)據(jù)倉(cāng)庫(kù)中都有什么數(shù)據(jù)、這些數(shù)據(jù)怎么得到的、怎么訪問(wèn)這些數(shù)據(jù)。是數(shù)據(jù)倉(cāng)庫(kù)運(yùn)行和維護(hù)的中心，數(shù)據(jù)倉(cāng)庫(kù)服務(wù)器利用他來(lái)存貯和更新數(shù)據(jù)，用戶通過(guò)他來(lái)了解和訪問(wèn)數(shù)據(jù)。元數(shù)據(jù)分為技術(shù)元數(shù)據(jù)和業(yè)務(wù)元數(shù)據(jù)。技術(shù)元數(shù)據(jù)是存儲(chǔ)關(guān)于數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)技術(shù)細(xì)節(jié)的數(shù)據(jù)，常見(jiàn)的有庫(kù)表結(jié)構(gòu)、數(shù)據(jù)映射、匯總算法等。業(yè)務(wù)元數(shù)據(jù)從業(yè)務(wù)角度描述了數(shù)據(jù)倉(cāng)庫(kù)中的數(shù)據(jù)，使得不懂計(jì)算機(jī)技術(shù)的業(yè)務(wù)人員也能“讀懂”數(shù)據(jù)倉(cāng)庫(kù)中的數(shù)據(jù)。業(yè)務(wù)元數(shù)據(jù)具體包括以下信息：企業(yè)概念模型、指標(biāo)定義、代碼標(biāo)準(zhǔn)化、用戶訪問(wèn)報(bào)表的規(guī)則、權(quán)限等。如下圖所示，說(shuō)明了元數(shù)據(jù)與數(shù)據(jù)的區(qū)別。 元數(shù)據(jù)管理的作用在數(shù)據(jù)倉(cāng)庫(kù)中，元數(shù)據(jù)管理具有多方面的作用。主要包括：知識(shí)共享與標(biāo)準(zhǔn)化、影響分析、血統(tǒng)分析、數(shù)據(jù)質(zhì)量改進(jìn)、版本管理、改善業(yè)務(wù)人員數(shù)據(jù)訪問(wèn)界面?！糁R(shí)共享與標(biāo)準(zhǔn)化降低學(xué)習(xí)與溝通成本；減少缺乏共享與標(biāo)準(zhǔn)帶來(lái)的數(shù)據(jù)問(wèn)題；減少員工流動(dòng)帶來(lái)的影響；◆影響分析減少元數(shù)據(jù)變更出錯(cuò)率；提高開(kāi)發(fā)效率；◆血統(tǒng)分析支持?jǐn)?shù)據(jù)分析與審計(jì)；減少數(shù)據(jù)冗余