freepeople性欧美熟妇, 色戒完整版无删减158分钟hd, 无码精品国产vα在线观看DVD, 丰满少妇伦精品无码专区在线观看,艾栗栗与纹身男宾馆3p50分钟,国产AV片在线观看,黑人与美女高潮,18岁女RAPPERDISSSUBS,国产手机在机看影片

正文內(nèi)容

商業(yè)銀行數(shù)據(jù)倉(cāng)庫(kù)淺析(編輯修改稿)

2025-07-23 07:52 本頁(yè)面
 

【文章內(nèi)容簡(jiǎn)介】 率低??煺毡淼木唧w形態(tài)如下表(貸款借據(jù)表)所示。FDATEDUEBILLNODUEBILLSUMDBRESTSUMDUEBILLDATEDBMATUREDATEYSYJLX20120706XDYC00009495201107192014071820120707XDYC00009495201107192014071820120708XDYC00009495201107192014071820120709XDYC000094952011071920140718在數(shù)據(jù)倉(cāng)庫(kù)設(shè)計(jì)時(shí)選擇使用接鏈表存儲(chǔ)數(shù)據(jù)應(yīng)該考慮以下幾點(diǎn):■數(shù)據(jù)量較小的數(shù)據(jù)表,可以考慮使用快照表。因?yàn)榭煺毡硎敲刻煲粋€(gè)快照,數(shù)據(jù)量重復(fù)存儲(chǔ)。如果數(shù)據(jù)量較大不宜使用快照表,會(huì)占用大量的存儲(chǔ)空間,并且隨著時(shí)間的推移,訪問(wèn)效率會(huì)越來(lái)越低?!鲎侄屋^多的數(shù)據(jù)表,可以考慮用快照表。因?yàn)?,字段較多,如果不采用快照表而采用拉鏈表會(huì)影響數(shù)據(jù)倉(cāng)庫(kù)數(shù)據(jù)的跑批效率。 流水表流水表即按照每天的交易日期增量存儲(chǔ)數(shù)據(jù)。通常在數(shù)據(jù)倉(cāng)庫(kù)中,對(duì)于交易流水?dāng)?shù)據(jù)采用流水表進(jìn)行存儲(chǔ)。如存款余額變動(dòng)明細(xì)表、總賬流水表等數(shù)據(jù)均需要采用流水表的方式存儲(chǔ)。流水表的特點(diǎn)是,數(shù)據(jù)真實(shí)性高、與原系統(tǒng)流水表信息一致。 ODS層 ODS定義ODS(Operational Data Store)操作型數(shù)據(jù)存儲(chǔ),是數(shù)據(jù)倉(cāng)庫(kù)體系中的一個(gè)可選部分,ODS具備數(shù)據(jù)倉(cāng)庫(kù)的部分特征和OLTP系統(tǒng)的部分特征,它是“面向主題的、集成的、當(dāng)前或接近當(dāng)前的、不斷變化的”數(shù)據(jù)。ODS層的數(shù)據(jù)是對(duì)數(shù)據(jù)源的緩沖,通常不保留歷史數(shù)據(jù),根據(jù)數(shù)據(jù)量的大小數(shù)據(jù)通常存儲(chǔ)七天到一個(gè)月的數(shù)據(jù)。 ODS作用 ODS的設(shè)計(jì)主要體現(xiàn)在以下幾個(gè)作用:■在業(yè)務(wù)系統(tǒng)和數(shù)據(jù)倉(cāng)庫(kù)之間形成一個(gè)隔離層。數(shù)據(jù)倉(cāng)庫(kù)通常都有非常復(fù)雜的數(shù)據(jù)來(lái)源,這些數(shù)據(jù)存放在不同的地理位置、不同的數(shù)據(jù)庫(kù)、不同的應(yīng)用之中,從這些業(yè)務(wù)系統(tǒng)對(duì)數(shù)據(jù)抽取不是一件容易的事情。因此,ODS用于存放從業(yè)務(wù)系統(tǒng)直接抽取出來(lái)的數(shù)據(jù),這些數(shù)據(jù)從數(shù)據(jù)結(jié)構(gòu)、數(shù)據(jù)之間的邏輯關(guān)系上與業(yè)務(wù)系統(tǒng)基本保持一致,因此在抽取過(guò)程中極大降低了數(shù)據(jù)轉(zhuǎn)化的復(fù)雜性,而主要關(guān)注數(shù)據(jù)抽取的接口、數(shù)據(jù)量大小、抽取方式等方面的問(wèn)題?!鲛D(zhuǎn)移一部分業(yè)務(wù)系統(tǒng)細(xì)節(jié)查詢的功能 在數(shù)據(jù)倉(cāng)庫(kù)建立之前,大量的報(bào)表、分析是由業(yè)務(wù)系統(tǒng)直接支持的,在一些比較復(fù)雜的報(bào)表生成過(guò)程中,對(duì)業(yè)務(wù)系統(tǒng)的運(yùn)行產(chǎn)生相當(dāng)大的壓力。ODS的數(shù)據(jù)從粒度、組織方式等各個(gè)方面都保持了與業(yè)務(wù)系統(tǒng)的一致性,那么原來(lái)由業(yè)務(wù)系統(tǒng)產(chǎn)生的報(bào)表、細(xì)節(jié)數(shù)據(jù)的查詢自然能夠從ODS中進(jìn)行,從而降低業(yè)務(wù)系統(tǒng)的查詢壓力?!鐾瓿蓴?shù)據(jù)倉(cāng)庫(kù)中不能完成的一些功能通常,帶有ODS的數(shù)據(jù)倉(cāng)庫(kù)的體系結(jié)構(gòu)中,數(shù)據(jù)倉(cāng)庫(kù)層所存儲(chǔ)的數(shù)據(jù)都是進(jìn)行匯總過(guò)的數(shù)據(jù),并不存儲(chǔ)每筆交易產(chǎn)生的細(xì)節(jié)數(shù)據(jù),但是在某些特殊的應(yīng)用中,可能需要對(duì)交易細(xì)節(jié)數(shù)據(jù)進(jìn)行查詢,這時(shí)就需要把細(xì)節(jié)數(shù)據(jù)查詢的功能轉(zhuǎn)移到ODS來(lái)完成,而且ODS的數(shù)據(jù)模型按照面向主題的方式進(jìn)行存儲(chǔ),可以方便地支持多維分析等查詢功能。在一個(gè)沒(méi)有ODS的數(shù)據(jù)倉(cāng)庫(kù)應(yīng)用系統(tǒng)體系結(jié)構(gòu)中,數(shù)據(jù)倉(cāng)庫(kù)中存儲(chǔ)的數(shù)據(jù)粒度是根據(jù)需要而確定的,但一般來(lái)說(shuō),最為細(xì)節(jié)的業(yè)務(wù)數(shù)據(jù)也是需要保留的,實(shí)際上也就相當(dāng)于ODS,但與ODS所不同的是,這時(shí)的細(xì)節(jié)數(shù)據(jù)不是“當(dāng)前、不斷變化的”數(shù)據(jù)。而是“歷史的、不再變化的”數(shù)據(jù)。 FDS層FDS(Fundational Data Strore)基礎(chǔ)數(shù)據(jù)存儲(chǔ)。所謂基礎(chǔ)數(shù)據(jù),即數(shù)據(jù)不進(jìn)行更新、與源系統(tǒng)的數(shù)據(jù)保持一致。FDS層在整個(gè)數(shù)據(jù)倉(cāng)庫(kù)中位于ODS層之上,是數(shù)據(jù)倉(cāng)庫(kù)的核心層。FDS層的數(shù)據(jù)特點(diǎn)是“面向主題的、集成的、非易失的和隨時(shí)間變化”的。對(duì)于商業(yè)銀行來(lái)說(shuō),F(xiàn)DS層的主題通常分為客戶、公共、渠道、貸款、銀行卡、存款、貸款、中間業(yè)務(wù)和總賬共八類主題。各個(gè)主題下的數(shù)據(jù)是由來(lái)源于ODS層的各個(gè)業(yè)務(wù)系統(tǒng)的數(shù)據(jù)進(jìn)行了集成后的數(shù)據(jù)。數(shù)據(jù)在集成的過(guò)程中不進(jìn)行更新,只加時(shí)間標(biāo)識(shí),數(shù)據(jù)的存儲(chǔ)方式主要分為拉鏈表、快照表和流水表的方式進(jìn)行存儲(chǔ)。FDS層的數(shù)據(jù)每天通過(guò)增量和全量的方式進(jìn)行加載,數(shù)據(jù)不進(jìn)行刪除,持續(xù)保存歷史數(shù)據(jù)。 IDS層IDS(Integrated Data Store)集成數(shù)據(jù)存儲(chǔ)。IDS是位于FDS之上的一層數(shù)據(jù),數(shù)據(jù)的特點(diǎn)是對(duì)FDS層的數(shù)據(jù)進(jìn)行了高度的整合和匯總。數(shù)據(jù)匯總方式主要將存款、貸款、總賬、中間業(yè)務(wù)、客戶等各個(gè)主題下的數(shù)據(jù)按照時(shí)間維、機(jī)構(gòu)維和幣種等維度進(jìn)行匯總。這樣處理的目的是便于下游各個(gè)應(yīng)用系統(tǒng)之間是有數(shù)據(jù)倉(cāng)庫(kù)中的數(shù)據(jù)。IDS層在數(shù)據(jù)倉(cāng)庫(kù)中所做的匯總通常是針對(duì)共性的信息進(jìn)行處理。而對(duì)于更進(jìn)一步的匯總和加工處理通常由各個(gè)應(yīng)用系統(tǒng)根據(jù)自身對(duì)數(shù)據(jù)的需求進(jìn)行加工處理。 數(shù)據(jù)集市數(shù)據(jù)集市在整個(gè)BI領(lǐng)域是經(jīng)常提及到的概念。在很多銀行已經(jīng)建設(shè)了針對(duì)不同業(yè)務(wù)應(yīng)用需要的數(shù)據(jù)集市,如監(jiān)管數(shù)據(jù)集市、風(fēng)險(xiǎn)數(shù)據(jù)集市、信貸報(bào)表數(shù)據(jù)集市等。在銀行沒(méi)有建設(shè)數(shù)據(jù)倉(cāng)庫(kù)的情況下,數(shù)據(jù)集市是介于銀行各類業(yè)務(wù)系統(tǒng)與應(yīng)用系統(tǒng)之間的一層數(shù)據(jù)的集合,作為源系統(tǒng)數(shù)據(jù)的緩沖和應(yīng)用系統(tǒng)的數(shù)據(jù)源。例如,在2003年銀監(jiān)會(huì)成了之后提出了1104工程,在2006年初便要求全國(guó)所有的商業(yè)銀行報(bào)送1104報(bào)表。當(dāng)時(shí),大多數(shù)銀行在建立1104報(bào)表系統(tǒng)時(shí)在沒(méi)有數(shù)據(jù)倉(cāng)庫(kù)的情況下只能從銀行的各個(gè)源業(yè)務(wù)系統(tǒng)抽取數(shù)據(jù),在這種情況下,為了更好的實(shí)現(xiàn)1104報(bào)表,提高報(bào)表的取數(shù)率,大多會(huì)為銀行建設(shè)監(jiān)管數(shù)據(jù)集市,即從各個(gè)源業(yè)務(wù)系統(tǒng)中抽取出所需要的數(shù),對(duì)數(shù)據(jù)進(jìn)行一定的整合、集成,視報(bào)表情況進(jìn)行一定時(shí)期內(nèi)的報(bào)表歷史數(shù)據(jù)的存儲(chǔ),以便于1104報(bào)表能夠方便的從數(shù)據(jù)集市中取數(shù)。這種實(shí)現(xiàn)方式既不影響源業(yè)務(wù)系統(tǒng)又實(shí)現(xiàn)了監(jiān)管數(shù)據(jù)的統(tǒng)一存儲(chǔ)、統(tǒng)一規(guī)劃、又為日后的監(jiān)管機(jī)構(gòu)的現(xiàn)場(chǎng)檢查提供的依據(jù)。在銀行建設(shè)了數(shù)據(jù)倉(cāng)庫(kù)的情況下,數(shù)據(jù)集市通常建設(shè)在整個(gè)數(shù)據(jù)倉(cāng)庫(kù)的基層數(shù)據(jù)模型的最上層,應(yīng)用系統(tǒng)之下。并且,數(shù)據(jù)倉(cāng)庫(kù)的建設(shè)是根據(jù)各個(gè)應(yīng)用系統(tǒng)的需要進(jìn)行靈活設(shè)計(jì),這種做法的好處是保證數(shù)據(jù)倉(cāng)庫(kù)不會(huì)因?yàn)橥鈬鷳?yīng)用系統(tǒng)的增加而受到影響,也不會(huì)對(duì)數(shù)據(jù)倉(cāng)庫(kù)造成任何性能上的壓力。 ETL過(guò)程ETL即數(shù)據(jù)抽?。‥xtract)、轉(zhuǎn)換(Transfer)、加載(Load)的意思。是構(gòu)建數(shù)據(jù)倉(cāng)庫(kù)的重要環(huán)節(jié)。ETL的過(guò)程即從數(shù)據(jù)源抽取出所需的數(shù)據(jù),經(jīng)過(guò)數(shù)據(jù)清洗轉(zhuǎn)換,最終按照預(yù)先定義好的數(shù)據(jù)倉(cāng)庫(kù)模型,將數(shù)據(jù)加載到數(shù)據(jù)倉(cāng)庫(kù)中去。數(shù)據(jù)抽?。簲?shù)據(jù)抽取程序能將數(shù)據(jù)從高性能聯(lián)機(jī)事務(wù)處理方式中(如銀行的核心系統(tǒng)、信貸系統(tǒng)、國(guó)結(jié)系統(tǒng)等)轉(zhuǎn)移出來(lái),所以在對(duì)數(shù)據(jù)進(jìn)行總體分析和使用時(shí)就不會(huì)影響聯(lián)機(jī)事務(wù)處理的性能。當(dāng)數(shù)據(jù)抽取程序?qū)?shù)據(jù)從操作型事務(wù)處理范圍內(nèi)移出時(shí),數(shù)據(jù)的控制方式就發(fā)生了轉(zhuǎn)變。最終用戶一旦開(kāi)始控制數(shù)據(jù),就最終“擁有”了這些數(shù)據(jù)。就可以直接對(duì)數(shù)據(jù)進(jìn)行進(jìn)一步的加工使用。ETL將數(shù)據(jù)加載到數(shù)據(jù)倉(cāng)庫(kù)的過(guò)程最終實(shí)現(xiàn)了從操作型業(yè)務(wù)系統(tǒng)到最終數(shù)據(jù)應(yīng)用分析系統(tǒng)的徹底分離。 調(diào)度管理調(diào)度是數(shù)據(jù)倉(cāng)庫(kù)運(yùn)轉(zhuǎn)的總協(xié)調(diào)員,任何一個(gè)數(shù)據(jù)倉(cāng)庫(kù)平臺(tái)都離不開(kāi)調(diào)度管理。一個(gè)好的調(diào)度管理是一個(gè)數(shù)據(jù)倉(cāng)庫(kù)平臺(tái)平穩(wěn)、高效運(yùn)行的關(guān)鍵。一個(gè)好的調(diào)度管理平臺(tái)通常應(yīng)包含以下內(nèi)容:任務(wù)作業(yè)的編排和配置;任務(wù)調(diào)度過(guò)程的監(jiān)控和查看;調(diào)度日志。任務(wù)作業(yè)的編排和配置是在調(diào)度平臺(tái)上線正式運(yùn)行之前進(jìn)行配置的內(nèi)容,通常將整個(gè)數(shù)據(jù)倉(cāng)庫(kù)的所有的跑批任務(wù)進(jìn)行統(tǒng)一的編號(hào),設(shè)置前、后置的任務(wù)依賴關(guān)系,然后將具體的任務(wù)關(guān)系配置到調(diào)度平臺(tái)中,之后調(diào)度管理平臺(tái)就可以按照我們希望的先后順序及并行和串行的關(guān)系進(jìn)行調(diào)度。任務(wù)調(diào)度過(guò)程的監(jiān)控和查看通常是提供可視化的界面供數(shù)據(jù)倉(cāng)庫(kù)的維護(hù)和管理人員使用,維護(hù)人員可以通過(guò)在界面上操作,方便靈活的查看到每一個(gè)任務(wù)節(jié)點(diǎn)的運(yùn)行情況。包括查看任務(wù)節(jié)點(diǎn)中包含哪些子任務(wù)、每個(gè)子任務(wù)的運(yùn)行狀態(tài)、運(yùn)行的開(kāi)始時(shí)間、結(jié)束時(shí)間、正在運(yùn)行的任務(wù)個(gè)數(shù)、等待運(yùn)行的任務(wù)個(gè)數(shù)、成功運(yùn)行的任務(wù)個(gè)數(shù)、失敗運(yùn)行的任務(wù)個(gè)數(shù)、任務(wù)運(yùn)行的時(shí)長(zhǎng)等。調(diào)度日志主要體現(xiàn)在整個(gè)調(diào)度管理平臺(tái)能夠接收各種ETL工具及腳本返回的日志,如可以集成Datastage、Kettle、Infomatica、存儲(chǔ)過(guò)程、Shell、Java Class等,即具有較好的兼容性。 元數(shù)據(jù)管理 基本定義元數(shù)據(jù)是數(shù)據(jù)倉(cāng)庫(kù)環(huán)境中一個(gè)重要方面。元數(shù)據(jù)是關(guān)于數(shù)據(jù)的數(shù)據(jù)。在數(shù)據(jù)倉(cāng)庫(kù)中,元數(shù)據(jù)扮演一個(gè)新的重要角色,通過(guò)元數(shù)據(jù),可以最有效地利用數(shù)據(jù)倉(cāng)庫(kù)。元數(shù)據(jù)使得最終用戶、決策分析人員能夠探索各種可能性。元數(shù)據(jù)在數(shù)據(jù)倉(cāng)庫(kù)的上層,并且記錄數(shù)據(jù)倉(cāng)庫(kù)中對(duì)象的位置。典型的元數(shù)據(jù)記錄:■ 數(shù)據(jù)倉(cāng)庫(kù)表的結(jié)構(gòu)?!?數(shù)據(jù)倉(cāng)庫(kù)表的屬性?!?數(shù)據(jù)倉(cāng)庫(kù)的源數(shù)據(jù)(銀行的各種操作型系統(tǒng))?!?從各種操作型系統(tǒng)到數(shù)據(jù)倉(cāng)庫(kù)的映射?!?數(shù)據(jù)模型的規(guī)格說(shuō)明?!?抽取數(shù)據(jù)的歷史記錄。■ 訪問(wèn)數(shù)據(jù)的公用例行程序。■ 數(shù)據(jù)模型和數(shù)據(jù)倉(cāng)庫(kù)的關(guān)系。元數(shù)據(jù)為訪問(wèn)數(shù)據(jù)倉(cāng)庫(kù)提供了一個(gè)信息目錄(information directory),這個(gè)目錄全面描述了數(shù)據(jù)倉(cāng)庫(kù)中都有什么數(shù)據(jù)、這些數(shù)據(jù)怎么得到的、怎么訪問(wèn)這些數(shù)據(jù)。是數(shù)據(jù)倉(cāng)庫(kù)運(yùn)行和維護(hù)的中心,數(shù)據(jù)倉(cāng)庫(kù)服務(wù)器利用他來(lái)存貯和更新數(shù)據(jù),用戶通過(guò)他來(lái)了解和訪問(wèn)數(shù)據(jù)。元數(shù)據(jù)分為技術(shù)元數(shù)據(jù)和業(yè)務(wù)元數(shù)據(jù)。技術(shù)元數(shù)據(jù)是存儲(chǔ)關(guān)于數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)技術(shù)細(xì)節(jié)的數(shù)據(jù),常見(jiàn)的有庫(kù)表結(jié)構(gòu)、數(shù)據(jù)映射、匯總算法等。業(yè)務(wù)元數(shù)據(jù)從業(yè)務(wù)角度描述了數(shù)據(jù)倉(cāng)庫(kù)中的數(shù)據(jù),使得不懂計(jì)算機(jī)技術(shù)的業(yè)務(wù)人員也能“讀懂”數(shù)據(jù)倉(cāng)庫(kù)中的數(shù)據(jù)。業(yè)務(wù)元數(shù)據(jù)具體包括以下信息:企業(yè)概念模型、指標(biāo)定義、代碼標(biāo)準(zhǔn)化、用戶訪問(wèn)報(bào)表的規(guī)則、權(quán)限等。如下圖所示,說(shuō)明了元數(shù)據(jù)與數(shù)據(jù)的區(qū)別。 元數(shù)據(jù)管理的作用在數(shù)據(jù)倉(cāng)庫(kù)中,元數(shù)據(jù)管理具有多方面的作用。主要包括:知識(shí)共享與標(biāo)準(zhǔn)化、影響分析、血統(tǒng)分析、數(shù)據(jù)質(zhì)量改進(jìn)、版本管理、改善業(yè)務(wù)人員數(shù)據(jù)訪問(wèn)界面?!糁R(shí)共享與標(biāo)準(zhǔn)化降低學(xué)習(xí)與溝通成本;減少缺乏共享與標(biāo)準(zhǔn)帶來(lái)的數(shù)據(jù)問(wèn)題;減少員工流動(dòng)帶來(lái)的影響;◆影響分析減少元數(shù)據(jù)變更出錯(cuò)率;提高開(kāi)發(fā)效率;◆血統(tǒng)分析支持?jǐn)?shù)據(jù)分析與審計(jì);減少數(shù)據(jù)冗余
點(diǎn)擊復(fù)制文檔內(nèi)容
教學(xué)課件相關(guān)推薦
文庫(kù)吧 www.dybbs8.com
備案圖片鄂ICP備17016276號(hào)-1