【文章內(nèi)容簡介】 據(jù)有較大的相似性，而一個結構穩(wěn)定、擴展性強的EDW模型設計需要深厚的行業(yè)和技術經(jīng)驗，因此數(shù)據(jù)倉庫廠商針對主要行業(yè)都有自己比較成熟的數(shù)據(jù)模型產(chǎn)品。企業(yè)在進行EDW關系模型設計時，可以借鑒這些成熟產(chǎn)品的設計思想并依靠自己的經(jīng)驗與能力獨立完成，也可以依托成熟的行業(yè)產(chǎn)品進行客戶化。252。 多維模型設計DM層的主要目的是用于特定分析應用的快速訪問，通常采用多維模型設計，當然根據(jù)分析型應用的特點與需要也可以采用關系模型設計。多維模型恰是根據(jù)用戶的請求而構造的，其設計的最大優(yōu)點在于訪問的高效性，因此必須收集和理解用戶的最終需求，才能定義出優(yōu)化的多維模型結構。確定結構后的多維模型固定服務于特定用戶特定形式的訪問，不能再輕易改變而用于其它需求。多維模型也稱OLAP模型，是為了滿足用戶從多角度多層次進行數(shù)據(jù)查詢和分析的需要而建立起來的基于度量（實際數(shù)據(jù)值）和維（描述數(shù)據(jù)的不同角度）的數(shù)據(jù)模型。在設計時應首先選擇業(yè)務所需的度量指標，然后選擇度量的維度和反映維度等級結構的層（粒度）。維度建模有三種實現(xiàn)方法：ROLAP、MOLAP和HOLAP。ROLAP是利用關系數(shù)據(jù)庫來存儲多維數(shù)據(jù)和完成多維操作；MOLP是基于多維數(shù)據(jù)庫完成數(shù)據(jù)存儲和分析操作（例如ORACLE的分析工作區(qū)Analytic Workspace，簡稱AW）；HOLAP是基于關系和多維的混合模型，即利用關系數(shù)據(jù)庫來存儲和處理細節(jié)數(shù)據(jù)，利用多維數(shù)據(jù)庫來存儲和處理聚合數(shù)據(jù)。多數(shù)采用ROLAP進行設計。ROLAP模型有星型和雪花兩種結構，星型是基本結構。星型結構是采用中間一個事實表和外圍多個維度表來表達和存儲多維數(shù)據(jù)，事實表用來存儲度量值和維關鍵字，每個維使用一個表來存儲維的層次結構，事實表和維表通過主外鍵關聯(lián)成“星型結構”。對于層次復雜的維，可以將其進一步層次化而分成多個維表，星型結構就擴展為“雪花結構”。雪花結構有減少數(shù)據(jù)冗余等優(yōu)點，但由于增加連接而導致性能下降等原因，通常不推薦。216。 應用架構設計有了EDW的基礎數(shù)據(jù)和DM的應用數(shù)據(jù)，怎樣充分利用這些數(shù)據(jù)，挖掘其中的商業(yè)價值是應用架構設計的范圍。應用架構設計既是建設數(shù)據(jù)倉庫系統(tǒng)的出發(fā)點，也是目標。數(shù)據(jù)倉庫的價值回報最終體現(xiàn)在所支持的各類應用。252。 一般應用模式應用模式一般有靈活查詢、數(shù)據(jù)挖掘和應用開發(fā)等。靈活查詢解決那些無法預定義的查詢分析和詳細鉆取，可能是簡單統(tǒng)計或某些明細數(shù)據(jù)項查詢，也可能是較復雜的計算與處理。常用的、能夠提煉出共性的靈活查詢可以轉(zhuǎn)化為固定報表。由于靈活查詢的時效要求相對較高，對這類應用應該為各部門規(guī)定數(shù)據(jù)范圍、操作范圍和查詢頻率，以免影響數(shù)據(jù)倉庫的性能；同時在ETL元數(shù)據(jù)設計時應考慮對這類應用狀況的動態(tài)監(jiān)控。數(shù)據(jù)挖掘是針對特定領域的特定問題，從大量詳細數(shù)據(jù)中提取可能具有潛在價值的信息，基于機器學習、模式識別、統(tǒng)計學等技術，做出歸納性的推理，從中挖掘出潛在的模式，供決策者參考。數(shù)據(jù)挖掘一般需要跨業(yè)務領域進行綜合關聯(lián)分析，信息全面，信息量大，而時效性要求不是太強。通常采用專業(yè)的工具。應用開發(fā)是挖掘數(shù)據(jù)倉庫價值的最有效方式，可以靈活滿足企業(yè)的各類后線應用需要。不僅可以為領導層提供分析決策支持，為中層管理者、市場分析人員和操作員提供智能商務服務，還可服務于各類監(jiān)管、報送需求。252。 靈活設計數(shù)據(jù)集市EDW中的數(shù)據(jù)通常只在需要時才經(jīng)過預加工后送入到DM中，DM并非只有一種模式，而是根據(jù)不同應用目的設計不同的模式，例如有的需要設計成多維模型，而有的設計成關系模型更合適；有的要求越快見到數(shù)據(jù)越好，有的只需在月底的時候見到數(shù)據(jù)。對于每一個數(shù)據(jù)集市的不同需求，應靈活區(qū)別對待，包括為其預測和計劃不同的處理機器和存儲容量。5. 數(shù)據(jù)倉庫實施與維護策略數(shù)據(jù)倉庫建設是一個復雜的系統(tǒng)工程，分析設計的每一具體步驟都很關鍵，而在更高角度上有一個正確的實施策略和方法論更是保證數(shù)據(jù)倉庫項目成功的先決條件。另一方面，建成后的數(shù)據(jù)倉庫像一個結構龐大而邏輯嚴密的機器，具體的日常狀態(tài)監(jiān)控和錯誤應對措施十分重要，而在更高層次上有一套完善的維護策略對保障數(shù)據(jù)倉庫系統(tǒng)順利運行也必不可少。除了一般的項目管理方法外，實施數(shù)據(jù)倉庫項目還應該重視以下策略：目標明確和需求：持續(xù)建設和改進是數(shù)據(jù)倉庫項目區(qū)別于一般軟件項目的一個特征，作為平臺型綜合性項目，數(shù)據(jù)倉庫的價值實現(xiàn)不是一步到位的。要宏觀規(guī)劃和階段性預期目標相結合，經(jīng)過論證評估，明確自己的需求。很多數(shù)據(jù)倉庫項目是由于需求不明確而導致失敗的。高層領導支持和用戶的充分參與：數(shù)據(jù)倉庫不是一個普通的技術主導型項目，而是一個大的群集項目，需要高層領導的支持而保證和各部門間的密切高效配合。同時需要建立有效機制而推動各業(yè)務部門的積極深入?yún)⑴c，只有持續(xù)不斷的基于數(shù)據(jù)倉庫的海量數(shù)據(jù)建立更先進的分析應用，才能發(fā)揮出數(shù)據(jù)倉庫的應用價值。重視數(shù)據(jù)質(zhì)量管控：數(shù)據(jù)質(zhì)量太差的數(shù)據(jù)倉庫，其應用價值可以幾乎為零。除了做好具體的數(shù)據(jù)質(zhì)量檢查和維護工作，更重要的是建立一套完善的數(shù)據(jù)管控體系，不僅需要制訂數(shù)據(jù)質(zhì)量檢查、改進和解決數(shù)據(jù)問題的任務、制度、方法與流程等，還必須有跨部門以上的領導牽頭建立一個組織平臺來負責數(shù)據(jù)質(zhì)量問題跟蹤解決和數(shù)據(jù)質(zhì)量持續(xù)改進。數(shù)據(jù)質(zhì)量管控是一個長期持續(xù)的過程，重點是組織管理和抓好流程，好的經(jīng)驗還有：持續(xù)推進元數(shù)據(jù)精細化管理；做好數(shù)據(jù)生命周期管理；建立數(shù)據(jù)質(zhì)量評估模型；推進主數(shù)據(jù)和參考數(shù)據(jù)標準體系建設等。6. 同業(yè)數(shù)據(jù)倉庫應用發(fā)展狀況數(shù)據(jù)倉庫技術在國內(nèi)外銀行業(yè)的應用已有多年，可以說給銀行業(yè)帶來了比其傳統(tǒng)基礎業(yè)務系統(tǒng)更加鮮活的競爭力；然而，數(shù)據(jù)倉庫建設的難度和風險也困擾著銀行業(yè)的IT決策者。銀行業(yè)數(shù)據(jù)倉庫道路上的障礙并不是技術本身，而是在于建設策略、目標定位、需求落實、遷移過渡等逐多困難因素，這需要對數(shù)據(jù)倉庫建設有深刻且高瞻遠矚的認識，并且借鑒國內(nèi)外同行在數(shù)據(jù)倉庫建設方面的成功經(jīng)驗，提高制勝把握。216。 工商銀行數(shù)據(jù)倉庫建設情況工商銀行運用數(shù)據(jù)倉庫方法論建立的全行管理信息系統(tǒng)及在此基礎上的整合平臺，包含了全行業(yè)務交易信息、客戶信息、內(nèi)部管理和外部環(huán)境信息有關的細節(jié)數(shù)據(jù)，用于支持工商銀行經(jīng)營管理和科學決策。252。 建設策略堅持整體規(guī)劃分步實施原則：1）總行統(tǒng)一規(guī)劃，協(xié)同攻關，不搞重復建設。2）綜合考慮業(yè)務重要性、數(shù)據(jù)可支持性和支持可行性。3）從全行管理、決策和業(yè)務發(fā)展需要出發(fā)，分階段逐個開發(fā)不同主題應用，合理部署進程。遵循企業(yè)信息化漸近發(fā)展逐步完善的建設規(guī)律：如圖61。圖61252。 業(yè)務功能全行統(tǒng)一的數(shù)據(jù)倉庫平臺（EDW）和客戶統(tǒng)一視圖：全行管理信息大集中統(tǒng)一平臺（EDW）于2007年12月完成一期建設，實現(xiàn)了全行57個主要信息系統(tǒng)（包括信貸系統(tǒng)、電子銀行、核心銀行等）2324張數(shù)據(jù)源表信息的邏輯集中，實現(xiàn)全行管理信息從物理集中到邏輯集中的飛躍。在此基礎上實現(xiàn)對全行個人貸款、信用卡、理財金和金融資產(chǎn)超過５萬元的個人客戶信息進行全面整合，實現(xiàn)全行重點客戶單一視圖、向人行報送個人客戶征信信息、提供不良客戶信息等功能。實現(xiàn)全行法人客戶信息集成管理和單一視圖等功能。自動化統(tǒng)計平臺，分行特色應用數(shù)據(jù)返傳與管理：建立綜合統(tǒng)計系統(tǒng)，搭建全行自動化統(tǒng)計平臺，實現(xiàn)全行3600多張經(jīng)營管理報表的自動生成。建立動態(tài)監(jiān)測子系統(tǒng)，實現(xiàn)全行境內(nèi)全口徑資產(chǎn)負債、損益等報表自動化生成，真正實現(xiàn)“天天損益表”目標。建立分行數(shù)據(jù)平臺（BDP）報表應用系統(tǒng)，基于BDP的基礎數(shù)據(jù)，幫助分行開展特色信息應用工作。投產(chǎn)9個客戶信用風險管理類數(shù)據(jù)倉庫應用系統(tǒng)：如圖62圖62252。 架構設計總體應用架構：如圖63圖63總體邏輯架構：如圖64圖64總體數(shù)據(jù)架構：如圖65圖65216。 建設銀行數(shù)據(jù)倉庫（DWamp。MIS）建行DWamp。MIS 是一個集中型的數(shù)據(jù)倉庫架構，同時支持總體和一級分行應用。在數(shù)據(jù)倉庫的總體架構框架中，分行將部署以internet瀏覽器為主的數(shù)據(jù)查詢功能，同時部分一級分行也將根據(jù)其業(yè)務需要，部署支持其業(yè)務特色的數(shù)據(jù)集市和分析能力。在DWamp。MIS一期，分行將僅通過管理信息平臺向分行發(fā)布相關的靜態(tài)報表，不部署數(shù)據(jù)集市和動態(tài)數(shù)據(jù)分析能力。252。 總體邏輯架構如圖66：圖66源系統(tǒng)：在數(shù)據(jù)倉庫的整個生命周期中，源系統(tǒng)的選擇是在變化的。源數(shù)據(jù)的選擇應首先從業(yè)務應用需求出發(fā)，根據(jù)一期和未來階段分析應用所需數(shù)據(jù)的需求，對建行的相關源系統(tǒng)進行數(shù)據(jù)篩選，并對每一個數(shù)據(jù)字段進行標準定義整理。應將所有相關表的數(shù)據(jù)都從源數(shù)據(jù)系統(tǒng)抽取出來，數(shù)據(jù)倉庫暫時不用的數(shù)據(jù)可以存放在數(shù)據(jù)整合層，以便支持未來的數(shù)據(jù)需求。在比較、選擇源系統(tǒng)時，應采用貼近數(shù)據(jù)產(chǎn)生源的原則，盡量使用歸總、計算前的原始數(shù)據(jù)，選擇正確的源數(shù)據(jù)。數(shù)據(jù)整合層：為了保證多系統(tǒng)對源系統(tǒng)數(shù)據(jù)抽取的需求，在數(shù)據(jù)從源數(shù)據(jù)系統(tǒng)抽取后在一個統(tǒng)一的數(shù)據(jù)整合環(huán)境中整合，完成技術層面的數(shù)據(jù)統(tǒng)一轉(zhuǎn)換。采用建行已經(jīng)上線的UDI數(shù)據(jù)整合環(huán)境完成數(shù)據(jù)的整合。數(shù)據(jù)整合層只承擔操作型源系統(tǒng)的整合工作，數(shù)據(jù)倉庫需要的其他中間業(yè)務系統(tǒng)如ERP系統(tǒng)將直接和數(shù)據(jù)倉庫進行數(shù)據(jù)交換，而不通過數(shù)據(jù)整合層。數(shù)據(jù)整合層是批量交換數(shù)據(jù)的平臺。所有從源數(shù)據(jù)系統(tǒng)卸載的數(shù)據(jù)，包括暫時不進入數(shù)據(jù)倉庫的數(shù)據(jù)都應有介質(zhì)備份，以便日后需要時可以不需要對源數(shù)據(jù)接口進行大修改，這一方案需要UDI的擴容。整合層的數(shù)據(jù)保留原則：每日的數(shù)據(jù)保留一周、每周的數(shù)據(jù)保留一個月、每月的數(shù)據(jù)保留三個月。ETL層：主要功能是完成數(shù)據(jù)從源系統(tǒng)的數(shù)據(jù)組織邏輯向數(shù)據(jù)倉庫目標邏輯的轉(zhuǎn)換及數(shù)據(jù)倉庫的加載。ETL的主要設計考量在于其數(shù)據(jù)轉(zhuǎn)換及加載的效率、可擴充性以及ETL程序的自動化和可維護性，例如與元數(shù)據(jù)驅(qū)動的數(shù)據(jù)映射。出于費用和實施時間的考量，在DWamp。MIS第一階段，ETL工具將采用NCR的 Automation 數(shù)據(jù)轉(zhuǎn)換及加載工具。但建行應該從企業(yè)數(shù)據(jù)架構層面考慮其長期的ETL工具和原數(shù)據(jù)管理能力的策略，以滿足企業(yè)數(shù)據(jù)環(huán)境復雜性的需要。數(shù)據(jù)緩沖區(qū)及數(shù)據(jù)倉庫：數(shù)據(jù)緩沖區(qū)是數(shù)據(jù)在加載至數(shù)據(jù)倉庫之前的臨時存貯區(qū)。數(shù)據(jù)倉庫是DWamp。MIS的核心數(shù)據(jù)邏輯存貯空間。BI應用層：是數(shù)據(jù)倉庫向終端業(yè)務用戶提供應用功能支持的界面，根據(jù)應用功能提供的形式和所采用的應用系統(tǒng)的不同，BI應用層主要定義在以下幾個技術環(huán)境。管理信息平臺作為數(shù)據(jù)倉庫系統(tǒng)的一個有機組成部分，將承擔著靜態(tài)報表的展現(xiàn)、分發(fā)，手工數(shù)據(jù)的錄入，指標數(shù)據(jù)的分發(fā)等任務。未來的