【正文】 L的調度表。 元數(shù)據(jù)管理元數(shù)據(jù)是數(shù)據(jù)倉庫中用來定義和描述業(yè)務和應用數(shù)據(jù)、數(shù)據(jù)映射和演進關系、處理流程及任務依賴等幾乎所有內容的描述數(shù)據(jù)，從而將數(shù)據(jù)倉庫的各個角落和各個環(huán)節(jié)有機的串聯(lián)在一起，以不僅支持數(shù)據(jù)倉庫各種功能實現(xiàn)，而且應該支持跟蹤數(shù)據(jù)倉庫的狀況和變化，從而給數(shù)據(jù)倉庫的生命運動提供一個整體概貌視圖。元數(shù)據(jù)設計應力求全面、細致，可以參考業(yè)界的一些數(shù)據(jù)倉庫元數(shù)據(jù)標準，如CWM（Common Warehouse Model）等，注意所有元數(shù)據(jù)要統(tǒng)一標準、統(tǒng)一設計和管理，保證各層、各類元數(shù)據(jù)的銜接，避免出現(xiàn)數(shù)據(jù)斷層。隨著業(yè)務系統(tǒng)和某些業(yè)務參數(shù)的變化，元數(shù)據(jù)也是不斷發(fā)展變化的，要注意元數(shù)據(jù)的一致性和持續(xù)性維護。對倉庫數(shù)據(jù)的監(jiān)控應包括進入倉庫的SQL命令和這些命令的結果集，使系統(tǒng)管理員能夠知曉數(shù)據(jù)倉庫中哪些數(shù)據(jù)正在被使用、哪些數(shù)據(jù)經(jīng)常被使用等，可能需要在表級、行級和列級進行監(jiān)控，以清楚掌握數(shù)據(jù)的情況，為存儲規(guī)劃和管理等提供依據(jù)。主要有關系和多維兩種模型，它們主要的區(qū)別在于靈活性和性能方面。EDW采用面向主題的關系模型設計，以存儲整合后的企業(yè)全局詳細數(shù)據(jù)，支持各種類型最低粒度的數(shù)據(jù)需求。除物化匯總數(shù)據(jù)保留周期視需求而定（不超過EDW周期），其它數(shù)據(jù)保留周期短暫。 關系模型設計EDW關系數(shù)據(jù)模型設計有幾個目的：消除冗余、統(tǒng)一標準、中性共享、方便使用、完整一致的描述和組織企業(yè)數(shù)據(jù)。對于某些應用的個性化數(shù)據(jù)需求，雖然共享程度低，也須放入EDW，可以根據(jù)數(shù)據(jù)的共享程序和繁忙程序，在進行物理設計時劃分出熱數(shù)據(jù)區(qū)和冷數(shù)據(jù)區(qū)。 多維模型設計DM層的主要目的是用于特定分析應用的快速訪問，通常采用多維模型設計，當然根據(jù)分析型應用的特點與需要也可以采用關系模型設計。在設計時應首先選擇業(yè)務所需的度量指標，然后選擇度量的維度和反映維度等級結構的層（粒度）。ROLAP模型有星型和雪花兩種結構，星型是基本結構。216。252。由于靈活查詢的時效要求相對較高，對這類應用應該為各部門規(guī)定數(shù)據(jù)范圍、操作范圍和查詢頻率，以免影響數(shù)據(jù)倉庫的性能；同時在ETL元數(shù)據(jù)設計時應考慮對這類應用狀況的動態(tài)監(jiān)控。應用開發(fā)是挖掘數(shù)據(jù)倉庫價值的最有效方式，可以靈活滿足企業(yè)的各類后線應用需要。對于每一個數(shù)據(jù)集市的不同需求，應靈活區(qū)別對待，包括為其預測和計劃不同的處理機器和存儲容量。要宏觀規(guī)劃和階段性預期目標相結合，經(jīng)過論證評估，明確自己的需求。重視數(shù)據(jù)質量管控：數(shù)據(jù)質量太差的數(shù)據(jù)倉庫，其應用價值可以幾乎為零。銀行業(yè)數(shù)據(jù)倉庫道路上的障礙并不是技術本身，而是在于建設策略、目標定位、需求落實、遷移過渡等逐多困難因素，這需要對數(shù)據(jù)倉庫建設有深刻且高瞻遠矚的認識，并且借鑒國內外同行在數(shù)據(jù)倉庫建設方面的成功經(jīng)驗，提高制勝把握。 建設策略堅持整體規(guī)劃分步實施原則：1）總行統(tǒng)一規(guī)劃，協(xié)同攻關，不搞重復建設。圖61252。自動化統(tǒng)計平臺，分行特色應用數(shù)據(jù)返傳與管理：建立綜合統(tǒng)計系統(tǒng)，搭建全行自動化統(tǒng)計平臺，實現(xiàn)全行3600多張經(jīng)營管理報表的自動生成。 架構設計總體應用架構：如圖63圖63總體邏輯架構：如圖64圖64總體數(shù)據(jù)架構：如圖65圖65216。在數(shù)據(jù)倉庫的總體架構框架中，分行將部署以internet瀏覽器為主的數(shù)據(jù)查詢功能，同時部分一級分行也將根據(jù)其業(yè)務需要，部署支持其業(yè)務特色的數(shù)據(jù)集市和分析能力。 總體邏輯架構如圖66：圖66源系統(tǒng)：在數(shù)據(jù)倉庫的整個生命周期中，源系統(tǒng)的選擇是在變化的。數(shù)據(jù)整合層：為了保證多系統(tǒng)對源系統(tǒng)數(shù)據(jù)抽取的需求，在數(shù)據(jù)從源數(shù)據(jù)系統(tǒng)抽取后在一個統(tǒng)一的數(shù)據(jù)整合環(huán)境中整合，完成技術層面的數(shù)據(jù)統(tǒng)一轉換。所有從源數(shù)據(jù)系統(tǒng)卸載的數(shù)據(jù)，包括暫時不進入數(shù)據(jù)倉庫的數(shù)據(jù)都應有介質備份，以便日后需要時可以不需要對源數(shù)據(jù)接口進行大修改，這一方案需要UDI的擴容。出于費用和實施時間的考量，在DWamp。數(shù)據(jù)倉庫是DWamp。未來的管理信息平臺需要在作業(yè)調度自動化，報表接口的標準化方向進一步提高。 總體數(shù)據(jù)架構如圖67：圖67應用主題涵蓋的數(shù)據(jù)：見下表應用主題主要數(shù)據(jù)類別用戶及人數(shù)數(shù)據(jù)粒度/頻率資產負債管理（ALM）公共類信息：機構、賬號、科目、貨幣期限日期類信息：起息日、到期日等交易類信息：金額、摘要、日期時間分戶賬余額類信息：余額、利息等余額信息：當前余額、初始金額等支付類信息：支付日、支付金額等利率類信息：利率、利差等總行ALM相關部門、一級分行每日財務績效管理（Famp。PM應納入分行本地的特色數(shù)據(jù)，如中間業(yè)務的詳細數(shù)據(jù)RM總行集中統(tǒng)一部署無分行本地數(shù)據(jù)集市分行用戶直接訪問集中的RM系統(tǒng)ACRM總行集中統(tǒng)一部署無分行本地數(shù)據(jù)集市分行用戶直接訪問集中的ACRM系統(tǒng)OLAP總行OLAP系統(tǒng)涵蓋已匯總的分行數(shù)據(jù)DW分發(fā)匯總數(shù)據(jù)和指標數(shù)據(jù)到分行本地的應用數(shù)據(jù)集市分行本地的OLAP數(shù)據(jù)集市應包括總行DW下發(fā)的匯總數(shù)據(jù)及本地特色數(shù)據(jù)大多數(shù)應用不需要大量詳細數(shù)據(jù)通過網(wǎng)絡傳輸，分行用戶只需要結果數(shù)據(jù)。數(shù)據(jù)倉庫內數(shù)據(jù)的保留策略：見下表：基礎數(shù)據(jù)包含每筆交易的詳細數(shù)據(jù)、客戶和賬戶的詳細信息。匯總數(shù)據(jù)包括三大類數(shù)據(jù)：交易類、賬戶類和客戶類。月匯總按國外銀行的通常作法，應保留7年的歷史。DW數(shù)據(jù)質量檢查：從文件級別和數(shù)據(jù)記錄級別執(zhí)行以下數(shù)據(jù)質量檢查點。從數(shù)據(jù)倉庫到數(shù)據(jù)集市和應用展現(xiàn)層的數(shù)據(jù)問題通常是由于業(yè)務指標計算不正確引起，需要對業(yè)務邏輯和算法進行修正。應盡量使用增量數(shù)據(jù)，在使用自然鍵識別新數(shù)據(jù)的同時，應將新的數(shù)據(jù)文本的生成時間應與最近加載的時間比較，從而獲取正確的增量數(shù)據(jù)。數(shù)據(jù)緩儲區(qū)應包含參考數(shù)據(jù)。DW設計：DWamp。MIS數(shù)據(jù)倉庫采用滿足第三范式的規(guī)范化建模，基于NCR FSLDM進行客戶化定制完成，并在Teradata關系型數(shù)據(jù)倉庫上實現(xiàn)。PM各個業(yè)務主題以及多維分析均應建立各自的應用數(shù)據(jù)集市。設計考慮因素有：集市數(shù)據(jù)永久保存；按照預先安排的時間和頻度進行數(shù)據(jù)集市的更新；在基礎平臺能夠支持的情況下，優(yōu)先采用虛擬集市（Virtual Mart）的技術。ALM元數(shù)據(jù)庫保存ALM元數(shù)據(jù)?！睙o疑， 正是個人銀行業(yè)務的發(fā)展?jié)摿ν滑F(xiàn)了CRM在商業(yè)銀行管理中的地位。同時， 該銀行利用預測性建模， 實現(xiàn)更有效的分析、測量和鎖定高利潤客戶。再如，業(yè)務人員可以通過分析銀行的客戶群數(shù)據(jù)，判斷哪些類型或具有什么特征的客戶最有可能購買哪一種產品或服務。現(xiàn)在， 美洲銀行逐漸向數(shù)據(jù)倉庫型客戶關系管理系統(tǒng)與電話銀行相結合， 向每天、甚至每時更新數(shù)據(jù)， 深入發(fā)掘數(shù)據(jù)倉庫型客戶關系管理系統(tǒng)潛力的方向發(fā)展。針對具有較好潛在利潤可供挖掘的客戶群體，設計促銷活動，將這些客戶吸引到美洲銀行來，這樣既拓展了信用卡業(yè)務，又降低了促銷成本。世界上主要的數(shù)據(jù)倉庫廠商都提供成套的產品和解決方案。 Oracle數(shù)據(jù)倉庫體系結構Oracle公司在數(shù)據(jù)倉庫建設的每一個環(huán)節(jié)上都提供了相應的技術手段及工具，產品之間無縫集成，圖11所示為Oracle公司10G版本的數(shù)據(jù)倉庫體系結構：圖11這個體系結構的產品可以分成三個層次：數(shù)據(jù)獲取層：Oracle Warehouse Builder(OWB)實現(xiàn)了從數(shù)據(jù)模型設計、ETL流程設計和元數(shù)據(jù)管理的全部功能。Oracle10g數(shù)據(jù)庫內置OLAP和數(shù)據(jù)挖掘功能，不需要進行數(shù)據(jù)遷移，就可以直接在關系數(shù)據(jù)庫中完成復雜的統(tǒng)計分析功能。數(shù)據(jù)展現(xiàn)層：Oracle提供多種數(shù)據(jù)分析的工具，包括標準報表工具（Reports）、即席查詢工具(Discoverer)、OLAP分析開發(fā)工具(JDeveloper＋BIBeans)和數(shù)據(jù)挖掘工具(Oracle Data Miner)，將統(tǒng)計分析的結果通過各種方式展現(xiàn)。216。DWEE總體結構規(guī)劃如圖12：圖12主要產品包括： 數(shù)據(jù)倉庫存儲的海量關系型數(shù)據(jù)庫：DB2 UDB ESE企業(yè)版，數(shù)據(jù)倉庫引擎數(shù)據(jù)分區(qū)模塊：DB2 UDB DPF，支持分區(qū)和多機并行調度復雜即席查詢的查詢管理器：Query Patroller，基于成本的查詢負載管理工具, 提高數(shù)據(jù)倉庫吞吐量。3）數(shù)據(jù)倉庫的開發(fā)、監(jiān)控以及Meta Data管理工具DB2 Warehouse Center；4）數(shù)據(jù)倉庫信息目錄Information Catalog；5）報表生成工具QMF。DB2 Alphablox：提供開發(fā)分析應用的平臺，構建客戶自己的分析應用。動態(tài)企業(yè)智能側重數(shù)據(jù)倉庫在業(yè)務運營層面的應用，通過數(shù)據(jù)庫平臺在實時操作環(huán)境的支持下，實現(xiàn)快速戰(zhàn)略決策。二是動態(tài)數(shù)據(jù)加載，傳統(tǒng)數(shù)據(jù)倉庫的數(shù)據(jù)加載與動態(tài)數(shù)據(jù)倉庫的數(shù)據(jù)加載所需的技術設施幾乎相同。數(shù)據(jù)導入層(ETL)：從源數(shù)據(jù)層的數(shù)據(jù)抽取采用DataStage；向數(shù)據(jù)倉庫中央數(shù)據(jù)庫的數(shù)據(jù)加載采用Teradata的數(shù)據(jù)加載工具或DS插件；整個ETL流程管理采用Teradata的DW Automation工具。工具是ERWin。中間服務層(業(yè)務應用)：主要功能包括：１）向用戶提供包括OLAP服務、報表服務、查詢服務、數(shù)據(jù)挖掘服務和中間件服務等多種服務應用；２）為用戶對中央數(shù)據(jù)的訪問提供各種方式的服務，從而實現(xiàn)訪問方式的多樣化和信息存取的透明化。主要產品包括OWB（完成數(shù)據(jù)模型設計、ETL和元數(shù)據(jù)管理等功能，并提供了一個框架將數(shù)據(jù)倉庫的各個部分緊密結合）、Oracle DB(數(shù)據(jù)倉庫核心引擎，并通過對SQL 的擴充和使用AWM工具等方式在關系數(shù)據(jù)庫中提供OLAP 分析區(qū)功能)、BIEE和Discover（作為AS的組件）等一系列數(shù)據(jù)挖掘和展現(xiàn)工具。主要包括三部分功能組件：１）InfoSphere Warehouse數(shù)據(jù)服務器，主要是DB2企業(yè)服務器版，包括Intelligent Miner，DB2 Query Patroller等。但NCR產品的價格相對較高，主要貴在硬件上。 注1：分析系統(tǒng)也稱分析型應用，統(tǒng)一指利用聯(lián)機業(yè)務系統(tǒng)的數(shù)據(jù)，經(jīng)過數(shù)據(jù)采集、下傳、裝載、加工、生成結果信息等批量處理步驟的應用系統(tǒng)。 注3：中間加工過程這里是指包括數(shù)據(jù)文件下傳、文件解壓清洗、數(shù)據(jù)加載、全量數(shù)據(jù)加工等一系列中間批量處理步驟。即通過對數(shù)據(jù)建立模型、模擬決策過程以及人機交互方式，而輔助決策者分析問題，提高決策水平。178。 參考TERADATA數(shù)據(jù)倉庫培訓資料網(wǎng)上數(shù)據(jù)倉庫資料41 / 41