【正文】 數(shù)據(jù)倉庫不提供用于數(shù)據(jù)查詢的聯(lián)機應(yīng)用接口（不含參數(shù)維護、元數(shù)據(jù)管理和數(shù)據(jù)質(zhì)檢模塊）。查詢分析功能數(shù)據(jù)倉庫為高級分析用戶提供查詢分析環(huán)境，通過BI工具進行較為靈活復(fù)雜的SQL查詢，以及簡單的統(tǒng)計分析操作[13]。特點為基于成熟應(yīng)用，但不針對特定應(yīng)用。特點為以數(shù)據(jù)為驅(qū)動；基礎(chǔ)、細節(jié)、歷史的數(shù)據(jù)。部署在數(shù)據(jù)中心，屬于總行集中模式的分析型應(yīng)用系統(tǒng)[12]。綜合統(tǒng)計定位：全行的統(tǒng)計報表平臺；部署在總行數(shù)據(jù)中心和一級分行，屬于分布模式的分析型應(yīng)用。數(shù)據(jù)倉庫定位：全行統(tǒng)一、共享的基礎(chǔ)數(shù)據(jù)平臺；部署在全行的數(shù)據(jù)中心，屬于總行集中模式的分析型應(yīng)用。數(shù)據(jù)交換平臺在數(shù)據(jù)傳輸?shù)倪^程中僅按照一定的規(guī)則，對數(shù)據(jù)進行分發(fā)） 數(shù)據(jù)倉庫體系的定位由于數(shù)據(jù)倉庫、數(shù)據(jù)集市、綜合統(tǒng)計、數(shù)據(jù)挖掘的定位不同，所以從邏輯層面或者應(yīng)用層面將它們分開，物理層面是否使用統(tǒng)一的技術(shù)平臺，以及是否整合集中部署，則要根據(jù)具體情況而定。應(yīng)用系統(tǒng) 聯(lián)機或批量訪問數(shù)據(jù)倉庫的應(yīng)用系統(tǒng)，典型的應(yīng)用有營銷管理系統(tǒng)、利潤貢獻度模塊、反洗錢應(yīng)用、關(guān)鍵指標(biāo)/平衡計分卡應(yīng)用。圖 三種應(yīng)用模式靈活分析：具有IT和業(yè)務(wù)兩方面的知識和技能，能利用數(shù)據(jù)查詢工具進行任意的數(shù)據(jù)探索和查詢，以回答各種未預(yù)先定義的業(yè)務(wù)問題。數(shù)據(jù)倉庫建設(shè)規(guī)劃如圖：圖 數(shù)據(jù)倉庫建設(shè)規(guī)劃11 數(shù)據(jù)倉庫建設(shè)規(guī)劃和集市整合綜上所述，數(shù)據(jù)倉庫建設(shè)的關(guān)鍵為：邏輯模型和物理平臺數(shù)據(jù)倉庫的發(fā)展階段如圖：圖 數(shù)據(jù)倉庫的發(fā)展階段國際先進銀行的數(shù)據(jù)倉庫系統(tǒng)實踐表明，實現(xiàn)需求主要有以下三種主要的應(yīng)用模式：靈活分析、數(shù)據(jù)挖掘（如：評分系統(tǒng)）和應(yīng)用開發(fā)[8]?，F(xiàn)階段數(shù)據(jù)倉庫應(yīng)用的不足：數(shù)據(jù)集市之間存在一定程度的數(shù)據(jù)重復(fù)下載、重復(fù)加工和冗余存儲；數(shù)據(jù)集市之間的加工規(guī)則和流程不同，容易產(chǎn)生結(jié)果的不一致；數(shù)據(jù)集市各自獨立，信息集中共享程度較低，不能滿足跨系統(tǒng)、跨產(chǎn)品的關(guān)聯(lián)性、綜合性分析；數(shù)據(jù)交換平臺不保留歷史數(shù)據(jù)，難以實現(xiàn)歷史數(shù)據(jù)加工，以及出現(xiàn)差錯難以追溯補救；缺乏完整規(guī)范的數(shù)據(jù)質(zhì)量檢查、監(jiān)控機制，數(shù)據(jù)質(zhì)量難以保證；數(shù)據(jù)集市的數(shù)據(jù)范圍、存放周期和詳盡粒度存在局限，難以支持應(yīng)用的擴展要求； 前臺業(yè)務(wù)系統(tǒng)有變化，相關(guān)的集市都要進行維護；各個集市的設(shè)備資源較難共享利用，加大維護管理成本；集市平臺處理能力有限，無法支撐海量數(shù)據(jù)存儲和處理；集市之間的數(shù)據(jù)交互日趨密切和復(fù)雜解決以上問題的關(guān)鍵：建立集中式數(shù)據(jù)倉庫系統(tǒng)。目前已經(jīng)構(gòu)建了客戶分析（PCRM、CCRM）、業(yè)績考核（PVMS，PASN）、風(fēng)險管理（風(fēng)險監(jiān)控、反洗錢、內(nèi)部評級法、內(nèi)部審計）、資產(chǎn)負債管理（利率風(fēng)險）、統(tǒng)計報表（CS2002）等分析型應(yīng)用，并正在發(fā)揮著重要的業(yè)務(wù)作用；目前已立項，正在規(guī)劃或建設(shè)的分析型應(yīng)用有：統(tǒng)計報表指標(biāo)庫、資本管理、市場風(fēng)險、內(nèi)控合規(guī)等操作風(fēng)險；2004年9月－05年1月：數(shù)據(jù)倉庫邏輯數(shù)據(jù)模型客戶化建設(shè)項目；2005年5月－12月：數(shù)據(jù)倉庫物理平臺選型測試項目；2006年4月－07年2月：商務(wù)采購和招標(biāo)；2007年4月：啟動了數(shù)據(jù)倉庫物理實施一期項目。浙江大學(xué)碩士學(xué)位論文 第3章國內(nèi)商業(yè)銀行數(shù)據(jù)倉庫第3章 國內(nèi)商業(yè)銀行數(shù)據(jù)倉庫 發(fā)展階段與目標(biāo)隨著查詢復(fù)雜度、負載復(fù)雜度，以及銀行數(shù)據(jù)復(fù)雜度的不斷增長，數(shù)據(jù)倉庫應(yīng)用至目前共經(jīng)歷了五個發(fā)展階段[7]。此外，透過業(yè)務(wù)運營和客戶數(shù)據(jù)的統(tǒng)一視圖，銀行各業(yè)務(wù)部門將充分享有信息增值帶來的優(yōu)勢。數(shù)據(jù)倉庫最大的貢獻是不僅僅作為一個單純的報表系統(tǒng)，它允許業(yè)務(wù)用戶直接進行動態(tài)分析和信息訪問，以真正起到?jīng)Q策支持的作用。通過使用數(shù)據(jù)倉庫，使得該銀行在第一年的成本節(jié)約大概八千五百萬美元，第一年的投資不超過四千三百萬美元，年度維護成本節(jié)約了一千一百萬至一千四百萬美元。一旦數(shù)據(jù)倉庫中的信息按照上述方式進行組織，銀行就可以通過以下機會獲得業(yè)務(wù)優(yōu)勢：市場促銷、產(chǎn)品客戶化、產(chǎn)品包裝、銀行業(yè)務(wù)評估、績效跟蹤、交叉銷售、風(fēng)險管理、渠道使用情況、設(shè)定優(yōu)惠價格、競爭對手聯(lián)盟、客戶份額預(yù)估、費用預(yù)先確定。數(shù)據(jù)倉庫可以在競爭力、客戶、風(fēng)險、利潤、組織機構(gòu)等幾個方面對銀行產(chǎn)生影響，例如：銀行可以根據(jù)數(shù)據(jù)倉庫中的信息做出決策，響應(yīng)日益嚴峻的競爭，不斷使用新的技術(shù)，使業(yè)務(wù)和產(chǎn)品的革新進一步全球化。 數(shù)據(jù)倉庫的應(yīng)用與優(yōu)勢數(shù)據(jù)倉庫在銀行的應(yīng)用范圍包括存款分析、貸款分析、客戶市場分析、相關(guān)金融業(yè)分析決策（證券、外匯買賣）、風(fēng)險預(yù)測、效益分析等。國內(nèi)商業(yè)銀行經(jīng)過幾年的開發(fā)，也積累了一系列客戶關(guān)系、風(fēng)險、績效等分析型數(shù)據(jù)倉庫應(yīng)用。風(fēng)險管理：合規(guī)與披露、信用風(fēng)險管理、市場風(fēng)險管理、操作風(fēng)險管理、全面風(fēng)險管理、流動性管理、利率管理、資本管理、反欺詐與反洗錢等。財務(wù)管理：監(jiān)管報表/信息披露、總賬分析、財務(wù)盈利分析、財務(wù)預(yù)算與計劃、預(yù)測與情景分析、動態(tài)財務(wù)報告等。在國內(nèi)，數(shù)據(jù)倉庫應(yīng)用領(lǐng)域處于領(lǐng)先地位的先進銀行，經(jīng)歷了20多年的建設(shè)和積累，總結(jié)提煉了一套數(shù)據(jù)倉庫業(yè)務(wù)應(yīng)用框架，包括客戶關(guān)系管理、財務(wù)管理、績效管理、風(fēng)險管理、信息管理5大領(lǐng)域的近30多種應(yīng)用。臨淵羨魚，不如退而結(jié)網(wǎng)。巴克萊銀行首席信息官David Weymouth表示：將現(xiàn)有的、分散的數(shù)據(jù)倉庫平臺集中起來幫助我們大幅降低運營成本。通過實施有針對性的事件行銷，成功率達24%。高級功能：客戶管理、產(chǎn)品管理、銷售管理、市場細分、信用風(fēng)險分析。數(shù)據(jù)倉庫中的數(shù)據(jù)實體約為24000個，每個月刷新的數(shù)據(jù)量約為1300GB，每月的使用統(tǒng)計：業(yè)務(wù)查詢與分析任務(wù)：554,800（平均每天18,500個業(yè)務(wù)查詢?nèi)蝿?wù)）數(shù)據(jù)插入任務(wù)：490,200數(shù)據(jù)更新任務(wù)：74,700數(shù)據(jù)闡述任務(wù)：22,200從業(yè)務(wù)功能角度來看，巴克萊銀行數(shù)據(jù)倉庫的業(yè)務(wù)應(yīng)用可以概括為以下兩個主要方面。1993年4月，在考察了路透社、英國航空公司等企業(yè)使用數(shù)據(jù)倉庫技術(shù)的情況后，巴克萊銀行決定給予NCR Teradata來建立其信息倉庫平臺BIW（Barclays Information Warehouse）。巴克萊的管理者急于尋找一種改變這種境遇的方法，希望能夠更準(zhǔn)確地預(yù)測每一筆貸款的違約風(fēng)險，并且使其資產(chǎn)組合盡可能多樣化，以最大程度地減少市場震蕩所帶來的影響。在英國，巴克萊設(shè)有約2000個分支機構(gòu)，其個人客戶超過1000萬，信用卡發(fā)卡量930萬張，是歐洲最大的信用卡發(fā)卡行）出現(xiàn)首度的財政虧損。對于環(huán)境的建設(shè)和完善，自然不是一朝一夕的事。反映歷史變化數(shù)據(jù)倉庫中的數(shù)據(jù)通常包含歷史信息，系統(tǒng)記錄了企業(yè)從過去某一時點(如開始應(yīng)用數(shù)據(jù)倉庫的時點)到目前的各個階段的信息，通過這些信息，可以對企業(yè)的發(fā)展歷程和未來趨勢做出定量分析和預(yù)測[3]。集成的數(shù)據(jù)倉庫中的數(shù)據(jù)是在對原有分散的數(shù)據(jù)庫數(shù)據(jù)抽取、清理的基礎(chǔ)上經(jīng)過系統(tǒng)加工、匯總和整理得到的，必須消除原始數(shù)據(jù)中的不一致性，以保證數(shù)據(jù)倉庫內(nèi)的信息是關(guān)于整個企業(yè)的一致的全局信息。數(shù)據(jù)倉庫的價值體現(xiàn)在深度運用中，用于持續(xù)改善的過程，而非一個短暫的項目。對于數(shù)據(jù)倉庫的概念我們可以從兩個層次予以理解，首先，數(shù)據(jù)倉庫用于支持決策，面向分析型數(shù)據(jù)處理，它不同于企業(yè)現(xiàn)有的操作型數(shù)據(jù)庫；其次，數(shù)據(jù)倉庫是對多個異構(gòu)的數(shù)據(jù)源有效集成，集成后按照主題進行了重組，并包含歷史數(shù)據(jù)，而且存放在數(shù)據(jù)倉庫中的數(shù)據(jù)一般不再修改[2]。（3）元數(shù)據(jù)是數(shù)據(jù)倉庫最基本的描述，包括設(shè)計模式、視圖、層次結(jié)構(gòu)等核心要素信息。 元數(shù)據(jù)對商業(yè)銀行的作用商業(yè)銀行元數(shù)據(jù)能夠有效幫助業(yè)務(wù)人員與技術(shù)人員理解、監(jiān)控、管理數(shù)據(jù)源、轉(zhuǎn)換規(guī)則、數(shù)據(jù)變更等信息，進而提高工作效率，保證銀行各項工作順利開展，其作用主要體現(xiàn)在以下幾個方面：（1）統(tǒng)一的元數(shù)據(jù)規(guī)范能夠顯著提高信息技術(shù)人員與數(shù)據(jù)分析人員對數(shù)據(jù)進行分析、挖掘的效率。（3）元數(shù)據(jù)不僅對信息本身進行描述，還可以描述資源的使用情況、管理、加工和使用等方面的情況。 元數(shù)據(jù)的特點（1）元數(shù)據(jù)是關(guān)于數(shù)據(jù)結(jié)構(gòu)化的數(shù)據(jù)，這些數(shù)據(jù)不一定是數(shù)字的形式，可能來自不同的數(shù)據(jù)源。8浙江大學(xué)碩士學(xué)位論文 第2章 元數(shù)據(jù)、數(shù)據(jù)倉庫的概念及對銀行業(yè)的作用第2章 元數(shù)據(jù)、數(shù)據(jù)倉庫的概念及對銀行業(yè)的作用 元數(shù)據(jù)的概念元數(shù)據(jù)是關(guān)于數(shù)據(jù)的組織、數(shù)據(jù)域及其關(guān)系的信息，簡言之，元數(shù)據(jù)就是數(shù)據(jù)的數(shù)據(jù)。 本章小結(jié)本章主要介紹了現(xiàn)階段國內(nèi)外商業(yè)銀行數(shù)據(jù)倉庫發(fā)展的現(xiàn)狀及重要性，以及國內(nèi)外商業(yè)銀行數(shù)據(jù)倉庫的對比，分析數(shù)據(jù)倉庫數(shù)據(jù)下載開發(fā)面臨的通用問題，探討如何采用統(tǒng)一規(guī)范、可配置和參數(shù)化方法等構(gòu)造商業(yè)銀行數(shù)據(jù)倉庫數(shù)據(jù)下載開發(fā)與運行平臺。第六章闡述了商業(yè)銀行數(shù)據(jù)倉庫系統(tǒng)未來的發(fā)展方向。以及闡述了筆者的主要工作和創(chuàng)新點。第三章描述了國內(nèi)商業(yè)銀行業(yè)數(shù)據(jù)倉庫的規(guī)劃，當(dāng)前的建設(shè)情況，以及商業(yè)銀行對數(shù)據(jù)倉庫的要求。 本文的組織結(jié)構(gòu)第一章分析了國內(nèi)外商業(yè)銀行數(shù)據(jù)倉庫的建設(shè)現(xiàn)狀，數(shù)據(jù)倉庫對于商業(yè)銀行的必要性。此系統(tǒng)投入運行后，顯示了其穩(wěn)定性、可靠性、易維護性，這些也都得益于開發(fā)過程中工程化方法的運用。提供了一種可配置的參數(shù)化組件，這些組件最終被組裝成復(fù)雜的數(shù)據(jù)倉庫數(shù)據(jù)下載系統(tǒng)中。建立統(tǒng)一的應(yīng)用系統(tǒng)數(shù)據(jù)模型設(shè)計規(guī)范。數(shù)據(jù)生命周期管理規(guī)范保證有效控制在線數(shù)據(jù)規(guī)模，提高生產(chǎn)數(shù)據(jù)訪問效率，減少系統(tǒng)資源浪費。本文完成的主要工作有：建立統(tǒng)一的開發(fā)技術(shù)規(guī)范，包括元數(shù)據(jù)技術(shù)規(guī)范、主輔數(shù)據(jù)源分布規(guī)范、數(shù)據(jù)生命周期管理規(guī)范、數(shù)據(jù)質(zhì)量規(guī)范等。本文結(jié)合目前商業(yè)銀行數(shù)據(jù)倉庫的發(fā)展現(xiàn)狀，分析面臨的關(guān)鍵問題，探討如何實現(xiàn)處理模塊的組件化、參數(shù)的配置化、操作的簡單化等功能，能夠加快商業(yè)銀行數(shù)據(jù)倉庫的建設(shè)、有效數(shù)據(jù)的抽取分析、提供決策支持，滿足商業(yè)銀行日益增加的數(shù)據(jù)挖掘要求，增強商業(yè)銀行在同業(yè)中的競爭力。模塊復(fù)用性不高商業(yè)銀行在數(shù)據(jù)倉庫的建設(shè)過程中重點考慮了集中處理和調(diào)度，但對數(shù)據(jù)結(jié)構(gòu)變化的支持力度還不夠，開發(fā)部仍然采用傳統(tǒng)的方法設(shè)計和編寫相應(yīng)程序，模塊復(fù)用等仍然停留在源碼或程序庫的水平，模塊復(fù)用程度和開發(fā)效率都不高。產(chǎn)品之間各自為政，缺少相關(guān)的整合，而且通常運行在不同的硬件、操作系統(tǒng)和數(shù)據(jù)庫之上，采用的開發(fā)語言也五花八門，給元數(shù)據(jù)的篩選、抽取帶來較大的困難。從功能架構(gòu)及技術(shù)特征上看，該行的數(shù)據(jù)倉庫主要具有報表、分析等功能，基本滿足業(yè)務(wù)用戶考察業(yè)務(wù)上“發(fā)生了什么”、“為什么發(fā)生”的需要，處于業(yè)界數(shù)據(jù)倉庫發(fā)展的第二向第三階段的過渡階段。而國內(nèi)銀行的數(shù)據(jù)倉庫建設(shè)起步較晚，以某大型國有銀行為例：2000年底開始著手啟動全行數(shù)據(jù)倉庫體系的建設(shè)。通過“抽取邏輯組件化，文件格式參數(shù)化”的方法大大減少了數(shù)據(jù)下載的開發(fā)工作量，隨著組件的逐步豐富，基本可以實現(xiàn)“零編碼”，同時也極大簡化了測試步驟，我們只需利用現(xiàn)有的功能組件，按照一定的規(guī)則和邏輯把它們拼裝組合在一起，就可以完成數(shù)據(jù)下載的開發(fā)，使得元數(shù)據(jù)抽取、文本生成、上報數(shù)據(jù)倉庫過程更加高效、穩(wěn)定、規(guī)范。該規(guī)范明確了數(shù)據(jù)模型設(shè)計要求、明確設(shè)計原則、加強數(shù)據(jù)結(jié)構(gòu)的邏輯視圖管理，提高數(shù)據(jù)建模的質(zhì)量。數(shù)據(jù)質(zhì)量規(guī)范提高了數(shù)據(jù)管理水平、規(guī)范數(shù)據(jù)質(zhì)量管理流程、及時準(zhǔn)確地發(fā)現(xiàn)和治理問題數(shù)據(jù)，保證應(yīng)用數(shù)據(jù)質(zhì)量。其中主輔數(shù)據(jù)源分布規(guī)范保證了數(shù)據(jù)下載的過程中，抽取數(shù)據(jù)分布合理、提高應(yīng)用系統(tǒng)運行的整體效率、保證應(yīng)用系統(tǒng)健康高效運行。摘要筆者在對銀行數(shù)據(jù)倉庫平臺的開發(fā)和維護實踐基礎(chǔ)上，針對目前商業(yè)銀行數(shù)據(jù)倉庫開發(fā)平臺的一些缺陷而提出的一套可配置、組件化、易操作的數(shù)據(jù)下載系統(tǒng)。分類號： 單位代碼： 10335 密 級： 無 學(xué) 號： Z104325023碩士學(xué)位論文中文論文題目 ： 商業(yè)銀行數(shù)據(jù)倉庫中元數(shù)據(jù) 下載平臺開發(fā) 英文論文題目：The downloading platform development for mercial bank data warehouse metadata申請人姓名： 付 江 指導(dǎo)教師： 姚 宇 明 合作導(dǎo)師： 專業(yè)學(xué)位類別： 工程碩士 專業(yè)學(xué)位領(lǐng)域： 軟件工程 所在學(xué)院： 軟件學(xué)院 論文提交日期 2013 年 5 月 7 日 浙江大學(xué)碩士學(xué)位論文 Abstract 商業(yè)銀行數(shù)據(jù)倉庫中元數(shù)據(jù) 下載平臺開發(fā) 建立統(tǒng)一的開發(fā)技術(shù)規(guī)范，包括元數(shù)據(jù)技術(shù)規(guī)范、主輔數(shù)據(jù)源分布規(guī)范、數(shù)據(jù)生命周期管理規(guī)范、數(shù)據(jù)質(zhì)量規(guī)范等。數(shù)據(jù)生命周期管理規(guī)范保證有效控制在線數(shù)據(jù)規(guī)模，提高生產(chǎn)數(shù)據(jù)訪問效率，減少系統(tǒng)資源浪費。建立統(tǒng)一的應(yīng)用系統(tǒng)數(shù)據(jù)模型設(shè)計規(guī)范。提供了一種可配置的參數(shù)化組件，這些組件最終被組裝成復(fù)雜的數(shù)據(jù)倉庫數(shù)據(jù)下載系統(tǒng)中。關(guān)鍵詞：數(shù)據(jù)倉庫，元數(shù)據(jù)，數(shù)據(jù)抽取，下載，規(guī)范i浙江大學(xué)碩士學(xué)位論文