【正文】 方便。3） 企業(yè)已建設(shè)或正在建設(shè)的全行范圍的業(yè)務(wù)系統(tǒng)，包括儲蓄、定期、貸款、匯款、外匯、信用卡、支票、信用證、國際業(yè)務(wù)等，已積累了完整而且詳細的客戶交易記錄，為數(shù)據(jù)倉庫的啟動提供了基本的數(shù)據(jù)來源。4） 多數(shù)的企業(yè)有實施先進管理制度和思想的經(jīng)驗，如成立市場部統(tǒng)籌銀行的形象和市場定位的宣傳與規(guī)劃、經(jīng)營效益與員工收入掛鉤、服務(wù)時效的承諾、客戶滿意調(diào)查等，容易接納新知識，對數(shù)據(jù)倉庫的實施和推廣應(yīng)用起到積極的作用。第二章 數(shù)據(jù)倉庫總體概述 數(shù)據(jù)倉庫基礎(chǔ)數(shù)據(jù)倉庫的概念最早將數(shù)據(jù)倉庫提升到理論高度加以論述的是著名學(xué)者、被尊稱為數(shù)據(jù)倉庫之父的Bill Inmon。他對數(shù)據(jù)倉庫所下的定義是：數(shù)據(jù)倉庫是面向主題的、集成的、穩(wěn)定的、隨時間變化的數(shù)據(jù)集合，用以支持管理決策的過程。由此可見，數(shù)據(jù)倉庫是一個綜合的解決方案，是對原始的操作數(shù)據(jù)進行各種處理并轉(zhuǎn)換成有用信息的處理過程，它主要用來幫助有關(guān)主管部門作出更符合業(yè)務(wù)發(fā)展規(guī)率的決策。數(shù)據(jù)倉庫的查詢特點 針對生產(chǎn)系統(tǒng)的查詢都非常簡單，一般不會使用表的連接操作，每次返回的數(shù)據(jù)量很小，這類問題的特點是知道自己要找什么。數(shù)據(jù)庫大小對系統(tǒng)性能影響不大。數(shù)據(jù)倉庫系統(tǒng)的查詢大都非常復(fù)雜，主要有兩種：一種以報表為主，從數(shù)據(jù)庫中產(chǎn)生各種形式的業(yè)務(wù)報表。這種查詢是預(yù)先規(guī)定好的（Prodefined Query）。另一種查詢是隨機的、動態(tài)的查詢（AdHoc query），對查詢的結(jié)果也是不能預(yù)料的。數(shù)據(jù)倉庫中的查詢由于其復(fù)雜性，會經(jīng)常使用多表的聯(lián)接、累計、分類、排序等操作，這些大都要對整個表進行搜索（Full Table Scan）。每次查詢返回的數(shù)據(jù)量一般很大，對于動態(tài)查詢而言，經(jīng)常需要根據(jù)上次查詢的結(jié)果進行進一步的搜索，這個過程稱為數(shù)據(jù)挖掘（Data Mining）。根據(jù)這些特點，數(shù)據(jù)庫大小對數(shù)據(jù)倉庫的性能影響很大。當(dāng)數(shù)據(jù)倉庫投入使用后，各業(yè)務(wù)部門的要求會越來越多，使得數(shù)據(jù)倉庫中數(shù)據(jù)量的增長很快。因此設(shè)計數(shù)據(jù)倉庫時，系統(tǒng)的可擴展能力是必須考慮的重要因素之一。系統(tǒng)的并行處理能力是另一個要考慮的重要因素。因為查詢的復(fù)雜性，每個查詢將占用很多的系統(tǒng)資源，如果系統(tǒng)資源不夠、并行處理能力不強，當(dāng)多個用戶同時發(fā)出事物請求時，響應(yīng)時間很長令人無法容忍。數(shù)據(jù)倉庫應(yīng)單獨建立。因為如果在生產(chǎn)系統(tǒng)上再實施數(shù)據(jù)倉庫，由于數(shù)據(jù)倉庫的查詢常常占用很多系統(tǒng)資源，將嚴重影響生產(chǎn)系統(tǒng)的運行 數(shù)據(jù)倉庫技術(shù)概述 作為決策支持系統(tǒng)（DSS）的一種有效、可行的體系化解決方案，數(shù)據(jù)倉庫包括了三個方面的內(nèi)容：數(shù)據(jù)倉庫技術(shù)（DATA WAREHOUSE，DW）、聯(lián)機分析技術(shù)（ON－LINE ANALYTICAL PROCESSING，OLAP）、數(shù)據(jù)挖掘技術(shù)（DATA MINING，DM）1） 數(shù)據(jù)倉庫技術(shù)（DW）需要以下數(shù)據(jù)庫技術(shù)的支持：高性能數(shù)據(jù)庫服務(wù)器 數(shù)據(jù)倉庫的應(yīng)用不同于傳統(tǒng)數(shù)據(jù)庫的OLTP應(yīng)用。傳統(tǒng)數(shù)據(jù)庫的應(yīng)用是操作型的，而數(shù)據(jù)倉庫的應(yīng)用是分析型的，它需要高性能的DBMS核心的支持，以便較快地獲得分析結(jié)果，這通常需數(shù)秒至數(shù)分鐘的時間。雖然比OLPT的響應(yīng)時間長一些，但由于分析型應(yīng)用涉及的數(shù)據(jù)量大，查詢要求復(fù)雜，因此對DBMS核心的性能要求更高，同時，DBMS必須具有良好的查詢優(yōu)化機制并行數(shù)據(jù)庫技術(shù) 數(shù)據(jù)倉庫中的數(shù)據(jù)量大，而且隨著時間的增長，新的數(shù)據(jù)還會不斷進入，基本成指數(shù)增長。數(shù)據(jù)倉庫中的數(shù)據(jù)庫通常是GB甚至TB級的，可謂是超大規(guī)模數(shù)據(jù)庫（VLDB）。而并行數(shù)據(jù)庫技術(shù)是存儲管理VLDB，并提供對VLDB復(fù)雜查詢處理的有效技術(shù)。數(shù)據(jù)庫互操作技術(shù) 數(shù)據(jù)倉庫中的數(shù)據(jù)大多來自企業(yè)或行業(yè)中業(yè)已運行的OLTP數(shù)據(jù)庫或外部的數(shù)據(jù)源。這些數(shù)據(jù)庫常常是異構(gòu)的，甚至是文件系統(tǒng)中的數(shù)據(jù)。數(shù)據(jù)倉庫必須從這些異構(gòu)數(shù)據(jù)源中定期抽取、轉(zhuǎn)換和集成需要的數(shù)據(jù)，并把它們存入數(shù)據(jù)倉庫中。因此，異構(gòu)數(shù)據(jù)源之間的互訪和互操作技術(shù)是必需的。2） 聯(lián)機分析（OLAP）技術(shù) OLAP是一種實現(xiàn)多維分析的工具。簡單地可以理解為它是位于數(shù)據(jù)倉庫基礎(chǔ)之上的一個多維立方體，它面向分析決策所關(guān)心的綜合性數(shù)據(jù)，以便從更高層次、多個維度來了解數(shù)據(jù)。它從邏輯上或物理上以多維方式從數(shù)據(jù)倉庫里提取數(shù)據(jù)并組織數(shù)據(jù)，便于前端用戶進行多維數(shù)據(jù)分析。 根據(jù)實現(xiàn)技術(shù)和存儲數(shù)據(jù)的位置不同，又可分為多維數(shù)據(jù)庫OLAP（MDBOLAP）、基于關(guān)系數(shù)據(jù)庫的OLAP（ROLAP）和桌邊形的OLAP（DESKTOP OLAP）。OLAP的目的是為了提高多維分析的速度。3） 數(shù)據(jù)挖掘（DM）技術(shù) 數(shù)據(jù)挖掘是從數(shù)據(jù)倉庫中發(fā)現(xiàn)并提取隱藏在其中的信息的一種新技術(shù)。目的是幫助決策者尋找數(shù)據(jù)間潛在的關(guān)聯(lián)，發(fā)現(xiàn)被忽略的要素，這些信息對預(yù)測趨勢和決策行為也許是十分有用的。 數(shù)據(jù)挖掘技術(shù)涉及數(shù)據(jù)庫、人工智能、機器學(xué)習(xí)和統(tǒng)計分析等多種技術(shù)。數(shù)據(jù)挖掘技術(shù)使決策支持系統(tǒng)跨入了一個新階段。傳統(tǒng)的決策支持系統(tǒng)通常是在某個假設(shè)的前提下通過數(shù)據(jù)查詢和分析來驗證或否定這個假設(shè)，而數(shù)據(jù)挖掘技術(shù)則能夠自動分析數(shù)據(jù)，進行歸納性推理，從中發(fā)掘出潛在的模式，或產(chǎn)生聯(lián)想，建立新的業(yè)務(wù)模型，幫助決策者調(diào)整市場策略，并找到正確的決策。總結(jié) 數(shù)據(jù)倉庫技術(shù)是以數(shù)據(jù)倉庫為基礎(chǔ)、以O(shè)LAP和數(shù)據(jù)挖掘工具有手段的一整套可操作、可實施的方案。 建立一個數(shù)據(jù)倉庫是一個比較復(fù)雜的過程，它需要精心的規(guī)劃、淵博的知識、豐富的行業(yè)管理經(jīng)驗、極強的業(yè)務(wù)溝通能力和全面的IT要素。建立數(shù)據(jù)倉庫要選擇合適的數(shù)據(jù)倉庫引擎、硬件平臺、軟件工具、應(yīng)用程序和行業(yè)專業(yè)服務(wù) 一個可擴展數(shù)據(jù)倉庫的基本框架操作數(shù)據(jù)/源數(shù)據(jù) 提取 過濾 凈化 家庭關(guān)系識別 加載企業(yè)中央數(shù)據(jù)倉庫復(fù)制與傳播從屬數(shù)據(jù)集市數(shù)據(jù)轉(zhuǎn)換數(shù)據(jù)挖掘 分類 統(tǒng)計 人工智能 決策樹信息存儲工具業(yè)務(wù)用戶 IT用戶數(shù)據(jù)裝載數(shù)據(jù)管理信息訪問整個框架組成部分1） 數(shù)據(jù)裝載：把所謂的操作數(shù)據(jù)和源數(shù)據(jù)利用一定的方法如提取、過濾、清理、家庭關(guān)系識別等，從生產(chǎn)關(guān)系中轉(zhuǎn)換到中央數(shù)據(jù)倉庫中。這種轉(zhuǎn)換分為邏輯與物理兩部分，即先根據(jù)業(yè)務(wù)問題建立數(shù)據(jù)庫邏輯模型，然后在此基礎(chǔ)上構(gòu)造物理模型，將操作數(shù)據(jù)加載到物理表中。邏輯建模應(yīng)基于要解決的業(yè)務(wù)問題進行，而不是基于目前的系統(tǒng)能提供什么數(shù)據(jù)進行。換而言之，數(shù)據(jù)倉庫的出發(fā)點是解決業(yè)務(wù)問題，而不是單純的一個信息轉(zhuǎn)換與訪問的工具。2） 數(shù)據(jù)管理：這一部分是整個數(shù)據(jù)倉庫的心臟，根據(jù)數(shù)據(jù)倉庫的特點，它必須采用一個具有并行處理性能的關(guān)系數(shù)據(jù)庫管理系統(tǒng)。當(dāng)數(shù)據(jù)倉庫非常龐大時，為提高性能，可建立一些面向部門應(yīng)用的數(shù)據(jù)集市，這些數(shù)據(jù)集市中的數(shù)據(jù)是從中央庫中通過復(fù)制與傳送等手段拷貝過來的。3） 信息訪問：這一部分是前端工具，主要提供給有關(guān)業(yè)務(wù)部門訪問數(shù)據(jù)倉庫中的信息使用，在這一部分一般都采用圖形界面、交互功能強的查詢工具。 一個數(shù)據(jù)倉庫實施流程業(yè)務(wù)探索數(shù)據(jù)倉庫咨詢信息采集與挖掘邏輯建摸數(shù)據(jù)倉庫結(jié)構(gòu)設(shè)計數(shù)據(jù)倉庫解決方案就緒知識探索建模物理模型設(shè)計數(shù)據(jù)倉庫管理（過程與操作）數(shù)據(jù)轉(zhuǎn)換C/S應(yīng)用開發(fā)數(shù)據(jù)挖掘與分析數(shù)據(jù)倉庫解決方案集成系統(tǒng)支持邏輯建?；仡櫸锢斫；仡檾?shù)據(jù)倉庫調(diào)整數(shù)據(jù)倉庫容量規(guī)劃數(shù)據(jù)倉庫審計數(shù)據(jù)倉庫規(guī)劃數(shù)據(jù)倉庫設(shè)計與實施數(shù)據(jù)倉庫支持與完善 第三章 系統(tǒng)體系結(jié)構(gòu)設(shè)計1） 制定合理的系統(tǒng)目標 在數(shù)據(jù)倉庫建設(shè)的規(guī)劃階段，不能求勝心切，應(yīng)該制定切合實際的系統(tǒng)目標，將擴大決策支持系統(tǒng)的數(shù)據(jù)源、改善用戶獲得信息的手段、為用戶提供更加準確、可靠和全面的信息作為系統(tǒng)建設(shè)的根本出發(fā)點。2） 循序漸進 在銀行中使用數(shù)據(jù)倉庫技術(shù)應(yīng)本著循序漸進的原則進行。首先，在涉及某一類銀行業(yè)務(wù)的單項應(yīng)用領(lǐng)域開展，逐步發(fā)展到在涉及不同銀行產(chǎn)品的幾個單項應(yīng)用領(lǐng)域開展，最后，再建立全行的數(shù)據(jù)倉庫，將數(shù)據(jù)挖掘的范圍擴展到多項銀行活動。而不要一開始就希望把銀行所有的數(shù)據(jù)都裝載到數(shù)據(jù)倉庫中，建立一個大規(guī)模的全銀行范圍內(nèi)的數(shù)據(jù)倉庫，這樣會使銀行隱入邏輯、行政和財政的困境而不能自拔。數(shù)據(jù)倉庫不是越大越有效，初始時從建立較小的數(shù)據(jù)集市入手，一方面可以降低開發(fā)成本，縮短實現(xiàn)周期，另一方面還有助于為未來數(shù)據(jù)倉庫的全面啟動培訓(xùn)IT人員。3） 將相關(guān)信息集成到數(shù)據(jù)倉庫中 80年代，美國曾做過一次對企業(yè)高層管理人員的問卷調(diào)查，以研究高層管理人員獲得經(jīng)營管理信息的途徑。結(jié)果出人意料，管理人員的級別越高，他就越少通過內(nèi)部數(shù)據(jù)來獲得經(jīng)營管理信息：大型企業(yè)的最高決策者95％的經(jīng)營管理信息來自企業(yè)外部。數(shù)據(jù)倉庫系統(tǒng)不是簡單的企業(yè)內(nèi)部數(shù)據(jù)集成，而是為決策支持提供集成的數(shù)據(jù)源，因此，必須在關(guān)注企業(yè)內(nèi)部數(shù)據(jù)的同時，將外部信息集成到數(shù)據(jù)倉庫中；此外，與數(shù)據(jù)信息相比，圖形、圖像信息更為直觀、易于理解，也應(yīng)該集成到數(shù)據(jù)倉庫中。4） 當(dāng)前目標與長遠目標相結(jié)合 數(shù)據(jù)倉庫建設(shè)不是一勞永逸的事情，應(yīng)該樹立長遠的發(fā)展眼光。即使在建立第一個面向特定部門或特定應(yīng)用的數(shù)據(jù)集市時，也一定要保證現(xiàn)在使用的數(shù)據(jù)模型能夠向?qū)硭褂玫娜y行范圍的數(shù)據(jù)存儲擴展，以便于將來其他數(shù)據(jù)集市和戰(zhàn)略性數(shù)據(jù)倉庫的實現(xiàn)。必須在部門之間進行一致性的數(shù)據(jù)定義，并通過這些定義上的一致性協(xié)議使以后部門間的數(shù)據(jù)聯(lián)合成為有效、可行。統(tǒng)計結(jié)果顯示，數(shù)據(jù)倉庫的數(shù)據(jù)量會以每年大約40％的速率增長，由于在設(shè)計階段很難準確地預(yù)料到系統(tǒng)初始和未來的負載情況，所以，應(yīng)該在設(shè)計開始時考慮系統(tǒng)可伸縮性，以便能夠容納更多的客戶、進程和存儲，應(yīng)盡可能準確地選擇與用戶需求相適應(yīng)的系統(tǒng)并適當(dāng)?shù)亓舫鲇嗟?，以免因系統(tǒng)過大而超出其適用范圍，白白浪費投資。5） 不追求盡善盡美 進行數(shù)據(jù)倉庫建設(shè)時，在定義了系統(tǒng)目標、明確了關(guān)鍵的成功因素、合理控制了數(shù)據(jù)倉庫規(guī)模的基礎(chǔ)上，就應(yīng)該盡快行動起來，盡快獲取數(shù)據(jù)倉庫投資帶來的回報。當(dāng)客戶需要更多的信息和更詳細的細節(jié)時，就應(yīng)立即著手進行數(shù)據(jù)倉庫的發(fā)展和擴建工作，不應(yīng)拘泥于“完美”不放，應(yīng)在不斷修改的同時不斷發(fā)展。6） 以不影響正常業(yè)務(wù)為前提 由于數(shù)據(jù)倉庫的查詢是一種不規(guī)則的查詢運作，在考慮數(shù)據(jù)倉庫方案時，應(yīng)以不防礙正常的銀行業(yè)務(wù)處理為原則，可考慮把數(shù)據(jù)倉庫的系統(tǒng)平臺與生產(chǎn)系統(tǒng)的系統(tǒng)平臺分隔開來，放在并行的主從服務(wù)器上分別運行。 方案總體框架圖方式：瀏覽器 對象：信息發(fā)布、網(wǎng)上報表、各級領(lǐng)導(dǎo)網(wǎng)上查詢Web服務(wù)器多維分析數(shù)據(jù)挖掘Red Bric