【正文】 銀行業(yè)務(wù)數(shù)據(jù)倉庫中 ， 選擇業(yè)務(wù) 、 貨幣 、 客戶 、 機(jī)構(gòu) 、 會計科目五個主題 ， 并將會計科目作為連接其他四個主題的交易主題進(jìn)行處理 。 數(shù)據(jù)倉庫概念的兩個層次 ? 功能上：數(shù)據(jù)倉庫用于支持決策，面向分析型數(shù)據(jù)處理，它不同于企業(yè)現(xiàn)有的操作型數(shù)據(jù)庫； ? 內(nèi)容和特征上：數(shù)據(jù)倉庫是對多個異構(gòu)的數(shù)據(jù)源有效集成，集成后按照主題進(jìn)行了重組，并包含歷史數(shù)據(jù)，而且存放在數(shù)據(jù)倉庫中的數(shù)據(jù)一般不再修改。 ? 數(shù)據(jù)倉庫的數(shù)據(jù)從聯(lián)機(jī)的事務(wù)處理系統(tǒng)、異構(gòu)的外部數(shù)據(jù)源、脫機(jī)的歷史業(yè)務(wù)數(shù)據(jù)中得到。 ? 業(yè)務(wù)數(shù)據(jù)的模式是針對事務(wù)處理系統(tǒng)而設(shè)計的，數(shù)據(jù)的格式和描述方式并不適合非計算機(jī)專業(yè)人員進(jìn)行業(yè)務(wù)上的分析和統(tǒng)計。 ? 在事務(wù)處理系統(tǒng)中積累了大量的細(xì)節(jié)數(shù)據(jù)，一般而言， DSS并不對這些細(xì)節(jié)數(shù)據(jù)進(jìn)行分析。但對于決策分析而言，歷史數(shù)據(jù)是相當(dāng)重要的，許多分析方法必須一大量的歷史數(shù)據(jù)為依托。集成數(shù)據(jù)必須以一定的周期（例如 24小時）進(jìn)行刷新，我們稱其為動態(tài)集成。當(dāng)前絕大多數(shù)企業(yè)內(nèi)數(shù)據(jù)的真正狀況是分散而非集成的。 ? 聯(lián)機(jī)分析和事務(wù)處理對系統(tǒng)的要求不同，同一個數(shù)據(jù)庫在理論上難以做到兩全，將具有如此不同處理性能的兩種應(yīng)用放在同一個環(huán)境中運(yùn)行顯然是不適當(dāng)?shù)摹? ? 所有聯(lián)機(jī)事務(wù)處理強(qiáng)調(diào)的是數(shù)據(jù)更新處理性能和系統(tǒng)的可靠性，并不關(guān)心數(shù)據(jù)查詢的方便與快捷。從某種意義上說，數(shù)據(jù)倉庫是客戶關(guān)系管理的靈魂。利用數(shù)據(jù)倉庫，企業(yè)可以對客戶行為的分析與預(yù)測，從而制定準(zhǔn)確的市場策略、發(fā)現(xiàn)企業(yè)的重點(diǎn)客戶和評價市場性能，并通過銷售和服務(wù)等部門與客戶交流，實(shí)現(xiàn)企業(yè)利潤的提高。在事務(wù)處理環(huán)境中，用戶的行為特點(diǎn)是數(shù)據(jù)的存取操作頻率高而每次操作處理的時間短。 （ 2）數(shù)據(jù)集成問題。 ? 造成這種分散的原因有多種，主要有事務(wù)處理應(yīng)用分散、“蜘蛛網(wǎng)”問題、數(shù)據(jù)不一致問題、外部數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)。顯然，事務(wù)處理系統(tǒng)不具備動態(tài)集成的能力。沒有歷史數(shù)據(jù)的詳細(xì)分析，是難以把握企業(yè)的發(fā)展趨勢的。在分析前，往往需要對細(xì)節(jié)數(shù)據(jù)進(jìn)行不同程度的綜合。 ? 有人感嘆： 20年前查詢不到數(shù)據(jù)是因?yàn)閿?shù)據(jù)太少了，而今天查詢不到數(shù)據(jù)是因?yàn)閿?shù)據(jù)太多了。它是一個聯(lián)機(jī)的系統(tǒng)，專門為分析統(tǒng)計和決策支持應(yīng)用服務(wù)，通過它可滿足決策支持和聯(lián)機(jī)分析應(yīng)用所要求的一切。 數(shù)據(jù)倉庫四個特點(diǎn) 面向主題 ? 傳統(tǒng)的數(shù)據(jù)庫是面向應(yīng)用而進(jìn)行數(shù)據(jù)組織的 ， 其抽象程度不夠高 ，沒有完全實(shí)現(xiàn)數(shù)據(jù)與應(yīng)用的分離 。 ? 面向主題可以獨(dú)立于數(shù)據(jù)處理邏輯 ， 適用于分析型數(shù)據(jù)環(huán)境 ， 適用于建設(shè)企業(yè)全局?jǐn)?shù)據(jù)庫；數(shù)據(jù)倉庫中目前仍采用關(guān)系數(shù)據(jù)庫技術(shù)來實(shí)現(xiàn) ， 其面向主題所作較高程度上的抽象 ， 應(yīng)強(qiáng)調(diào)其邏輯意義 。 ? 數(shù)據(jù)倉庫中的數(shù)據(jù)是集成的 。 數(shù)據(jù)倉庫的數(shù)據(jù)主要供企業(yè)決策分析之用 ， 所涉及的數(shù)據(jù)操作主要是數(shù)據(jù)查詢 ， 一旦某個數(shù)據(jù)進(jìn)入數(shù)據(jù)倉庫以后 ， 一般情況下將被長期保留 ，也就是數(shù)據(jù)倉庫中一般有大量的查詢操作 ， 但修改和刪除操作很少 ， 通常只需要定期的加載 、 刷新 。 ? 操作型數(shù)據(jù)庫含有“當(dāng)前值”的數(shù)據(jù)，這些數(shù)據(jù)的準(zhǔn)確性在訪問時是有效的，同樣當(dāng)前值的數(shù)據(jù)能被更新。數(shù)據(jù)倉庫的數(shù)據(jù)碼鍵都包含時間項(xiàng)，用作標(biāo)明數(shù)據(jù)的歷史時期。 ? 如果說傳統(tǒng)數(shù)據(jù)庫系統(tǒng)的重點(diǎn)與要求是快速、準(zhǔn)確、安全、可靠地將數(shù)據(jù)存進(jìn)數(shù)據(jù)庫中的話，那么數(shù)據(jù)倉庫的重點(diǎn)與要求就是能夠準(zhǔn)確、安全、可靠地從數(shù)據(jù)庫中取出數(shù)據(jù)，經(jīng)過加工轉(zhuǎn)換成有規(guī)律信息之后，再供管理人員進(jìn)行分析使用。 數(shù)據(jù)的抽取 ? 數(shù)據(jù)的抽取是數(shù)據(jù)進(jìn)入倉庫的入口。 存儲和管理 ? 數(shù)據(jù)倉庫的真正關(guān)鍵是數(shù)據(jù)的存儲和管理。而多維分析又是數(shù)據(jù)倉庫的重要表現(xiàn)形式，近幾年來由于互聯(lián)網(wǎng)的發(fā)展，使得多維分析領(lǐng)域的工具和產(chǎn)品更加注重提供基于 Web前端聯(lián)機(jī)分析界面，而不僅僅是在網(wǎng)上發(fā)布數(shù)據(jù)。外部信息包括各類法律法規(guī)、市場信息和競爭對手的信息等等。要決定采用什么產(chǎn)品和技術(shù)來建立數(shù)據(jù)倉庫的核心，則需要從數(shù)據(jù)倉庫的技術(shù)特點(diǎn)著手分析。其具體實(shí)現(xiàn)可以分為： ROLAP、 MOLAP和HOLAP。 數(shù)據(jù)倉庫概述小結(jié) 數(shù)據(jù)倉庫的產(chǎn)生 數(shù)據(jù)倉庫概念及特征 數(shù)據(jù)倉庫的內(nèi)容 數(shù)據(jù)倉庫系統(tǒng)的體系結(jié)構(gòu) 數(shù)據(jù)倉庫的 項(xiàng)目實(shí)施 ? 數(shù)據(jù)倉庫系統(tǒng)是一種解決問題的過程，而不是一個可以買到的現(xiàn)成產(chǎn)品。 ? 數(shù)據(jù)倉庫的建設(shè)是一個系統(tǒng)工程，是一個不斷建立、發(fā)展、完善的過程，通常需要較長的時間。 數(shù)據(jù)倉庫的 項(xiàng)目實(shí)施 項(xiàng)目計劃 ? 項(xiàng)目計劃是指定義創(chuàng)建數(shù)據(jù)倉庫的項(xiàng)目目標(biāo)和確定項(xiàng)目范圍 ， 包括對項(xiàng)目計劃的評估和流程的調(diào)整 。 需要在 OLTP數(shù)據(jù)和主題之間找到一個―平衡點(diǎn) ‖， 根據(jù)主題的需要完整地收集數(shù)據(jù) ， 這樣構(gòu)建的數(shù)據(jù)倉庫才能滿足決策和分析的需要 。 業(yè)務(wù)需求分析 ? 業(yè)務(wù)需求分析是數(shù)據(jù)倉庫中一個很重要的階段，好的業(yè)務(wù)需求分析會使項(xiàng)目成功的機(jī)率大大增加。 數(shù)據(jù)線 模型設(shè)計 ? 需求分析已經(jīng)確定了用戶業(yè)務(wù)分析所需要的數(shù)據(jù)。 ? 模型設(shè)計主要包括四個基本步驟：確定合適的主題、劃分粒度層次、設(shè)計維表和設(shè)計事實(shí)表。 ? 僅僅從數(shù)據(jù)模型的角度來著手設(shè)計數(shù)據(jù)倉庫會產(chǎn)生一種“平面”效應(yīng)。三維透視圖表明了這種三維透視。 數(shù)據(jù)線 模型設(shè)計 ? 用來管理數(shù)據(jù)倉庫中載入某個實(shí)體的大量數(shù)據(jù)的設(shè)計結(jié)構(gòu)通常用“星型連接”。 ? 星型連接中央的“訂單”被稱作是“事實(shí)表”，而其周圍的其他實(shí)體 — “ 產(chǎn)品”、“客戶”、“供應(yīng)商”和“發(fā)貨”則被稱為“維表”。 ? 文本數(shù)據(jù)常出現(xiàn)在維表中，數(shù)值數(shù)據(jù)常出現(xiàn)在事實(shí)表中，這種劃分似乎在所有情況都會發(fā)生。在決策支持系統(tǒng)數(shù)據(jù)倉庫環(huán)境以外，常有數(shù)據(jù)更新，而且數(shù)據(jù)關(guān)系的管理要在秒的一級上進(jìn)行。 雪花模型是對星型模型的擴(kuò)展，每個維表都可以向外連接到多個詳細(xì)類別表 。 ? 雪花模型增加了用戶必須處理的表數(shù)量，增加了某些查詢的復(fù)雜性，但這種方式可以使系統(tǒng)進(jìn)一步專業(yè)化和實(shí)用化，同時降低了系統(tǒng)的通用程度。 它是數(shù)據(jù)倉庫設(shè)計工程中非常重要的過程 ， 它由三個主要步驟組成：抽?。?Extraction） 、 轉(zhuǎn)換 (Transformation)、 加載 (Load)， 簡稱 ETL。 根據(jù)元數(shù)據(jù)庫中的主題表定義 、 數(shù)據(jù)源定義 、 數(shù)據(jù)抽取規(guī)則定義對異地異構(gòu)數(shù)據(jù)源 （ 包括各平臺的數(shù)據(jù)庫 、 文本文件 、 HTML文件 、 知識庫等 ） 進(jìn)行清理 、 轉(zhuǎn)換 ， 對數(shù)據(jù)進(jìn)行重新組織和加工 ，裝載到數(shù)據(jù)倉庫的目標(biāo)庫中 。 這兩個數(shù)據(jù)源的值都是正確的 ， 但對于目標(biāo)數(shù)據(jù)來說 ， 必須加工為一種統(tǒng)一的方法來表示該屬性值 ， 然后交由最終用戶進(jìn)行驗(yàn)證 ， 這樣才能保證數(shù)據(jù)的質(zhì)量 。 數(shù)據(jù)倉庫規(guī)模一般都很大 ， 從建立之初就要保證它的可管理性 ， 一個企業(yè)可能建立幾個數(shù)據(jù)倉庫或數(shù)據(jù)集市 ， 但他們可共用一個元數(shù)據(jù)庫對其進(jìn)行管理 。 技術(shù)線 ? 技術(shù)線的實(shí)施分為技術(shù)選擇和產(chǎn)品選擇兩個步驟。技術(shù)體系選擇必須從為這些技術(shù)建立全局的結(jié)構(gòu)框架和視角出發(fā)，選擇中需要同時考慮三個因素：商業(yè)需求、當(dāng)前的技術(shù)環(huán)境、計劃的策略技術(shù)方向。 數(shù)據(jù)倉庫的建立最終是為應(yīng)用服務(wù)的 ， 所以需要對應(yīng)用進(jìn)行設(shè)計和開發(fā) ， 以更好地滿足用戶的需要 。 ? 應(yīng)用設(shè)計的任務(wù)是設(shè)計標(biāo)準(zhǔn)的用戶應(yīng)用模板。 ? 應(yīng)用是數(shù)據(jù)倉庫建立的最終目的，對于應(yīng)用提出的要求，數(shù)據(jù)倉庫建立過程中是必須加以充分考慮的。更新操作有兩種情況，即在倉庫的原有數(shù)據(jù)表中進(jìn)行某些數(shù)據(jù)的更新和產(chǎn)生一個新的時間區(qū)間的數(shù)據(jù)，因?yàn)閰R總數(shù)據(jù)與數(shù)據(jù)倉庫中的許多信息元素有關(guān)系，必需完整地匯總，這樣才能保證全體信息的一致性。 在實(shí)際建立的過程中 ， 一方面數(shù)據(jù)倉庫的數(shù)據(jù)內(nèi)容 、 結(jié)構(gòu) 、 粒度和其他物理設(shè)計需要根據(jù)用戶的反饋信息不斷地調(diào)整完善；另一方面 ， 應(yīng)用環(huán)境發(fā)生重大變化或者新技術(shù)出現(xiàn) ， 都有可能導(dǎo)致用戶的應(yīng)用需求發(fā)生重大變化 ，使現(xiàn)有系統(tǒng)不能滿足用戶要求 ， 需要重新設(shè)計系統(tǒng) ， 開始一個新的生命周期 。細(xì)化程度越高，粒度級就越??；相反，細(xì)化程度越低，粒度級就越大。 ? 高粒度級。 ? 高粒度級。然而數(shù)據(jù)量大小和原始空間問題不是僅有的應(yīng)考慮的問題。 ? 企業(yè)需要多個粒度級而不是一個粒度級的需求，是因?yàn)榱６燃壴O(shè)計采用雙重級別應(yīng)該是幾乎每個機(jī)構(gòu)默認(rèn)的選擇。多達(dá) 3 0多天的細(xì)節(jié)存放在這種操作層中。 ? 鑒于費(fèi)用、效率、訪問便利和能夠回答任何可以回答的查詢的能力，數(shù)據(jù)雙重粒度級是 ? 大多數(shù)機(jī)構(gòu)建造數(shù)據(jù)倉庫細(xì)節(jié)級的最好選擇。 ? 連續(xù)。換句話說，對一個顧客的一個帳號的每天的所有活動進(jìn)行合計，并在一天一天的基礎(chǔ)上輸入數(shù)據(jù)倉庫。第一周的七天中的活動被逐一綜合到七個每日相應(yīng)的位置，到第八天，將七個每日位置的數(shù)據(jù)加到一起，并放入第一周的數(shù)據(jù)位置中。 輪轉(zhuǎn)綜合數(shù)據(jù)存儲 簡單堆積 vs輪轉(zhuǎn)綜合 簡單直接文件 ? 數(shù)據(jù)僅僅是從操作型環(huán)境拖入數(shù)據(jù)倉庫環(huán)境中，并沒有任何累積。把 1月份和 2月份的兩個數(shù)據(jù)快照合并，創(chuàng)建數(shù)據(jù)的一個連續(xù)文件。 ? 在數(shù)據(jù)倉庫環(huán)境中的元數(shù)據(jù)所扮演的角色和在操作型環(huán)境中數(shù)據(jù)所扮演的角色是不同的。I T專業(yè)人員不僅懂計算機(jī)，而且由于學(xué)歷背景和所受的培訓(xùn)，他們會在系統(tǒng)中找到他們自己的方法。另外，在 D S S分析者計劃該怎樣去做信息型 /分析型處理時，他們要首先去看元數(shù)據(jù)。 基本數(shù)據(jù)元數(shù)據(jù)：包括定義 、 結(jié)構(gòu)的所有描述 。 系統(tǒng)的使用方法 ， 已定義的查詢 ， 視圖和現(xiàn)有的應(yīng)用等相關(guān)的信息 。 靜態(tài)元數(shù)據(jù)主要與數(shù)據(jù)結(jié)構(gòu)有關(guān) 。 —— DW中數(shù)據(jù)所持有的類型 。 例如 Customer_ID表示客戶的編號 ， 開頭字母為 A表示集體客戶 ， B為個人客戶 。 —— 統(tǒng)計數(shù)據(jù)訪問的用戶 ， 訪問時間和訪問次數(shù) 。 —— 描述 DW系統(tǒng)的使用方法和管理的特性 ， 例如數(shù)據(jù)的使用方法概括數(shù)據(jù)的概括公式等 。換句話說，一個數(shù)據(jù)結(jié)構(gòu)能在 5到 1 0年內(nèi)保持不變是很不平常的。 DW元數(shù)據(jù)的廣義索引中存有每次數(shù)據(jù)裝載時產(chǎn)生的有關(guān)決策的數(shù)據(jù) ， 在做決策時 ， 可以先查詢該部分?jǐn)?shù)據(jù) ， 再決定是否進(jìn)行進(jìn)一步的搜索 。 并清晰的表示出來 ，管理起來 。 ? 數(shù)據(jù)倉庫的開發(fā)過程是一個構(gòu)造工程的過程 ，必須提供清晰的文檔 。 元數(shù)據(jù)對多個來源的數(shù)據(jù)集成發(fā)揮著關(guān)鍵作用 。 ? ⑶ 屬性到屬性的映射 。 數(shù)據(jù)倉庫主要應(yīng)用 ? 數(shù)據(jù)倉庫直接訪問 ? 使用瀏覽分析工具在 DW中尋找有用的信息。 ? 在保險業(yè)的應(yīng)用 :滿足保險行業(yè)日益增長的各種查詢 、 統(tǒng)計 、 報表以及分析的需求 ， 提高防范和化解經(jīng)營風(fēng)險的能力 ， 有效利用這些數(shù)據(jù)來實(shí)現(xiàn)經(jīng)營目標(biāo) ， 預(yù)測保險業(yè)的發(fā)展趨勢 ， 甚至利用這些數(shù)據(jù)來設(shè)計保險企業(yè)的發(fā)展宏圖 ， 在激烈的競爭中贏得先機(jī) . ? 在客戶服務(wù)及營銷方面的應(yīng)用 :CRM ? 在保健領(lǐng)域的應(yīng)用 :揭示出如何以較低費(fèi)用獲取較高質(zhì)量的治療策略趨勢和模式 . 聯(lián)機(jī)分析處理（ OLAP） ? 聯(lián)機(jī)分析處理（ OLAP）的概念最早是由關(guān)系數(shù)據(jù)庫之父 1993年提出的。 聯(lián)機(jī)分析處理（ OLAP） ? OLAP是一種軟件技術(shù) ， 他使分析人員能夠迅速 、 一致 、交互地從各個方面觀察信息 ， 以達(dá)到深入理解數(shù)據(jù)的目的 ， 這些信息是從原始數(shù)據(jù)直接轉(zhuǎn)換過來的 ， 他們以用戶容易理解的方式反映企業(yè)的真實(shí)情況 。 OLAP特性 ? (1)快速性 :用戶對 OLAP的快速反應(yīng)能力有很高的要求 。 系統(tǒng)必須提供對數(shù)據(jù)的多維視圖和分析 ,包括對層次維和多重層次維的完全支持 。 ? 維是人們觀察問題的特定角度 ， 例如：時間維 、 地理維 、 產(chǎn)品維 。在某一時間，也許他想知道哪個商店哪種產(chǎn)品的銷售情況。維就是相同類數(shù)據(jù)的集合，也可以理解為變量。這些屬性對進(jìn)行決策支持是非常有用的。 如果維已經(jīng)分成了多層次的 ， 則維成員就是不同維層次取值的組合 。 多維數(shù)據(jù)集是決策支持的支柱 ， 也是 OLAP的核心 。 – 人們很容易理解一個二維表 (如通常的電子表格 )，對于三維立方體同樣也容易理解。要突破三維的障礙，就必須理解邏輯維和物理維的差異。 ? 當(dāng)在多維數(shù)據(jù)集的每個維都選中一個維成員以后 ， 這些維成員的組合就惟一確定了觀察變量的值 。 ? 多維數(shù)據(jù)集的度量值是 OLAP分析的核心值 ， 是用戶在 DW中需要查看的數(shù)據(jù) ， 一般是銷售量 、 成本 、 費(fèi)用等 。 ? (Rotate)/轉(zhuǎn)軸 (Pivot) – 通過旋轉(zhuǎn)可以得到不同視角的數(shù)據(jù) 。 OLAP存儲方式 – OLAP有多種實(shí)現(xiàn)方法，根據(jù)存儲數(shù)據(jù)的方式不同可以分為 ROLAP、MOLAP、 HOLAP。另一類是維表 ,即對每個維至少使用一個表來存放維的層次、成員類別等維的描述信息。以多維數(shù)據(jù)組織方式為核心 ,也就是說 ,MOLAP使用多維數(shù)組存儲數(shù)據(jù)。這種方式具有更好的靈活性。 Budget Time_id Sales Table Discount% Dollars Units Fact Table Market_id Product_id Scenario Product_id