【正文】 ? 基于時(shí)間的數(shù)據(jù)轉(zhuǎn)換 ? 數(shù)據(jù)的聚合 ? 對記錄系統(tǒng)進(jìn)行掃描，以便追加數(shù)據(jù) ? 數(shù)據(jù)裝入 ? 確定數(shù)據(jù)裝入的順序 ? 過濾無效或錯(cuò)誤數(shù)據(jù) ? 數(shù)據(jù)老化 ? 數(shù)據(jù)粒度管理 ? 數(shù)據(jù)刷新 接口設(shè)計(jì) ? 數(shù)據(jù)倉庫中的數(shù)據(jù)是從數(shù)據(jù)庫系統(tǒng)中提取出來的，所以在需要在數(shù)據(jù)庫系統(tǒng)和數(shù)據(jù)倉庫之間建立一個(gè)接口。建立這種接口，并不是簡單的編制一個(gè)提取程序。由于數(shù)據(jù)庫中的數(shù)據(jù)與數(shù)據(jù)倉庫中的數(shù)據(jù)有很大區(qū)別，所以在設(shè)計(jì)接口時(shí)，除了提取外還要完成數(shù)據(jù)的凈化、集成等。接口應(yīng)包括轉(zhuǎn)換器、監(jiān)控器和集成器等，以完成對數(shù)據(jù)的提取、凈化和集成 。 數(shù)據(jù)提取 ? 數(shù)據(jù)的提取是數(shù)據(jù)倉庫成功的關(guān)鍵。在提取過程中，為了支持實(shí)際應(yīng)用中的趨勢分析，它還必須對數(shù)據(jù)基于時(shí)間進(jìn)行轉(zhuǎn)換。在大多數(shù)情況下，把數(shù)據(jù)庫系統(tǒng)中的數(shù)據(jù)變化提取出來是通過訪問數(shù)據(jù)庫日志進(jìn)行的。在數(shù)據(jù)提取時(shí)應(yīng)考慮建立可靠的復(fù)制機(jī)制，使復(fù)制不受諸如系統(tǒng)失敗之類問題的影響，保證傳送符合數(shù)據(jù)完整性規(guī)則的一致數(shù)據(jù)，并優(yōu)化傳送過程，減少在捕獲或修改數(shù)據(jù)和傳送復(fù)制結(jié)果之間的等待時(shí)間。復(fù)制機(jī)制包括數(shù)據(jù)發(fā)布器和數(shù)據(jù)閱讀器。數(shù)據(jù)發(fā)布器是原始的或控制的源 ,它控制了從企業(yè)內(nèi)部來的數(shù)據(jù)的捕獲和凈化；數(shù)據(jù)閱讀器是一種對數(shù)據(jù)訪問的系統(tǒng)。 數(shù)據(jù)裝入 ? 數(shù)據(jù)裝入：即運(yùn)行數(shù)據(jù)倉庫的接口程序，將數(shù)據(jù)裝入數(shù)據(jù)倉庫中。 ? 主要工作： ? 按順序裝入數(shù)據(jù)。最初只裝入一部分?jǐn)?shù)據(jù)來生成第一個(gè)主題域，這樣能使設(shè)計(jì)人員輕易而迅速的對所做的工作進(jìn)行調(diào)整，然后再依次裝入全部數(shù)據(jù)。 ? 檢查數(shù)據(jù)的有用性。數(shù)據(jù)倉庫的設(shè)計(jì)過程是一個(gè)反饋、循環(huán)的過程，原先對決策分析起作用的數(shù)據(jù)隨著時(shí)間的推移越來越陳舊無法再支持決策分析，通過與用戶的交流，反復(fù)進(jìn)行用戶需求分析，從而確定用戶真正需要的數(shù)據(jù)，清除老化、無效和錯(cuò)誤數(shù)據(jù)，不斷的適應(yīng)用戶的需求。 數(shù)據(jù)倉庫的使用 ? 構(gòu)建數(shù)據(jù)倉庫的最終目的是為了使用，如果數(shù)據(jù)倉庫中存放了大量的數(shù)據(jù)而沒有開發(fā)相應(yīng)的應(yīng)用程序就失去了其存在的價(jià)值。 ? 數(shù)據(jù)倉庫的目的是用于決策分析而不是事務(wù)管理。決策分析應(yīng)用可分為兩種類型：例行分析處理和啟發(fā)式分析處理。例行分析處理是指一些要求比較明確、需要重復(fù)進(jìn)行的分析處理，通常屬于部門級的應(yīng)用，如部門的銷售分析、財(cái)務(wù)分析、報(bào)表分析等；啟發(fā)式分析是指隨機(jī)性較大的、即時(shí)進(jìn)行的分析處理，通常屬于企業(yè)高層決策者級的應(yīng)用，這種決策分析并沒有固定的模式，決策者受到某種信息的啟發(fā)而進(jìn)行一些隨機(jī)的決策分析。 ? 對于例行分析處理，由于其分析模式固定，因此可以使用查詢 /報(bào)表工具、固定模式的驗(yàn)證工具或 OLAP工具來實(shí)現(xiàn)。對于啟發(fā)式分析處理則需要在驗(yàn)證工具、 OLAP工具和數(shù)據(jù)挖掘工具中為用戶提供一個(gè)靈活的、功能強(qiáng)大的交互式界面，使決策者能夠方便地利用這些工具循環(huán)漸進(jìn)地進(jìn)行決策分析，最終獲得分析結(jié)果。 數(shù)據(jù)倉庫的維護(hù) ? 系統(tǒng)維護(hù)：是在系統(tǒng)已經(jīng)交付使用之后為了改正錯(cuò)誤和為了滿足新的需要而修改系統(tǒng)的過程。 ? 數(shù)據(jù)倉庫中數(shù)據(jù)的日常管理工作： ? 清除過時(shí)的、不再使用的數(shù)據(jù)； ? 定期從源數(shù)據(jù)中提取數(shù)據(jù)，刷新數(shù)據(jù)倉庫中的數(shù)據(jù)； ? 管理元數(shù)據(jù)等。 ? 數(shù)據(jù)倉庫系統(tǒng)的完善工作： ? 改正性維護(hù)：在數(shù)據(jù)倉庫設(shè)計(jì)與開發(fā)過程中，雖然已經(jīng)進(jìn)行了嚴(yán)格的測試，但對于一個(gè)大型的系統(tǒng)可能還潛藏著一些。 ? 適應(yīng)性維護(hù)：數(shù)據(jù)倉庫的構(gòu)建是基于當(dāng)時(shí)的技術(shù)條件的，由于計(jì)算機(jī)科學(xué)技術(shù)發(fā)展十分迅速，每隔一定的周期硬件設(shè)備和系統(tǒng)軟件都會發(fā)生重大的變革，適應(yīng)性維護(hù)就是為了與變化了的環(huán)境相配合而進(jìn)行的對系統(tǒng)進(jìn)行修改的活動。 ? 完善性維護(hù)：因?yàn)閿?shù)據(jù)倉庫系統(tǒng)一般是采用快速原型法開發(fā)的，需要在系統(tǒng)的運(yùn)行過程中不斷地聽取用戶對已有功能的修改建議和增加新功能的需求，使系統(tǒng)日趨完善。 ? 預(yù)防性維護(hù)：預(yù)防性維護(hù)則是指為了改進(jìn)系統(tǒng)未來的性能和功能打下基礎(chǔ)而進(jìn)行的修改工作。 自頂向下的構(gòu)造方法 數(shù)據(jù)集市 外部數(shù)據(jù) 數(shù)據(jù)集市 – 建造企業(yè)數(shù)據(jù)倉庫 ? 建設(shè)中心數(shù)據(jù)模型 ? 一次性的完成數(shù)據(jù)的重構(gòu)工作 ? 最小化數(shù)據(jù)冗余度和不一致性 ? 存儲詳細(xì)的歷史數(shù)據(jù) – 從企業(yè)數(shù)據(jù)倉庫中建造數(shù)據(jù)集市 ? 得到大部分的集成數(shù)據(jù) ? 直接依賴于數(shù)據(jù)倉庫的可用性 操作數(shù)據(jù) 問題 投資效益的時(shí)間 ? ? 建設(shè)中心數(shù)據(jù)模型的必要性和可能性 ? 初始費(fèi)用 ? 企業(yè)數(shù)據(jù)倉庫 自底向上的構(gòu)造方法 數(shù)據(jù)集市 – 建立部門數(shù)據(jù)集市 ? 限制在一個(gè)主題區(qū)域 ? 快速投資收益 ? 區(qū)域自治 – 設(shè)計(jì)的可伸縮性強(qiáng) ? 對相關(guān)部門的應(yīng)用容易復(fù)制 ? 對每個(gè)數(shù)據(jù)集市需要數(shù)據(jù)重構(gòu) ? 存在一定的冗余及不一直性 – 逐步擴(kuò)展到企業(yè)數(shù)據(jù)倉庫 (EDW) ? 把建造 EDW作為一個(gè)長期的目標(biāo) 存在的問題 : 數(shù)據(jù)集市的數(shù)據(jù)都是可用的嗎 ? 能生成數(shù)據(jù)模型嗎 ? 如何解決不一致性 ? 外部數(shù)據(jù) 操作數(shù)據(jù) (全局 ) amp。 操作數(shù)據(jù) (局部 ) 操作數(shù)據(jù) (局部 ) 數(shù)據(jù)集市 企業(yè)數(shù)據(jù)倉庫 創(chuàng)建數(shù)據(jù)倉庫應(yīng)注意的幾個(gè)問題 ? 需求第一 。 首先要了解實(shí)際的需求 ， 數(shù)據(jù)倉庫技術(shù)的主要目的是幫助決策者進(jìn)行決策 ， 如果單純的用數(shù)據(jù)倉庫的應(yīng)用去充當(dāng) “ 制作靈活報(bào)表 ” 的工具 ， 那就是大材小用了 。 ? 數(shù)據(jù)是基礎(chǔ) 。 要有正在運(yùn)行中的 、 處于不斷更新的操作型數(shù)據(jù)源 ，而且對已有的數(shù)據(jù)要確保其質(zhì)量 ， 數(shù)據(jù)是否正確 ， 是否良好定義 、集成且完整一致 。 ? 數(shù)據(jù)分析是數(shù)據(jù)倉庫的靈魂 。 數(shù)據(jù)倉庫建立的主要目的就是進(jìn)行有效的分析預(yù)測 ， 因此要選擇有用的 、 高效的分析工具 。 影響數(shù)據(jù)倉庫項(xiàng)目成功的因素 ? 數(shù)據(jù)倉庫創(chuàng)建前的影響因素 ? 管理層的信任 ? 從管理項(xiàng)目開始：面向主題 ? 交流實(shí)現(xiàn)目標(biāo) ? 任命一個(gè)面向用戶的項(xiàng)目經(jīng)理 ? 數(shù)據(jù)倉庫創(chuàng)建時(shí)的影響因素 ? 采用成熟的技術(shù) ? 注重查詢而不是注重事務(wù) ? 只加載所需數(shù)據(jù) ? 定義合適的數(shù)據(jù)源：元數(shù)據(jù)映射 ? 明確定義主題 ? 數(shù)據(jù)倉庫創(chuàng)建后的影響因素 ? 面向決策的使用者的信任 數(shù)據(jù)倉庫項(xiàng)目所需的角色 ? 管理角色 ? 項(xiàng)目主管 ? 項(xiàng)目經(jīng)理 ? 技術(shù)角色 ? 數(shù)據(jù)提供專家 ? 體系結(jié)構(gòu)設(shè)計(jì)者 ? 數(shù)據(jù)庫管理員 ? 數(shù)據(jù)遷移專家 ? 數(shù)據(jù)轉(zhuǎn)換專家 ? 數(shù)據(jù)集市開發(fā)的領(lǐng)導(dǎo)人 ? 質(zhì)量保證 /測試專家 ? 維護(hù)角色 ? 內(nèi)行的用戶 ? 培訓(xùn)教師 ? 技術(shù)文檔編寫人員 ? 工具專家 ? 銷售商聯(lián)系人 數(shù)據(jù)倉庫典型應(yīng)用 Use Of Data Warehouse 數(shù)據(jù)倉庫應(yīng)用 ?證券 :可處理客戶分析、帳戶分析、證券交易數(shù)據(jù)分析、非資金交易分析等多個(gè)業(yè)界關(guān)心的主題，為客戶提供針對其個(gè)人習(xí)慣、投資組合的投資建議，從而真正作到對客戶的貼心服務(wù)。 ?銀行 :防范銀行的經(jīng)營風(fēng)險(xiǎn)、實(shí)現(xiàn)科學(xué)管理以及進(jìn)行決策 . ?稅務(wù) :一是查出應(yīng)稅未報(bào)者和瞞稅漏稅者，并對其進(jìn)行跟蹤；二是對不同行業(yè)、產(chǎn)品和市場中納稅人的行為特性進(jìn)行描述，找出普遍規(guī)律，謀求因勢利導(dǎo)的稅務(wù)征稽策略；三是對不同行業(yè)、產(chǎn)品和市場應(yīng)收稅款進(jìn)行預(yù)測，制定最有效的征收計(jì)劃。 ?保險(xiǎn) :滿足保險(xiǎn)行業(yè)日益增長的各種查詢 、 統(tǒng)計(jì) 、 報(bào)表以及分析的需求 ， 提高防范和化解經(jīng)營風(fēng)險(xiǎn)的能力 ， 有效利用這些數(shù)據(jù)來實(shí)現(xiàn)經(jīng)營目標(biāo) ， 預(yù)測保險(xiǎn)業(yè)的發(fā)展趨勢， 甚至利用這些數(shù)據(jù)來設(shè)計(jì)保險(xiǎn)企業(yè)的發(fā)展宏圖 ， 在激烈的競爭中贏得先機(jī) . ?客戶服務(wù)及營銷方面 :CRM ?保健 :揭示出如何以較低費(fèi)用獲取較高質(zhì)量的治療策略趨勢和模式 . 參考資料 ? W. H. Inmon , 《 Building the Data Warehouse》 ，王志海等譯，機(jī)械工業(yè)出版社， ? San Anahory and Dennis Murray , 《 Data Warehousing in the Real World 》 （原版書，國內(nèi)未發(fā)行， 434頁） ? W. A. Giovinazzo, 《 ObjectOriented Data Warehouse Design》 ，瀟湘工作室譯，人民郵電出版社， ? Lou Agosta, 《 The Essential Guide to Data Warehouse》 ，瀟湘工作室譯，人民郵電出版社， ? Tom Hammergren著，曹增強(qiáng)等譯： 《 數(shù)據(jù)倉庫技術(shù) 》 ，中國水利水電出版社 ? Lou Agosta， 《 數(shù)據(jù)倉庫技術(shù)指南 》 ，人民郵電出版社 Q/A