【文章內(nèi)容簡介】 New York 73F 91F get forecast Past Due Service Requests Sales cost analysis 20230 15000 10000 5000 2Q00 3Q00 4Q00 1Q01 Central next prior ? Banco Azul Today39。s News Corporate News Competitor News ?CEO Christoph Dermond ments on stock split ?Minimizing risk in B2B relations ?Special employee credit offers ?New Privacy Executive Post named ?SomeCo talks with EvilEmpire Bank sparks merger rumors ?ToughCo loses fight with Banco Azul for $821M industrial loan ?Asian invasion into retail securities Banco Azul 07/02/2023 19:29:20 WPS The Cutting Edg WebSphere Portal Server Content Manager Federated Search KPIs Intelligent Miner QMF ,BO, Brio, etc. DB2 OLAP DB2 DB2 Data Warehouse virtual tables Reports Content Marts IBM IBM DB2 Warehouse Manager Production data source Purchased Data ERP, CRM, SCM, data sources Red Brick IBM 信息分析框架 24 數(shù)據(jù)倉庫系統(tǒng)的組成（ 1） ? 源數(shù)據(jù)：數(shù)據(jù)倉庫中的數(shù)據(jù)來源于多個(gè)數(shù)據(jù)源，它不僅可以是企業(yè)內(nèi)部的關(guān)系型數(shù)據(jù)庫，還包括非傳統(tǒng)數(shù)據(jù)，如文件、 HTML文檔等。 ? 數(shù)據(jù)倉庫管理系統(tǒng)： ? 元數(shù)據(jù)庫及元數(shù)據(jù)管理部件：元數(shù)據(jù)庫用來存儲(chǔ)由定義部件生成的關(guān)于源數(shù)據(jù)、目標(biāo)數(shù)據(jù)、提取規(guī)則、轉(zhuǎn)換規(guī)則以及源數(shù)據(jù)與數(shù)據(jù)倉庫之間的映射信息等。 ? 數(shù)據(jù)轉(zhuǎn)換部件：該部件把數(shù)據(jù)從源數(shù)據(jù)中提取出來，依定義部件的規(guī)則將不同數(shù)據(jù)格式的源數(shù)據(jù)轉(zhuǎn)換成數(shù)據(jù)倉庫的數(shù)據(jù)格式并裝載進(jìn)數(shù)據(jù)倉庫。 ? 數(shù)據(jù)集成部件：該部件根據(jù)定義部件的規(guī)則、統(tǒng)一各源數(shù)據(jù)的編碼規(guī)則，并凈化數(shù)據(jù)，根據(jù)元數(shù)據(jù)中定義的數(shù)據(jù)組織形式對(duì)數(shù)據(jù)進(jìn)行匯總、聚合計(jì)算。 ? 數(shù)據(jù)倉庫管理部件：它主要用于維護(hù)數(shù)據(jù)倉庫中的數(shù)據(jù)，備份、恢復(fù)數(shù)據(jù)以及管理數(shù)據(jù)的安全權(quán)限問題。 25 數(shù)據(jù)倉庫系統(tǒng)的組成（ 2） ? 數(shù)據(jù)倉庫前端工具集 ? 查詢 /報(bào)表工具：以圖形化方式和報(bào)表方式顯示數(shù)據(jù)，幫助了解數(shù)據(jù)的結(jié)構(gòu)、關(guān)系以及動(dòng)態(tài)性。 ? OLAP工具：通過對(duì)信息的多種可能的觀察形式進(jìn)行快速、一致和交互性的存取，便于用戶對(duì)數(shù)據(jù)進(jìn)行深入的分析和觀察。 ? 數(shù)據(jù)挖掘工具：從大量數(shù)據(jù)中挖掘出具有規(guī)律性的知識(shí)，以及數(shù)據(jù)之間的內(nèi)在聯(lián)系。 ? 前端開發(fā)工具：提供用戶編程接口，便于在現(xiàn)有系統(tǒng)的基礎(chǔ)上進(jìn)行二次開發(fā)，增強(qiáng)系統(tǒng)的伸縮性。 ? 數(shù)據(jù)倉庫 :在數(shù)據(jù)倉庫系統(tǒng)中，數(shù)據(jù)倉庫是一個(gè)數(shù)據(jù)存儲(chǔ)集合，它的存儲(chǔ)形式通常有多維數(shù)據(jù)庫，關(guān)系型數(shù)據(jù)庫及其他存儲(chǔ)方式。 26 數(shù)據(jù)轉(zhuǎn)換 ? 統(tǒng)一數(shù)據(jù)編碼：數(shù)據(jù)倉庫中的數(shù)據(jù)從各個(gè)數(shù)據(jù)源提取出來的，盡管經(jīng)過轉(zhuǎn)換后數(shù)據(jù)格式已經(jīng)統(tǒng)一，但數(shù)據(jù)的編碼、描述在各個(gè)源系統(tǒng)中都有很大的區(qū)別。為了改進(jìn)數(shù)據(jù)倉庫中數(shù)據(jù)質(zhì)量，提高數(shù)據(jù)倉庫中數(shù)據(jù)的可用性，必須統(tǒng)一數(shù)據(jù)編碼。本系統(tǒng)中編碼轉(zhuǎn)換主要包括： ? 日期格式轉(zhuǎn)換：大多數(shù)業(yè)務(wù)環(huán)境中有許多不同的日期和時(shí)間類型，所以，幾乎每個(gè)數(shù)據(jù)倉庫的實(shí)現(xiàn)都必須將日期和時(shí)間變換成標(biāo)準(zhǔn)的數(shù)據(jù)格式。數(shù)據(jù)倉庫必須用單一的模式規(guī)定日期和時(shí)間信息。 ? 測量單位的轉(zhuǎn)換：數(shù)據(jù)倉庫中對(duì)于數(shù)值型字段應(yīng)保持一致的單位。在元數(shù)據(jù)庫中創(chuàng)建表 Units和 UnitTypes來表示各種單位的換算關(guān)系。表 UnitTypes記錄了數(shù)據(jù)倉庫系統(tǒng)中的單位類型，初始元數(shù)據(jù)庫中共分六種單位類型：時(shí)間單位、貨幣單位、重量單位、長度單位、面積單位、體積單位。在表 Units中記錄了單位名、單位類型以及同類型單位之間的相互轉(zhuǎn)換關(guān)系。 27 轉(zhuǎn)換器的設(shè)計(jì)與實(shí)現(xiàn) ? 轉(zhuǎn)換器的功能：數(shù)據(jù)結(jié)構(gòu)轉(zhuǎn)換和數(shù)據(jù)類型轉(zhuǎn)換。 ? 從數(shù)據(jù)源中提取數(shù)據(jù)并轉(zhuǎn)換格式的過程：先將各類數(shù)據(jù)庫系統(tǒng)中不同格式的數(shù)據(jù)轉(zhuǎn)換成文本文件，然后再利用批拷貝命令將數(shù)據(jù)導(dǎo)入目標(biāo)系統(tǒng)中。以使數(shù)據(jù)倉庫獲得新的數(shù)據(jù)提供決策分析使用。 ? 數(shù)據(jù)準(zhǔn)備區(qū)的使用：首先從源數(shù)據(jù)中提取數(shù)據(jù)，轉(zhuǎn)換成數(shù)據(jù)倉庫所要求的格式后存儲(chǔ)在數(shù)據(jù)倉庫的一個(gè)稱為數(shù)據(jù)準(zhǔn)備區(qū)的緩沖區(qū)中。在該區(qū)域中，可以暫時(shí)存儲(chǔ)原始數(shù)據(jù)，然后由集成器對(duì)數(shù)據(jù)進(jìn)行清理、集成后再裝載到數(shù)據(jù)倉庫中。 源數(shù)據(jù) 數(shù)據(jù)準(zhǔn)備區(qū) 數(shù)據(jù)倉庫 28 數(shù)據(jù)凈化 ? 當(dāng)數(shù)據(jù)從源數(shù)據(jù)庫中提取到數(shù)據(jù)準(zhǔn)備區(qū)后，必須先進(jìn)行數(shù)據(jù)凈化才可以裝載到數(shù)據(jù)倉庫中去。數(shù)據(jù)凈化主要指對(duì)數(shù)據(jù)字段的有效值檢驗(yàn)。有效值的檢驗(yàn)通常包括：范圍檢驗(yàn)、枚舉字段取值和相關(guān)檢驗(yàn)。范圍檢驗(yàn)要求數(shù)據(jù)保證落在預(yù)期的范圍之內(nèi)，通常對(duì)數(shù)據(jù)范圍和日期范圍進(jìn)行檢驗(yàn)，如對(duì)任何在指定范圍之外的日期的發(fā)票都應(yīng)刪除。枚舉字段取值指對(duì)一個(gè)記錄在該字段的取值，若不在指定的值中，則應(yīng)該刪除。相關(guān)檢驗(yàn)要求將一個(gè)字段中的值與另外一個(gè)字段中的值進(jìn)行相關(guān)檢驗(yàn)，即在數(shù)據(jù)庫中某個(gè)字段應(yīng)與另一個(gè)字段形成外鍵約束。 29 監(jiān)控器捕捉數(shù)據(jù)變化的途徑 ? 數(shù)據(jù)倉庫提供的是離線數(shù)據(jù) , 與源數(shù)據(jù)存在時(shí)間差。 ? 時(shí)標(biāo)方法：指在數(shù)據(jù)庫中的數(shù)據(jù)設(shè)一個(gè)時(shí)標(biāo)，如果新插入或更新一個(gè)數(shù)據(jù)記錄，在記錄中插入新的時(shí)標(biāo)或加上更新時(shí)的時(shí)標(biāo)，然后根據(jù)時(shí)標(biāo)判斷哪些數(shù)據(jù)是變化的，并把變化的數(shù)據(jù)追加到數(shù)據(jù)倉庫中去。 ? DELTA文件：該文件是由應(yīng)用產(chǎn)生的，并記錄了應(yīng)用所改變的所有內(nèi)容。利用 DELTA文件記錄數(shù)據(jù)的變化，不需要掃描整個(gè)數(shù)據(jù)庫，所以效率較高，但生成的 DELTA文件的應(yīng)用并不普遍。 ? 映象文件：在上次提取數(shù)據(jù)