【導讀】Datawarehouse. Datamart. OLAP. ROLAP. MOLAP. Client

　　

【正文】 器中，而數據的概括形式則可以存放在數據倉庫中。 目前可以得到的數據刷洗工具中，許多都已內置了概括功能，尤其是在時間維上進行聚集的功能。當然，不管如何做到這一點，重要的是用戶能夠輕松地訪問元數據，了解生成總和數據所用的標準。 移動數據 將數據移出操作系統(tǒng)一般包括：在數據最終復制到數據倉庫之前，將它們拷貝到一個中間位置。理想狀況下，拷貝數據的過程應該在操作系統(tǒng)不忙時進行。確保了解自己的商務及其支 持系統(tǒng)。如果還未完成大量的更新，就不應該移動數據。如果數據倉庫中的數據來自多個相互關聯的操作系統(tǒng)，就應該保證在這些系統(tǒng)同步工作時移動數據。 廣義的數據準備，覆蓋面很廣泛，包含了從數據源抽取數據，一直到最終數據呈現在用戶面前之間的所有工作，這其中的最主要的工作就是數據的抽取、轉換、清洗、裝載等一系列工作。在最初的數據倉庫實現之前所有的這些工作都是用程序手工實現的。這樣就造成了一個非常嚴重的問題，就是數據倉庫的持續(xù)發(fā)展問題，因為利用程序實現每一個數據抽取過程，導致所有的數據邏輯都隱藏在程序內部，當數據倉庫進一步 發(fā)展時，這些程序的管理和修改，將成為阻礙數據倉庫發(fā)展的最大的障礙。 經過一段時間的發(fā)展，人們最終認識到 ETL工具的重要性，于是相關的 ETL工具也紛紛出臺，其中比較著名的是 IBM的 Visual warehouse， Ardent公司的 data stage等等。如何判斷一個 ETL工具的優(yōu)略呢，一般而言，主要有一下幾個因素： 1 OPEN datasource The tools must extract data from most kind of data source use Native database Driver 就是說這種工具必須從很多不同的數據源抽取數據，并盡可能地使用數據源本身提供的驅動程序來提高使用效率 2 OPEN target Database The Tools must can Use most database like (DB2,.) as Target database. 要支持不同的數據庫作為數據倉庫的載體 3 Schedule job 可以定時進行數據的更新的整理 4 High Performance 較高的工作效率 5 Metadata management 完善的元數據管理，可以對整個 ETL過程中產生的元數據進行管理 6 Parallel support 支持并行數據抽取 7 Visualize UI 可視化的工作界面 8 Custom define program 可以支持用戶自定義的程序做一些普通 SQL 語句無法完成的工作 9 Security Support multi user and user group 支持多用戶和多用戶組的工作方式 10 Increment data extract support 可以實現數據的 增量抽取 11 Use subject to manage ETL Job 用戶可以對所有進程按照主題進行管理 12 Enable Complex cleansing and transform Automatic generate SQL, Custom SQL support 支持復雜的數據清洗工作，自動生成SQL 語句，用戶自定義 SQL 13 Support MDD data load 可以支持多維數據庫的數據加載 14 Support TB data extract and load 可以 支持 TB 級別的數據加載 15 Data model export and import 現有設置可以進行 Export 和 import 七、 如何建立數據倉庫 數據倉庫的實現主要以關系數據庫（ RDB）技術為基礎，因為關系數據庫的數據存儲和管理技術發(fā)展得較為成熟，其成本和復雜性較低，已開發(fā)成功的大型事務數據庫多為關系數據庫，但關系數據庫系統(tǒng)并不能滿足數據倉庫的數據存儲要求，需要通過使用一些技術，如動態(tài)分區(qū)、位圖索引、優(yōu)化查詢等，使關系數據庫管理系統(tǒng)在數據倉庫應用環(huán)境中的性能得到大幅度的提高。 數據倉庫在 構建之初應明確其主題，主題是一個在較高層次將數據歸類的標準，每一個主題對應一個宏觀的分析領域，針對具體決策需求可細化為多個主題表，具體來說就是確定決策涉及的范圍和所要解決的問題。但是主題的確定必須建立在現有聯機事務處理（ OLTP）系統(tǒng)基礎上，否則按此主題設計的數據倉庫存儲結構將成為一個空殼，缺少可存儲的數據。但一味注重 OLTP 數據信息，也將導致迷失數據提取方向，偏離主題。需要在 OLTP 數據和主題之間找到一個“平衡點”，根據主題的需要完整地收集數據，這樣構建的數據倉庫才能滿足決策和分析的需要。 建立一個數 據倉庫需要經過以下幾個處理過程：①數據倉庫設計；②數據抽?。虎蹟祿芾?。 數據倉庫設計 根據決策主題設計數據倉庫結構，一般采用星型模型和雪花模型設計其數據模型，在設計過程中應保證數據倉庫的規(guī)范化和體系各元素的必要聯系。主要有以下 3 個步驟： ①定義該主題所需各數據源的詳細情況，包括所在計算機平臺、擁有者、數據結構、使用該數據源的處理過程、倉庫更新計劃等。 ②定義數據抽取原則，以便從每個數據源中抽取所需數據；定義數據如何轉換、裝載到主題的哪個數據表中。 ③將一個主題細化為多個業(yè)務主題，形成主 題表，據此從數據倉庫中選出多個數據子集，即數據集市（ DataMart）。數據集市通常針對部門級的決策或某個特定業(yè)務需求，它開發(fā)周期短，費用低，能在較短時間內滿足用戶決策的需要。因此，在實際開發(fā)過程中可以選擇在成功建立幾個數據集市后再構建數據倉庫這種策略。 這些數據定義直接輸入系統(tǒng)中，作為元數據（ metadata）存儲，供數據管理模塊和分析使用。元數據存儲在元數據庫中，它不僅是數據倉庫的文檔資料，供管理、維護人員使用，而且亦可供用戶查詢，使之更好地了解數據倉庫結構，提高自己的使用水平。 數據抽取模塊 該模塊是根據元數據庫中的主題表定義、數據源定義、數據抽取規(guī)則定義對異地異構數據源（包括各平臺的數據庫、文本文件、 HTML 文件、知識庫等）進行清理、轉換，對數據進行重新組織和加工，裝載到數據倉庫的目標庫中。在組織不同來源的數據過程中，先將數據轉換成一種中間模式，再把它移至臨時工作區(qū)。加工數據是保證目標數據庫中數據的完整性、一致性。例如，有兩個數據源存儲與人員有關的信息，在定義數據組成的人員編碼類型時，可能一個是字符型，一個是整型；在定義人員性別這一屬性的類型時，一個可能是 char（ 2），存儲的數據值為“男 ”和“女”，而另一個屬性類型為 char（ 1），數據值為“ F”和“ M”。這兩個數據源的值都是正確的，但對于目標數據來說，必須加工為一種統(tǒng)一的方法來表示該屬性值，然后交由最終用戶進行驗證，這樣才能保證數據的質量。在數據抽取過程中，必須在最終用戶的密切配合下，才能實現數據的真正統(tǒng)一。早期數據抽取是依靠手工編程和程序生成器實現，現在則通過高效的工具來實現，如 Ardent 公司的 Infomoter 產品、 SAS 的數據倉庫產品 SAS/WA（ WarehouseAdministrator）及各大數據倉庫廠商推出的、完整的數據倉 庫解決方案。 數據維護模塊 該模塊分為目標數據維護和元數據維護兩方面。目標數據維護是根據元數據庫所定義的更新頻率、更新數據項等更新計劃任務來刷新數據倉庫，以反映數據源的變化，且對時間相關性進行處理。更新操作有兩種情況，即在倉庫的原有數據表中進行某些數據的更新和產生一個新的時間區(qū)間的數據，因為匯總數據與數據倉庫中的許多信息元素有關系，必需完整地匯總，這樣才能保證全體信息的一致性。 數據倉庫規(guī)模一般都很大，從建立之初就要保證它的可管理性，一個企業(yè)可能建立幾個數據倉庫或數據集市，但他們可共用一個元數據 庫對其進行管理。首先從元數據庫查詢所需元數據，然后進行數據倉庫更新作業(yè)，更新結束后，將更新情況記錄于元數據庫中。當數據源的運行環(huán)境、結構及目標數據的維護計劃發(fā)生變化時，需要修改元數據。元數據是數據倉庫的重要組成部分，元數據的質量決定整個數據倉庫的質量。