【文章內(nèi)容簡介】 的標準可能在其他地方毫無意義。如果數(shù)據(jù)不在 給定的界限之內(nèi)，它就成為我們稱作 scrubbing（清除）過程的對象。清除數(shù)據(jù)包括對那些在給 定范圍之外的數(shù)據(jù)采取糾正措施。數(shù)據(jù)倉庫中的數(shù)據(jù)來自于多種業(yè)務(wù)數(shù)據(jù)源， 這些數(shù)據(jù)源可能是在不同的硬件平臺上，使用不同的操作系統(tǒng)，因而數(shù)據(jù)以不同的格式存在不同的數(shù)據(jù)庫中。如何向數(shù)據(jù)倉庫中加載這些數(shù)量大、種類多的數(shù)據(jù)，已成為建立數(shù)據(jù)倉庫所面 臨的一個關(guān)鍵問題。 在轉(zhuǎn)換結(jié)構(gòu)中，確保能找出一種最好的方法保證數(shù)據(jù)從 傳統(tǒng)的數(shù)據(jù)存儲器到數(shù)據(jù)倉庫的同步。同步結(jié)構(gòu)應(yīng)當把重點放在轉(zhuǎn)換語言的標準化、數(shù)據(jù)移 動平臺、通信策略和支持策略方面。數(shù)據(jù) 倉庫與操作數(shù)據(jù)存儲器之間的同步過程能夠采取不同的結(jié)構(gòu)。 除尋找自動化轉(zhuǎn)換操作的工具之外， 還應(yīng)估計數(shù)據(jù)轉(zhuǎn)換 的復雜性。大多數(shù) 傳統(tǒng)的數(shù)據(jù)存儲方法缺乏標準，常常有些不規(guī)則的東西 讓開發(fā)員摸不著頭腦。工具正在不斷改進以有助于轉(zhuǎn)換過程的自動化，包括復雜問題，如掩匿的數(shù)據(jù)、傳統(tǒng)標準的缺乏及不統(tǒng)一的關(guān)鍵數(shù)據(jù)。我們可以定義數(shù)據(jù)變換的幾個基本類型，每一 類都有自己的特點和表 現(xiàn)形式：簡單變換顧名思義，它是數(shù)據(jù)變換 中最簡單的形式， 這些變換一次改 變一個數(shù)據(jù)屬性而不考慮該屬性的背景或與它相關(guān)的其他信息。包括數(shù)據(jù)類型轉(zhuǎn)換，日期 /時間格式的轉(zhuǎn)換，字段解碼。清潔和刷洗清潔和刷洗是兩個可互換的術(shù)語，指的是比 簡單變換 更復雜的一種數(shù)據(jù)變換。在 這種變換中，要檢查的是字段或字段組的實際內(nèi)容而不僅是存儲格式。一種清潔是檢查數(shù)據(jù)字段中的有效值。 這可以通過范圍檢驗、枚舉清單和相關(guān)檢驗 來完成，重新格式化也是一個主要方法。集成要把從全然不同的數(shù)據(jù)源中得到的業(yè)務(wù)數(shù)據(jù)結(jié)合在一起，真正的困難在于將它們集成為一個緊密結(jié)合的數(shù)據(jù)模型。這是因為數(shù)據(jù)必 須從多個數(shù)據(jù)源中提取出來，并結(jié)合成為一個新的實體。這些數(shù)據(jù)來源往往遵守的不是同一套業(yè)務(wù)規(guī)則，在生成新數(shù)據(jù) 時，必 須 考慮到這一差異。聚集和概括大多數(shù)數(shù)據(jù)倉庫都要用到數(shù)據(jù)的某種聚集和概括。這 通常有助于將某一實體的實例數(shù)目減少到易于駕馭的水平，也有助于預(yù)先 計算出廣泛應(yīng)用的概括數(shù)字，以使每個查詢不必計算它們。概括是指按照一個或幾個業(yè)務(wù)維將相近的數(shù)值加在一起。聚集指將不同業(yè)務(wù)元素加在一起或為一個公共總數(shù)。在數(shù)據(jù)倉庫中它們是以相同的方式進行的。數(shù)據(jù)倉庫中存放的最具體的數(shù)據(jù)不與業(yè)務(wù)系統(tǒng)中存放的細節(jié)數(shù)據(jù)一樣聚集。這時，就有必要在 變換業(yè)務(wù)數(shù)據(jù)的過程中加入一些數(shù)據(jù)聚集功能。這可以減少存 儲在數(shù)據(jù)倉庫中的行數(shù)。聚集還可以去除數(shù)據(jù)倉庫中的過時細節(jié)。在 許多情況下，數(shù)據(jù)在一定時期內(nèi)要以很具體的水平存放著，一旦數(shù)據(jù)到了某一時限，對所有這些細節(jié)的需求就大大減弱了。此時，這些非常具體的數(shù)據(jù)應(yīng)該傳送到離線存儲器或近線存儲器中，而數(shù)據(jù)的概括形式 則可以存放在數(shù)據(jù) 倉庫中。目前可以得到的數(shù)據(jù)刷洗工具中，許多都已內(nèi)置了概括功能，尤其是在時間維上進行聚集的功能。當然，不管如何做到這一點，重要的是用戶能夠輕松地訪問 元數(shù)據(jù)，了解生成總和數(shù)據(jù)所用的標準。移動數(shù)據(jù)將數(shù)據(jù)移出操作系統(tǒng)一般包括：在數(shù)據(jù)最終復制到數(shù)據(jù)倉庫之前，將它們拷貝到一個中間位置。理想狀況下，拷貝數(shù)據(jù)的過程應(yīng)該 在操作系統(tǒng)不忙時進行。確保了解自己的商務(wù)及其支持系統(tǒng)。如果還未完成大量的更新，就不應(yīng)該移 動數(shù)據(jù)。如果數(shù)據(jù) 倉庫中的數(shù)據(jù)來自多個相互關(guān) 聯(lián)的操作系統(tǒng)，就應(yīng)該保證在這些系統(tǒng)同步工作時移動數(shù)據(jù)。 1　　　　 聯(lián) 機分析技 術(shù) (OLAP)一、什么是 OLAP 、OLAP 的起源聯(lián)機分析處理(OnLine Analytical Process OLAP)的概念最早是由關(guān)系數(shù)據(jù) 庫之父 于 1993年提出的。當時,Codd 認為聯(lián)機事務(wù)處理(OLTP)已不能滿足終端用戶對數(shù)據(jù)庫查詢分析的需要,SQL 對大數(shù)據(jù)庫進行的簡單查詢也不能滿足用戶分析的需求。用戶的決策分析需要對關(guān)系數(shù)據(jù)庫進行大量計算才能得到結(jié)果,而查詢的結(jié)果并不能滿足決策者提出的需求。因此 Codd 提出了多維數(shù)據(jù)庫和多維分析的概念,即 OLAP。到 90 年代中期，數(shù)據(jù)倉庫已經(jīng) 形成潮流。在美國，數(shù)據(jù)倉庫已成為緊次于 Inter 之后的又一技術(shù)熱點。隨著數(shù)據(jù)倉庫的發(fā)展，OLAP 也得到了迅猛的發(fā)展。數(shù)據(jù)倉庫側(cè)重于存儲和管理面向決策主題的數(shù)據(jù)；而 OLAP 則側(cè)重于數(shù)據(jù) 倉庫中的數(shù)據(jù)分析，并將其轉(zhuǎn)換成輔助決策信息。OLAP 的一個重要特點是多維數(shù)據(jù)分析，這與數(shù)據(jù)倉庫 的多維數(shù)據(jù)組織正好形成相互 結(jié)合、相互 補充的關(guān)系。OLAP 技術(shù)中比較典型的應(yīng)用是對多維數(shù)據(jù)的切片和切塊、鉆取、旋 轉(zhuǎn)等，它便于使用者從不同角度提取有關(guān)數(shù)據(jù)。OLAP 技 術(shù)還能夠利用分析過 程對數(shù)據(jù)進行深入分析和加工。例如，關(guān)鍵指標數(shù)據(jù)常常用代數(shù)方程進行處理，更復雜的分析則需要建立模型 進行計算 、OLAP 的概念根據(jù) OLAP 委員會的定義，OLAP 是使分析人員、管理人員或執(zhí)行人員能夠從多種角度對從原始數(shù)據(jù)中轉(zhuǎn)化出來的、能夠真正為 用戶 所理解的并真實反映企 業(yè)維特性的信息進行快速、一致、交互地存取，從而獲得對數(shù)據(jù)的更深入了解的一類軟件技術(shù)。OLAP 技術(shù)是對由語義動態(tài)對象建立的、以動態(tài)微立方結(jié)構(gòu)形式存儲的表進行向下鉆取、向上鉆取、跨越 鉆取、切片和切塊等操作。OLAP 的目標是滿足決策支持或多維環(huán)境特定的查詢和報表需求，它的技術(shù)核心是“ 維” 這個概念，因此 OLAP 也可以說是多維數(shù)據(jù)分析工具的集合，是數(shù)據(jù)倉庫 中大容量數(shù)據(jù)得以有效利用的重要保障。其基本思想是：企業(yè)的決策者應(yīng)能靈活地操縱企業(yè)的數(shù)據(jù)，以多 維 的形式從多方面和多角度來觀察企業(yè)的狀態(tài)、了解企 業(yè)的變化。、OLAP 的分 類可以在兩個層面上對 OLAP 進行分類，按照存儲方式的不同，可將 OLAP 分成 ROLAP、MOLAP和 HOLAP；按照 處理地點的不同，可將 OLAP 分成 Server OLAP 和 Client OLAP。ROLAP 基于 Codd 的 12 條準 則，各個軟件開發(fā)廠家見仁見智，其中一個流派，認為可以沿用關(guān)系型數(shù)據(jù)庫來存儲多維數(shù)據(jù)，于是，基于稀疏矩陣表示方法的星型結(jié)構(gòu)（starschema）就出現(xiàn)了。后來又演化出雪花結(jié)構(gòu)。為了與多維數(shù)據(jù) 庫相區(qū)別， 則把基于關(guān)系型數(shù)據(jù) 庫的 OLAP 稱為 Relational OLAP，簡稱ROLAP。代表產(chǎn) 品有 Informix Metacube、Microsoft SQL Server OLAP Services.。ROLAP 采用 星型模式來組織關(guān)系數(shù)據(jù)庫數(shù)據(jù)很好地解決多維分析的問題。 星型模式只不過是數(shù)據(jù)庫設(shè)計中數(shù)據(jù)表之間的一種關(guān)聯(lián)形式，它的巧妙之處在于能 夠 找到一個固定的算法將用戶的多維查詢請求轉(zhuǎn)換成針對該數(shù)據(jù)模式的標準 SQL 語句，而且該語句是最優(yōu)化的。 星型模式的應(yīng)用為關(guān)系數(shù)據(jù)庫在數(shù)據(jù)倉庫領(lǐng)域大開綠燈。是數(shù)據(jù)倉庫處理大規(guī)模的數(shù)據(jù)提供了極大的伸縮性。ROLAP 的優(yōu)勢：沒有大小限制；現(xiàn)有的關(guān)系數(shù)據(jù)庫的技術(shù)可以沿用；可以通過 SQL 實現(xiàn)詳細數(shù)據(jù)與概要數(shù)據(jù)的儲存；現(xiàn)有關(guān)系型數(shù)據(jù)庫已經(jīng)對 OLAP 做了很多 優(yōu)化，包括并行存儲、并行查詢、并行數(shù)據(jù)管理、基于成本的查詢優(yōu)化、位圖索引、SQl 的 OLAP 擴展等大大提高了 ROALP 的速度；可以針對 SMP或 MPP 的結(jié)構(gòu) 進行查詢優(yōu)化。ROLAP 的缺點：一般比 MDD 響應(yīng)速度慢；只讀、不支持有關(guān)預(yù)算的讀寫操作；SQL 無法完成部分計算，主要是無法完成多行的 計算，無法完成 維之間的計算。MOLAP 嚴格遵照 Codd 的定義，自行建立了多 維數(shù)據(jù)庫，來存放聯(lián)機分析系統(tǒng)數(shù)據(jù)。Arbor Software,開創(chuàng)了多 維數(shù)據(jù)存儲 的先河，后來的很多家公司紛紛采用多維數(shù)據(jù)存儲。被人們稱為MuiltDimension OLAP,簡稱 MOLAP，代表 產(chǎn)品有 Hyperion(原 Arbor software) Essbase、Showcase STRATEGY 等。 MOLAP 在針對 小型的多維分析應(yīng)用有較好的效果，但它缺少關(guān)系數(shù)據(jù)庫所擁有的并行處理及大規(guī)模數(shù)據(jù)管理擴展性，因此 難以承擔大型數(shù)據(jù)倉庫應(yīng) 用。MOLAP 的優(yōu)勢：性能好、響應(yīng)速度快；專為 OLAP 所設(shè)計；支持高性能的決策支持計算；復雜的跨維計算；多用戶的讀寫操作；行級的計算。MOLAP 的缺點：增加系統(tǒng)復雜度，增加系 統(tǒng)培訓與維護費 用；受操作系統(tǒng)平臺中文件大小的限制，難以達到 TB 級；需要進行預(yù)計 算，可能 導致數(shù)據(jù)爆炸；無法支持維的動態(tài)變化；缺乏數(shù)據(jù)模型和數(shù)據(jù)訪問的標準。HOLAP 鑒于 ROLAP 和 MOLAP 都有這樣那樣的缺點，于是產(chǎn)生了 HOLAP 這種 OLAP 模型，它綜合了 ROLAP 和 MOLAP 的 優(yōu)點。它將常用的數(shù)據(jù)存 儲為 MOLAP，不常用或臨時的數(shù)據(jù)存儲為ROLAP，這樣就兼 顧了 ROLAP 的伸縮性和 MOLAP 的靈活、純粹的特點。ClientOLAP 又稱 DiskOLAP 相對于 Server OLAP 而言。部分分析工具廠家建議把部分數(shù)據(jù)下載到本地，為用戶提供本地的多維 分析。代表 產(chǎn)品有 Brio Designer, Business 提供了有別以傳統(tǒng) OLAP 的實時性和極大的靈活 .二、OLAP 的多維數(shù)據(jù)結(jié)構(gòu)、OLAP 的多 維數(shù)據(jù)數(shù)據(jù)概念多維結(jié)構(gòu)是 OLAP 的核心。OLAP 展現(xiàn)在用戶面前的是一幅幅多 維視圖。 　　維 　　假定某某是個百貨零售商，有一些因素會影響他的銷售業(yè)務(wù)，如商品、時間、商店或流通渠道，更具體一點，如品牌、月份、地區(qū)等。對某一給定的商品，也 許他想知道該商品在哪個商店和哪段時間的銷售情況。對某一商店，也許他想知道哪個商品在哪段時間的銷 售情況。在某一時間，也許他想知道哪個商店哪種產(chǎn)品的銷售情況。因此，他需要決策支持來幫助制定銷售政策。 　　這里，商店、時間和產(chǎn)品都是 維。各個商店的集合是一維，時間的集合是一維，商品的集合是一維。維就是相同類數(shù)據(jù)的集合，也可以理解 為變量。而每個商店、每段時間、每種商品都是某一維的一個成員。每個銷售事實由一個特定的商店、特定的 時間和特定的商品 組成。 　　維有自己固有的屬性，如層次結(jié)構(gòu)（對數(shù)據(jù)進行聚合分析時要用到）、排序（定義變量時要用到）、計算邏輯（是基于矩陣的算法，可有效地指定 規(guī)則）。 這些屬性 對進行決策支持是非常有用的。 　　多維性 人們很容易理解一個二維表(如通常的電子表格) ，對于三維立方體同樣也容易理解。OLAP 通常將三維立方體的數(shù)據(jù)進行切片， 顯示三維的某一平面。如一個立方體有時間維、商品維、收入維，其圖形很容易在屏幕上顯示出來并進行切片。但是要加一 維（如加入商店 維）， 則圖形很難想象，也不容易在屏幕上畫出來。要突破三維的障礙，就必須理解邏輯維和物理維 的差異。OLAP 的多維分析視圖就是沖破了物理的三維概念，采用了旋轉(zhuǎn) 、嵌套、切片、鉆取和高維可 視化技術(shù)，在屏幕上展示多 維視圖的結(jié)構(gòu)，使用戶直觀地理解、分析數(shù)據(jù)， 進行決策支持。、OLAP 的多維數(shù)據(jù)結(jié)構(gòu)　　數(shù)據(jù)在多維空間中的分布總是稀疏的、不均勻的。在事件發(fā)生的位置，數(shù)據(jù)聚合在一起，其密度很大。因此，OLAP 系統(tǒng)的開發(fā)者要設(shè)法解決多維數(shù)據(jù)空間的數(shù)據(jù)稀疏和數(shù)據(jù)聚合 問題。事 實上，有許多方法可以構(gòu)造多維數(shù)據(jù)。 　　1．超立方結(jié)構(gòu) 　　超立方結(jié)構(gòu)（Hypercube）指用三維或更多的維數(shù)來描述一個對象，每個維彼此垂直。數(shù)據(jù)的測量值發(fā)生在維的交叉點上，數(shù)據(jù)空間 的各個部分都有相同的維屬性。 　　這種結(jié)構(gòu)可應(yīng)用在多維數(shù)據(jù)庫和面向關(guān)系數(shù)據(jù)庫的 OLAP 系統(tǒng)中，其主要特點是簡化終端用戶的操作。 　　超立方結(jié)構(gòu)有一種變形，即收縮超立方結(jié)構(gòu)。這種結(jié)構(gòu)的數(shù)據(jù)密度更大，數(shù)據(jù)的維數(shù)更少，并可加入額外的分析維。 　　2．多立方結(jié) 構(gòu) 　　在多立方結(jié)構(gòu)（Mult