【正文】 行抽樣后得到一個樣本數(shù)據(jù)庫。這種樣本數(shù)據(jù)庫中的粒度不是根據(jù)綜合程度的不同來劃分的，而是由抽樣率的高低來劃分，抽樣粒度不同的樣本數(shù)據(jù)庫可以具有相同的數(shù)據(jù)綜合程度。 在數(shù)據(jù)倉庫環(huán)境中粒度之所以是一個極其重要的概念，是因為它深深地影響存放在數(shù)據(jù)倉庫中的數(shù)據(jù)量的大小，同時影響數(shù)據(jù)倉庫所能回答的查詢類型，在數(shù)據(jù)倉庫中數(shù)據(jù)量大小與查詢的詳細程度之間要做出權(quán)衡。 數(shù)據(jù)粒度與數(shù)據(jù)分割（ 1） 55 2. 數(shù)據(jù)分割 數(shù)據(jù)分割是數(shù)據(jù)倉庫中又一重要概念 。 所謂數(shù)據(jù)分割是指將數(shù)據(jù)分散到各自的物理單元中以便能夠獨立處理 ， 提高數(shù)據(jù)處理的效率 。 數(shù)據(jù)分割沒有固定的標準 ， 分割的方法和粒度應當根據(jù)實際情況來確定 。 分割方法常?？梢赃x擇時間 、 地點 、業(yè)務領(lǐng)域來劃分 ， 也可以是其組合 。 按照時間進行分割符合數(shù)據(jù)倉庫數(shù)據(jù)隨時間變化的特點 ， 并且分割后數(shù)據(jù)分布比較均勻 ，所以是最常用的分割方法 。 不過需注意的是：在數(shù)據(jù)倉庫中 ， 圍繞分割問題的關(guān)鍵并不是該不該對數(shù)據(jù)進行分割 ， 而是如何分割 。 這也是為什么有人說 ， 如果粒度和分割都做得很好的話 ， 幾乎數(shù)據(jù)倉庫設計和實現(xiàn)的所有其他問題都容易解決 。 但是 ， 假如粒度處理不當 ，并且分割也沒有認真地設計與實現(xiàn) ， 將嚴重影響其他方面的設計效果 。 數(shù)據(jù)粒度與數(shù)據(jù)分割（ 2） 56 分割的一個簡單例子： 如表 ，分割是按照時間和業(yè)務領(lǐng)域的組合來劃分的。 數(shù)據(jù)粒度與數(shù)據(jù)分割（ 3） 57 數(shù)據(jù)倉庫的數(shù)據(jù)組織形式（ 1） 在數(shù)據(jù)倉庫發(fā)展過程中，出現(xiàn)了多種不同的數(shù)據(jù)組織形式： 1. 簡單堆積文件 簡單堆積文件就是將每天由業(yè)務數(shù)據(jù)庫提取并處理后的數(shù)據(jù)逐天存儲起來 ， 如圖 。 還有一種形式被稱為簡單直接文件 ， 它同簡單堆積文件非常類似 ， 只是按照一定的時間間隔對業(yè)務數(shù)據(jù)庫進行快照并存儲 ， 但是時間間隔不一定是每天 。 業(yè)務數(shù)據(jù)庫 2 0 0 7 / 1 / 1 2 0 0 7 / 1 / 2 2 0 0 7 / 1 / 3 …… 2 0 0 7 / 2 / 1 2 0 0 7 / 2 / 2 2 0 0 7 / 2 / 3 …… 數(shù)據(jù)庫快照 圖 1 . 1 0 簡單堆積數(shù)據(jù) 58 2. 定期綜合文件 在定期綜合文件這種方式中，數(shù)據(jù)存儲單位被分成日、周、月、季、年等多個級別。首先數(shù)據(jù)被逐一添加到每天的數(shù)據(jù)集合中，當一個星期過去了，每天數(shù)據(jù)被綜合成周數(shù)據(jù)，依此類推，周數(shù)據(jù)被綜合成月數(shù)據(jù) …… 。 定期綜合文件的組織方式使得數(shù)據(jù)量比簡單堆積文件方式大大減少，但是由于數(shù)據(jù)被進行了綜合，使得數(shù)據(jù)的細節(jié)在綜合中丟失。因此，定期綜合文件的形式是犧牲數(shù)據(jù)的細節(jié)信息換取數(shù)據(jù)量級的減少。 3. 連續(xù)文件 定期綜合文件其數(shù)據(jù)量級小時丟失了數(shù)據(jù)細節(jié)，簡單堆積文件保留細節(jié)但數(shù)據(jù)量級又很大，是否可以綜合兩者的優(yōu)點呢？答案是肯定的。 數(shù)據(jù)倉庫的數(shù)據(jù)組織形式（ 2） 59 在簡單堆積文件中 ， 每天的數(shù)據(jù)表中有許多雷同的信息 ，如圖 2021年 1月和 2021年 2月的兩張采購表 ，其中 “ 鋼筆 ” 和 “ 水杯 ” 在兩個表都出現(xiàn)了 。 “ 上海 ” 產(chǎn)的“ 鋼筆 ” 既在 2021/1購買 ， 又在 2021/2購買 。 如果能夠用一條記錄將兩條記錄所包含的信息記錄下來 ， 則既能保留細節(jié)信息 ,又能大大減少數(shù)據(jù)量 。 2 0 0 7 /1 采購表 2 0 0 7 /2 采購表 北京 帽子 4 昆明 水杯 2 上海 鋼筆 1 商品產(chǎn)地 商品名 商品編號 成都 帽子 4 廣州 毛巾 3 上海 鋼筆 1 商品產(chǎn)地 商品名 商品編號 圖 1 . 1 1 某商場的兩張采購表 數(shù)據(jù)倉庫的數(shù)據(jù)組織形式（ 3） 60 圖 結(jié)果 。 對于兩張表中相同的項 “ 鋼筆 ” ， 只需在時間列上說明購買時間是 “ 2021/1~2021/2”， 對于兩表不同的表項分別記錄 。 2 0 0 7 /1 采購表 2 0 0 7 /2 采購表 2 0 0 7 /1 2 0 0 7 /2 采購表 北京 帽子 4 昆明 水杯 2 上海 鋼筆 1 商品產(chǎn)地 商品名 商品編號 成都 帽子 4 廣州 毛巾 3 上海 鋼筆 1 商品產(chǎn)地 商品名 商品編號 2 0 0 7 /2 成都 帽子 4 2 0 0 7 /1 北京 帽子 4 2 0 0 7 /2 廣州 毛巾 3 2 0 0 7 /1 昆明 水杯 2 2 0 0 7 /1 2 0 0 7 /2 上海 鋼筆 1 購買時間 商品產(chǎn)地 商品名 商品編號 圖 1 . 1 2 連續(xù)文件示例 數(shù)據(jù)倉庫的數(shù)據(jù)組織形式（ 4） 61 隨著時間的推移，如果又有新的數(shù)據(jù)表加入，則可以使用連續(xù)文件和新的數(shù)據(jù)表進行類似的處理，以達到“兩全其美”的目的。但是，應當指出：連續(xù)文件增加的“時間”列也會為查詢帶來一定的不便。一個系統(tǒng)某些性能的提高，總是以犧牲其他性能為代價的。 數(shù)據(jù)倉庫的數(shù)據(jù)組織形式（ 5） 62 數(shù)據(jù)倉庫的數(shù)據(jù)追加和清理 (1) 數(shù)據(jù)的組織結(jié)構(gòu)和數(shù)據(jù)的組織形式解決的是數(shù)據(jù)倉庫數(shù)據(jù)的存儲問題。而數(shù)據(jù)追加解決的是數(shù)據(jù)倉庫初始數(shù)據(jù)加載后，如何再向數(shù)據(jù)倉庫輸入數(shù)據(jù)的問題。 如果業(yè)務數(shù)據(jù)庫中的數(shù)據(jù)沒有發(fā)生變化，則不需要對數(shù)據(jù)倉庫進行追加，因此，數(shù)據(jù)追加實際上只增加在上次數(shù)據(jù)輸入后業(yè)務數(shù)據(jù)庫中變化了的數(shù)據(jù)。要完成數(shù)據(jù)追加的工作，最關(guān)鍵的是“捕獲”數(shù)據(jù)變化，并將數(shù)據(jù)的變化記錄下來。 63 （ 1）時標法 “時標法”的思想是為數(shù)據(jù)記錄增加一個時間標記字段。當數(shù)據(jù)在上次數(shù)據(jù)導入完成后發(fā)生了變化，則修改這條記錄的時間標記。 但是，在業(yè)務數(shù)據(jù)庫系統(tǒng)中，通常沒有專門的時間標記字段。數(shù)據(jù)庫應用的設計者主要是從實現(xiàn)事務處理的功能角度來考慮問題，因此，數(shù)據(jù)庫應用的設計者通常不會增加時間標記字段，因為該列對于事務處理系統(tǒng)來說是不必要的。由于這些原因，時標法雖然簡單，但很難得到實際應用。 數(shù)據(jù)倉庫的數(shù)據(jù)追加和清理 (2) 64 （ 2） 前后快照比較法 其思想很簡單：將上次執(zhí)行完數(shù)據(jù)追加任務的當前業(yè)務數(shù)據(jù)庫快照記錄下來 ， 同要執(zhí)行新的數(shù)據(jù)追加任務前的原先業(yè)務數(shù)據(jù)庫快照進行比較 ， 比較這兩次快照的不同 ， 來生成追加的內(nèi)容 。 這種方法簡單 ， 但是數(shù)據(jù)庫的數(shù)量級很大時 ， 進行這樣全數(shù)據(jù)庫的比較將會耗費大量的系統(tǒng)資源和時間 ， 所以這種方法并不實用 。 （ 3） DELTA文件法 “ DELTA文件法 ” 是一種從應用程序來感知數(shù)據(jù)變化的方法 。 其基本思想是；數(shù)據(jù)的變化是由業(yè)務數(shù)據(jù)庫應用程序引發(fā)的 ， 因此業(yè)務數(shù)據(jù)庫應用程序應當知道它修改了哪些數(shù)據(jù) ， 應用程序可以將它執(zhí)行成功的修改操作記錄下來 ， 形成 DELTA文件作為追加的內(nèi)容 。 業(yè)務數(shù)據(jù)庫應用程序主要是為了完成事務處理而設計的 ，要使所有的應用程序都支持 DELTA文件的功能在實際的工程應用中很難 ， 因此 ， 這種方法也沒有得到實用化 。 數(shù)據(jù)倉庫的數(shù)據(jù)追加和清理 (3) 65 （ 4）日志文件法 DELTA文件法從能夠感知業(yè)務數(shù)據(jù)變化的應用程序來生成追加文件，這種想法是很巧妙，但是它沒有考慮到應用程序常常是由不同的軟件開發(fā)商開發(fā)的，因此很難對其進行統(tǒng)一的規(guī)范。 我們知道，各個應用程序都是通過同數(shù)據(jù)庫服務器進程通信來實現(xiàn)其數(shù)據(jù)訪問功能，最終數(shù)據(jù)的訪問和處理工作是由數(shù)據(jù)庫服務器來承擔，因此數(shù)據(jù)庫服務器能夠感知數(shù)據(jù)的變化。如果數(shù)據(jù)庫開啟了系統(tǒng)日志，數(shù)據(jù)庫服務器將會把它所執(zhí)行的所有操作詳細地記錄下來。我們可以通過分析數(shù)據(jù)庫系統(tǒng)日志來獲取數(shù)據(jù)變化的情況，得到追加內(nèi)容。 雖然日志文件法需要對日志本身進行比較復雜的分析，但是由于它能夠極大程度地減少工作量，所以得到了廣泛的應用。 數(shù)據(jù)倉庫的數(shù)據(jù)追加和清理 (4) 66 數(shù)據(jù)倉庫的數(shù)據(jù)清理與傳統(tǒng)數(shù)據(jù)庫系統(tǒng)中數(shù)據(jù)清理的含義有區(qū)別。在傳統(tǒng)數(shù)據(jù)庫系統(tǒng)中，數(shù)據(jù)清理意味著將數(shù)據(jù)刪除。數(shù)據(jù)倉庫系統(tǒng)中數(shù)據(jù)清理并不是簡單地刪除，而是從細化級別的數(shù)據(jù)逐漸上升為高度綜合級的數(shù)據(jù)，直到數(shù)據(jù)已經(jīng)不再具備任何意義時被清除的過程。事實上，數(shù)據(jù)倉庫中的數(shù)據(jù)清理包括： 1）數(shù)據(jù)從操作型環(huán)境進入分析型環(huán)境； 2）數(shù)據(jù)從細節(jié)數(shù)據(jù)逐漸轉(zhuǎn)換為綜合數(shù)據(jù)； 3）數(shù)據(jù)從高速磁盤中轉(zhuǎn)移到低速存儲介質(zhì)上； 4）數(shù)據(jù)失去實際意義，最終被清除。 這個過程實際上也是數(shù)據(jù)在數(shù)據(jù)倉庫中的生命周期。 數(shù)據(jù)倉庫的數(shù)據(jù)追加和清理 (5) 67 第一章 目錄 ? 從數(shù)據(jù)庫到數(shù)據(jù)倉庫 ? 什么是數(shù)據(jù)倉庫 ? 數(shù)據(jù)倉庫與傳統(tǒng)數(shù)據(jù)庫的比較 ? 數(shù)據(jù)倉庫的系統(tǒng)結(jié)構(gòu) ? 數(shù)據(jù)倉庫的數(shù)據(jù)組織 ? 本章小結(jié) 68 本章小結(jié) 本章以“蜘蛛網(wǎng)”問題為導引，介紹了從數(shù)據(jù)庫到數(shù)據(jù)倉庫的演變過程。在給出數(shù)據(jù)倉庫的定義后，詳細闡述數(shù)據(jù)倉庫面向主題、數(shù)據(jù)集成、數(shù)據(jù)穩(wěn)定、數(shù)據(jù)隨時間變化的基本特征。討論傳統(tǒng)數(shù)據(jù)庫與數(shù)據(jù)倉庫的區(qū)別。介紹數(shù)據(jù)倉庫的體系結(jié)構(gòu)及數(shù)據(jù)倉庫中 ETL、元數(shù)據(jù)、 OLAP等一系列重要的概念。最后介紹了數(shù)據(jù)倉庫的數(shù)據(jù)組織，以及數(shù)據(jù)粒度、數(shù)據(jù)分割、數(shù)據(jù)追加等概念。 69 End of Chapter 1