數(shù)據(jù)倉庫概念一覽-文庫吧
2025-07-21 07:38 本頁面
【正文】 ll將這樣的數(shù)據(jù)集市稱為第二級的數(shù)據(jù)集市。使用合并事實表技術(shù)，可以避免性能較差的交叉探察操作。但是，這種合并事實表和使用交叉探察操作還有著細微的不同，在一些基礎(chǔ)表中沒有記錄的時候，合并事實表中可能會存儲一條記錄，字段值保存為零。合并事實表可以給數(shù)據(jù)倉庫帶來很大的性能提升，提供的跨主題的事實數(shù)據(jù)也給用戶帶來了很大的方便。但是，合并事實表給ETL工作帶來了較大的麻煩。對于合并事實表中涉及到的維度，需要在數(shù)據(jù)準(zhǔn)備區(qū)保證它們是一致性維度。緩慢變化維――slowly changing dimension維度建模的數(shù)據(jù)倉庫中，有一個概念叫Slowly Changing Dimensions，中文一般翻譯成“緩慢變化維”，經(jīng)常被簡寫為SCD。緩慢變化維的提出是因為在現(xiàn)實世界中，維度的屬性并不是靜態(tài)的，它會隨著時間的流失發(fā)生緩慢的變化。這種隨時間發(fā)生變化的維度我們一般稱之為緩慢變化維，并且把處理維度表的歷史變化信息的問題稱為處理緩慢變化維的問題，有時也簡稱為處理SCD的問題。處理緩慢變化維的方法通常分為三種方式。第一種方式是直接覆蓋原值。這樣處理，最容易實現(xiàn)，但是沒有保留歷史數(shù)據(jù)，無法分析歷史變化信息。第一種方式通常簡稱為“TYPE 1”。第二種方式是添加維度行。這樣處理，需要代理鍵的支持。實現(xiàn)方式是當(dāng)有維度屬性發(fā)生變化時，生成一條新的維度記錄，主鍵是新分配的代理鍵，通過自然鍵可以和原維度記錄保持關(guān)聯(lián)。第二種方式通常簡稱為“TYPE 2”。第三種方式是添加屬性列。這種處理的實現(xiàn)方式是對于需要分析歷史信息的屬性添加一列，來記錄該屬性變化前的值，而本屬性字段使用TYPE 1來直接覆蓋。這種方式的優(yōu)點是可以同時分析當(dāng)前及前一次變化的屬性值，缺點是只保留了最后一次變化信息。第三種方式通常簡稱為“TYPE 3”。在實際建模中，我們可以聯(lián)合使用三種方式，也可以對一個維度表中的不同屬性使用不同的方式，這些，都需要根據(jù)實際情況來決定，但目的都是一樣的，就是能夠支持方便的分析歷史變化情況。即席查詢――ad hoc queries在數(shù)據(jù)倉庫領(lǐng)域有一個概念叫Ad hoc queries，中文一般翻譯為“即席查詢”。即席查詢是指那些用戶在使用系統(tǒng)時，根據(jù)自己當(dāng)時的需求定義的查詢。即席查詢生成的方式很多，最常見的就是使用即席查詢工具。一般的數(shù)據(jù)展現(xiàn)工具都會提供即席查詢的功能。通常的方式是，將數(shù)據(jù)倉庫中的維度表和事實表映射到語義層，用戶可以通過語義層選擇表，建立表間的關(guān)聯(lián)，最終生成SQL語句。即席查詢與通常查詢從SQL語句上來說，并沒有本質(zhì)的差別。它們之間的差別在于，通常的查詢在系統(tǒng)設(shè)計和實施時是已知的，所有我們可以在系統(tǒng)實施時通過建立索引、分區(qū)等技術(shù)來優(yōu)化這些查詢，使這些查詢的效率很高。而即席查詢是用戶在使用時臨時生產(chǎn)的，系統(tǒng)無法預(yù)先優(yōu)化這些查詢，所以即席查詢也是評估數(shù)據(jù)倉庫的一個重要指標(biāo)。即席查詢的位置通常是在關(guān)系型的數(shù)據(jù)倉庫中，即在EDW或者ROLAP中。多維數(shù)據(jù)庫有自己的存儲方式，對即席查詢和通常查詢沒有區(qū)別。在一個數(shù)據(jù)倉庫系統(tǒng)中，即席查詢使用的越多，對數(shù)據(jù)倉庫的要求就越高，對數(shù)據(jù)模型的對稱性的要求也越高。對稱性的數(shù)據(jù)模型對所有的查詢都是相同的，這也是維度建模的一個優(yōu)點。交叉探察――drill across在維度建模的數(shù)據(jù)倉庫中，有一種操作叫Drill Across ，中文一般翻譯為“交叉探查”。鑒于經(jīng)驗的局限，在這里我只能進行一下淺顯的分析。在基于總線架構(gòu)（Bus Architecture）的維度建模中，大部分的維度表是由事實表共有的。比如“營銷事務(wù)事實表”和“庫存快照事實表”就會有相同的維度表，“日期維度”、“產(chǎn)品維度”和“商場維度”。這時，如果有個需求是想按共有維度來對比查看銷售和庫存的事實，這時就需要發(fā)出兩個SQL，分別查出按維度統(tǒng)計出的銷售數(shù)據(jù)和庫存數(shù)據(jù)。然后再基于共有的維度進行外連接，將數(shù)據(jù)合并。這種發(fā)出多路SQL再進行合并的操作就是交叉探查。當(dāng)這種交叉探查的需求很常用時，有一種建模方法可以避免交叉探查，就是合并事實表（Consolidated Fact Table）。合并事實表是指將位于不同事實表中處于相同粒度的事實進行組合的一種建模方法。即新建立一個事實表，它的維度是兩個或多個事實表的相同維度的集合，事實是幾個事實表中感興趣的事實。這個事實表的數(shù)據(jù)和其他事實表的數(shù)據(jù)一樣來自Staging Area。合并事實表在性能和易用性上都比交叉探查要好，但是被組合的事實表必須處于相同的粒度和維度層次上。角色模仿維度－－roleplaying dimensions在數(shù)據(jù)倉庫領(lǐng)域有一個概念叫Roleplaying dimensions，中文一般翻譯為“角色模仿維度”。角色模仿維度是為了處理一個維度在一個事實表中同時出現(xiàn)多次而使用的一種技術(shù)處理手段。在建立了角色模仿維度以后，在底層只有一個物理表存在，但是針對這個物理表會建立多個角色提供給數(shù)據(jù)訪問工具，而且對數(shù)據(jù)訪問工具來說這多個角色是不同的。例如對與累計快照事實表中會出現(xiàn)多個日期字段聯(lián)接到日期維度。這時就可以針對日期維度建立多個角色模仿維度。角色模仿維度的建立方法通常是使用視圖來完成。例如訂單日期維度表如下所示：CREATE VIEW order_date(order_date_key, order_day_of_week, order_month, … ) AS SELECT data_key, day_of_week, month, … FROM DATA使用同樣的方式還可以建立多個不同日期的角色模仿維度。需要補充的一點是，目前市場上的大部分展現(xiàn)工具，都提供了對一個表選擇多次的功能。也就是說，角色模仿維度的功能展現(xiàn)工具自己就可以實現(xiàn)。這樣，就不需要我們在數(shù)據(jù)庫中建立角色模仿維度的視圖了，而直接使用展現(xiàn)工具完成即可。聚集事實表－－aggregated fact table累計快照事實表－－accumulating snapshot fact table橋接表－－bridge table切片事實表－－sliced fact table在數(shù)據(jù)倉庫領(lǐng)域有一個概念叫sliced fact table，中文一般翻譯為“切片事實表”。切片事實表中的字段結(jié)構(gòu)和相應(yīng)的基礎(chǔ)表完全相同，差別在于存儲的記錄的范圍。切片事實表中保存記錄的是相應(yīng)基礎(chǔ)表中記錄的子集，記錄數(shù)通常與某個維度記錄數(shù)相同。這種建模方法一般用來滿足特殊需要，如需要分析某些特殊問題時，可以將與之相關(guān)的數(shù)據(jù)切片出來。相反，這種方法也常用于合并存儲在不同地區(qū)的數(shù)據(jù)，即各個地區(qū)都保存自己地區(qū)的數(shù)據(jù)，總部和所有地區(qū)的表結(jié)構(gòu)都相同，然后總部將所有地區(qū)的數(shù)據(jù)合并在一起。切片事實表的結(jié)構(gòu)與相對應(yīng)的基礎(chǔ)表相同，數(shù)據(jù)來源于相對應(yīng)的基礎(chǔ)表。切片事實表由于縮小了表中數(shù)據(jù)的記錄數(shù)，所以查詢的效率得到了很大的提高。事實表（一） （二）――fact table在維度建模的數(shù)據(jù)倉庫中，事實表是指其中保存了大量業(yè)務(wù)度量數(shù)據(jù)的表。事實表中的度量值一般稱為事實。在事實表中最有用的事實就是數(shù)字類型的事實和可加類型的事實。事實表的粒度決定了數(shù)據(jù)倉庫中數(shù)據(jù)的詳細程度。一般來說，以粒度作為化分依據(jù)，主要有三種事實表，分別是事務(wù)粒度事實表（Transaction Grain Fact Table），周期快照粒度事實表（Periodic Snapshot Grain Fact Table）和累積快照粒度事實表（Accumulating Snapshot Grain Fact Table）。事務(wù)粒度事實表中的一條記錄代表了業(yè)務(wù)系統(tǒng)中的一個事件。事務(wù)出現(xiàn)以后，就會在事實中出現(xiàn)一條記錄。事務(wù)粒度事實表也稱為原子粒度。典型的例子是銷售單分列項事實表。周期快照粒度事實表用來記錄有規(guī)律的，可預(yù)見時間間隔的業(yè)務(wù)累計數(shù)據(jù)。通常的時間間隔可以是每天、每周或者每月。典型的例子是庫存日快照事實表。累積快照事實表一般用來涵蓋一個事務(wù)的生命周期內(nèi)的不確定的時間跨度。典型的例子是KDT2中描述的具有多個日期字段的發(fā)貨事實表。通常來說，事務(wù)和快照是建模中的兩個非常重要的特點，將兩者相結(jié)合可以使模型建立的更完整。從用途的不同來說，事實表可以分為三類，分別是原子事實表，聚集事實表和合并事實表。原子事實表（Atom Fact Table）是保存最細粒度數(shù)據(jù)的事實表，也是數(shù)據(jù)倉庫中保存原子信息的場所。聚集事實表（Aggregated Fact Table）是原子事實表上的匯總數(shù)據(jù)，也稱為匯總事實表。即新建立一個事實表，它的維度表是比原維度表要少，或者某些維度表是原維度表的子集，如用月份維度表代替日期維度表；事實數(shù)據(jù)是相應(yīng)事實的匯總，即求和或求平均值等。在做數(shù)據(jù)遷移時，當(dāng)相關(guān)的維度數(shù)據(jù)和事實數(shù)據(jù)發(fā)生變化時，聚集事實表需要做相應(yīng)的刷新。物化視圖是實現(xiàn)聚集事實表的一種有效方式，可以設(shè)
黨政相關(guān)相關(guān)推薦
鄂ICP備17016276號-1