【正文】 答一些細節(jié)性的問題 抽樣的方法很多，一般是隨機抽取?；顦颖緮?shù)據(jù)可以代 替源數(shù)據(jù)進行模擬分析 經(jīng)驗證明，在源數(shù)據(jù)量很大的情況下，抽樣數(shù)據(jù)量可大 大下降，如源數(shù)據(jù)量的 1/100或 1/1000，源數(shù)據(jù)量越大， 數(shù)據(jù)量下降的量越大，而得出的分析結(jié)果誤差極小， 具 有很高的效率 活樣本數(shù)據(jù)庫的抽取可以按照數(shù)據(jù)的重要程度不同來進 行。并不是所有的數(shù)據(jù)對于具體的分析來說都具有相同 的價值，不能不分主次地對數(shù)據(jù)進行分析（選代表）。 利用活樣本數(shù)據(jù)庫的概念，可以收集重要的數(shù)據(jù)來進行 分析， 既可提高分析效率，也有助于抓住主要因素和主 要矛盾 。 活樣本數(shù)據(jù)的特點 活樣本數(shù)據(jù)庫的主要用途 ? ? 特別是在分析工作中，有許多探索的過程，有時分析 的目的只是要建立起分析模型或是得到相對準確、能 反映趨勢的數(shù)據(jù)，從而驗證用戶的猜想，為下一步的 策略確定方向或?qū)Ξ斍胺治龀绦蜃龀鱿鄳?yīng)調(diào)整，而 并 不要求精確的結(jié)果 。 這種情況下樣本數(shù)據(jù)就大有用武之地！ 性能優(yōu)化 2：分區(qū) ? ? ? ? ? 分區(qū)又稱 分割 ，與數(shù)據(jù)庫系統(tǒng)中的 分片 概念近 似，是將一個表模式按照一定標準分成兩個或多 個表的模式，將數(shù)據(jù)分割稱小的物理單元（分片） 的過程。 與數(shù)據(jù)庫系統(tǒng)的分片相似，數(shù)據(jù)倉庫的分割也分 為水平分割、垂直分割、混合分割和導出分割。 把數(shù)據(jù)庫分區(qū)的技術(shù) “拿來主義 ”。 分區(qū)的目標 仍然是提高數(shù)據(jù)倉庫的訪問效率，是 一種系統(tǒng)性能優(yōu)化策略。 優(yōu)點：分區(qū)可以使數(shù)據(jù)裝載、數(shù)據(jù)訪問、數(shù)據(jù)存 檔、數(shù)據(jù)重組、數(shù)據(jù)監(jiān)控、數(shù)據(jù)存儲等操作變得 簡單高效。 分割方法 ? ? ? ? ? ? ? ? 數(shù)據(jù)量決定是否需要分割，規(guī)則： 小的 主題不分大的分 ； 不同主題的數(shù)據(jù)分割方法也不同，如商品按品類，供應(yīng)商 按地址； 分割標準要簡單可行，一般與現(xiàn)實業(yè)務(wù)對應(yīng)比較適合作為 標準； 分割與 粒度 掛鉤，即分片 對應(yīng) 粒度級別 恰當?shù)臄?shù)據(jù)分區(qū)使得數(shù)據(jù)增長便于管理 如果數(shù)據(jù)分區(qū)不合理則會為數(shù)據(jù)增長和管理造成許多困難 簡單地說，數(shù)據(jù)倉庫的本質(zhì)之一是使數(shù)據(jù)訪問變得 靈活高 效 ，如果都是大塊的數(shù)據(jù)就達不到這一目標 因此，一般情況下，對所有當前細節(jié)的數(shù)據(jù)倉庫都要進行 分區(qū)。 分區(qū)標準 ? ? ? 數(shù)據(jù)分區(qū)的標準可以根據(jù)實際情況來確定，通常 可選擇按 日期 、 地域 、 業(yè)務(wù)領(lǐng)域 或 組織單位 等來 進行分區(qū)，也可以按多個分區(qū)標準的組合來進行 一般而言，分區(qū)標準應(yīng)包括日期項，它十分自然 而且分區(qū)均勻 分區(qū)之后，小單元內(nèi)的數(shù)據(jù)相對獨立，處理起來 更快、更容易 例子 ? 一個按時間（年）和商品類型作為標準來組織的 分區(qū)例子 分區(qū) 14 分區(qū) 24 分區(qū) 34 分區(qū) 44 分區(qū) 13 分區(qū) 23 分區(qū) 33 分區(qū) 43 分區(qū) 12 分區(qū) 22 分區(qū) 32 分區(qū) 42 分區(qū) 11 分區(qū) 21 分區(qū) 31 分區(qū) 41 2021年 2021年 2021年 2021年 流行品 專用品 日用百貨 日用雜品 數(shù)據(jù) 小結(jié)：粒度與分區(qū) ? ? ? ? ? 粒度 解決的是數(shù)據(jù)倉庫中數(shù)據(jù)綜合的程度，因 此，任何細節(jié)的數(shù)據(jù)都可以構(gòu)成數(shù)據(jù)倉庫 粒度可以根據(jù)數(shù)據(jù)倉庫結(jié)構(gòu)劃分為多個層次，但 是實際應(yīng)用中更多地采用雙重粒度 活樣本數(shù)據(jù)庫不是綜合而是 抽樣 ，以小數(shù)據(jù)量的 樣本來推斷總體，統(tǒng)計學 分區(qū) 是指將數(shù)據(jù)倉庫物理上分割存儲，目標是提 高訪問效率 分區(qū)需要按照一定的標準進行，一般符合業(yè)務(wù)邏 輯和習慣 性能優(yōu)化 3：表優(yōu)化 合并表 ? 合并表 ? ? 例行分析處理時，相關(guān)的表存儲時放到一起，可大大減少磁 頭定位時間，提高 I/O效率。（與 DBMS管理數(shù)據(jù) 同） 這種將多個表中相互關(guān)聯(lián)的記錄相鄰存儲的方式稱為合并表 性能優(yōu)化 3：表優(yōu)化 數(shù)據(jù)序列 ? 數(shù)據(jù)序列 ? 把經(jīng)常按照某一序列訪問并處理的一組表存儲在一 起可減少 I/O次數(shù) 性能優(yōu)化 3：表優(yōu)化 引入冗余 ? ? ? ? ? 數(shù)據(jù)分析處理的數(shù)據(jù)是廣泛的，數(shù)據(jù)源中的數(shù)據(jù)可能在多個地 方出現(xiàn)，如有些表的屬性不經(jīng)常發(fā)生變化，可以將某些屬性復 制到多個主題中。 與合并表不同，合并表沒有增加冗余，引入冗余的方法改變了 表的關(guān)聯(lián)模式，出現(xiàn)了冗余的屬性。 由于存在事務(wù)處理，操作型數(shù)據(jù)中不適合引入冗余，否則會導 致數(shù)據(jù)的不一致性；而數(shù)據(jù)倉庫中不存在事務(wù)管理的問題，因 此可以采用引入冗余的技術(shù)。 但是，數(shù)據(jù)倉庫的中冗余仍然要保證數(shù)據(jù)的一致性，好在數(shù)據(jù) 倉庫的數(shù)據(jù)是穩(wěn)定的，維護代價很低。 增加冗余，減少連接，提高效率 性能優(yōu)化 3：表優(yōu)化 利用導出數(shù)據(jù) ? ? 有些匯總計算所得數(shù)據(jù)可以進行物化處理，這種數(shù)據(jù) 為導出數(shù)據(jù)。 導出數(shù)據(jù)的利用可以節(jié)省計算代價而 提高效率 ，同時 可以建立的公共數(shù)據(jù)源，避免不同用戶重復計算可能 產(chǎn)生偏差（ 避免數(shù)據(jù)不一致 ）。 討論：規(guī)范化 /反規(guī)范化 ? ? ? ? 規(guī)范化是 OLTP系統(tǒng)中為避免數(shù)據(jù)不一致（解決數(shù)據(jù) 依賴，更新異常）和減少冗余的一種重要技術(shù)。 而在數(shù)據(jù)倉庫中，上述 引入冗余、利用導出數(shù)據(jù) 等方 法技術(shù)已經(jīng)明目張膽地違反 OLTP系統(tǒng)中規(guī)范化的原 則，但并沒有產(chǎn)生數(shù)據(jù)不一致的問題。 原因：數(shù)據(jù)倉庫中沒有更新操作，所以不會引起更新 異常問題。 因此，在數(shù)據(jù)倉庫設(shè)計中，為提高效率，可以違反規(guī) 范化的原則。 性能優(yōu)化 3：表優(yōu)化 建立廣義索引 ? ? 思想：常用的數(shù)據(jù)建索引，具體內(nèi)容略。 參考 低級模型 索引策略。 小結(jié) ? ? ? 數(shù)據(jù)倉庫系統(tǒng)的性能優(yōu)化方法很多，可以借鑒數(shù)據(jù)庫 系統(tǒng)的優(yōu)化方法。 上述為常見的優(yōu)化方法，其中，粒度、分區(qū)、冗余等 方法在實際中應(yīng)用廣泛，這些方法應(yīng)用有交叉，需綜 合應(yīng)用才會達到較好的優(yōu)化效果。 另外，需要針對具體的系統(tǒng)和應(yīng)用情況而制定優(yōu)化策 略。