數(shù)據(jù)倉庫與數(shù)據(jù)挖掘第二章b(文件)
【正文】 支持時的系統(tǒng)開銷，對當(dāng)前細(xì)節(jié)級的數(shù)據(jù)，通常以一定的時間段為單位進(jìn)行綜合。為了有效控制數(shù)據(jù)倉庫中當(dāng)前細(xì)節(jié)級數(shù)據(jù)的規(guī)模，保證系統(tǒng)的運行效率，在設(shè)計數(shù)據(jù)倉庫時，通常應(yīng)結(jié)合業(yè)務(wù)的特點和系統(tǒng)硬件的水平，設(shè)定一個合理的時間閥值，將老化的數(shù)據(jù)轉(zhuǎn)為早期細(xì)節(jié)級的數(shù)據(jù)，并以合適的方式進(jìn)行存儲。 ?數(shù)據(jù)倉庫正是構(gòu)建這種新的分析處理環(huán)境而出現(xiàn)的一種數(shù)據(jù)存儲和組織技術(shù)。 5 數(shù)據(jù)倉庫中的數(shù)據(jù)組織 ?數(shù)據(jù)倉庫的數(shù)據(jù)組織結(jié)構(gòu)不同于一般的數(shù)據(jù)庫系統(tǒng)，需要將從原有的業(yè)務(wù)數(shù)據(jù)庫中獲得的基本數(shù)據(jù)和綜合數(shù)據(jù)分成一些不同的級別。 數(shù)據(jù)倉庫中的數(shù)據(jù)組織 8 ?數(shù)據(jù)倉庫中的數(shù)據(jù)存在著不同的綜合級別 ?當(dāng)前細(xì)節(jié)級 — 來自數(shù)據(jù)源的數(shù)據(jù)，所反映的都是當(dāng)前的業(yè)務(wù)情況，因此在導(dǎo)入數(shù)據(jù)倉庫之后，首先做為當(dāng)前細(xì)節(jié)級數(shù)據(jù)進(jìn)行存儲。這一設(shè)定的時間段參數(shù)又稱為 “ 粒度 ” 。 — 這里， “ 高度 ” 和 “ 輕度 ” 只是一種相對的概念沒有絕對的界限。在數(shù)據(jù)倉庫中的數(shù)據(jù)量大小與所能回答查詢的細(xì)節(jié)級別之間要做出權(quán)衡。 ? 樣本數(shù)據(jù)庫的抽取按照數(shù)據(jù)的重要程度不同進(jìn)行，利用樣本數(shù)據(jù)庫采集重要數(shù)據(jù)進(jìn)行分析既可提高分析效率，又有助于抓住主要因素和主要矛盾。因為運行維護(hù)人員和設(shè)計者在管理小的物理單元時比管理大的享有更大的靈活性。然而，在數(shù)據(jù)倉庫環(huán)境中，日期幾乎總是分區(qū)標(biāo)準(zhǔn)中的一個必然組成部分。 ?同時，數(shù)據(jù)倉庫中的維還可以作為數(shù)據(jù)倉庫操作過程的路經(jīng)，這些路徑通常位于維的不同層次結(jié)構(gòu)中。 ?〖 例 〗 銷售分析： 數(shù)據(jù)倉庫 sales圍繞商品銷售量這個主題。 本例中涉及 time,item, location。事實對應(yīng) 事實表 。 數(shù)據(jù)倉庫中的數(shù)據(jù)組織 36 ?元數(shù)據(jù)的分類 ?按元數(shù)據(jù)的類型 :關(guān)于基本數(shù)據(jù)、用于數(shù)據(jù)處理和關(guān)于企業(yè)組織結(jié)構(gòu)的元數(shù)據(jù)。 數(shù)據(jù)倉庫中的數(shù)據(jù)組織 37 ?元數(shù)據(jù)的分類 元數(shù)據(jù) 靜態(tài)元數(shù)據(jù) 動態(tài)元數(shù)據(jù) 名稱 描述 格式 數(shù)據(jù)類型 關(guān)系 生成時間 來源 索引 類別 域 業(yè)務(wù)規(guī)則 入庫時間 更新周期 數(shù)據(jù)質(zhì)量 統(tǒng)計信息 狀態(tài) 處理 存儲位置 存儲大小 引用處 數(shù)據(jù)倉庫中的數(shù)據(jù)組織 38 ?元數(shù)據(jù)的內(nèi)容 ?數(shù)據(jù)源的元數(shù)據(jù) —外部數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)的描述 —數(shù)據(jù)源中所有物理數(shù)據(jù)結(jié)構(gòu)；所有數(shù)據(jù)項的業(yè)務(wù)定義；每個數(shù)據(jù)項更新的頻率，以及由誰或哪個過程更新的說明；每個數(shù)據(jù)項的有效值；其它系統(tǒng)中具有相同業(yè)務(wù)含義的數(shù)據(jù)項的清單。 — 用戶使用數(shù)據(jù)倉庫中不同數(shù)據(jù)的頻率信息 數(shù)據(jù)倉庫中的數(shù)據(jù)組織 40 ?元數(shù)據(jù)在數(shù)據(jù)倉庫設(shè)計中的作用 ? 確認(rèn)數(shù)據(jù)質(zhì)量 ? 同步化和刷新 ? 映射 ?元數(shù)據(jù)在數(shù)據(jù)源抽取中的作用 ? 資源領(lǐng)域的確定 ? 跟蹤歷史數(shù)據(jù)結(jié)構(gòu)變化的過程 ? 屬性到屬性的映射 ? 屬性轉(zhuǎn)換 ?元數(shù)據(jù)在數(shù)據(jù)求精與重構(gòu)工程上的作用 ? 數(shù)據(jù)的分割 ? 概括與聚集 ? 預(yù)算與推導(dǎo) ? 轉(zhuǎn)換與再映像 數(shù)據(jù)倉庫中的數(shù)據(jù)組織 41 ? 數(shù)據(jù)倉庫中的數(shù)據(jù)組織 ? 粒度 ? 分區(qū) ? 維度 ? 元數(shù)據(jù) ? 數(shù)據(jù)倉庫的數(shù)據(jù)組織形式 ? 數(shù)據(jù)倉庫的數(shù)據(jù)追加 數(shù)據(jù)倉庫中的數(shù)據(jù)組織 42 ?數(shù)據(jù)倉庫的數(shù)據(jù)組織形式 ?簡單堆積文件 —它將由數(shù)據(jù)庫中提取并加工的數(shù)據(jù)逐一積累存儲 ?輪轉(zhuǎn)綜合文件 — 數(shù)據(jù)存儲單位被分為若干個級別 — 輪轉(zhuǎn)記錄 綜合 — 優(yōu)點：結(jié)構(gòu)簡捷 ， 數(shù)據(jù)量較簡單堆積結(jié)構(gòu)減少 — 缺點：損失數(shù)據(jù)細(xì)節(jié) 。 面向應(yīng)用數(shù)據(jù)庫每天數(shù)據(jù)每天綜合第1 天 第2 天 第7 天第1 周 第 2 周 第4 周????第1 月 第 2 月 第 12 月第 1 年 第 2 年 第 n 年????7 天綜合1 周4 周綜合1 月12 月綜合 1 年 數(shù)據(jù)倉庫中的數(shù)據(jù)組織 ?非常緊湊 ?一些細(xì)節(jié)丟失 ?提取越久的數(shù)據(jù)，越不詳細(xì) 45 ?簡單直接 ?數(shù)據(jù)是從操作型環(huán)境直接裝入數(shù)據(jù)倉庫中，并沒有任何積累，只不過這種文件不是在每天的基礎(chǔ)上組織的，而是以較長時間（如一個星期、一個月）為單位的。 要進(jìn)行改進(jìn) 如：對一個記錄的多次更新 ， 日志文件將全部變化過程都記錄下來 ， 而數(shù)據(jù)倉庫 ， 只要最終結(jié)果 數(shù)據(jù)倉庫中的數(shù)據(jù)組織 。 J Adams Main大街 P Anderson High 大街 456號 K Appleby A大街 10號 L Azimoff 被 農(nóng)場 路 64號 面向應(yīng)用數(shù)據(jù)庫 1月份數(shù)據(jù) 數(shù)據(jù)倉庫中的數(shù)據(jù)組織 46 ?連續(xù)結(jié)構(gòu) ?它是通過比較兩個連續(xù)的簡單直接文件的不同而生成的另一種連續(xù)文件，生成的連續(xù)文件又可以和新的簡單直接文件一起生成新的連續(xù)文件 。按這種方式存儲的數(shù)據(jù)細(xì)節(jié)化程度很高，可以應(yīng)付多種細(xì)節(jié)查詢
范文總結(jié)相關(guān)推薦
鄂ICP備17016276號-1