數(shù)據(jù)倉庫的數(shù)據(jù)模型、數(shù)據(jù)組織、數(shù)據(jù)倉庫設(shè)計(jì)(學(xué)時(shí)2)(編輯修改稿)
2024-11-14 15:40 本頁面
【文章內(nèi)容簡介】 mp。DM 2021/11/12 34 ?有多種數(shù)據(jù)分割的標(biāo)準(zhǔn)。例如，按： ? 時(shí)間 ? 商業(yè)線 ? 地理位置 ? 組織單位 ? 所有上述標(biāo)準(zhǔn) ?數(shù)據(jù)分割的標(biāo)準(zhǔn)是嚴(yán)格地由開發(fā)人員來選擇的。然而，在數(shù)據(jù)倉庫環(huán)境中，按日期幾乎總是分割標(biāo)準(zhǔn)中的一個(gè)必然組成部分。 DWamp。DM 2021/11/12 35 ? 數(shù)據(jù)追加：數(shù)據(jù)倉庫的數(shù)據(jù)初裝完成后 , 再向數(shù)據(jù)倉庫輸入數(shù)據(jù)的過程 ? 追加內(nèi)容：上次數(shù)據(jù)追加后在 OLTP數(shù)據(jù)庫中變化了的數(shù)據(jù) ? 變化數(shù)據(jù)的捕捉途徑 : ? 時(shí)標(biāo)方法 ? DELTA文件 ? 前后映象文件 ? 日志文件 數(shù)據(jù)倉庫的數(shù)據(jù)追加 DWamp。DM 2021/11/12 36 ? 時(shí)標(biāo)方法： 為數(shù)據(jù)記錄增加一個(gè)時(shí)間字段 。 對新插入或更新的數(shù)據(jù)記錄加更新時(shí)的時(shí)標(biāo) ? 優(yōu)點(diǎn) ? 方法簡單 ? 問題 ? 許多數(shù)據(jù)庫中的數(shù)據(jù)并不含有時(shí)標(biāo) ， 很難在得到實(shí)際應(yīng)用 DWamp。DM 2021/11/12 37 ? DELTA文件方法 ：從應(yīng)用程序感知數(shù)據(jù)變化的方法 。 由應(yīng)用生成 DELTA文件 ， 記錄應(yīng)用所改變的所有內(nèi)容 ? 優(yōu)點(diǎn) ? 避免了掃描整個(gè)數(shù)據(jù)庫 ， 效率比較高 ? 問題 ? 一般的應(yīng)用程序不具有生成 DELTA文件的功能 ? 更改應(yīng)用代碼 ， 應(yīng)用在生成新數(shù)據(jù)時(shí)可自動(dòng)將其記錄下來 ? 應(yīng)用成千上萬 ， 且修改代碼十分繁瑣 ， 很難實(shí)現(xiàn) DWamp。DM 2021/11/12 38 ? 前后映象文件的方法： 抽取數(shù)據(jù)到數(shù)據(jù)倉庫之后 , 本次將抽取數(shù)據(jù)之前 ， 對數(shù)據(jù)庫分別作一次快照 ， 比較兩幅快照的不同 ， 確定追加的數(shù)據(jù) ? 優(yōu)點(diǎn) ? 方法簡單 ? 問題 ? 占用大量資源 ， 影響系統(tǒng)性能 ， 不實(shí)用 DWamp。DM 2021/11/12 39 ? 日志文件法： 通過分析數(shù)據(jù)庫系統(tǒng)日志文件來獲取數(shù)據(jù)變化的情況 ， 得到追加內(nèi)容 。 ? 優(yōu)點(diǎn) ? 利用 DB的固有機(jī)制 ， 數(shù)據(jù)只限于日志文件 ， 不用掃描整個(gè)數(shù)據(jù)庫 ? 缺點(diǎn) ? 原來日志文件的格式是依據(jù) DB系統(tǒng)的要求設(shè)計(jì)的 。 要進(jìn)行改進(jìn) 。 如：對一個(gè)記錄的多次更新 ， 日志文件將全部變化過程都記錄下來 ， 而數(shù)據(jù)倉庫 ， 只要最終結(jié)果 DWamp。DM 2021/11/12 40 第 4章 數(shù)據(jù)倉庫設(shè)計(jì) 本章要點(diǎn) ? 數(shù)據(jù)倉庫的設(shè)計(jì)原則 ? 數(shù)據(jù)倉庫的設(shè)計(jì)步驟 ? 數(shù)據(jù)倉庫生成 ? 數(shù)據(jù)倉庫的使用與維護(hù) DWamp。DM 2021/11/12 41 數(shù)據(jù)倉庫設(shè)計(jì) ? 事務(wù)型 數(shù)據(jù)處理中需要作 數(shù)據(jù)庫設(shè)計(jì) ，而在 分析型 數(shù)據(jù)處理中則需作 數(shù)據(jù)倉庫設(shè)計(jì) ，這兩者在原理上是一致的。 ? 因此，數(shù)據(jù)庫設(shè)計(jì)中的很多設(shè)計(jì)思想與方法都可在數(shù)據(jù)倉庫中得到應(yīng)用。 ? 但是由于事務(wù)型與分析型的 數(shù)據(jù)處理的不一致 ，因此兩者在設(shè)計(jì)中的很多方面也存在著 差別 。 DWamp。DM 2021/11/12 42 ? 面向 OLTP的數(shù)據(jù)庫設(shè)計(jì)有著 明確的應(yīng)用需求 ，嚴(yán)格遵循系統(tǒng)生命周期的階段劃分，每個(gè)階段都規(guī)定有明確的任務(wù)，上一階段確定的任務(wù)完成后，產(chǎn)生一定格式的文檔交給下一階段。 ? 數(shù)據(jù)倉庫是面向主題的、集成的、不可更新的、隨時(shí)間的變化而不斷變化的，這些特點(diǎn)決定了數(shù)據(jù)倉庫的系統(tǒng)設(shè)計(jì)不能采用同開發(fā)傳統(tǒng)的 OLTP數(shù)據(jù)庫一樣的設(shè)計(jì)方法。 DWamp。DM 2021/11/12 43 數(shù)據(jù)倉庫的設(shè)計(jì) － 與數(shù)據(jù)庫設(shè)計(jì)的區(qū)別 ? 系統(tǒng)設(shè)計(jì)的 目標(biāo) 不同： 數(shù)據(jù)庫 是 面向事務(wù)型處理 的，所以事務(wù)型處理性能是系統(tǒng)設(shè)計(jì)的一個(gè)主要目標(biāo)。而 數(shù)據(jù)倉庫是為了 支持決策分析 而建立的一種數(shù)據(jù)存儲(chǔ)集合，在系統(tǒng)設(shè)計(jì)時(shí)，更關(guān)心的是建立起一個(gè)全局一致的分析型處理環(huán)境來支持企業(yè)的決策分析。 DWamp。DM 2021/11/12 44 數(shù)據(jù)倉庫的設(shè)計(jì) － 與數(shù)據(jù)庫設(shè)計(jì)的區(qū)別 (Cont.) ? 面向的 需求 不同： 數(shù)據(jù)庫系統(tǒng) 是 面向應(yīng)用 的，所以在系統(tǒng)設(shè)計(jì)時(shí)應(yīng)以此為出發(fā)點(diǎn)和基礎(chǔ)。而在 決策分析 時(shí)，決策者分析問題的角度多種多樣，所以數(shù)據(jù)處理流和信息流不固定，甚至決策者對所要進(jìn)行的分析處理都不太明了，數(shù)據(jù)的分析處理的需求更靈活。這就決定了在數(shù)據(jù)倉庫系統(tǒng)設(shè)計(jì)時(shí)，不可能從用戶需求出發(fā)來進(jìn)行設(shè)計(jì)。 DWamp。DM 2021/11/12 45 數(shù)據(jù)倉庫的設(shè)計(jì)－ 與數(shù)據(jù)庫設(shè)計(jì)的區(qū)別 (Cont.) ? 數(shù)據(jù)來源 不同： 數(shù)據(jù)庫系統(tǒng) 中數(shù)據(jù)是從企業(yè)外部通過輸入得到的，所以系統(tǒng)設(shè)計(jì)時(shí)就是設(shè)計(jì)如何與外部對話得到數(shù)據(jù)，如何存儲(chǔ)這些數(shù)據(jù)，它 關(guān)心的是數(shù)據(jù)的安全性和完整性 等。數(shù)據(jù)倉庫 中的數(shù)據(jù)大部分是從企業(yè)內(nèi)部的數(shù)據(jù)庫系統(tǒng)得到的，還有一部分是企業(yè)外部的非結(jié)構(gòu)化數(shù)據(jù)，這些數(shù)據(jù)都是安全可靠且正確有效的，所以在系統(tǒng)設(shè)計(jì)時(shí)它關(guān)心的不是數(shù)據(jù)的安全性和完整性，而 是數(shù)據(jù)的一致性 。 DWamp。DM 2021/11/12 46 數(shù)據(jù)倉庫的設(shè)計(jì)－ 與數(shù)據(jù)庫設(shè)計(jì)的區(qū)別 (Cont.) ? 數(shù)據(jù)的處理類型 不同： 數(shù)據(jù)庫系統(tǒng) 支持的是事務(wù)型處理，主要指數(shù)據(jù)的 增、刪、改、查 等等，系統(tǒng)設(shè)計(jì)時(shí)都是針對某一具體應(yīng)用。 數(shù)據(jù)倉庫 是面向分析的，它的數(shù)據(jù)處理大都是對數(shù)據(jù)的 復(fù)雜查詢 ，所以在設(shè)計(jì)時(shí)考慮的是如何更好地面向主題等。 DWamp。DM 2021/11/12 47 數(shù)據(jù)倉庫的設(shè)計(jì)－ 與數(shù)據(jù)庫設(shè)計(jì)的區(qū)別 (Cont.) ? 設(shè)計(jì)方法 不同：由于在 數(shù)據(jù)庫系統(tǒng) 中業(yè)務(wù)過程和規(guī)則比較規(guī)范固定，系統(tǒng)設(shè)計(jì)人員能清楚的知道應(yīng)用需求和數(shù)據(jù)流程，所以系統(tǒng)設(shè)計(jì)一般采用 系統(tǒng)生命周期法 (Systems Development Life Cycle ， SDLC)。 在決策分析時(shí)，決策人員往往無法給決策需求一個(gè)規(guī)范的說明，只能給出一個(gè)模糊的描述，對這種需求不確定的開發(fā)過程，設(shè)計(jì)方法有很大的不同，采用與 SDLC相反的 CLDS法 。 (注 : CLDS沒有具體意義 ,只是字母排列順序與 SDLC相反 。 SDLC起始于需求，CLDS起始于數(shù)據(jù) 。 ) 收集應(yīng)用需求 分析應(yīng)用需求 構(gòu)建數(shù)據(jù)庫 數(shù)據(jù)倉庫建模 數(shù)據(jù)獲取與集成 構(gòu)建數(shù)據(jù)倉庫 系統(tǒng)實(shí)施 應(yīng)用編程 系統(tǒng)測試 DSS應(yīng)用編程 系統(tǒng)測試 理解需求 DB 應(yīng)用B 應(yīng)用A DB DB 外部 數(shù)據(jù) DW SDLC方
教學(xué)課件相關(guān)推薦
鄂ICP備17016276號(hào)-1