數(shù)據(jù)倉庫與數(shù)據(jù)挖掘2-2-文庫吧資料
2025-03-13 09:08本頁面
【正文】 ?數(shù)據(jù)倉庫的數(shù)據(jù)追加 數(shù)據(jù)倉庫中的數(shù)據(jù)組織 63 1. 時標(biāo)方法 ? 時標(biāo)方法 ? 如果數(shù)據(jù)含有時標(biāo) ， 對新插入或更新的數(shù)據(jù)記錄 ,加更新時的時標(biāo) ? 問題 ? 許多數(shù)據(jù)庫中的數(shù)據(jù)并不含有時標(biāo) 1. 時標(biāo)方法 數(shù)據(jù)倉庫中的數(shù)據(jù)組織 64 2. DELTA文件方法 ? 由應(yīng)用生成 DELTA文件 ， 記錄應(yīng)用所改變的所有內(nèi)容 ? 優(yōu)點 ? 避免了掃描整個數(shù)據(jù)庫 ， 效率比較高 ? 問題 ? 生成 DELTA文件的應(yīng)用不普遍 ? 更改應(yīng)用代碼 ， 應(yīng)用在生成新數(shù)據(jù)時可自動將其記錄下來 ? 應(yīng)用成千上萬 ， 且修改代碼十分繁瑣 ， 很難實現(xiàn) 1. 時標(biāo)方法 數(shù)據(jù)倉庫中的數(shù)據(jù)組織 65 3. 前后映象文件 ?前后映象文件的方法 —抽取數(shù)據(jù)到數(shù)據(jù)倉庫之后 , 本次將抽取數(shù)據(jù)之前 ， 對數(shù)據(jù)庫分別作一次快照 ， 比較兩幅快照的不同 ， 確定追加的數(shù)據(jù) ?問題 —占用大量資源 ， 影響系統(tǒng)性能 數(shù)據(jù)倉庫中的數(shù)據(jù)組織 66 ?優(yōu)點 —利用 DB的固有機(jī)制 ， 數(shù)據(jù)只限于日志文件 ， 不用掃描整個數(shù)據(jù)庫 ?缺點 —原來日志文件的格式是依據(jù) DB系統(tǒng)的要求設(shè)計的 。因此，簡單直接文件是按一定時間操作型數(shù)據(jù)庫的一個快照，即按一定時間間隔對數(shù)據(jù)庫的采樣。 數(shù)據(jù)倉庫中的數(shù)據(jù)組織 面向應(yīng)用數(shù)據(jù)庫 每天數(shù)據(jù) 每天綜合 1 月 1 日 1 月 2 日 1 月 3 日 2 月 1 日 2 月 2 日 2 月 3 日 …… …… 3 月 1 日 3 月 2 日 3 月 3 日 …… …… …… …… …… ?需要許多存儲空間 ?無細(xì)節(jié)丟失 ?許多處理與數(shù)據(jù)有關(guān) 54 ?輪轉(zhuǎn)綜合結(jié)構(gòu) ?它將數(shù)據(jù)按不同的期限輪轉(zhuǎn)地存儲。 越久遠(yuǎn)的數(shù)據(jù) ， 細(xì)節(jié)損失越多 數(shù)據(jù)倉庫中的數(shù)據(jù)組織 53 ? 簡單堆積結(jié)構(gòu) ?它將每天從數(shù)據(jù)庫中提取加工后的數(shù)據(jù)逐日積累的存儲起來。 ? 以下是按順序排列的后端處理過程的列表 ?數(shù)據(jù)源結(jié)構(gòu)定義； ?數(shù)據(jù)抽取； ?初始重格式化 /合并 ?初步數(shù)據(jù)清洗 ?數(shù)據(jù)轉(zhuǎn)換 /合并 ?有效性和質(zhì)量檢查 ?數(shù)據(jù)倉庫結(jié)構(gòu)定義 ?創(chuàng)建裝載映像 46 數(shù)據(jù)倉庫中的數(shù)據(jù)組織 ? 按照數(shù)據(jù)倉庫功能區(qū)域劃分的元數(shù)據(jù)類型 ? 數(shù)據(jù)源數(shù)據(jù) 1. 數(shù)據(jù)源存儲平臺 2. 數(shù)據(jù)源的數(shù)據(jù)格式 3. 數(shù)據(jù)源的業(yè)務(wù)內(nèi)容說明； 4. 數(shù)據(jù)源的所有者 5. 數(shù)據(jù)源的訪問方法及使用限制； 6. 實施數(shù)據(jù)抽取的工具和其他方法，及相應(yīng)的參數(shù)設(shè)置； 7. 數(shù)據(jù)抽取的進(jìn)度安排； 8. 實際數(shù)據(jù)抽取的時間、內(nèi)容及完成情況記錄； 47 數(shù)據(jù)倉庫中的數(shù)據(jù)組織 ? 按照數(shù)據(jù)倉庫功能區(qū)域劃分的元數(shù)據(jù)類型 ? 數(shù)據(jù)的預(yù)處理 ? 數(shù)據(jù)抽取、轉(zhuǎn)換、裝載過程中用到的各種文件定義； ? 從數(shù)據(jù)源到主題數(shù)據(jù)實際視圖之間的數(shù)據(jù)對應(yīng)關(guān)系，有關(guān)數(shù)據(jù)凈化的詳細(xì)規(guī)則； ? 為了滿足數(shù)據(jù)挖掘需要進(jìn)行的數(shù)據(jù)處理的詳細(xì)說明； ? 維表各屬性的更新策略選擇； ? 代理碼的分配情況； ? 數(shù)據(jù)聚集的定義； ? 預(yù)處理數(shù)據(jù)的備份方法； 48 數(shù)據(jù)倉庫中的數(shù)據(jù)組織 ? 按照數(shù)據(jù)倉庫功能區(qū)域劃分的元數(shù)據(jù)類型 ? 數(shù)據(jù)倉庫主題 ? 各種數(shù)據(jù)庫表或視圖的定義 ? 數(shù)據(jù)庫分區(qū)的設(shè)置； ? 索引的建立方法； ? 數(shù)據(jù)庫訪問權(quán)限分配； ? 數(shù)據(jù)庫備份方案； 49 數(shù)據(jù)倉庫中的數(shù)據(jù)組織 ? 按照數(shù)據(jù)倉庫功能區(qū)域劃分的元數(shù)據(jù)類型 ? 查詢服務(wù) ? 數(shù)據(jù)庫表及表中數(shù)據(jù)項的業(yè)務(wù)含義說明； ? 可視化查詢結(jié)果格式的定義； ? 用戶及其訪問權(quán)限的定義； ? 數(shù)據(jù)倉庫使用情況的監(jiān)控與統(tǒng)計； 50 數(shù)據(jù)倉庫中的數(shù)據(jù)組織 ? 也可以將原數(shù)據(jù)分為管理元數(shù)據(jù)和用戶元數(shù)據(jù)； ? 管理元數(shù)據(jù) ? 用于創(chuàng)建和維護(hù)數(shù)據(jù)倉庫。 ? 在數(shù)據(jù)倉庫中，元數(shù)據(jù)處于一個關(guān)鍵的位置，使不同的過程能夠相互通信，是數(shù)據(jù)倉庫的中樞。 43 數(shù)據(jù)倉庫中的數(shù)據(jù)組織 ? 元數(shù)據(jù)就像一個神經(jīng)中樞 ,是關(guān)于數(shù)據(jù)的數(shù)據(jù)； ? 在構(gòu)建和管理數(shù)據(jù)倉庫的過程中，不同的過程都會產(chǎn)生一部分元數(shù)據(jù)。 41 數(shù)據(jù)倉庫中的數(shù)據(jù)組織 ? 對管理數(shù)據(jù)倉庫的必要性 ?數(shù)據(jù)抽取 /轉(zhuǎn)換 /裝載 —如何處理數(shù)據(jù)的變化？ —如何納入新的源系統(tǒng)？ ?外部系統(tǒng)的數(shù)據(jù) —如何增加新的外部數(shù)據(jù)源？ —如何去掉某些外部數(shù)據(jù)源？ ?數(shù)據(jù)倉庫 —如何增加新的匯總表？ —如何控制查詢？ 42 數(shù)據(jù)倉庫中的數(shù)據(jù)組織 ? 想象一下，一個沒有標(biāo)簽和文件夾的文件柜。 40 數(shù)據(jù)倉庫中的數(shù)據(jù)組織 對構(gòu)建數(shù)據(jù)倉庫的必要性 ? 數(shù)據(jù)抽取和數(shù)據(jù)轉(zhuǎn)換 ?源系統(tǒng)及其數(shù)據(jù)結(jié)構(gòu) ?數(shù)據(jù)倉庫的結(jié)構(gòu)及數(shù)據(jù)內(nèi)容 ?數(shù)據(jù)映射及數(shù)據(jù)轉(zhuǎn)換 ?我們需要源系統(tǒng)的元數(shù)據(jù)，源系統(tǒng)到目標(biāo)系統(tǒng)的映射，以及數(shù)據(jù)轉(zhuǎn)換的規(guī)則。 備注 ：客戶實體包含了常規(guī)的、當(dāng)前以及過去的客戶； 源系統(tǒng) ：已經(jīng)完成的產(chǎn)品訂單，維護(hù)合同，在線銷售 建立日期 ： 1999年 1月 15日 最后更新日期 ： 2023年 1月 21日 更新周期 ： 每周 最后的完全刷新日期 ： 2023年 12月 29日 完全刷新周期 ： 每 6個月 數(shù)據(jù)質(zhì)量回顧 ： 2023年 1月 25日 最后的副本 ：
環(huán)評公示相關(guān)推薦
鄂ICP備17016276號-1