數(shù)據(jù)倉(cāng)庫(kù)與數(shù)據(jù)挖掘2--文庫(kù)吧資料
2024-10-08 17:57本頁(yè)面
【正文】 件 ?數(shù)據(jù)倉(cāng)庫(kù)的數(shù)據(jù)追加 數(shù)據(jù)倉(cāng)庫(kù)中的數(shù)據(jù)組織 64 1. 時(shí)標(biāo)方法 ? 時(shí)標(biāo)方法 ? 如果數(shù)據(jù)含有時(shí)標(biāo) ， 對(duì)新插入或更新的數(shù)據(jù)記錄 ,加更新時(shí)的時(shí)標(biāo) ? 問(wèn)題 ? 許多數(shù)據(jù)庫(kù)中的數(shù)據(jù)并不含有時(shí)標(biāo) 1. 時(shí)標(biāo)方法 數(shù)據(jù)倉(cāng)庫(kù)中的數(shù)據(jù)組織 65 2. DELTA文件方法 ? 由應(yīng)用生成 DELTA文件 ， 記錄應(yīng)用所改變的所有內(nèi)容 ? 優(yōu)點(diǎn) ? 避免了掃描整個(gè)數(shù)據(jù)庫(kù) ， 效率比較高 ? 問(wèn)題 ? 生成 DELTA文件的應(yīng)用不普遍 ? 更改應(yīng)用代碼 ， 應(yīng)用在生成新數(shù)據(jù)時(shí)可自動(dòng)將其記錄下來(lái) ? 應(yīng)用成千上萬(wàn) ， 且修改代碼十分繁瑣 ， 很難實(shí)現(xiàn) 1. 時(shí)標(biāo)方法 數(shù)據(jù)倉(cāng)庫(kù)中的數(shù)據(jù)組織 66 3. 前后映象文件 ?前后映象文件的方法 —抽取數(shù)據(jù)到數(shù)據(jù)倉(cāng)庫(kù)之后 , 本次將抽取數(shù)據(jù)之前 ， 對(duì)數(shù)據(jù)庫(kù)分別作一次快照 ， 比較兩幅快照的不同 ， 確定追加的數(shù)據(jù) ?問(wèn)題 —占用大量資源 ， 影響系統(tǒng)性能 數(shù)據(jù)倉(cāng)庫(kù)中的數(shù)據(jù)組織 67 ?優(yōu)點(diǎn) —利用 DB的固有機(jī)制 ， 數(shù)據(jù)只限于日志文件 ， 不用掃描整個(gè)數(shù)據(jù)庫(kù) ?缺點(diǎn) —原來(lái)日志文件的格式是依據(jù) DB系統(tǒng)的要求設(shè)計(jì)的 。因此，簡(jiǎn)單直接文件是按一定時(shí)間操作型數(shù)據(jù)庫(kù)的一個(gè)快照，即按一定時(shí)間間隔對(duì)數(shù)據(jù)庫(kù)的采樣。 數(shù)據(jù)倉(cāng)庫(kù)中的數(shù)據(jù)組織 面向應(yīng)用數(shù)據(jù)庫(kù) 每天數(shù)據(jù) 每天綜合 1 月 1 日 1 月 2 日 1 月 3 日 2 月 1 日 2 月 2 日 2 月 3 日 …… …… 3 月 1 日 3 月 2 日 3 月 3 日 …… …… …… …… …… ?需要許多存儲(chǔ)空間 ?無(wú)細(xì)節(jié)丟失 ?許多處理與數(shù)據(jù)有關(guān) 55 ?輪轉(zhuǎn)綜合結(jié)構(gòu) ?它將數(shù)據(jù)按不同的期限輪轉(zhuǎn)地存儲(chǔ)。 越久遠(yuǎn)的數(shù)據(jù) ， 細(xì)節(jié)損失越多 數(shù)據(jù)倉(cāng)庫(kù)中的數(shù)據(jù)組織 54 ? 簡(jiǎn)單堆積結(jié)構(gòu) ?它將每天從數(shù)據(jù)庫(kù)中提取加工后的數(shù)據(jù)逐日積累的存儲(chǔ)起來(lái)。 ?以下是按順序排列的后端處理過(guò)程的列表 ?數(shù)據(jù)源結(jié)構(gòu)定義； ?數(shù)據(jù)抽??； ?初始重格式化 /合并 ?初步數(shù)據(jù)清洗 ?數(shù)據(jù)轉(zhuǎn)換 /合并 ?有效性和質(zhì)量檢查 ?數(shù)據(jù)倉(cāng)庫(kù)結(jié)構(gòu)定義 ?創(chuàng)建裝載映像 47 數(shù)據(jù)倉(cāng)庫(kù)中的數(shù)據(jù)組織 ? 按照數(shù)據(jù)倉(cāng)庫(kù)功能區(qū)域劃分的元數(shù)據(jù)類型 ? 數(shù)據(jù)源數(shù)據(jù) 1. 數(shù)據(jù)源存儲(chǔ)平臺(tái) 2. 數(shù)據(jù)源的數(shù)據(jù)格式 3. 數(shù)據(jù)源的業(yè)務(wù)內(nèi)容說(shuō)明； 4. 數(shù)據(jù)源的所有者 5. 數(shù)據(jù)源的訪問(wèn)方法及使用限制； 6. 實(shí)施數(shù)據(jù)抽取的工具和其他方法，及相應(yīng)的參數(shù)設(shè)置； 7. 數(shù)據(jù)抽取的進(jìn)度安排； 8. 實(shí)際數(shù)據(jù)抽取的時(shí)間、內(nèi)容及完成情況記錄； 48 數(shù)據(jù)倉(cāng)庫(kù)中的數(shù)據(jù)組織 ? 按照數(shù)據(jù)倉(cāng)庫(kù)功能區(qū)域劃分的元數(shù)據(jù)類型 ? 數(shù)據(jù)的預(yù)處理 ? 數(shù)據(jù)抽取、轉(zhuǎn)換、裝載過(guò)程中用到的各種文件定義； ? 從數(shù)據(jù)源到主題數(shù)據(jù)實(shí)際視圖之間的數(shù)據(jù)對(duì)應(yīng)關(guān)系，有關(guān)數(shù)據(jù)凈化的詳細(xì)規(guī)則； ? 為了滿足數(shù)據(jù)挖掘需要進(jìn)行的數(shù)據(jù)處理的詳細(xì)說(shuō)明； ? 維表各屬性的更新策略選擇； ? 代理碼的分配情況； ? 數(shù)據(jù)聚集的定義； ? 預(yù)處理數(shù)據(jù)的備份方法； 49 數(shù)據(jù)倉(cāng)庫(kù)中的數(shù)據(jù)組織 ? 按照數(shù)據(jù)倉(cāng)庫(kù)功能區(qū)域劃分的元數(shù)據(jù)類型 ? 數(shù)據(jù)倉(cāng)庫(kù)主題 ? 各種數(shù)據(jù)庫(kù)表或視圖的定義 ? 數(shù)據(jù)庫(kù)分區(qū)的設(shè)置； ? 索引的建立方法； ? 數(shù)據(jù)庫(kù)訪問(wèn)權(quán)限分配； ? 數(shù)據(jù)庫(kù)備份方案； 50 數(shù)據(jù)倉(cāng)庫(kù)中的數(shù)據(jù)組織 ? 按照數(shù)據(jù)倉(cāng)庫(kù)功能區(qū)域劃分的元數(shù)據(jù)類型 ? 查詢服務(wù) ? 數(shù)據(jù)庫(kù)表及表中數(shù)據(jù)項(xiàng)的業(yè)務(wù)含義說(shuō)明； ? 可視化查詢結(jié)果格式的定義； ? 用戶及其訪問(wèn)權(quán)限的定義； ? 數(shù)據(jù)倉(cāng)庫(kù)使用情況的監(jiān)控與統(tǒng)計(jì)； 51 數(shù)據(jù)倉(cāng)庫(kù)中的數(shù)據(jù)組織 ? 也可以將原數(shù)據(jù)分為管理元數(shù)據(jù)和用戶元數(shù)據(jù)； ? 管理元數(shù)據(jù) ? 用于創(chuàng)建和維護(hù)數(shù)據(jù)倉(cāng)庫(kù)。 ?在數(shù)據(jù)倉(cāng)庫(kù)中，元數(shù)據(jù)處于一個(gè)關(guān)鍵的位置，使不同的過(guò)程能夠相互通信，是數(shù)據(jù)倉(cāng)庫(kù)的中樞。 44 數(shù)據(jù)倉(cāng)庫(kù)中的數(shù)據(jù)組織 ?元數(shù)據(jù)就像一個(gè)神經(jīng)中樞 ,是關(guān)于數(shù)據(jù)的數(shù)據(jù)； ?在構(gòu)建和管理數(shù)據(jù)倉(cāng)庫(kù)的過(guò)程中，不同的過(guò)程都會(huì)產(chǎn)生一部分元數(shù)據(jù)。 42 數(shù)據(jù)倉(cāng)庫(kù)中的數(shù)據(jù)組織 ?對(duì)管理數(shù)據(jù)倉(cāng)庫(kù)的必要性 ?數(shù)據(jù)抽取 /轉(zhuǎn)換 /裝載 —如何處理數(shù)據(jù)的變化？ —如何納入新的源系統(tǒng)？ ?外部系統(tǒng)的數(shù)據(jù) —如何增加新的外部數(shù)據(jù)源？ —如何去掉某些外部數(shù)據(jù)源？ ?數(shù)據(jù)倉(cāng)庫(kù) —如何增加新的匯總表？ —如何控制查詢？ 43 數(shù)據(jù)倉(cāng)庫(kù)中的數(shù)據(jù)組織 ?想象一下，一個(gè)沒(méi)有標(biāo)簽和文件夾的文件柜。 41 數(shù)據(jù)倉(cāng)庫(kù)中的數(shù)據(jù)組織 對(duì)構(gòu)建數(shù)據(jù)倉(cāng)庫(kù)的必要性 ?數(shù)據(jù)抽取和數(shù)據(jù)轉(zhuǎn)換 ?源系統(tǒng)及其數(shù)據(jù)結(jié)構(gòu) ?數(shù)據(jù)倉(cāng)庫(kù)的結(jié)構(gòu)及數(shù)據(jù)內(nèi)容 ?數(shù)據(jù)映射及數(shù)據(jù)轉(zhuǎn)換 ?我們需要源系統(tǒng)的元數(shù)據(jù)，源系統(tǒng)到目標(biāo)系統(tǒng)的映射，以及數(shù)據(jù)轉(zhuǎn)換的規(guī)則。 備注 ：客戶實(shí)體包含了常規(guī)的、當(dāng)前以及過(guò)去的客戶； 源系統(tǒng) ：已經(jīng)完成的產(chǎn)品訂單，維護(hù)合同，在線銷售 建立日期 ： 1999年 1月 15日 最后更新日期 ： 2022年 1月 21日 更新周期 ： 每周 最后的完全刷新日期 ： 2022年 12月 29日 完全刷新周期 ： 每 6個(gè)月 數(shù)據(jù)質(zhì)量回顧 ： 2022年 1月 25日 最后的副本 ：
環(huán)評(píng)公示相關(guān)推薦
鄂ICP備17016276號(hào)-1