數(shù)據(jù)倉(cāng)庫(kù)與數(shù)據(jù)挖掘2-2-wenkub
2023-03-28 09:08:12 本頁(yè)面
【正文】 必要性 ? 數(shù)據(jù)抽取和數(shù)據(jù)轉(zhuǎn)換 ?源系統(tǒng)及其數(shù)據(jù)結(jié)構(gòu) ?數(shù)據(jù)倉(cāng)庫(kù)的結(jié)構(gòu)及數(shù)據(jù)內(nèi)容 ?數(shù)據(jù)映射及數(shù)據(jù)轉(zhuǎn)換 ?我們需要源系統(tǒng)的元數(shù)據(jù)，源系統(tǒng)到目標(biāo)系統(tǒng)的映射，以及數(shù)據(jù)轉(zhuǎn)換的規(guī)則。 43 數(shù)據(jù)倉(cāng)庫(kù)中的數(shù)據(jù)組織 ? 元數(shù)據(jù)就像一個(gè)神經(jīng)中樞 ,是關(guān)于數(shù)據(jù)的數(shù)據(jù)； ? 在構(gòu)建和管理數(shù)據(jù)倉(cāng)庫(kù)的過(guò)程中，不同的過(guò)程都會(huì)產(chǎn)生一部分元數(shù)據(jù)。 ? 以下是按順序排列的后端處理過(guò)程的列表 ?數(shù)據(jù)源結(jié)構(gòu)定義； ?數(shù)據(jù)抽??； ?初始重格式化 /合并 ?初步數(shù)據(jù)清洗 ?數(shù)據(jù)轉(zhuǎn)換 /合并 ?有效性和質(zhì)量檢查 ?數(shù)據(jù)倉(cāng)庫(kù)結(jié)構(gòu)定義 ?創(chuàng)建裝載映像 46 數(shù)據(jù)倉(cāng)庫(kù)中的數(shù)據(jù)組織 ? 按照數(shù)據(jù)倉(cāng)庫(kù)功能區(qū)域劃分的元數(shù)據(jù)類(lèi)型 ? 數(shù)據(jù)源數(shù)據(jù) 1. 數(shù)據(jù)源存儲(chǔ)平臺(tái) 2. 數(shù)據(jù)源的數(shù)據(jù)格式 3. 數(shù)據(jù)源的業(yè)務(wù)內(nèi)容說(shuō)明； 4. 數(shù)據(jù)源的所有者 5. 數(shù)據(jù)源的訪問(wèn)方法及使用限制； 6. 實(shí)施數(shù)據(jù)抽取的工具和其他方法，及相應(yīng)的參數(shù)設(shè)置； 7. 數(shù)據(jù)抽取的進(jìn)度安排； 8. 實(shí)際數(shù)據(jù)抽取的時(shí)間、內(nèi)容及完成情況記錄； 47 數(shù)據(jù)倉(cāng)庫(kù)中的數(shù)據(jù)組織 ? 按照數(shù)據(jù)倉(cāng)庫(kù)功能區(qū)域劃分的元數(shù)據(jù)類(lèi)型 ? 數(shù)據(jù)的預(yù)處理 ? 數(shù)據(jù)抽取、轉(zhuǎn)換、裝載過(guò)程中用到的各種文件定義； ? 從數(shù)據(jù)源到主題數(shù)據(jù)實(shí)際視圖之間的數(shù)據(jù)對(duì)應(yīng)關(guān)系，有關(guān)數(shù)據(jù)凈化的詳細(xì)規(guī)則； ? 為了滿足數(shù)據(jù)挖掘需要進(jìn)行的數(shù)據(jù)處理的詳細(xì)說(shuō)明； ? 維表各屬性的更新策略選擇； ? 代理碼的分配情況； ? 數(shù)據(jù)聚集的定義； ? 預(yù)處理數(shù)據(jù)的備份方法； 48 數(shù)據(jù)倉(cāng)庫(kù)中的數(shù)據(jù)組織 ? 按照數(shù)據(jù)倉(cāng)庫(kù)功能區(qū)域劃分的元數(shù)據(jù)類(lèi)型 ? 數(shù)據(jù)倉(cāng)庫(kù)主題 ? 各種數(shù)據(jù)庫(kù)表或視圖的定義 ? 數(shù)據(jù)庫(kù)分區(qū)的設(shè)置； ? 索引的建立方法； ? 數(shù)據(jù)庫(kù)訪問(wèn)權(quán)限分配； ? 數(shù)據(jù)庫(kù)備份方案； 49 數(shù)據(jù)倉(cāng)庫(kù)中的數(shù)據(jù)組織 ? 按照數(shù)據(jù)倉(cāng)庫(kù)功能區(qū)域劃分的元數(shù)據(jù)類(lèi)型 ? 查詢服務(wù) ? 數(shù)據(jù)庫(kù)表及表中數(shù)據(jù)項(xiàng)的業(yè)務(wù)含義說(shuō)明； ? 可視化查詢結(jié)果格式的定義； ? 用戶及其訪問(wèn)權(quán)限的定義； ? 數(shù)據(jù)倉(cāng)庫(kù)使用情況的監(jiān)控與統(tǒng)計(jì)； 50 數(shù)據(jù)倉(cāng)庫(kù)中的數(shù)據(jù)組織 ? 也可以將原數(shù)據(jù)分為管理元數(shù)據(jù)和用戶元數(shù)據(jù)； ? 管理元數(shù)據(jù) ? 用于創(chuàng)建和維護(hù)數(shù)據(jù)倉(cāng)庫(kù)。 數(shù)據(jù)倉(cāng)庫(kù)中的數(shù)據(jù)組織 面向應(yīng)用數(shù)據(jù)庫(kù) 每天數(shù)據(jù) 每天綜合 1 月 1 日 1 月 2 日 1 月 3 日 2 月 1 日 2 月 2 日 2 月 3 日 …… …… 3 月 1 日 3 月 2 日 3 月 3 日 …… …… …… …… …… ?需要許多存儲(chǔ)空間 ?無(wú)細(xì)節(jié)丟失 ?許多處理與數(shù)據(jù)有關(guān) 54 ?輪轉(zhuǎn)綜合結(jié)構(gòu) ?它將數(shù)據(jù)按不同的期限輪轉(zhuǎn)地存儲(chǔ)。 1 月份數(shù)據(jù)2 月份數(shù)據(jù)綜合連續(xù)結(jié)構(gòu)文件J Adams Main大街 P Anderson High 大街 456號(hào) K Appleby A大街 10號(hào) L Azimoff 被農(nóng)場(chǎng)路 64號(hào) J Adams Main大街 W Abraham 9號(hào)公路 12號(hào) P Anderson Tincup郡 14號(hào) K Appleby A大街 10號(hào) J Adams Main大街 1 月 —今 W Abraham 9號(hào)公路 12號(hào) 2月 —今 P Anderson High大街 456號(hào) 1月 —1月 P Anderson Tincup郡 14號(hào) 2月 —今 K Appleby A大街 10號(hào) 1月 —今 數(shù)據(jù)倉(cāng)庫(kù)中的數(shù)據(jù)組織 57 ?連續(xù)文件 1) 兩個(gè)連續(xù)的簡(jiǎn)單直接文件 比較他們的不同 連續(xù)文件 2) 連續(xù)文件 +新的簡(jiǎn)單文件 新的連續(xù)文件 ?數(shù)據(jù)倉(cāng)庫(kù)的數(shù)據(jù)組織形式 數(shù)據(jù)倉(cāng)庫(kù)中的數(shù)據(jù)組織 58 一月份顧客表 數(shù)據(jù)庫(kù)快照 操作型數(shù)據(jù) 圖 15 生成簡(jiǎn)化直接文件 姓名 顧客號(hào) 地址 張平 C960100 北京 王英 C960101 天津 王賓 C960102 上海 李強(qiáng) C960103 重慶 …… …… …… 數(shù)據(jù)倉(cāng)庫(kù)中的數(shù)據(jù)組織 59 連續(xù)文件 ─兩個(gè)連續(xù)的簡(jiǎn)化直接文件 比較他們的不同 連續(xù)文件 姓 名 顧 客 號(hào) 地 址 張平 C960100 北京 王英 C960101 天津 王賓 C960102 上海 劉仲 C960104 重慶 姓 名 顧 客 號(hào) 地 址 張平 C960100 北京 王英 C960101 沈陽(yáng) 王賓 C960102 上海 劉仲 C960104 大連 姓名 顧客號(hào) 時(shí) 間 地 址 張平 C960100 12月 北京 王英 C960101 11月 天津
環(huán)評(píng)公示相關(guān)推薦
鄂ICP備17016276號(hào)-1