數(shù)據(jù)倉庫的設(shè)計(jì)與開發(fā)-資料下載頁
2025-01-07 15:49本頁面
【正文】 （ 2）數(shù)據(jù)值缺失。 （ 3）不一致的值。 （ 4）違反常規(guī)的不正確值。 （ 5）一個(gè)字段有多種用途。 （ 6）標(biāo)法不唯一。 78 （ 1）系統(tǒng)轉(zhuǎn)換 （ 2）數(shù)據(jù)老化 （ 3）復(fù)雜的系統(tǒng)集成 （ 4）數(shù)據(jù)輸入的不完整信息 （ 5）輸入錯(cuò)誤 （ 6）欺詐 （ 7）缺乏相關(guān)政策 79 ? 只清洗那些重要的數(shù)據(jù)，而忽略那些不重要的數(shù)據(jù)。 ? 數(shù)據(jù)在被存儲(chǔ)進(jìn)數(shù)據(jù)倉庫之前就應(yīng)該進(jìn)行清洗。 ? 找到適合源系統(tǒng)的字段和格式的清洗工具。 ? 建立數(shù)據(jù)質(zhì)量領(lǐng)導(dǎo)小組；建立數(shù)據(jù)質(zhì)量政策和標(biāo)準(zhǔn)；定義質(zhì)量指標(biāo)參數(shù)和基準(zhǔn)；識(shí)別受壞數(shù)據(jù)影響最大的商業(yè)功能。 ? 對有較大影響力的數(shù)據(jù)元素定制清洗計(jì)劃，并執(zhí)行數(shù)據(jù)清洗。 80 數(shù)據(jù)粒度與維度建模 ? 數(shù)據(jù)粒度是指數(shù)據(jù)倉庫的數(shù)據(jù)中保存數(shù)據(jù)的細(xì)化程度或綜合程度的級別。 ? 數(shù)據(jù)粒度深深影響存放在數(shù)據(jù)倉庫中的數(shù)據(jù)量的大小，同時(shí)影響數(shù)據(jù)倉庫所能回答的查詢類型。 81 1. 大維度與雪花模型 ? 在數(shù)據(jù)倉庫中，客戶維度和產(chǎn)品維度是典型的大維度。 ? 大維度表采用雪花模型的數(shù)據(jù)組織，是一種有效的方法。 ? 對產(chǎn)品維度，產(chǎn)品是分屬于產(chǎn)品品牌，品牌又分屬于產(chǎn)品分類。對客戶維度，客戶分屬于地區(qū)，地區(qū)分屬于國家。 ? 對于銷售的雪花模型如圖 。 地區(qū) 地區(qū)鍵 地區(qū)名 國家鍵 產(chǎn)品鍵 產(chǎn)品名 品牌鍵 包裝鍵 包裝 包裝鍵 包裝類別 銷售事實(shí) 產(chǎn)品鍵 時(shí)間鍵 客戶鍵 銷售數(shù)目 銷售總價(jià) 利潤 時(shí)間 時(shí)間鍵 日期 月 季 年 客戶鍵 客戶名 地區(qū)鍵 客戶 分類 品牌鍵 品牌名 分類鍵 品牌 分類鍵 分類名 產(chǎn)品 國家鍵 國家名 國家 圖 銷售事實(shí)的雪花模型 83 2. 綜合事實(shí)表 ? 大多數(shù)查詢不是基于基礎(chǔ)事實(shí)表上操作的，而是基于綜合數(shù)據(jù)的查詢。這樣建立綜合事實(shí)表是提高綜合數(shù)據(jù)查詢的非常有效的方法，且大大提高數(shù)據(jù)倉庫的性能。 ? 在多維表中，很多維都是具有層次結(jié)構(gòu)，對不同維的層次的提升，將可建立多種綜合事實(shí)表。 ? 從圖 ，對基礎(chǔ)事實(shí)表查詢利用產(chǎn)品維表，對綜合事實(shí)表查詢，利用產(chǎn)品分類維表。 產(chǎn)品鍵 產(chǎn)品名 分類 部門 產(chǎn)品鍵 時(shí)間鍵 商店鍵 銷售量 銷售總價(jià) 時(shí)間 時(shí)間鍵 日期 月 季 年 商店鍵 商店名 地域 地區(qū) 商店 產(chǎn)品 分類鍵 分類名 部門 產(chǎn)品分類 分類鍵 時(shí)間鍵 商店鍵 銷售量 銷售總價(jià) 綜合事實(shí)表 銷售事實(shí)表 （基礎(chǔ)表） 圖 綜合事實(shí)表和衍生維度（產(chǎn)品分類）表 85 數(shù)據(jù)倉庫技術(shù)與開發(fā)的困難 86 對于數(shù)據(jù)倉庫最重要的技術(shù)就是能夠管理大量的數(shù)據(jù)。 數(shù)據(jù)倉庫要管理大量的數(shù)據(jù)，是因?yàn)樗鼈儯? （ 1）包括粒狀的、原子的細(xì)節(jié) （ 2）包括歷史數(shù)據(jù) （ 3）包括細(xì)節(jié)和匯總數(shù)據(jù) （ 4）包括元數(shù)據(jù) 有好多種管理大量數(shù)據(jù)的方法 ——通過尋址，通過索引，通過數(shù)據(jù)的外延，通過有效的溢出管理等 87 ? 數(shù)據(jù)倉庫的一個(gè)重要的技術(shù)就是能夠高效地裝入數(shù)據(jù)。 ? 有好多種裝入數(shù)據(jù)的方法：通過一個(gè)語言接口一次一條記錄。 ? 當(dāng)數(shù)據(jù)能夠被壓縮時(shí)，它便能存儲(chǔ)在很小的空間中。 88 存儲(chǔ)介質(zhì) 訪問速度 存儲(chǔ)費(fèi)用 主存 非?？? 非常貴 擴(kuò)展內(nèi)存 非?？? 貴 高速緩存 非?？? 貴 磁盤 快 適中 光盤 不慢 不貴 微縮膠片 慢 便宜 考慮到訪問速度和存儲(chǔ)費(fèi)用，對數(shù)據(jù)的存儲(chǔ)要分層次， 層次的區(qū)分如下： 89 DBMS和數(shù)據(jù)倉庫 ? 多維數(shù)據(jù)庫管理系統(tǒng)（多維 DBMS）使得對數(shù)據(jù)的訪問非常靈活，可以用多種方法對數(shù)據(jù)進(jìn)行切片、分割，動(dòng)態(tài)地考察匯總數(shù)據(jù)和細(xì)節(jié)數(shù)據(jù)的關(guān)系。 90 數(shù)據(jù)倉庫和多維 DBMS的區(qū)別： （ 1）數(shù)據(jù)倉庫有大量的數(shù)據(jù)；多維 DBMS中的數(shù)據(jù)至少要少一個(gè)數(shù)量級。 （ 2）數(shù)據(jù)倉庫只適合于少量的靈活訪問；而多維 DBMS適合大量的非預(yù)知的數(shù)據(jù)的訪問和分析。 （ 3）數(shù)據(jù)倉庫內(nèi)存儲(chǔ)了很長時(shí)間范圍內(nèi)的數(shù)據(jù) ——從 5年到 10年；多維 DBMS中存儲(chǔ)著比較短時(shí)間范圍內(nèi)的數(shù)據(jù)。 （ 4）數(shù)據(jù)倉庫允許分析人員以受限的形式訪問數(shù)據(jù)，而多維 DBMS允許自由的訪問。 91 ? 決策支持系統(tǒng)（ DSS）分析者大部分時(shí)間里可以在多維 DBMS中享受其操作高效的優(yōu)點(diǎn)，同時(shí)如果需要的話，還可以向下鉆取最低層次的細(xì)節(jié)數(shù)據(jù)。 ? 一些多維 DBMS建立在關(guān)系模型上，而一些多維 DBMS建立在多維立方體內(nèi) . 92 1. 沒有理解數(shù)據(jù)的價(jià)值 2. 未能理解數(shù)據(jù)倉庫概念 之前，便貿(mào)然開發(fā)數(shù)據(jù)倉庫 4. 對數(shù)據(jù)倉庫規(guī)模的估計(jì)模糊 5. 忽視了數(shù)據(jù)倉庫體系結(jié)構(gòu)和數(shù)據(jù)倉庫開發(fā)方法 第 1部分結(jié)束
環(huán)評公示相關(guān)推薦
鄂ICP備17016276號-1