【文章內(nèi)容簡介】 數(shù)據(jù)代表一位顧客一個(gè)月的綜合信息，每位顧客一個(gè)月只有一個(gè)記錄，這樣的記錄大約只需 2 0 0個(gè)字節(jié)。顯然，如果數(shù)據(jù)倉庫的空間很有限的話 (數(shù)據(jù)量總是數(shù)據(jù)倉庫中的首要問題 )，用高粒度級(jí)表示數(shù)據(jù)將比用低粒度級(jí)表示數(shù)據(jù)的效率要高得多。高粒度級(jí)不僅只需要少得多的字節(jié)存放數(shù)據(jù)，而且只需要較少的索引項(xiàng)。然而數(shù)據(jù)量大小和原始空間問題不是僅有的應(yīng)考慮的問題。為了訪問大量數(shù)據(jù)，其處理能力的大小同樣也是應(yīng)考慮的一個(gè)因素。 粒度的權(quán)衡 粒度的雙重級(jí)別 ? 企業(yè)既需要提高存儲(chǔ)與訪問數(shù)據(jù)的效率，又需要非常詳細(xì)地分析數(shù)據(jù)的能力。當(dāng)一個(gè)企業(yè)或組織的數(shù)據(jù)倉庫中擁有大量數(shù)據(jù)時(shí)，在數(shù)據(jù)倉庫的細(xì)節(jié)部分考慮雙重 (或多重 )粒度級(jí)是很有意義的。 ? 企業(yè)需要多個(gè)粒度級(jí)而不是一個(gè)粒度級(jí)的需求，是因?yàn)榱６燃?jí)設(shè)計(jì)采用雙重級(jí)別應(yīng)該是幾乎每個(gè)機(jī)構(gòu)默認(rèn)的選擇。 ? 數(shù)據(jù)倉庫包括兩種類型的數(shù)據(jù)：輕度綜合數(shù)據(jù)和“真實(shí)檔案”細(xì)節(jié)數(shù)據(jù)。 ? “真實(shí)檔案”細(xì)節(jié)數(shù)據(jù)。在操作層是大量的細(xì)節(jié)數(shù)據(jù)，其中大部分細(xì)節(jié)是為了滿足結(jié)帳系統(tǒng)的需求。多達(dá) 3 0多天的細(xì)節(jié)存放在這種操作層中。 ? 輕度綜合數(shù)據(jù)庫中的數(shù)據(jù)量比細(xì)節(jié)數(shù)據(jù)庫中的數(shù)據(jù)量少得多。 ? 大部分 D S S處理是針對(duì)被壓縮的、存取效率高的輕度綜合級(jí)數(shù)據(jù)進(jìn)行的。如果什么時(shí)候需要分析更低的細(xì)節(jié)級(jí) ( 5 %時(shí)間或更少的可能 )，可以到數(shù)據(jù)的真實(shí)檔案層。 ? 鑒于費(fèi)用、效率、訪問便利和能夠回答任何可以回答的查詢的能力，數(shù)據(jù)雙重粒度級(jí)是 ? 大多數(shù)機(jī)構(gòu)建造數(shù)據(jù)倉庫細(xì)節(jié)級(jí)的最好選擇。 數(shù)據(jù)倉庫中的數(shù)據(jù)組織 ? 簡單堆積。 ? 輪轉(zhuǎn)綜合。 ? 簡單直接。 ? 連續(xù)。 簡單堆積結(jié)構(gòu) ? 數(shù)據(jù)倉庫中最簡單最常用的數(shù)據(jù)組織形式也許是簡單堆積結(jié)構(gòu)。 ? 從操作型環(huán)境中取出每天的事務(wù)處理，然后綜合成數(shù)據(jù)倉庫記錄，這個(gè)綜合可根據(jù)顧客、帳目或者任何組織到數(shù)據(jù)倉庫的主題領(lǐng)域來進(jìn)行。這里的事務(wù)處理是以天來進(jìn)行綜合。換句話說，對(duì)一個(gè)顧客的一個(gè)帳號(hào)的每天的所有活動(dòng)進(jìn)行合計(jì)，并在一天一天的基礎(chǔ)上輸入數(shù)據(jù)倉庫。 輪轉(zhuǎn)綜合數(shù)據(jù)存儲(chǔ) ? 輪轉(zhuǎn)綜合數(shù)據(jù)存儲(chǔ)。 ? 數(shù)據(jù)先用與前面相同的處理方法從操作型環(huán)境輸入到數(shù)據(jù)倉庫環(huán)境中。 ? 然后定期進(jìn)行輪轉(zhuǎn)綜合。第一周的七天中的活動(dòng)被逐一綜合到七個(gè)每日相應(yīng)的位置，到第八天，將七個(gè)每日位置的數(shù)據(jù)加到一起，并放入第一周的數(shù)據(jù)位置中。然后，第八天的每日總計(jì)加到第一個(gè)每日數(shù)據(jù)位置。月底將每周位置的數(shù)據(jù)加到一起，并放入第一個(gè)每月相應(yīng)的數(shù)據(jù)位置處，然后每周數(shù)據(jù)位置清零。到了年底，將每月位置數(shù)據(jù)加到一起，放入第一個(gè)年度相應(yīng)的數(shù)據(jù)位置處，然后每月數(shù)據(jù)位置清零。 輪轉(zhuǎn)綜合數(shù)據(jù)存儲(chǔ) 簡單堆積 vs輪轉(zhuǎn)綜合 簡單直接文件 ? 數(shù)據(jù)僅僅是從操作型環(huán)境拖入數(shù)據(jù)倉庫環(huán)境中，并沒有任何累積。 ? 簡單直接文件不是在每天的基礎(chǔ)上組織的，而是以較長時(shí)間為單位的，比如一個(gè)星期或一個(gè)月。 ? 簡單直接文件是間隔一定時(shí)間的操作型數(shù)據(jù)的一個(gè)快照。 連續(xù)文件 ? 依據(jù)兩個(gè)或更多的簡單直接文件能生成一種連續(xù)文件。把 1月份和 2月份的兩個(gè)數(shù)據(jù)快照合并，創(chuàng)建數(shù)據(jù)的一個(gè)連續(xù)文件。連續(xù)文件中的數(shù)據(jù)代表從第一個(gè)月到最后一個(gè)月的連續(xù)數(shù)據(jù)。 ? 當(dāng)然，連續(xù)文件也可以通過把一個(gè)快照追加到一個(gè)以前生成的連續(xù)文件上來創(chuàng)建。 從直接文件創(chuàng)建一個(gè)連續(xù)文件 簡單直接文件追加到連續(xù)文件 數(shù)據(jù)倉庫環(huán)境中的元數(shù)據(jù) ? 元數(shù)據(jù)作為數(shù)據(jù)的數(shù)據(jù)，可對(duì)數(shù)據(jù)倉庫中的各種數(shù)據(jù)進(jìn)行詳細(xì)的描述與說明，說明每個(gè)數(shù)據(jù)的上下文關(guān)系，使每個(gè)數(shù)據(jù)具有符合現(xiàn)實(shí)的真實(shí)含義，使最終用戶了解這些數(shù)據(jù)之間的關(guān)系。 ? 在數(shù)據(jù)倉庫環(huán)境中的元數(shù)據(jù)所扮演的角色和在操作型環(huán)境中數(shù)據(jù)所扮演的角色是不同的。 ? 在操作型環(huán)境中，元數(shù)據(jù)幾乎被當(dāng)成文檔來處理并且降低到同樣的重要性級(jí)別。然而，在數(shù)據(jù)倉庫環(huán)境中，元數(shù)據(jù)的重要性提高了。 數(shù)據(jù)倉庫環(huán)境中的元數(shù)據(jù) ? 操作型數(shù)據(jù)和數(shù)據(jù)倉庫中的數(shù)據(jù)服務(wù)于兩類不同的群體，操作型數(shù)據(jù)由 I T專業(yè)人員使用，許多年來 I T人員都是偶然地使用元數(shù)據(jù)。I T專業(yè)人員不僅懂計(jì)算機(jī)，而且由于學(xué)歷背景和所受的培訓(xùn)，他們會(huì)在系統(tǒng)中找到他們自己的方法。 ? 然而，數(shù)據(jù)倉庫數(shù)據(jù)是給 D S S分析者用的。 D S S分析人員通常首先是專業(yè)人員，他們通常沒有很高的計(jì)算機(jī)水平。為了能夠有效地使用數(shù)據(jù)倉庫環(huán)境， D S S分析人員需要盡量多的幫助，而元數(shù)據(jù)恰能很好地幫助他們。另外，在 D S S分析者計(jì)劃該怎樣去做信息型 /分析型處理時(shí)，他們要首先去看元數(shù)據(jù)。由于所服務(wù)的人員的種類不同，以及元數(shù)據(jù)在每天的工作中所起的作用不同，元數(shù)據(jù)在數(shù)據(jù)倉庫環(huán)境中比在操作型環(huán)境中重要得多。 元數(shù)據(jù)的類型 按類型分類 （ 1） 關(guān)于基本數(shù)據(jù)的元數(shù)據(jù) 。 基本數(shù)據(jù)：數(shù)據(jù)源 、 DW、 數(shù)據(jù)集市 、 和應(yīng)用成序管理的所有數(shù)據(jù) 。 基本數(shù)據(jù)元數(shù)據(jù)：包括定義 、 結(jié)構(gòu)的所有描述 。 （ 2） 用于數(shù)據(jù)處理的元數(shù)據(jù) 對(duì)數(shù)據(jù)裝載 、 更新處理 、 分析處理 、 管理方面的信息 ， 如數(shù)據(jù)抽取 、 轉(zhuǎn)換 、 聚合規(guī)則等的描述 。 （ 3） 關(guān)于企業(yè)的組織結(jié)構(gòu)的元數(shù)據(jù) 包括與企業(yè)相關(guān)的管理方面的數(shù)據(jù)和信息，如用戶訪問 DW、數(shù)據(jù)源、數(shù)據(jù)集市的權(quán)限信息等等。 元數(shù)據(jù)的類型 按抽象級(jí)別分類 ? （ 1） 概念級(jí)：包括業(yè)務(wù)的全部描述 ， 如定義主要的業(yè)務(wù)實(shí)體 、 特征及其相互關(guān)系 。 系統(tǒng)的使用方法 ， 已定義的查詢 ， 視圖和現(xiàn)有的應(yīng)用等相關(guān)的信息 。 ? （ 2） 邏輯級(jí)：包括數(shù)據(jù)庫的關(guān)系方案 ， 邏輯多維模型等一般用偽碼或數(shù)學(xué)語言描述數(shù)據(jù)抽取 /轉(zhuǎn)換規(guī)則等 。 ? （ 3） 物理級(jí)：包括業(yè)務(wù)規(guī)則相應(yīng)的 SQL代碼 、關(guān)系的索引文件 、 分析應(yīng)用的代碼 。 元數(shù)據(jù)的類型 按承擔(dān)任務(wù)分類 ?靜態(tài)元數(shù)據(jù) 。 靜態(tài)元數(shù)據(jù)主要與數(shù)據(jù)結(jié)構(gòu)有關(guān) 。 —— 用于為系統(tǒng)提供標(biāo)識(shí)時(shí) ， 區(qū)分?jǐn)?shù)據(jù)的符號(hào) 。 —— 對(duì) DW中的多種數(shù)據(jù)元素進(jìn)行說明 。 —— 提供 DW中數(shù)據(jù)的表達(dá)規(guī)則 。 —— DW中數(shù)據(jù)所持有的類型 。 —— 說明 DW中多種數(shù)據(jù)對(duì)像之間的關(guān)系 ， 例如客戶與商品之間有購買關(guān)系 。 —— 用于說明 DW中數(shù)據(jù)的有效值范圍 。 —— 用于說明 DW中數(shù)據(jù)在業(yè)務(wù)處理中所要遵守的規(guī)則 。 例如 Customer_ID表示客戶的編號(hào) ， 開頭字母為 A表示集體客戶 ， B為個(gè)人客戶 。 ?動(dòng)態(tài)元數(shù)據(jù) 。 動(dòng)態(tài)元數(shù)據(jù)主要與數(shù)據(jù)的狀態(tài)與使用方法有關(guān) 。 —— 用于描述數(shù)據(jù)倉庫中數(shù)據(jù)的精確度 、 完整性 、 一致性和有效性 。 —— 統(tǒng)計(jì)數(shù)據(jù)訪問的用戶 ， 訪問時(shí)間和訪問次數(shù) 。 這些統(tǒng)計(jì)信息對(duì)于數(shù)據(jù)倉庫性能的提高具有較高的參考價(jià)值 。 —— 用于跟蹤 DW的運(yùn)行情況 ， 例如 ， 數(shù)據(jù)最近一次的備份時(shí)間 ， 備份所需要的時(shí)間 ，出現(xiàn)的錯(cuò)誤情況等狀況 。 這些系統(tǒng)運(yùn)行中的狀況有助于 DW管理人員對(duì) DW性能的了解 。 —— 描述 DW系統(tǒng)的使用方法和管理的特性 ， 例如數(shù)據(jù)的使用方法概括數(shù)據(jù)的概括公式等 。 元數(shù)據(jù)的內(nèi)容 ? 數(shù)據(jù)源的元數(shù)據(jù) ? 數(shù)據(jù)模型的元數(shù)據(jù) ? 數(shù)據(jù)準(zhǔn)備區(qū)元數(shù)據(jù) ? DBMS元數(shù)據(jù) ? 前臺(tái)元數(shù)據(jù) 元數(shù)據(jù)的內(nèi)容 數(shù)據(jù)源的元數(shù)據(jù) ? 每個(gè)來源的所有者描述信息 ? 每個(gè)來源的業(yè)務(wù)描述信息 ? 原始來源的更新頻率 ? 每個(gè)來源使用的法律約束 ? 存取方法 、 存取權(quán)利 、 特權(quán) ， 以及來源的存取口令 ? 用來實(shí)現(xiàn)抽取過程的程序代碼 ? 自動(dòng)抽取工具 設(shè)置 ? 特定抽取作業(yè)的結(jié)果信息 ， 包括抽取時(shí)間 、 抽取內(nèi)容以及完成情況 元數(shù)據(jù)內(nèi)容 數(shù)據(jù)模型的元數(shù)據(jù) ? 企業(yè)概念模型 ? DW數(shù)據(jù)模型 ? 數(shù)據(jù)源到目標(biāo)的映射 數(shù)據(jù)倉庫環(huán)境中的元數(shù)據(jù) ? 從操作型環(huán)境到數(shù)據(jù)倉庫環(huán)境的映射需要數(shù)據(jù)轉(zhuǎn)換元數(shù)據(jù)，沒有這種映射，對(duì)接口進(jìn)行控制是非常困難的。 元數(shù)據(jù)的內(nèi)容 數(shù)據(jù)準(zhǔn)備區(qū)元數(shù)據(jù) ? （ 1） 數(shù)據(jù)傳輸調(diào)度以及特定傳輸?shù)慕Y(jié)果 ? （ 2） 數(shù)據(jù)準(zhǔn)備區(qū)文件使用情況 ? （ 3） 用于連接來源 、 刪除字段 、 查找屬性的作業(yè)規(guī)范 ? （ 4） 數(shù)據(jù)清洗規(guī)范 ? （ 5） 數(shù)據(jù)增強(qiáng)和映射轉(zhuǎn)換 ? （ 6） DM所要求的轉(zhuǎn)換 （ 比如解釋空值的度量值 ） ? （ 7） 目標(biāo)模式設(shè)計(jì) 、 來源到目標(biāo)系統(tǒng)的數(shù)據(jù)流 ， 目標(biāo)數(shù)據(jù)的所有者 ? （ 8） 聚集定義 、 聚集使用統(tǒng)計(jì) 、 基本表使用統(tǒng)計(jì) ? （ 9） 數(shù)據(jù)來源情況和審核檢查記錄 （ 該記錄真正來自何地 、 何時(shí) ） ? （ 10） 數(shù)據(jù)轉(zhuǎn)換運(yùn)行時(shí)間 ? （ 11） 數(shù)據(jù)轉(zhuǎn)換軟件的版本號(hào) ? （ 12） 數(shù)據(jù)抽取處理的業(yè)務(wù)描述 ? （ 13） 有關(guān)抽取文件 、 軟件以及元數(shù)據(jù)的安全性設(shè)置 ? （ 14） 數(shù)據(jù)傳輸?shù)陌踩栽O(shè)置 ? （ 15） 數(shù)據(jù)準(zhǔn)備區(qū)的存檔日志和恢復(fù)程序 ? （ 16） 數(shù)據(jù)準(zhǔn)備區(qū)存檔的安全性設(shè)置 元數(shù)據(jù)的內(nèi)容 DBMS元數(shù)據(jù) ? （ 1） 分區(qū)設(shè)置 ? （ 2） 索引 ? （ 3） DBMS層次的安全性特權(quán)與授權(quán) ? （ 4） 視圖定義 ? （ 5） 存儲(chǔ)過程與 SQL 管理腳本 ? （ 6） DBMS 備份狀態(tài) 、 備份程序以及備份安全性 數(shù)據(jù)倉庫環(huán)境中的元數(shù)據(jù) ? 對(duì)于數(shù)據(jù)倉庫環(huán)境中的元數(shù)據(jù)需要細(xì)致管理有另外一個(gè)重要原因，倉庫中數(shù)據(jù)會(huì)存在一段很長的時(shí)間 — 從 5年到 1 0年。而在 5年到 1 0年這么長的時(shí)間段內(nèi)，數(shù)據(jù)倉庫改變它的結(jié)構(gòu)是很正常的。換句話說，一個(gè)數(shù)據(jù)結(jié)構(gòu)能在 5到 1 0年內(nèi)保持不變是很不平常的。那么，隨著時(shí)間的流逝來跟蹤數(shù)據(jù)結(jié)構(gòu)的變化，則是數(shù)據(jù)倉庫中元數(shù)據(jù)很自然的一項(xiàng)任務(wù)。 數(shù)據(jù)倉庫環(huán)境中的元數(shù)據(jù) 元數(shù)據(jù)的內(nèi)容 前臺(tái)元數(shù)據(jù) ? （ 1） 業(yè)務(wù)名稱和有關(guān)列 、 表以及分組的描述 ? （ 2） 現(xiàn)有的查詢和和報(bào)告定義 ? （ 3） 連接規(guī)范工具設(shè)置 ? （ 4） 打印工具規(guī)范 ? （ 5） 最終用戶文檔 ? （ 6） 網(wǎng)絡(luò)安全性用戶特權(quán)概況 ? （ 7） 網(wǎng)絡(luò)安全性身份驗(yàn)證證書 ? （ 8） 網(wǎng)絡(luò)安全性使用統(tǒng)計(jì) ， 包括登錄嘗試 、 存取嘗試以及按位置報(bào)告的用戶標(biāo)識(shí)符 ? （ 9） 個(gè)人用戶概況 ? （ 10） 有關(guān)數(shù)據(jù)源 、 表 、 視圖以及報(bào)告的使用及存取映射 元數(shù)據(jù)在數(shù)據(jù)倉庫中的作用 ? 元數(shù)據(jù)實(shí)際上是要解決人在何時(shí) 、 何地 、 何因 、 如何使用 DW的問題 。 ? ⑴ 為數(shù)據(jù)倉庫服務(wù)與 DSS分析員機(jī)高層決策人員服務(wù)提供便利 。 DW元數(shù)據(jù)的廣義索引中存有每次數(shù)據(jù)裝載時(shí)產(chǎn)生的有關(guān)決策的數(shù)據(jù) ， 在做決策時(shí) ， 可以先查詢該部分?jǐn)?shù)據(jù) ， 再?zèng)Q定是否進(jìn)行進(jìn)一步的搜索 。 ? ⑵ 解決操作型環(huán)境和 DW的復(fù)雜關(guān)系 。 從 OLTP到 DW的轉(zhuǎn)換是復(fù)雜的多方面的 。 元數(shù)據(jù)應(yīng)包括對(duì)這種轉(zhuǎn)換的描述 。 并清晰的表示出來 ，管理起來 。 既保證這種轉(zhuǎn)換是正確的 、 合理的 ， 又要使其是可變的 。 靈活的 。 元數(shù)據(jù)在數(shù)據(jù)倉庫中的作用 ? 元數(shù)據(jù)在數(shù)據(jù)倉庫開發(fā)期間的使用 。 ? 數(shù)據(jù)倉庫的開發(fā)過程是一個(gè)構(gòu)造工程的過程 ，必須提供清晰的文檔 。 ? 這個(gè)過程產(chǎn)生的元數(shù)據(jù)主要用于 DW的應(yīng)用管理目的 。 描述 DW目錄表的每個(gè)運(yùn)作的模式 ， 還須捕獲用于數(shù)據(jù)的轉(zhuǎn)化 、 凈化 、 轉(zhuǎn)移 、 概括和聚集的商業(yè)規(guī)則與處理規(guī)則 。 元數(shù)據(jù)在數(shù)據(jù)倉庫中的作用 ? 元數(shù)據(jù)在數(shù)據(jù)源抽取中的作用 。 元數(shù)據(jù)對(duì)多個(gè)來源的數(shù)據(jù)集成發(fā)揮著關(guān)鍵作用 。 ? ⑴ 資源領(lǐng)域的確定 。 利用元數(shù)據(jù)可以確定將數(shù)據(jù)元的哪些資源加載到 DW中 。 ? ⑵ 跟蹤歷史數(shù)據(jù)結(jié)構(gòu)變化過程 。 ? ⑶ 屬性到屬性的映射 。 ? ⑷ 屬性轉(zhuǎn)換 。 元數(shù)據(jù)在數(shù)據(jù)倉庫中的作用 ? 元數(shù)據(jù)在數(shù)據(jù)求精與重構(gòu)工程上的應(yīng)用 。 ? 數(shù)據(jù)求精與重構(gòu)工程負(fù)責(zé)凈化資源中的數(shù)據(jù) 、增加資源戳和時(shí)間戳 ， 將數(shù)據(jù)轉(zhuǎn)換為符合數(shù)據(jù)倉庫的數(shù)據(jù)格式 ， 預(yù)算概括和衍生數(shù)據(jù)的值 。 數(shù)據(jù)倉庫主要應(yīng)用 ? 數(shù)據(jù)倉庫直接訪問 ? 使用瀏覽分析工具在 DW中尋找有用的信息。 ? 數(shù)據(jù)倉庫系統(tǒng)支持在 DW上的應(yīng)用，形成決策支持系統(tǒng)（ DSS）。 數(shù)據(jù)倉庫主要應(yīng)用 ? 在證券業(yè)的應(yīng)用 :可處理客戶分析、帳戶分析、證券交易數(shù)據(jù)分析、非資金交易分析等多個(gè)業(yè)界關(guān)心的主題，為客戶提供針對(duì)其個(gè)人習(xí)慣、投資組合的投資建議，從而真正作到對(duì)客戶的貼心服務(wù)。 ? 在銀行領(lǐng)域的應(yīng)用 :防范銀行的經(jīng)營風(fēng)險(xiǎn)、實(shí)現(xiàn)科學(xué)管理以及進(jìn)行決策 . ? 在稅務(wù)領(lǐng)域的應(yīng)用：可以解決三個(gè)方面的問題：一是查出應(yīng)稅未報(bào)者和瞞稅