【文章內(nèi)容簡介】 6。 在維度表中增加一條新的記錄，并且有標(biāo)志說明這條記錄的有效使用時間區(qū)間，這樣可以保留歷史記錄216。 在維表中增加一個字段，記錄已更改的記錄舊的取值，這樣也可以保留歷史紀(jì)錄，但是只能保留前一個修改歷史。216。 …… 當(dāng)事人主題域細(xì)節(jié)模型局部展示 地域主題域細(xì)節(jié)模型局部展示 渠道主題域細(xì)節(jié)模型局部展示 財務(wù)主題域細(xì)節(jié)模型局部展示4. ETCL策略和前端應(yīng)用 ETL設(shè)計數(shù)據(jù)倉庫處理過程的設(shè)計是數(shù)據(jù)倉庫設(shè)計的核心。它涉及到數(shù)據(jù)倉庫初始裝載、更新、維護、歸檔、轉(zhuǎn)儲以及應(yīng)用接口等諸多方面根據(jù)模型設(shè)計的結(jié)果，設(shè)計ETL程序1. 數(shù)據(jù)初始ETL過程設(shè)計。ETL過程實際上由三個子過程構(gòu)成：數(shù)據(jù)抽取、數(shù)據(jù)轉(zhuǎn)換和數(shù)據(jù)加載。根據(jù)選用的數(shù)據(jù)倉庫工具將數(shù)據(jù)從數(shù)據(jù)源抽取到臨時數(shù)據(jù)集中，然后根據(jù)業(yè)務(wù)規(guī)則轉(zhuǎn)換和集成為數(shù)據(jù)倉庫中需要的數(shù)據(jù)格式，最后將轉(zhuǎn)換的結(jié)果裝入數(shù)據(jù)倉庫。2. 數(shù)據(jù)更新ETL過程設(shè)計。根據(jù)規(guī)劃的結(jié)果選擇相應(yīng)的更新策略，設(shè)計數(shù)據(jù)更新程序。3. 數(shù)據(jù)ETL過程中的錯誤恢復(fù)過程設(shè)計。該過程負(fù)責(zé)對相應(yīng)的ETL程序在執(zhí)行過程中的錯誤進行恢復(fù)，以保證數(shù)據(jù)倉庫中數(shù)據(jù)的完整性、準(zhǔn)確性。若ETL過程出錯，則數(shù)據(jù)倉庫中可能已經(jīng)存在部分不完整的數(shù)據(jù)，需要將這些數(shù)據(jù)刪除，然后再查找錯誤的原因，重新執(zhí)行ETL程序等。4. 登記元數(shù)據(jù)。將關(guān)于ETL過程的元數(shù)據(jù)登記到元數(shù)據(jù)中心庫中，便于進行管理。5. 制定單元測試計劃從速度、數(shù)據(jù)質(zhì)量等方面測試ETL過程是否滿足用戶需求。1. 設(shè)計數(shù)據(jù)歸檔轉(zhuǎn)儲過程。當(dāng)數(shù)據(jù)倉庫中的數(shù)據(jù)超過了預(yù)定的時限，或者很少再被使用，要將它們歸檔到離線存儲中，或者需要將細(xì)節(jié)的數(shù)據(jù)匯總成較粗粒度級別，而后將細(xì)節(jié)數(shù)據(jù)歸檔2. 設(shè)計錯誤恢復(fù)過程。即設(shè)計怎樣確定在數(shù)據(jù)歸檔過程中發(fā)生的錯誤，以及恢復(fù)或者重啟的過程。3. 登記注冊元數(shù)據(jù)，在元數(shù)據(jù)中心庫中登記關(guān)于數(shù)據(jù)歸檔過程的元數(shù)據(jù)4. 創(chuàng)建單元測試計劃，測試數(shù)據(jù)歸檔過程是否滿足功能需要。設(shè)計備份與恢復(fù)過程中錯誤恢復(fù)過程、計劃216。 設(shè)計作業(yè)調(diào)度過程，即確定數(shù)據(jù)倉庫中的過程的時序，建立一個次序，并且計算出工作的環(huán)境，建立調(diào)度策略和標(biāo)準(zhǔn)文檔216。 設(shè)計錯誤恢復(fù)過程，在作業(yè)調(diào)度過程中發(fā)生的錯誤和恢復(fù)或者重啟的過程216。 注冊元數(shù)據(jù)，在元數(shù)據(jù)中心庫中登記關(guān)于作業(yè)調(diào)度過程的元數(shù)據(jù)216。 建立單元測試計劃，以測試作業(yè)調(diào)度過程是否正確216。 設(shè)計數(shù)據(jù)安全機制，根據(jù)設(shè)計說明書設(shè)計數(shù)據(jù)216。 設(shè)計數(shù)據(jù)安全機制，根據(jù)設(shè)計說明書設(shè)計數(shù)據(jù)倉庫安全性模型216。 注冊元數(shù)據(jù)，在中心庫中登記關(guān)于數(shù)據(jù)訪問控制的元數(shù)據(jù)216。 創(chuàng)建單元測試計劃，以測試安全訪問控制機制是否正確數(shù)據(jù)倉庫中的數(shù)據(jù)是以面向主題的方式組織的，而業(yè)務(wù)數(shù)據(jù)庫中的數(shù)據(jù)一般是圍繞著一個或幾個業(yè)務(wù)處理流程來組織的，因此，將數(shù)據(jù)從業(yè)務(wù)數(shù)據(jù)庫中抽取并加載到數(shù)據(jù)倉庫就不是簡單的復(fù)制過程，而需要十分復(fù)雜的數(shù)據(jù)處理，即數(shù)據(jù)整合。數(shù)據(jù)整合的工作大致可分為4個步驟：數(shù)據(jù)抽?。‥xtract）、數(shù)據(jù)清晰（Cleaning）、數(shù)據(jù)轉(zhuǎn)換（Transformation）、數(shù)據(jù)加載（Loading），即ETCL。在實際的項目實施過程中，源數(shù)據(jù)有時不經(jīng)過清洗就直接轉(zhuǎn)換加載進入數(shù)據(jù)倉庫，這樣的數(shù)據(jù)整合就變成了數(shù)據(jù)抽取、數(shù)據(jù)轉(zhuǎn)換和數(shù)據(jù)加載，簡稱ETL。通常業(yè)內(nèi)將數(shù)據(jù)整合的工作通稱為ETL. ETL的質(zhì)量控制的目標(biāo)ETL質(zhì)量控制的目標(biāo)是保證ETL程序完成并通過測試，數(shù)據(jù)裝載進入數(shù)據(jù)倉庫并通過數(shù)據(jù)驗證與檢查。 ETL的質(zhì)量控制的方法1. 依據(jù)數(shù)據(jù)源狀態(tài)報告、需求分析說明書、數(shù)據(jù)倉庫邏輯模型及說明文檔、數(shù)據(jù)倉庫物理模型及說明文檔對ETL過程中的關(guān)鍵點進行跟蹤。2. 以“檢查單”的形式對跟蹤檢查過程中發(fā)現(xiàn)的問題進行分析，并提出解決方案建議。3. 評審邏輯模型設(shè)計階段所提交的交付文檔，主要包括：數(shù)據(jù)源數(shù)據(jù)的映射表，ETL系統(tǒng)設(shè)計說明書，ETL子系統(tǒng)測試報告，ETL流程設(shè)計說明書，ETL調(diào)整維護說明書，ETL故障錯誤恢復(fù)恢復(fù)說明書，ETL數(shù)據(jù)質(zhì)量控制策略及流程，ETL回溯設(shè)計說明書，數(shù)據(jù)裝載工作報告，數(shù)據(jù)裝載狀態(tài)報告，ETL子系統(tǒng)測試報告，ETL用戶手冊，ETL系統(tǒng)備份恢復(fù)，ETL程序和源代碼 ETL的主要任務(wù)包括216。 數(shù)據(jù)源及其特性定義216。 數(shù)據(jù)抽取、轉(zhuǎn)換和加載策略設(shè)計；216。 構(gòu)建和測試初始加載的程序和處理流程；216。 構(gòu)建和測試日常加載的程序和處理流程。ETL的設(shè)計與實施主要包括以下幾部分工作：216。 數(shù)據(jù)源的確認(rèn)216。 明確本系統(tǒng)的數(shù)據(jù)獲取來源，包括數(shù)據(jù)源的數(shù)據(jù)存儲格式、數(shù)據(jù)庫類型216。 操作系統(tǒng)平臺、網(wǎng)絡(luò)狀況以及數(shù)據(jù)源數(shù)據(jù)的更新周期與方式等。216。 源數(shù)據(jù)分析 OLAP與前端的質(zhì)量控制數(shù)據(jù)倉庫和聯(lián)機分析處理是決策支持系統(tǒng)的有機組成部分。數(shù)據(jù)倉庫從分布在公司內(nèi)部各處的OLAP數(shù)據(jù)庫中提取數(shù)據(jù)并對所提取的數(shù)據(jù)進行預(yù)處理，為公司決策分析提供所需的數(shù)據(jù)：OLAP則利用存儲在數(shù)據(jù)倉庫中的數(shù)據(jù)完成各種分析操作，并以直觀易懂的形式將分析結(jié)果返回給決策分析人員。216。 本階段質(zhì)量控制的目標(biāo)為保證OLAP模型的設(shè)計、加載策略、權(quán)限設(shè)計以及前端展現(xiàn)設(shè)計嚴(yán)格滿足需求分析的要求；216。 保證為最終用戶提供共享多維信息的快速分析和及時數(shù)據(jù)庫查詢，確保OLAP數(shù)據(jù)模型設(shè)計合理，具有良好的擴展能力；216。 OLAP數(shù)據(jù)加載過程正確、高效；前端展現(xiàn)部分嚴(yán)格滿足用戶需求并且性能優(yōu)越。 質(zhì)量控制方法OLAP質(zhì)量控制方法主要是對以下四個過程進行評審：216。 OLAP設(shè)計評審216。 OLAP開發(fā)評審216。 OLAP子系統(tǒng)測試過程及結(jié)果評審216。 性能優(yōu)化方案及結(jié)果評審5. 元數(shù)據(jù)管理與系統(tǒng)維護216。 數(shù)據(jù)庫廠商：DB2，Oracle，SUbase，MYSQL，SQL216。 ETCL工具廠商：Informatica、Datastage、OWB、微軟DTS、Beeload、Kettle216。 OLAP工具廠商：Cognos（Powerplay）、Hyperion （Essbase）、微軟（Analysis Service）以及MicroStrategy幾大廠商的產(chǎn)品。216。 前端展示廠商216。 元數(shù)據(jù)是描述數(shù)據(jù)的數(shù)據(jù)，是指與業(yè)務(wù)和技術(shù)過程以及企業(yè)數(shù)據(jù)使用相關(guān)的所有數(shù)據(jù)及包含的知識信息。元數(shù)據(jù)通過定義數(shù)據(jù)倉庫的內(nèi)容，幫助用戶找到進行分析所需的相關(guān)信息。216。 元數(shù)據(jù)管理系統(tǒng)，從根本上講，是將分散在數(shù)據(jù)倉庫各個環(huán)節(jié)的、獨立的元數(shù)據(jù)統(tǒng)一存儲在元數(shù)據(jù)存儲庫中，并將各個元數(shù)據(jù)有機的聯(lián)系在一起，因此，元數(shù)據(jù)管理系統(tǒng)的基本任務(wù)是實現(xiàn)數(shù)據(jù)信息的管理即元數(shù)據(jù)的管理。通過元數(shù)據(jù)管理，使分散的數(shù)據(jù)信息成為一個統(tǒng)一的整體。元數(shù)據(jù)系統(tǒng)最終將提供對整個企業(yè)的元數(shù)據(jù)管理，實現(xiàn)企業(yè)級的運行環(huán)境視圖。元數(shù)據(jù)管理將以數(shù)據(jù)倉庫數(shù)據(jù)環(huán)境為核心，完成對相關(guān)業(yè)務(wù)元數(shù)據(jù)及技術(shù)元數(shù)據(jù)的集成及應(yīng)用，提供數(shù)據(jù)路徑、數(shù)據(jù)歸屬信息，并對業(yè)務(wù)術(shù)語、文檔進行集中管理，通過變更報告、影響分析以及業(yè)務(wù)術(shù)語管理等應(yīng)用，保證數(shù)據(jù)的完整性，控制數(shù)據(jù)質(zhì)量，減少業(yè)務(wù)術(shù)語的歧義，建立業(yè)務(wù)人員之間、技術(shù)人員之間、以及業(yè)務(wù)人員與技術(shù)人員之間的溝通平臺。對元數(shù)據(jù)系統(tǒng)的質(zhì)量控制，一般采用事前控制的方法。所謂事前控制是指在工作計劃階段或計劃前，對所要開展的工作進行充分的咨詢評估。通過這種分析評估對所要開展的工作進行充分的對比和論證，把相關(guān)的實施路徑、關(guān)聯(lián)關(guān)系、技術(shù)難點、業(yè)務(wù)范圍都梳理清楚。這樣在實施的時候就可以做到脈絡(luò)清晰、有的放矢。元數(shù)據(jù)系統(tǒng)最終將提供對整個企業(yè)的元數(shù)據(jù)管理，實現(xiàn)企業(yè)級的運行環(huán)境視圖。元數(shù)據(jù)管理將以數(shù)據(jù)倉庫數(shù)據(jù)環(huán)境為核心，完成對相關(guān)業(yè)務(wù)元數(shù)據(jù)及技術(shù)元數(shù)據(jù)的集成及應(yīng)用，提供數(shù)據(jù)路徑、數(shù)據(jù)歸屬信息，并對業(yè)務(wù)術(shù)語、文檔進行集中管理，通過變更報告、影響分析以及業(yè)務(wù)術(shù)語管理等應(yīng)用，保證數(shù)據(jù)的完整性，控制數(shù)據(jù)質(zhì)量，減少業(yè)務(wù)術(shù)語的歧義，建立業(yè)務(wù)人員之間、技術(shù)人員之間、以及業(yè)務(wù)人員與技術(shù)人員之間的溝通平臺。（）1. 元數(shù)據(jù)是描述數(shù)據(jù)的數(shù)據(jù)，是指與業(yè)務(wù)和技術(shù)過程以及企業(yè)數(shù)據(jù)使用相關(guān)的所有數(shù)據(jù)及包含的知識信息。對本項目而言，元數(shù)據(jù)通過定義數(shù)據(jù)倉庫的內(nèi)容，幫助用戶找到進行分析所需的相關(guān)信息。2. 元數(shù)據(jù)存儲庫中含有兩類元數(shù)據(jù)：技術(shù)元數(shù)據(jù)和業(yè)務(wù)元數(shù)據(jù)。技術(shù)元數(shù)據(jù)是為企業(yè)技術(shù)用戶和IT員工提供支持的元數(shù)據(jù)，而業(yè)務(wù)元數(shù)據(jù)是為企業(yè)業(yè)務(wù)用戶提供支持的元數(shù)據(jù)。這兩類元數(shù)據(jù)之間有著密切的聯(lián)系，對數(shù)據(jù)管理用戶來說，不僅需要業(yè)務(wù)及技術(shù)元數(shù)據(jù)的支持，而且還要通過業(yè)務(wù)與技術(shù)元數(shù)據(jù)之間的關(guān)系來提高管理質(zhì)量。3. 元數(shù)據(jù)管理系統(tǒng)，從根本上講，是將分散在數(shù)據(jù)倉庫各個環(huán)節(jié)的、獨立的元數(shù)據(jù)統(tǒng)一存儲在元數(shù)據(jù)存儲庫中，并將各個元數(shù)據(jù)有機的聯(lián)系在一起，因此，元數(shù)據(jù)管理系統(tǒng)的基本任務(wù)是實現(xiàn)數(shù)據(jù)信息的管理即元數(shù)據(jù)的管理。通過元數(shù)據(jù)管理，使雜亂無章的數(shù)據(jù)信息成為一個統(tǒng)一的整體。4. 根據(jù)元數(shù)據(jù)的內(nèi)容，用戶的應(yīng)用需求可分為技術(shù)需求和業(yè)務(wù)需求兩個部分，分別面向技術(shù)用戶、業(yè)務(wù)用戶以及數(shù)據(jù)管理用戶。1. 元數(shù)據(jù)系統(tǒng)本身是一個完整的數(shù)據(jù)信息管理系統(tǒng)，因此，其體系架構(gòu)的內(nèi)容涵蓋了從需求分析、應(yīng)用設(shè)計到用戶規(guī)劃的整個過程，因此，元數(shù)據(jù)管理系統(tǒng)的建設(shè)包括以下五個步驟：216。 元數(shù)據(jù)需求定義216。 元數(shù)據(jù)管理實現(xiàn)216。 元數(shù)據(jù)應(yīng)用實現(xiàn)216。 系統(tǒng)管理定義216。 系統(tǒng)運行維護定義2. 經(jīng)過五個步驟的建設(shè)，元數(shù)據(jù)系統(tǒng)將包括：元數(shù)據(jù)應(yīng)用模塊、元數(shù)據(jù)管理模塊、元數(shù)據(jù)展現(xiàn)模塊、系統(tǒng)管理模塊、系統(tǒng)運行維護模塊共五大模塊。（第九節(jié)）項目管理是一整套體系，特別是在像數(shù)據(jù)倉庫建設(shè)這樣的大型項目中。定位有3個：監(jiān)督、審查和控制。1. 監(jiān)督：指追蹤項目進展情況和狀態(tài)。審查：對項目的所有階段性成果，或者里程碑式的成果，包括整個項目的技術(shù)路線、技術(shù)策略、技術(shù)方法、項目管理的方法與策略等項目有關(guān)的情況做出評估意見。2. 控制：分為事前、事中和事后三種：事前控制是盡量發(fā)現(xiàn)潛在的風(fēng)險，提前給業(yè)主預(yù)警；事中控制則是在項目進行中發(fā)現(xiàn)問題后，推動問題的解決，并監(jiān)控解決辦法；事后控制是在發(fā)生問題后提供補救建議和措施。在數(shù)據(jù)倉庫項目實施過程中切實的加強的各類風(fēng)險控制和問題跟蹤，切實的化解了風(fēng)險、解決了問題并保證了項目整體的質(zhì)量通過建立項目狀態(tài)指標(biāo)，對項目管理各個方面根據(jù)本數(shù)據(jù)倉庫項目的實際情況定義不同的權(quán)重，以求真實的反映出各個時間點的項目狀態(tài)1. 進度狀態(tài)：是否按照計劃執(zhí)行，進度速度是否適當(dāng)。2. 問題狀態(tài)：問題是否嚴(yán)重到影響進度，問題是否持續(xù)未解決3. 風(fēng)險狀態(tài)：風(fēng)險發(fā)生的可能性，發(fā)生后對項目造成影響的程度。4. 質(zhì)量狀態(tài)：質(zhì)量控制的狀態(tài)、整體質(zhì)量狀態(tài)5. 溝通狀態(tài)：項目組內(nèi)溝通是否疲勞，工作效率是否低下6. 環(huán)境狀態(tài)：設(shè)備是否正常、軟件環(huán)境是否正常、辦公環(huán)境是否正常項目管理是一整套體系，特別是像數(shù)據(jù)倉庫建設(shè)這樣的大型項目。這里項目管理不再僅僅局限于項目的計劃、進度、成本、質(zhì)量等方面，而是結(jié)合數(shù)據(jù)倉庫的特點緊密的結(jié)合數(shù)據(jù)倉庫的實施過程，并在這一過程中切實的加強各類風(fēng)險控制和問題跟蹤，切實的化解了風(fēng)險、解決了問題并保證了項目整體的質(zhì)量。項目總體管理質(zhì)量控制的目標(biāo)是在數(shù)據(jù)倉庫周期中管理者通過一些列的管理活動，在一定的時間和預(yù)算范圍內(nèi)，有效地利用人力、資源、技術(shù)和工具，使數(shù)據(jù)倉庫系統(tǒng)按照預(yù)期的計劃和質(zhì)量要求如期完成。216。 制定項目計劃。在項目啟動前，制定項目整體工作計劃，為項目的整體工作計劃制定依據(jù)216。 確立相關(guān)會議制度。在項目管理的整個過程中制定相關(guān)的會議制度，針對不同層次的問題和風(fēng)險實時、適度的舉行會議討論，保證項目各項工作的質(zhì)量。216。 建立并各類管理指標(biāo)，使整個項目狀態(tài)和管理情況量化并使之成為項目進展質(zhì)量的晴雨表和指南針。216。 確定項目管理的執(zhí)行指標(biāo)。項目的管理執(zhí)行指標(biāo)包括管理和執(zhí)行兩大部分，其中管理是指：管理能力體現(xiàn)項目管理方面的能力，以靜態(tài)能力為主，強調(diào)對關(guān)鍵的活動進行了管理；執(zhí)行是指：對各種計劃、管理辦法等的執(zhí)行能力。通過項目管理執(zhí)行指標(biāo)可以明確的判斷出項目的質(zhì)量是否進行了有效的控制。216。 通過建立項目狀態(tài)指標(biāo)