freepeople性欧美熟妇, 色戒完整版无删减158分钟hd, 无码精品国产vα在线观看DVD, 丰满少妇伦精品无码专区在线观看,艾栗栗与纹身男宾馆3p50分钟,国产AV片在线观看,黑人与美女高潮,18岁女RAPPERDISSSUBS,国产手机在机看影片

正文內(nèi)容

bi項目中etl設(shè)計與思考-資料下載頁

2025-06-29 19:01本頁面
  

【正文】 增加了一個新的屬性,此時,維度表就會被修改或者增加新的記錄行。這樣,我們在ETL的過程中,就要考慮到緩慢變化維度的處理。對于緩慢變化維度,有三種情況:  緩慢變化維度第一種類型:  歷史數(shù)據(jù)需要修改。這種情況下,我們使用UPDATE方法來修改維度表中的數(shù)據(jù)。例如:產(chǎn)品的ID號碼為123,后來發(fā)現(xiàn)ID號碼錯了,需要改寫成456,那么,我們就在ETL處理時,直接修改維度表中原來的ID號碼為456。  緩慢變化維度第二種類型:  歷史數(shù)據(jù)保留,新增數(shù)據(jù)也要保留。這時,要將原數(shù)據(jù)更新,將新數(shù)據(jù)插入,我們使用UPDATE / INSERT。比如:某一員工2005年在A部門,2006年時他調(diào)到了B部門。那么在統(tǒng)計2005年的數(shù)據(jù)時就應(yīng)該將該員工定位到A部門。而在統(tǒng)計2006年數(shù)據(jù)時就應(yīng)該定位到B部門,然后再有新的數(shù)據(jù)插入時,將按照新部門(B部門)進行處理,這樣我們的做法是將該維度成員列表加入標識列,將歷史的數(shù)據(jù)標識為“過期”,將目前的數(shù)據(jù)標識為“當前的”。另一種方法是將該維度打上時間戳,即將歷史數(shù)據(jù)生效的時間段作為它的一個屬性,在與原始表匹配生成事實表時將按照時間段進行關(guān)聯(lián),這種方法的好處是該維度成員生效時間明確?! 【徛兓S度第三種類型:  新增數(shù)據(jù)維度成員改變了屬性。例如:某一維度成員新加入了一列,該列在歷史數(shù)據(jù)中不能基于它瀏覽,而在目前數(shù)據(jù)和將來數(shù)據(jù)中可以按照它瀏覽,那么此時我們需要改變維度表屬性,即加入新的字段列。那么,我們將使用存儲過程或程序生成新的維度屬性,在后續(xù)的數(shù)據(jù)中將基于新的屬性進行查看?! ?五)、創(chuàng)建事實表  在確定好事實數(shù)據(jù)和維度后,我們將考慮加載事實表。  在公司的大量數(shù)據(jù)堆積如山時,我們想看看里面究竟是什么,結(jié)果發(fā)現(xiàn)里面是一筆筆生產(chǎn)記錄,一筆筆交易記錄… 那么這些記錄是我們將要建立的事實表的原始數(shù)據(jù),即關(guān)于某一主題的事實記錄表?! ∥覀兊淖龇ㄊ菍⒃急砼c維度表進行關(guān)聯(lián),生成事實表(圖六:)。注意在關(guān)聯(lián)時有為空的數(shù)據(jù)時(數(shù)據(jù)源臟),需要使用外連接,連接后我們將各維度的代理鍵取出放于事實表中,事實表除了各維度代理鍵外,還有各量度數(shù)據(jù),這將來自原始表,事實表中將存在維度代理鍵和各量度,而不應(yīng)該存在描述性信息,即符合“瘦高原則”,即要求事實表數(shù)據(jù)條數(shù)盡量多(粒度最小),而描述性信息盡量少。  如果考慮到擴展,可以將事實表加一唯一標識列,以為了以后擴展將該事實作為雪花型維度,不過不需要時一般建議不用這樣做?! ∈聦崝?shù)據(jù)表是數(shù)據(jù)倉庫的核心,需要精心維護,在JOIN后將得到事實數(shù)據(jù)表,一般記錄條數(shù)都比較大,我們需要為其設(shè)置復(fù)合主鍵和索引,以實現(xiàn)數(shù)據(jù)的完整性和基于數(shù)據(jù)倉庫的查詢性能優(yōu)化。事實數(shù)據(jù)表與維度表一起放于數(shù)據(jù)倉庫中,如果前端需要連接數(shù)據(jù)倉庫進行查詢,我們還需要建立一些相關(guān)的中間匯總表或物化視圖,以方便查詢?! ∪?、什么是ETL  在數(shù)據(jù)倉庫的構(gòu)建中,ETL貫穿于項目始終,它是整個數(shù)據(jù)倉庫的生命線,包括了數(shù)據(jù)清洗、整合、轉(zhuǎn)換、加載等各個過程。如果說數(shù)據(jù)倉庫是一座大廈,那么ETL就是大廈的根基。ETL抽取整合數(shù)據(jù)的好壞直接影響到最終的結(jié)果展現(xiàn)。所以ETL在整個數(shù)據(jù)倉庫項目中起著十分關(guān)鍵的作用,必須擺到十分重要的位置?! TL是數(shù)據(jù)抽取(Extract)、轉(zhuǎn)換(Transform)、加載(Load )的簡寫,它是指:將OLTP系統(tǒng)中的數(shù)據(jù)抽取出來,并將不同數(shù)據(jù)源的數(shù)據(jù)進行轉(zhuǎn)換和整合,得出一致性的數(shù)據(jù),然后加載到數(shù)據(jù)倉庫中。例如:下圖就向我們展示了ETL的數(shù)據(jù)轉(zhuǎn)換效果。(圖七:)  那么,在這一轉(zhuǎn)換過程中,我們就完成了對數(shù)據(jù)格式的更正、對數(shù)據(jù)字段的合并、以及新增指標的計算三項操作。類似地,我們也可以根據(jù)其他需求,完善數(shù)據(jù)倉庫中的數(shù)據(jù)?! 『喍灾?,通過ETL,我們可以基于源系統(tǒng)中的數(shù)據(jù)來生成數(shù)據(jù)倉庫。ETL為我們搭建了OLTP系統(tǒng)和OLAP系統(tǒng)之間的橋梁。  四、項目實踐技巧  (一)、準備區(qū)的運用  在構(gòu)建數(shù)據(jù)倉庫時,如果數(shù)據(jù)源位于一臺服務(wù)器上,數(shù)據(jù)倉庫在另一臺服務(wù)器端,考慮到數(shù)據(jù)源Server端訪問頻繁,并且數(shù)據(jù)量大,需要不斷更新,所以可以建立準備區(qū)數(shù)據(jù)庫(圖八:)。先將數(shù)據(jù)抽取到準備區(qū)中,然后基于準備區(qū)中的數(shù)據(jù)進行處理,這樣處理的好處是防止了在原OLTP系統(tǒng)中頻繁訪問,進行數(shù)據(jù)運算或排序等操作?! ±缥覀兛梢园凑仗鞂?shù)據(jù)抽取到準備區(qū)中,基于數(shù)據(jù)準備區(qū),我們將進行數(shù)據(jù)的轉(zhuǎn)換、整合、將不同數(shù)據(jù)源的數(shù)據(jù)進行一致性處理。數(shù)據(jù)準備區(qū)中將存在原始抽取表、轉(zhuǎn)換中間表和臨時表以及ETL日志表等?! ?二)、時間戳的運用  時間維度對于某一事實主題來說十分重要,因為不同的時間有不同的統(tǒng)計數(shù)據(jù)信息,那么按照時間記錄的信息將發(fā)揮很重要的作用。在ETL中,時間戳有其特殊的作用,在上面提到的緩慢變化維度中,我們可以使用時間戳標識維度成員。在記錄數(shù)據(jù)庫和數(shù)據(jù)倉庫的操作時,我們也將使用時間戳標識信息。例如:在進行數(shù)據(jù)抽取時,我們將按照時間戳對OLTP系統(tǒng)中的數(shù)據(jù)進行抽取,比如在午夜0:00取前一天的數(shù)據(jù),我們將按照OLTP系統(tǒng)中的時間戳取GETDATE到GETDATE減一天,這樣得到前一天數(shù)據(jù)?! ?三)、日志表的運用  在對數(shù)據(jù)進行處理時,難免會發(fā)生數(shù)據(jù)處理錯誤,產(chǎn)生出錯信息,那么我們?nèi)绾潍@得出錯信息并及時修正呢? 方法是我們使用一張或多張Log日志表,將出錯信息記錄下來,在日志表中我們將記錄每次抽取的條數(shù)、處理成功的條數(shù)、處理失敗的條數(shù)、處理失敗的數(shù)據(jù)、處理時間等等。這樣,當數(shù)據(jù)發(fā)生錯誤時,我們很容易發(fā)現(xiàn)問題所在,然后對出錯的數(shù)據(jù)進行修正或重新處理。  (四)、使用調(diào)度  在對數(shù)據(jù)倉庫進行增量更新時必須使用調(diào)度(圖九:),即對事實數(shù)據(jù)表進行增量更新處理。在使用調(diào)度前要考慮到事實數(shù)據(jù)量,確定需要多長時間更新一次。比如希望按天進行查看,那么我們最好按天進行抽取,如果數(shù)據(jù)量不大,可以按照月或半年對數(shù)據(jù)進行更新。如果有緩慢變化維度情況,調(diào)度時需要考慮到維度表更新情況,在更新事實數(shù)據(jù)表之前要先更新維度表?! ≌{(diào)度是數(shù)據(jù)倉庫的關(guān)鍵環(huán)節(jié),要考慮縝密。在ETL的流程搭建好后,要定期對其運行,所以調(diào)度是執(zhí)行ETL流程的關(guān)鍵步驟。每一次調(diào)度除了寫入Log日志表的數(shù)據(jù)處理信息外,還要使用發(fā)送Email或報警服務(wù)等,這樣也方便的技術(shù)人員對ETL流程的把握,增強了安全性和數(shù)據(jù)處理的準確性?! ∥?、總結(jié)  構(gòu)建企業(yè)級數(shù)據(jù)倉庫需要簡單的五步,掌握了這五步的方法,我們可以構(gòu)建一個強大的數(shù)據(jù)倉庫。然而,每一步都有很深的內(nèi)容需要研究與挖掘,尤其在實際項目中,我們要綜合考慮。例如:如果數(shù)據(jù)源的臟數(shù)據(jù)很多,在搭建數(shù)據(jù)倉庫之前我們首先要進行數(shù)據(jù)清洗,以剔除掉不需要的信息和臟數(shù)據(jù)?! TL是OLTP系統(tǒng)和OLAP系統(tǒng)之間的橋梁,是數(shù)據(jù)從源系統(tǒng)流入數(shù)據(jù)倉庫的通道。在數(shù)據(jù)倉庫的項目實施中,它關(guān)系到整個項目的數(shù)據(jù)質(zhì)量,所以馬虎不得,必須將其擺到重要位置,將數(shù)據(jù)倉庫這一大廈的根基筑牢。ORACLE的ETL工具是什么?以前一直以為是BIEE.....今天才發(fā)現(xiàn)BIEE是類似COGNOS的報表工具......只看該作者 aaliuhl 劉星星 來自 廣州精華貼數(shù) 0個人空間 0技術(shù)積分 305 (8149)社區(qū)積分 3 (27932)注冊日期 2004717論壇徽章:42使用道具發(fā)表于 2009615 18:02 owb,odi都是ELT工具,不過支持ETL。19 /
點擊復(fù)制文檔內(nèi)容
職業(yè)教育相關(guān)推薦
文庫吧 www.dybbs8.com
備案圖鄂ICP備17016276號-1