freepeople性欧美熟妇, 色戒完整版无删减158分钟hd, 无码精品国产vα在线观看DVD, 丰满少妇伦精品无码专区在线观看,艾栗栗与纹身男宾馆3p50分钟,国产AV片在线观看,黑人与美女高潮,18岁女RAPPERDISSSUBS,国产手机在机看影片

正文內容

bi項目中etl設計與思考(文件)

2024-07-20 19:01 上一頁面

下一頁面
 

【正文】 載到任何數(shù)據(jù)源中。這些任務是按預定義的順序執(zhí)行的。數(shù)據(jù)流也稱為流水線,主要解決數(shù)據(jù)轉換的問題??梢詫?shù)據(jù)流的執(zhí)行認為是一個流水線的過程,在該過程中,每一行數(shù)據(jù)都是裝配線中需要處理的零件,而每一個轉換都是裝配線中的處理單元?! ?4)數(shù)據(jù)轉換和加工的功能強不強。數(shù)據(jù)倉庫中的數(shù)據(jù)是細節(jié)的、集成的、面向主題的,以OLAP系統(tǒng)的分析需求為目的。  從OLAP系統(tǒng)的分析需求和ETL的處理效率兩方面來考慮:星型結構聚合快,分析效率高?! 《嫿ㄆ髽I(yè)級數(shù)據(jù)倉庫五步法  (一)、確定主題  即確定數(shù)據(jù)分析或前端展現(xiàn)的主題。分析角度(維度)是星星的各個角。數(shù)據(jù)集市體現(xiàn)了數(shù)據(jù)倉庫某一方面的信息,多個數(shù)據(jù)集市構成了數(shù)據(jù)倉庫。  量度是要統(tǒng)計的指標,必須事先選擇恰當,基于不同的量度可以進行復雜關鍵性能指標(KPI)等的設計和計算。那么,如果我們可以確認,在將來的分析需求中,時間只需要精確到天就可以的話,我們就可以在ETL處理過程中,按天來匯總數(shù)據(jù),此時,數(shù)據(jù)倉庫中量度的粒度就是“天”?! ?四)、確定維度  維度是指分析的各個角度。如圖所示,我們在時間維度上,按照“年季度月”形成了一個層次,其中“年”、“季度”、“月”成為了這個層次的3個級別。(圖五:)   另外,值得一提的是,我們在建立維度表時要充分使用代理鍵。  在此,我們不妨談一談維度表隨時間變化的問題,這是我們經(jīng)常會遇到的情況,我們稱其為緩慢變化維度。這種情況下,我們使用UPDATE方法來修改維度表中的數(shù)據(jù)。比如:某一員工2005年在A部門,2006年時他調到了B部門?! 【徛兓S度第三種類型:  新增數(shù)據(jù)維度成員改變了屬性。  在公司的大量數(shù)據(jù)堆積如山時,我們想看看里面究竟是什么,結果發(fā)現(xiàn)里面是一筆筆生產(chǎn)記錄,一筆筆交易記錄… 那么這些記錄是我們將要建立的事實表的原始數(shù)據(jù),即關于某一主題的事實記錄表。  事實數(shù)據(jù)表是數(shù)據(jù)倉庫的核心,需要精心維護,在JOIN后將得到事實數(shù)據(jù)表,一般記錄條數(shù)都比較大,我們需要為其設置復合主鍵和索引,以實現(xiàn)數(shù)據(jù)的完整性和基于數(shù)據(jù)倉庫的查詢性能優(yōu)化。ETL抽取整合數(shù)據(jù)的好壞直接影響到最終的結果展現(xiàn)。(圖七:)  那么,在這一轉換過程中,我們就完成了對數(shù)據(jù)格式的更正、對數(shù)據(jù)字段的合并、以及新增指標的計算三項操作?! ∷摹㈨椖繉嵺`技巧  (一)、準備區(qū)的運用  在構建數(shù)據(jù)倉庫時,如果數(shù)據(jù)源位于一臺服務器上,數(shù)據(jù)倉庫在另一臺服務器端,考慮到數(shù)據(jù)源Server端訪問頻繁,并且數(shù)據(jù)量大,需要不斷更新,所以可以建立準備區(qū)數(shù)據(jù)庫(圖八:)?! ?二)、時間戳的運用  時間維度對于某一事實主題來說十分重要,因為不同的時間有不同的統(tǒng)計數(shù)據(jù)信息,那么按照時間記錄的信息將發(fā)揮很重要的作用。  (三)、日志表的運用  在對數(shù)據(jù)進行處理時,難免會發(fā)生數(shù)據(jù)處理錯誤,產(chǎn)生出錯信息,那么我們如何獲得出錯信息并及時修正呢? 方法是我們使用一張或多張Log日志表,將出錯信息記錄下來,在日志表中我們將記錄每次抽取的條數(shù)、處理成功的條數(shù)、處理失敗的條數(shù)、處理失敗的數(shù)據(jù)、處理時間等等。比如希望按天進行查看,那么我們最好按天進行抽取,如果數(shù)據(jù)量不大,可以按照月或半年對數(shù)據(jù)進行更新。每一次調度除了寫入Log日志表的數(shù)據(jù)處理信息外,還要使用發(fā)送Email或報警服務等,這樣也方便的技術人員對ETL流程的把握,增強了安全性和數(shù)據(jù)處理的準確性。  ETL是OLTP系統(tǒng)和OLAP系統(tǒng)之間的橋梁,是數(shù)據(jù)從源系統(tǒng)流入數(shù)據(jù)倉庫的通道。 aaliuhl 劉星星 來自 廣州精華貼數(shù) 0個人空間 0技術積分 305 (8149)社區(qū)積分 3 (27932)注冊日期 2004717論壇徽章:42使用道具19 / 19。發(fā)表于 2009615 18:02ORACLE的ETL工具是什么?以前一直以為是BIEE.....今天才發(fā)現(xiàn)BIEE是類似COGNOS的報表工具......只看該作者 然而,每一步都有很深的內容需要研究與挖掘,尤其在實際項目中,我們要綜合考慮?! ≌{度是數(shù)據(jù)倉庫的關鍵環(huán)節(jié),要考慮縝密。  (四)、使用調度  在對數(shù)據(jù)倉庫進行增量更新時必須使用調度(圖九:),即對事實數(shù)據(jù)表進行增量更新處理。在記錄數(shù)據(jù)庫和數(shù)據(jù)倉庫的操作時,我們也將使用時間戳標識信息。  例如我們可以按照天將數(shù)據(jù)抽取到準備區(qū)中,基于數(shù)據(jù)準備區(qū),我們將進行數(shù)據(jù)的轉換、整合、將不同數(shù)據(jù)源的數(shù)據(jù)進行一致性處理?! 『喍灾ㄟ^ETL,我們可以基于源系統(tǒng)中的數(shù)據(jù)來生成數(shù)據(jù)倉庫?! TL是數(shù)據(jù)抽取(Extract)、轉換(Transform)、加載(Load )的簡寫,它是指:將OLTP系統(tǒng)中的數(shù)據(jù)抽取出來,并將不同數(shù)據(jù)源的數(shù)據(jù)進行轉換和整合,得出一致性的數(shù)據(jù),然后加載到數(shù)據(jù)倉庫中。  三、什么是ETL  在數(shù)據(jù)倉庫的構建中,ETL貫穿于項目始終,它是整個數(shù)據(jù)倉庫的生命線,包括了數(shù)據(jù)清洗、整合、轉換、加載等各個過程。注意在關聯(lián)時有為空的數(shù)據(jù)時(數(shù)據(jù)源臟),需要使用外連接,連接后我們將各維度的代理鍵取出放于事實表中,事實表除了各維度代理鍵外,還有各量度數(shù)據(jù),這將來自原始表,事實表中將存在維度代理鍵和各量度,而不應該存在描述性信息,即符合“瘦高原則”,即要求事實表數(shù)據(jù)條數(shù)盡量多(粒度最小),而描述性信息盡量少。那么,我們將使用存儲過程或程序生成新的維度屬性,在后續(xù)的數(shù)據(jù)中將基于新的屬性進行查看。而在統(tǒng)計2006年數(shù)據(jù)時就應該定位到B部門,然后再有新的數(shù)據(jù)插入時,將按照新部門(B部門)進行處理,這樣我們的做法是將該維度成員列表加入標識列,將歷史的數(shù)據(jù)標識為“過期”,將目前的數(shù)據(jù)標識為“當前的”。  緩慢變化維度第二種類型:  歷史數(shù)據(jù)保留,新增數(shù)據(jù)也要保留。這樣,我們在ETL的過程中,就要考慮到緩慢變化維度的處理。更重要的是,在聚合時,數(shù)值型字段的匹配和比較,JOIN效率高,便于聚合。  那么,我們分析中所用到的這些維度,在數(shù)據(jù)倉庫中的存在形式是怎樣的呢?  我們可以將3個級別設置成一張數(shù)據(jù)表中的3個字段,比如時間維度。基于不同的維度,我們可以看到各量度的匯總情況,也可以基于所有的維度進行交叉分析。  在采用“最小粒度原則”的同時,我們不必擔心海量數(shù)據(jù)所帶來的匯總分析效率問題,因為在后續(xù)建立多維分析模型(CUBE)的時候,我們會對數(shù)據(jù)提前進行匯總,從而保障產(chǎn)生分析結果的效率??紤]到量度的聚合程度不同,我們將采用“最小粒度原則”,即將量度的粒度設置到最小。它們一般為數(shù)值型數(shù)據(jù)。那么,“某年某月某一地區(qū)的啤酒銷售情況”這樣一個主題,就要求我們通過時間和地區(qū)兩個維度的組合,來考察銷售情況這個量度。主題要體現(xiàn)出某一方面的各分析角度(維度)和統(tǒng)計數(shù)值型數(shù)據(jù)(量度)之間的關系,確定主題時要綜合考慮。因此,在實際項目中,我們將綜合運用星型架構與雪花型架構來設計數(shù)據(jù)倉庫。如圖所示,星型架構的中間為事實表,四周為維度表,類似星星?! ?6)是否具有良好的集成性和開放性?! ?2)對數(shù)據(jù)源的支持程度。數(shù)據(jù)流的起點通常是數(shù)據(jù)源(源表)。當前任務的執(zhí)行結果決定沿哪條分支前進。SSIS提供了數(shù)據(jù)相關的控制流、數(shù)據(jù)流、日志、變量、event、連接管理等基礎設施。  (2)SQL Server Integration Services(SSIS)  SSIS是SQL Server 2005的新成員,在SQL Server的早期版本中,其實就已經(jīng)有了它的雛形,那時的名稱叫做數(shù)據(jù)轉換服務(DTS)。  、版本
點擊復制文檔內容
職業(yè)教育相關推薦
文庫吧 www.dybbs8.com
備案圖鄂ICP備17016276號-1