etl流程、數(shù)據(jù)流圖及etl過(guò)程解決方案-預(yù)覽頁(yè)
【正文】 E TLSou rceD T MR e a d e rTa rge tSou rce D a ta C e nte rSou rce D a ta C e nte r Ta rge t D a ta C e nte rTa rge t D a ta C e nte rETLETL模式 異構(gòu) As yn chron o u s ar chit ect ur eE TLSou rceD T MR e a d e rTa rge tFTPFTPETLETL Fl a t Fl a t FileFileFl a t Fl a t FileFileETLETLSou rce D a ta C e nte rSou rce D a ta C e nte r Ta rge t D a ta C e nte rTa rge t D a ta C e nte r兩種模式的比較 特點(diǎn) 異構(gòu) (Asynchronous ) 同構(gòu) (Synchronous ) 比同構(gòu)模式提供了更好的數(shù)據(jù)處理性能，需要更少的處理時(shí)間，因?yàn)橥ㄟ^(guò)網(wǎng)絡(luò)傳輸文件的速度比直接通過(guò)數(shù)據(jù)庫(kù)存取數(shù)據(jù)要快很多。關(guān)于 ETL相關(guān)問(wèn)題的解決辦法 ◇ ETL定義 ◇ 模式及比較 ◇ ETL過(guò)程 ◇ 問(wèn)題分析 ◇ 現(xiàn)狀分析 目錄 ETL定義 ETL定義涉及以下內(nèi)容： – ETL定義 – ETL前提 – ETL原則 ETL定義 定義： –數(shù)據(jù)的抽取 (Extract)、轉(zhuǎn)換 (Transform)、裝載 (Load)的過(guò)程 目標(biāo)： –數(shù)據(jù)優(yōu)化。 – ETL的過(guò)程應(yīng)是主動(dòng)“拉取”，而不是從內(nèi)部“推送”，其可控性將大為增強(qiáng)。即抽取的理想狀況是抽取的同時(shí)源數(shù)據(jù)系統(tǒng)的數(shù)據(jù)是靜止的，沒(méi)有增、刪、改的情況伴隨發(fā)生。實(shí)際上就是定義某個(gè)時(shí)間區(qū)間內(nèi)的源數(shù)據(jù)的快照 (Snapshot)，這樣就可以避免重復(fù)裝載的情況發(fā)生。系統(tǒng)管理人員也只需要監(jiān)視一套系統(tǒng)。當(dāng)源或者目標(biāo)的結(jié)構(gòu)發(fā)生變化，相對(duì)應(yīng)的映射也要做修改。例如，倘若源數(shù)據(jù)庫(kù)中保留了所有歷史記錄，ETL程序可以根據(jù)設(shè)定的時(shí)間區(qū)間修復(fù)上一次裝載失敗的數(shù)據(jù)。同時(shí)，適當(dāng)調(diào)大裝載的時(shí)間區(qū)段也不會(huì)發(fā)生數(shù)據(jù)重復(fù)加載的情況。 能夠簡(jiǎn)化查錯(cuò) troubleshooting的過(guò)程，由于在中間步驟生成文本文件，實(shí)際上是所要抽取的源數(shù)據(jù)的快照 (Snapshot)。 異構(gòu) (Asynchronous ) 同構(gòu) (Synchronous ) 源和目標(biāo)的數(shù)據(jù)接口分離，只需要定義好中間的文本文件數(shù)據(jù)接口，就可以同步完成獨(dú)立的源和目標(biāo)的開(kāi)發(fā)工作。如果源包含圖形數(shù)據(jù)，要將其導(dǎo)出成文本，實(shí)現(xiàn)起來(lái)有一定的難度。 數(shù)據(jù)轉(zhuǎn)換過(guò)程包括兩個(gè)步驟： 將數(shù)據(jù)庫(kù)中的表導(dǎo)出成中間過(guò)渡的文本； 裝載文件。簡(jiǎn)化了設(shè)計(jì)和測(cè)試的過(guò)程，但是另一方面也降低了靈活性。但是抽取過(guò)程可以不需要源和目標(biāo)服務(wù)器上操作系統(tǒng)級(jí)的文件管理權(quán)限。語(yǔ)言集的集合被稱(chēng)為語(yǔ)言組，它可能包含一種或多種語(yǔ)言。利用字符集設(shè)置為 UTF8的中間庫(kù) 二、緩慢變化維處理 緩慢變化維定義 – 在現(xiàn)實(shí)世界中，維度的屬性并不是靜態(tài)的，會(huì)隨著時(shí)間的流失發(fā)生緩慢的變化。 – 數(shù)據(jù)庫(kù)不適合做大數(shù)據(jù)量匯總的話，排序后按排序鍵匯總，并行處理加動(dòng)態(tài)分區(qū)（ ETL廠商高性能匯總的機(jī)理） ◇ ETL定義 ◇ 模式及比較 ◇ ETL過(guò)程 ◇ 問(wèn)題分析 ◇ 現(xiàn)狀分析 目錄 ETL工具廠商 目前 ETL工具來(lái)源： – 數(shù)據(jù)庫(kù)廠商自帶的 ETL工具，如 OWB等； – 第三方工具提供商，如 Informatic等； – 開(kāi)源 ETL工具，如 kettle； ETL和數(shù)據(jù)集成工具： ETL和數(shù)據(jù)集成的工作量占 BI項(xiàng)目的 40%，但是 ETL工具約占 BI市場(chǎng)的 9%，其中很多應(yīng)用是采用手工編碼方式， ETL工具仍有待普及 ????? 謝 謝
教學(xué)課件相關(guān)推薦
鄂ICP備17016276號(hào)-1