etl流程、數(shù)據(jù)流圖及etl過程解決方案-展示頁
2025-06-03 18:01本頁面
【正文】 將其裝配，提高開發(fā)效率。很難判斷問題究竟是由于抽取程序還是由于源數(shù)據(jù)的變化引起的 (上一次抽取的數(shù)據(jù)是什么 ?)。問題發(fā)生時(shí)，可以很容易地確定是哪一個(gè)環(huán)節(jié)發(fā)生了問題，源，目標(biāo)還是網(wǎng)絡(luò)傳輸？ 與異步模式相比，查錯(cuò)過程比較復(fù)雜。可以在源和目標(biāo)庫中運(yùn)行 Sum 和 Count等聚合函數(shù)來對數(shù)據(jù)質(zhì)量進(jìn)行校驗(yàn)。 需要有專門的核查 (Audit)程序來監(jiān)控?cái)?shù)據(jù)傳輸或者裝載過程是否有失敗或者記錄缺失的情況發(fā)生。這樣就可以避免多次重復(fù)裝載的情況發(fā)生。 前提 是必須先刪除上一次裝載失敗從而在目標(biāo)庫中產(chǎn)生的垃圾數(shù)據(jù)，回滾 (Roll back)，返回到上一次加載數(shù)據(jù)前的狀態(tài)。 與異構(gòu)模式類似，當(dāng) ETL錯(cuò)誤發(fā)生也可以采用相應(yīng)手段來修復(fù)數(shù)據(jù)。 異構(gòu) (Asynchronous ) 同構(gòu) (Synchronous ) 當(dāng) ETL錯(cuò)誤發(fā)生時(shí)，可以采用簡單的處理辦法修復(fù)數(shù)據(jù)：當(dāng)抽取失敗時(shí)，修正問題并重新從源中抽??；當(dāng)裝載過程發(fā)生問題，回滾 (Roll back)，返回上一次裝載的狀態(tài)并再次運(yùn)行裝載的程序。 源和目標(biāo)的關(guān)系是被綁定在具體的映射中的。 源和目標(biāo)之間沒有直接的聯(lián)系。 只需要一個(gè) ETL軟件包。除此之外，還應(yīng)該充分考慮源和目標(biāo)兩套數(shù)據(jù)庫系統(tǒng)的 Down機(jī)的時(shí)間因素。如果源數(shù)據(jù)系統(tǒng)時(shí)刻都有新數(shù)據(jù)插入，一種解決辦法是設(shè)置一個(gè)時(shí)間區(qū)間，定義每次抽取的開始和結(jié)束時(shí)間值：本次抽取的開始時(shí)間為上次抽取的結(jié)束時(shí)間，本次抽取的結(jié)束時(shí)間為機(jī)器系統(tǒng)時(shí)間（ Sysdate）或者是目前數(shù)據(jù)庫系統(tǒng)中已有記錄的最大時(shí)間戳值。對于 ODS系統(tǒng)來說，數(shù)據(jù)不會頻繁地發(fā)生變動(dòng)；而對于 OLTP系統(tǒng)來說，應(yīng)該選擇源數(shù)據(jù)變化較少的時(shí)段完成抽取工作。 在數(shù)據(jù)抽取過程中，應(yīng)盡量避免本次抽取定義的時(shí)間區(qū)間內(nèi)的源數(shù)據(jù)在抽取過程中同時(shí)產(chǎn)生變動(dòng)的情況。 – 流程化的配置管理和標(biāo)準(zhǔn)協(xié)議 – 數(shù)據(jù)質(zhì)量的保證 ? 正確性、一致性、完整性、有效性、可獲取性 ◇ ETL定義 ◇ 模式及比較 ◇ ETL過程 ◇ 問題分析 ◇ 現(xiàn)狀分析 目錄 ETL模式及比較 兩種模式 –異構(gòu) –同構(gòu) 模式比較的維度： –特點(diǎn) –環(huán)境 ETL模式 同構(gòu) Syn chronous architec tureE TLSou rceD T MR e a d e rTa rge tSou rce D a ta C e nte rSou rce D a ta C e nte r Ta rge t D a ta C e nte rTa rge t D a ta C e nte rETLETL模式 異構(gòu) As yn chron o u s ar chit ect ur eE TLSou rceD T MR e a d e rTa rge tFTPFTPETLETL Fl a t Fl a t FileFileFl a t Fl a t FileFileETLETLSou rce D a ta C e nte rSou rce D a ta C e nte r Ta rge t D a ta C e nte rTa rge t D a ta C e nte r兩種模式的比較 特點(diǎn) 異構(gòu) (Asynchronous ) 同構(gòu) (Synchronous ) 比同構(gòu)模式提供了更好的數(shù)據(jù)處理性能，需要更少的處理時(shí)間，因?yàn)橥ㄟ^網(wǎng)絡(luò)傳輸文件的速度比直接通過數(shù)據(jù)庫存取數(shù)據(jù)要快很多。保證數(shù)據(jù)的安全性、集成與加載的高效性。關(guān)于 ETL相關(guān)問題的解決辦法 ◇ ETL定義 ◇ 模式及比較 ◇ ETL過程 ◇ 問題分析 ◇ 現(xiàn)狀分析 目錄 ETL定義 ETL定義涉及以下內(nèi)容： – ETL定義 – ETL前提 – ETL原則 ETL定義 定義： –數(shù)據(jù)的抽取 (Extract)、轉(zhuǎn)換 (Tran
教學(xué)課件相關(guān)推薦
鄂ICP備17016276號-1