etl方法介紹ppt課件(參考版)
2025-05-08 12:12本頁面
【正文】 Business Consulting Services 中國人民保險(xiǎn)公司保險(xiǎn)數(shù)據(jù)模型及業(yè)務(wù)標(biāo)準(zhǔn)化 | 保密 | 2022/6/2 12 ETL過程講解－－數(shù)據(jù)轉(zhuǎn)換過程中一般需要完成的操作 ?數(shù)據(jù)檢查與稽核 ?數(shù)據(jù)類型統(tǒng)一轉(zhuǎn)換 ?賦缺省值 ?數(shù)據(jù)排序 ?數(shù)據(jù)拆分 ?篩選不合格的數(shù)據(jù)并記錄到 Rejected文件中 ?根據(jù)加載要求， CIF文件分為 Load/Append和 Snapshot兩類 ?數(shù)據(jù)拷貝 ?數(shù)據(jù)翻譯 ?數(shù)據(jù)聚合 ?復(fù)雜計(jì)算 ?數(shù)據(jù)匹配 ?對(duì)于必須通過比較才能確定變化的記錄的數(shù)據(jù)，通過比較產(chǎn)生 Delta數(shù)據(jù)和新的基準(zhǔn)數(shù)據(jù) Business Consulting Services 中國人民保險(xiǎn)公司保險(xiǎn)數(shù)據(jù)模型及業(yè)務(wù)標(biāo)準(zhǔn)化 | 保密 | 2022/6/2 13 ETL過程講解－－數(shù)據(jù)處理流程 A r c h i t e c t u r e C o n t r o lA r c h i t e c t u r e C o n t r o l F i l e s amp。 ?CIF (Common Interface Format) ?CIF是 ETL經(jīng)過 C/S/S過程產(chǎn)生的中間數(shù)據(jù)文件。Business Consulting Services 中國人民保險(xiǎn)公司 保險(xiǎn)數(shù)據(jù)模型及業(yè)務(wù)標(biāo)準(zhǔn)化 – 數(shù)據(jù)模型及業(yè)績指標(biāo)和風(fēng)險(xiǎn)測算分析 – ETL方法介紹 2022年 4月 15日 Business Consulting Services 中國人民保險(xiǎn)公司保險(xiǎn)數(shù)據(jù)模型及業(yè)務(wù)標(biāo)準(zhǔn)化 | 保密 | 2022/6/2 2 內(nèi)容 ? ETL基本概念 ? ETL過程講解 ? PICC ETL總體架構(gòu) ? PICC ETL開發(fā)方法 Business Consulting Services 中國人民保險(xiǎn)公司保險(xiǎn)數(shù)據(jù)模型及業(yè)務(wù)標(biāo)準(zhǔn)化 | 保密 | 2022/6/2 3 ETL基本概念－－主要目的 ? 將源系統(tǒng)數(shù)據(jù)經(jīng)過抽取／轉(zhuǎn)換過程，最終裝載到目標(biāo)系統(tǒng) ? 將針對(duì)日常業(yè)務(wù)操作的數(shù)據(jù)轉(zhuǎn)化為針對(duì)數(shù)據(jù)倉庫而存儲(chǔ)的決策支持型數(shù)據(jù) Business Consulting Services 中國人民保險(xiǎn)公司保險(xiǎn)數(shù)據(jù)模型及業(yè)務(wù)標(biāo)準(zhǔn)化 | 保密 | 2022/6/2 4 ETL基本概念－－術(shù)語解釋 ? ETL ExtractTransformLoad的縮寫，數(shù)據(jù)抽?。?Extract）、 轉(zhuǎn)換（ Transform）、 裝載（ Load） 的過程 ? DW DataWarehousing， 根據(jù) ， “ 數(shù)據(jù)倉庫是面向主題的、集成的、穩(wěn)定的、隨時(shí)間變化的，主要用于決策支持的數(shù)據(jù)庫系統(tǒng) ” ? MetaData 元數(shù)據(jù)，就是描述數(shù)據(jù)的數(shù)據(jù)，指在數(shù)據(jù)倉庫建設(shè)過程中所產(chǎn)生的有關(guān)數(shù)據(jù)源定義、目標(biāo)定義、轉(zhuǎn)換規(guī)則等相關(guān)的關(guān)鍵數(shù)據(jù) Business Consulting Services 中國人民保險(xiǎn)公司保險(xiǎn)數(shù)據(jù)模型及業(yè)務(wù)標(biāo)準(zhǔn)化 | 保密 | 2022/6/2 5 ETL基本概念－－數(shù)據(jù)倉庫中的位置 F r o n t E n dC e n t r a l D a t a W a r e h o u s eD a t a S o u r c eD a t a M a r tE n t e r p r i s e D a t a W a r e h o u s eS y s t e m 2信 息 分 析應(yīng) 用 系 統(tǒng)S y s t e m 3S y s t e m 1D B 1D B 3D B 5I n f o r m a t i o n D a t a S t o r e( I D S )O p e r a t i o n a l D a t a S t o r e( O D S )日 報(bào) 表 應(yīng) 用S 5D a t a M a r tE T L E n g i n eData TransformLoad ControllerE T L E n g i n eData TransformLoad ControllerL O ADD B 4D B 6D B 2L O A DS 1D a t a M a r t定 制 查 詢S 2D a t a M a r tO L A P 分 析S 3D a t a M a r t即 席 查 詢S 4D a t a M a r tS 6D a t a M a r tS 7D a t a M a r tE x t r a c t A
教學(xué)課件相關(guān)推薦
鄂ICP備17016276號(hào)-1