etl流程、數(shù)據(jù)流圖及etl過程解決方案(編輯修改稿)
2025-06-21 18:01 本頁面
【文章內(nèi)容簡介】 兩種模式的比較 環(huán)境 條件 異構 (Asynchronous) 同構 (Synchronous) 數(shù)據(jù)傳輸 (Data transfer) 大數(shù)據(jù)量 小數(shù)據(jù)量 網(wǎng)絡連接 (Network connectivity) 廣域網(wǎng) 局域網(wǎng)或者同一數(shù)據(jù)中心 源和目標在物理架構上是否屬于不同的分布式環(huán)境 是 不是 抽取數(shù)據(jù)的復雜度 (Complexity of data) 源中只包含了文本或數(shù)值類型的字段 源數(shù)據(jù)庫中包含了圖形類字段 ◇ ETL定義 ◇ 模式及比較 ◇ ETL過程 ◇ 問題分析 ◇ 現(xiàn)狀分析 目錄 ETL過程 ETL過程： –數(shù)據(jù)抽取 –數(shù)據(jù)清洗 –數(shù)據(jù)轉換 –數(shù)據(jù)加載 ETL的問題 ETL過程 0層 DFD 業(yè) 務 數(shù) 據(jù)P 1 數(shù) 據(jù) 抽 取未 經(jīng) 清 洗 加工 的 數(shù) 據(jù)P 2 數(shù) 據(jù) 清 洗清 洗 后 的 有效 數(shù) 據(jù)文 件 數(shù) 據(jù)P 3 數(shù) 據(jù) 轉 換與 目 標 匹 配的 數(shù) 據(jù)P 4 數(shù) 據(jù) 加 載數(shù) 據(jù) 倉 庫文 件字 段 映 射字 段 映 射數(shù) 據(jù) 過 濾業(yè) 務 清 洗 規(guī) 則加 載轉 換 規(guī) 則轉 換 規(guī) 則加 載裝 載 策 略批 量 加 載R e j e c tP 0E T L 過 程1層 數(shù)據(jù)抽取 業(yè) 務 數(shù) 據(jù)P 1 . 2 增 量抽 取P 1 . 3 全 量抽 取P 1 . 1 字 段關 聯(lián)文 件 數(shù) 據(jù)業(yè) 務 字 段業(yè) 務 字 段原 始 中 轉數(shù) 據(jù)字 段 關 聯(lián) 后 的 數(shù) 據(jù)全 量 數(shù) 據(jù)增 量 數(shù) 據(jù)待 清 洗 數(shù)據(jù)元 數(shù) 據(jù)源 /規(guī) 則抽 取 方 式 /頻 率抽 取 方 式 /頻 率P 1數(shù) 據(jù) 抽 取1層 數(shù)據(jù)清洗 待 清 洗 數(shù)據(jù)P 2 . 1 數(shù) 據(jù) 替換無 效 數(shù) 據(jù)P 2 . 2 數(shù) 據(jù) 補缺缺 失 數(shù) 據(jù)P 2 . 3 數(shù) 據(jù) 規(guī)范 化干 凈 的 中 轉數(shù) 據(jù)干 凈 的 業(yè) 務 數(shù) 據(jù)干 凈 的 業(yè) 務 數(shù) 據(jù)干 凈 的 業(yè) 務 數(shù) 據(jù)干 凈 數(shù) 據(jù)清 洗 后 的有 效 數(shù) 據(jù)格 式 轉 換元 數(shù) 據(jù)清 洗 規(guī) 則清 洗 規(guī) 則清 洗 規(guī) 則P 2數(shù) 據(jù) 清 洗1層 數(shù)據(jù)轉換 清 洗 后 的有 效 數(shù) 據(jù)P 3 . 1 數(shù) 據(jù) /表 拆 分拆 分P 3 . 2 關 聯(lián) 查詢多 表 關 聯(lián)P 3 . 3 數(shù) 據(jù)計 算計 算與 目 標 匹 配的 明 細 數(shù) 據(jù)數(shù) 據(jù) 匹 配匹 配數(shù) 據(jù) 匹 配倉 庫 需 求 的 明細 中 轉 數(shù) 據(jù)元 數(shù) 據(jù)關 聯(lián) 規(guī) 則拆 分 規(guī) 則計 算 規(guī) 則P 3數(shù) 據(jù) 轉 換1層 數(shù)據(jù)加載 與 目 標 匹 配的 明 細 數(shù) 據(jù)P 4 . 1 增 量加 載增 量 數(shù) 據(jù)P 4 . 3 數(shù) 據(jù)比 對維 度 數(shù) 據(jù)P 4 . 2 全 量加 載全 量 數(shù) 據(jù)倉 庫 細 節(jié)事 實 數(shù) 據(jù)倉 庫 細 節(jié)維 度 數(shù) 據(jù)統(tǒng) 一 數(shù) 據(jù)統(tǒng) 一 數(shù) 據(jù)插 入 /更 新文 件 數(shù) 據(jù)R e j e c tR e j e c tR e j e c t元 數(shù) 據(jù)加 載 方 式 /目 標加 載 方 式 /目 標加 載 方 式 /目 標P 4數(shù) 據(jù) 加 載ETL過程 數(shù)據(jù)抽取 – 數(shù)據(jù)來源 ? 文件系統(tǒng)，業(yè)務系統(tǒng) – 抽取方式 ? 根據(jù)具體業(yè)務進行全量或增量抽取 – 抽取效率 ? 將數(shù)據(jù)按一定的規(guī)則拆分成幾部分進行并行處理 – 抽取策略 ? 根據(jù)具體業(yè)務制定抽取的時間、頻度，以及抽取的流程 ETL過程 數(shù)據(jù)清洗 清洗規(guī)則：
教學課件相關推薦
鄂ICP備17016276號-1