etl流程、數(shù)據(jù)流圖及etl過(guò)程解決方案(編輯修改稿)
2025-06-21 18:01 本頁(yè)面
【文章內(nèi)容簡(jiǎn)介】 兩種模式的比較 環(huán)境 條件 異構(gòu) (Asynchronous) 同構(gòu) (Synchronous) 數(shù)據(jù)傳輸 (Data transfer) 大數(shù)據(jù)量 小數(shù)據(jù)量 網(wǎng)絡(luò)連接 (Network connectivity) 廣域網(wǎng) 局域網(wǎng)或者同一數(shù)據(jù)中心 源和目標(biāo)在物理架構(gòu)上是否屬于不同的分布式環(huán)境 是 不是 抽取數(shù)據(jù)的復(fù)雜度 (Complexity of data) 源中只包含了文本或數(shù)值類(lèi)型的字段 源數(shù)據(jù)庫(kù)中包含了圖形類(lèi)字段 ◇ ETL定義 ◇ 模式及比較 ◇ ETL過(guò)程 ◇ 問(wèn)題分析 ◇ 現(xiàn)狀分析 目錄 ETL過(guò)程 ETL過(guò)程： –數(shù)據(jù)抽取 –數(shù)據(jù)清洗 –數(shù)據(jù)轉(zhuǎn)換 –數(shù)據(jù)加載 ETL的問(wèn)題 ETL過(guò)程 0層 DFD 業(yè) 務(wù) 數(shù) 據(jù)P 1 數(shù) 據(jù) 抽 取未 經(jīng) 清 洗 加工 的 數(shù) 據(jù)P 2 數(shù) 據(jù) 清 洗清 洗 后 的 有效 數(shù) 據(jù)文 件 數(shù) 據(jù)P 3 數(shù) 據(jù) 轉(zhuǎn) 換與 目 標(biāo) 匹 配的 數(shù) 據(jù)P 4 數(shù) 據(jù) 加 載數(shù) 據(jù) 倉(cāng) 庫(kù)文 件字 段 映 射字 段 映 射數(shù) 據(jù) 過(guò) 濾業(yè) 務(wù) 清 洗 規(guī) 則加 載轉(zhuǎn) 換 規(guī) 則轉(zhuǎn) 換 規(guī) 則加 載裝 載 策 略批 量 加 載R e j e c tP 0E T L 過(guò) 程1層 數(shù)據(jù)抽取 業(yè) 務(wù) 數(shù) 據(jù)P 1 . 2 增 量抽 取P 1 . 3 全 量抽 取P 1 . 1 字 段關(guān) 聯(lián)文 件 數(shù) 據(jù)業(yè) 務(wù) 字 段業(yè) 務(wù) 字 段原 始 中 轉(zhuǎn)數(shù) 據(jù)字 段 關(guān) 聯(lián) 后 的 數(shù) 據(jù)全 量 數(shù) 據(jù)增 量 數(shù) 據(jù)待 清 洗 數(shù)據(jù)元 數(shù) 據(jù)源 /規(guī) 則抽 取 方 式 /頻 率抽 取 方 式 /頻 率P 1數(shù) 據(jù) 抽 取1層 數(shù)據(jù)清洗 待 清 洗 數(shù)據(jù)P 2 . 1 數(shù) 據(jù) 替換無(wú) 效 數(shù) 據(jù)P 2 . 2 數(shù) 據(jù) 補(bǔ)缺缺 失 數(shù) 據(jù)P 2 . 3 數(shù) 據(jù) 規(guī)范 化干 凈 的 中 轉(zhuǎn)數(shù) 據(jù)干 凈 的 業(yè) 務(wù) 數(shù) 據(jù)干 凈 的 業(yè) 務(wù) 數(shù) 據(jù)干 凈 的 業(yè) 務(wù) 數(shù) 據(jù)干 凈 數(shù) 據(jù)清 洗 后 的有 效 數(shù) 據(jù)格 式 轉(zhuǎn) 換元 數(shù) 據(jù)清 洗 規(guī) 則清 洗 規(guī) 則清 洗 規(guī) 則P 2數(shù) 據(jù) 清 洗1層 數(shù)據(jù)轉(zhuǎn)換 清 洗 后 的有 效 數(shù) 據(jù)P 3 . 1 數(shù) 據(jù) /表 拆 分拆 分P 3 . 2 關(guān) 聯(lián) 查詢(xún)多 表 關(guān) 聯(lián)P 3 . 3 數(shù) 據(jù)計(jì) 算計(jì) 算與 目 標(biāo) 匹 配的 明 細(xì) 數(shù) 據(jù)數(shù) 據(jù) 匹 配匹 配數(shù) 據(jù) 匹 配倉(cāng) 庫(kù) 需 求 的 明細(xì) 中 轉(zhuǎn) 數(shù) 據(jù)元 數(shù) 據(jù)關(guān) 聯(lián) 規(guī) 則拆 分 規(guī) 則計(jì) 算 規(guī) 則P 3數(shù) 據(jù) 轉(zhuǎn) 換1層 數(shù)據(jù)加載 與 目 標(biāo) 匹 配的 明 細(xì) 數(shù) 據(jù)P 4 . 1 增 量加 載增 量 數(shù) 據(jù)P 4 . 3 數(shù) 據(jù)比 對(duì)維 度 數(shù) 據(jù)P 4 . 2 全 量加 載全 量 數(shù) 據(jù)倉(cāng) 庫(kù) 細(xì) 節(jié)事 實(shí) 數(shù) 據(jù)倉(cāng) 庫(kù) 細(xì) 節(jié)維 度 數(shù) 據(jù)統(tǒng) 一 數(shù) 據(jù)統(tǒng) 一 數(shù) 據(jù)插 入 /更 新文 件 數(shù) 據(jù)R e j e c tR e j e c tR e j e c t元 數(shù) 據(jù)加 載 方 式 /目 標(biāo)加 載 方 式 /目 標(biāo)加 載 方 式 /目 標(biāo)P 4數(shù) 據(jù) 加 載ETL過(guò)程 數(shù)據(jù)抽取 – 數(shù)據(jù)來(lái)源 ? 文件系統(tǒng)，業(yè)務(wù)系統(tǒng) – 抽取方式 ? 根據(jù)具體業(yè)務(wù)進(jìn)行全量或增量抽取 – 抽取效率 ? 將數(shù)據(jù)按一定的規(guī)則拆分成幾部分進(jìn)行并行處理 – 抽取策略 ? 根據(jù)具體業(yè)務(wù)制定抽取的時(shí)間、頻度，以及抽取的流程 ETL過(guò)程 數(shù)據(jù)清洗 清洗規(guī)則：
教學(xué)課件相關(guān)推薦
鄂ICP備17016276號(hào)-1