數(shù)據(jù)倉(cāng)庫(kù)實(shí)施指南-資料下載頁(yè)
2025-01-10 01:57本頁(yè)面
【正文】 間戳 字段值。當(dāng)作 ETL加載時(shí)，通過(guò)系統(tǒng)時(shí)間與 時(shí)間戳 字段的比較來(lái)決定進(jìn)行何種數(shù)據(jù)抽取。 優(yōu)點(diǎn)： ETL系統(tǒng)設(shè)計(jì)清晰，源數(shù)據(jù)抽取相對(duì)清楚簡(jiǎn)單，速度快。可以實(shí)現(xiàn)數(shù)據(jù)的 增量抽取 。 缺點(diǎn)： 時(shí)間 戳維護(hù)需要由 源系統(tǒng) 完成，需要修改 源系統(tǒng) 中業(yè)務(wù)表結(jié)構(gòu)；所有添加 時(shí)間戳 的表，在業(yè)務(wù)系統(tǒng)中，數(shù)據(jù)發(fā)生變化時(shí)，同時(shí)更新 時(shí)間戳 字段，需要對(duì) 源系統(tǒng) 業(yè)務(wù)操作程序作修改， 工作量大，改動(dòng)面大，風(fēng)險(xiǎn)大。 三、數(shù)據(jù)倉(cāng)庫(kù)實(shí)施方法 ETL設(shè)計(jì) —— 數(shù)據(jù)抽取策略 2. 全刪全插方式 每次 ETL操作均刪除目標(biāo)表數(shù)據(jù)，由 ETL全新加載數(shù)據(jù)。 優(yōu)點(diǎn)： ETL加載規(guī)則簡(jiǎn)單，速度快 缺點(diǎn)：對(duì)于維表加代理鍵不適應(yīng)，當(dāng) 源系統(tǒng) 產(chǎn)生刪除數(shù)據(jù)操作時(shí)，OLAP層將不會(huì)記錄到所刪除的歷史數(shù)據(jù)。 不可以實(shí)現(xiàn)數(shù)據(jù)的 遞增抽取，不適合大數(shù)據(jù)量的抽取 。 三、數(shù)據(jù)倉(cāng)庫(kù)實(shí)施方法 ETL設(shè)計(jì) —— 數(shù)據(jù)抽取策略 3. 全表對(duì)比方式 在 ETL過(guò)程中，抽取所有源數(shù)據(jù)，并進(jìn)行相應(yīng)規(guī)則轉(zhuǎn)換，完成后先不插入目標(biāo)，而對(duì)每條數(shù)據(jù)進(jìn)行目標(biāo)表比對(duì)。根據(jù)主鍵值進(jìn)行插入與更新的判定，目標(biāo)表已存在該主鍵值的，表示該記錄已有，并進(jìn)行其余字段比對(duì)，如有不同，進(jìn)行 Update操作，如目標(biāo)表沒(méi)有存在該主鍵值，表示該記錄還沒(méi)有，即進(jìn)行 Insert操作。 優(yōu)點(diǎn)：對(duì)已有系統(tǒng)表結(jié)構(gòu)不產(chǎn)生影響，不需要修改業(yè)務(wù)操作程序，所有抽取規(guī)則由 ETL完成，管理維護(hù)統(tǒng)一，可以實(shí)現(xiàn)數(shù)據(jù)的遞增加載。沒(méi)有風(fēng)險(xiǎn)。 缺點(diǎn)： ETL比對(duì)較復(fù)雜，設(shè)計(jì)較為復(fù)雜，速度較慢 三、數(shù)據(jù)倉(cāng)庫(kù)實(shí)施方法 ETL設(shè)計(jì) —— 數(shù)據(jù)抽取策略 4. 業(yè)務(wù)日志表方式 在 源系統(tǒng) 中添加系統(tǒng)日志表，當(dāng)業(yè)務(wù)數(shù)據(jù)發(fā)生變化時(shí)，更新維護(hù)日志表內(nèi)容，當(dāng)作 ETL加載時(shí)，通過(guò)讀日志表數(shù)據(jù)決定加載那些數(shù)據(jù)及如何加載。 優(yōu)點(diǎn)：不需要修改 源系統(tǒng) 表結(jié)構(gòu)，源數(shù)據(jù)抽取清楚，速度較快。可以實(shí)現(xiàn)數(shù)據(jù)的遞增加載。 缺點(diǎn)：日志表維護(hù)需要由 源系統(tǒng) 完成，需要對(duì) 源系統(tǒng) 業(yè)務(wù)操作程序作修改，記錄日志信息。日志表維護(hù)較為麻煩，對(duì)原有系統(tǒng)有較大影響。工作量較大，改動(dòng)較大。有一定風(fēng)險(xiǎn)。 三、數(shù)據(jù)倉(cāng)庫(kù)實(shí)施方法 ETL設(shè)計(jì) —— 數(shù)據(jù)抽取策略 5. 觸發(fā)器方式 觸發(fā)器方式是普遍采取的一種增量抽取機(jī)制該方式。根據(jù)抽取要求在要被抽取的源表上建立插入、修改、刪除 3個(gè)觸發(fā)器。每當(dāng)源表中的數(shù)據(jù)發(fā)生變化，就被相應(yīng)的觸發(fā)器將變化的數(shù)據(jù)寫入一個(gè)增量日志表， ETL的增量抽取則是從增量日志表中而不是直接在源表中抽取數(shù)據(jù)，同時(shí)增量日志表中抽取過(guò)的數(shù)據(jù)要及時(shí)被標(biāo)記或刪除。 優(yōu)點(diǎn)： ETL系統(tǒng)設(shè)計(jì) 簡(jiǎn)單 ，源數(shù)據(jù)抽取相對(duì)清楚簡(jiǎn)單，速度快。可以實(shí)現(xiàn)數(shù)據(jù)的 增量抽取 。 缺點(diǎn)： 需要在源系統(tǒng)中要抽取的表上增加 3個(gè)觸發(fā)器，源系統(tǒng)業(yè)務(wù)非常頻繁時(shí)，對(duì)系統(tǒng)性能會(huì)有一定影響。 三、數(shù)據(jù)倉(cāng)庫(kù)實(shí)施方法 ETL設(shè)計(jì) —— 數(shù)據(jù)清洗轉(zhuǎn)換 數(shù)據(jù)轉(zhuǎn)換是指對(duì)抽取的源表根據(jù)數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)模型的要求進(jìn)行數(shù)據(jù)的轉(zhuǎn)換、清洗、拆分、匯總等處理，保證來(lái)自不同系統(tǒng)不同格式的數(shù)據(jù)的一致性和完整性，并按業(yè)務(wù)要求裝入目標(biāo)表。 數(shù)據(jù)格式錯(cuò)誤（比如卷煙條碼必須是 13位、 日期越界 ） 數(shù)據(jù)不完整性（比如維度表屬性缺失） 刪除重復(fù)記錄 數(shù)據(jù)不一致性（比如卷煙在不同系統(tǒng)具有不同的編碼規(guī)則） 數(shù)據(jù)之間的關(guān)聯(lián)（多個(gè)源表加工到一張表中） 數(shù)據(jù)之間的計(jì)算（衍生指標(biāo)，比如利潤(rùn)） 數(shù)據(jù)粒度的轉(zhuǎn)換 三、數(shù)據(jù)倉(cāng)庫(kù)實(shí)施方法 ETL設(shè)計(jì) —— 數(shù)據(jù)加載 數(shù)據(jù)加載是加載經(jīng)轉(zhuǎn)換和匯總的數(shù)據(jù)到目標(biāo)數(shù)據(jù)倉(cāng)庫(kù)中。 三、數(shù)據(jù)倉(cāng)庫(kù)實(shí)施方法 ETL設(shè)計(jì) —— 管理 ETL過(guò)程 需要建立一個(gè)能夠創(chuàng)建、管理和監(jiān)視 ETL工作流的工作環(huán)境。至少包括以下內(nèi)容： ① 作業(yè)注冊(cè) ② 作業(yè)調(diào)度 ③ 運(yùn)行監(jiān)控 ④ 任務(wù)通知 三、學(xué)習(xí)資料 推薦書籍 《 數(shù)據(jù)倉(cāng)庫(kù)工具箱：維度建模的完全指南 》 : 1072234 《 Star Schema完全參考手冊(cè)：數(shù)據(jù)倉(cāng)庫(kù)維度設(shè)計(jì)權(quán)威指南 》 ： 《 數(shù)據(jù)倉(cāng)庫(kù)生命周期工具箱 》 ： 演講完畢，謝謝觀看！
教學(xué)教案相關(guān)推薦
鄂ICP備17016276號(hào)-1