kettle公司培訓(xùn)手冊(cè)(編輯修改稿)
2025-07-22 07:03 本頁(yè)面
【文章內(nèi)容簡(jiǎn)介】 1.只增加，不更新，2.只更新，不增加3.即增加也更新4.有刪除，有增加，有更新下面針對(duì)前三種做一個(gè)增量的ETL抽取。過(guò)程如下：根據(jù)前面講解的例子一樣，首先建立源表（fina_test1）和目標(biāo)表（fina_test2），整個(gè)設(shè)計(jì)流程如下:其中第一個(gè)步驟（輸入目標(biāo)表）的sql 大概如下模式：select ifnull(max(date_seal),39。19000101 00:00:0039。) from fina_test2你會(huì)注意到第二個(gè)步驟和第一個(gè)步驟的連接是黃色的線，這是因?yàn)榈诙€(gè)table input（輸入源表）步驟把前面一個(gè)步驟的輸出當(dāng)作一個(gè)參數(shù)來(lái)用，所有Kettle用黃色的線來(lái)表示，第二個(gè)table input（輸入源表） 的sql 模式大概如下：SELECT * FROM fina_test1 where date_seal?后面的一個(gè)問(wèn)號(hào)就是表示它需要接受一個(gè)參數(shù)，你在這個(gè)table input（輸入源表）下面需要指定replace variable in script 選項(xiàng)和 執(zhí)行每一行 為選中狀態(tài)，這樣，Kettle就會(huì)循環(huán)執(zhí)行這個(gè)sql , 執(zhí)行的次數(shù)為前面參數(shù)步驟傳入的數(shù)據(jù)集的大小。關(guān)于第三個(gè)步驟執(zhí)行插入/更新步驟需要特別解釋一下，Kettle執(zhí)行這個(gè)步驟是需要兩個(gè)數(shù)據(jù)流對(duì)比，其中一個(gè)是目標(biāo)數(shù)據(jù)庫(kù)，你在目標(biāo)表 里面指定的，它放在用來(lái)查詢的關(guān)鍵字左邊的表字段里面的，另外一個(gè)數(shù)據(jù)流就是你在前一個(gè)步驟傳進(jìn)來(lái)的，它放在用來(lái)查詢的關(guān)鍵字 的右邊，Kettle首先用你傳進(jìn)來(lái)的key 在數(shù)據(jù)庫(kù)中查詢這些記錄，如果沒(méi)有找到，它就插入一條記錄，所有的值都跟你原來(lái)的值相同，如果根據(jù)這個(gè)key找到了這條記錄，kettle會(huì)比較這兩條記錄，根據(jù)你指定update field 來(lái)比較，如果
研究報(bào)告相關(guān)推薦
鄂ICP備17016276號(hào)-1