【文章內(nèi)容簡(jiǎn)介】 source table 所在庫(kù)名 – TABLE： source table name – DDSFILE: dds file name 示例： SHH HCGDATV1R0_CGBJJLPF dvs0ddl HCGDATV1R0_CGBJJLPF – 生成源文件結(jié)構(gòu)生成三個(gè)加載任務(wù)腳本 、 ，腳本自動(dòng)存放在 $AUTO_HOME\APP\SHH\HCGDATV1R0_CGBJJLPF\bin目錄 下 – 生成一個(gè)源數(shù)據(jù)結(jié)構(gòu)文件 ，自動(dòng)存放在$AUTO_HOME\APP\SHH\HCGDATV1R0_CGBJJLPF\ddl目錄 下 Teradata Confidential 28 Fastload語(yǔ)法 ?Fastload Syntax Set record …。 Tenacity …。 Sleep …。 Session … 。 Logon …。 Begin loading … ERRORFILES …。 Define … INMOD(FILE)=。 Insert … values (…)。 End loading。 Logoff。 Teradata Confidential 29 Fastload示例 ? Fasload Example LOGON educ2/user14,ziplock。 BEGIN LOADING Accounts ERRORFILES Accts_Err1, Accts_Err2 。 DEFINE in_Acctno (CHAR(9)) , in_Trnsdate (CHAR(10)) , in_Balcurr (CHAR(7)) , in_Balfwd (INTEGER) , in_Status (CHAR(10)) FILE = INFILE。 INSERT INTO Accounts (Account_Number ,Account_Status ,Trans_Date ,Balance_Forward ,Balance_Current) VALUES ( :in_Acctno ,:in_Status ,:in_Trnsdate (Format 39。YYYYMMDD39。) ,:in_Balfwd ,:in_Balcurr)。 END LOADING。 LOGOFF。 Teradata Confidential 30 ETL轉(zhuǎn)換任務(wù)開(kāi)發(fā) ? 標(biāo)準(zhǔn)加載算法說(shuō)明 ? 轉(zhuǎn)換任務(wù)腳本生成器說(shuō)明 生成歷史表加載腳本 生成除歷史表外的加載腳本 ? 使用 sdm excel集成工具進(jìn)行任務(wù)開(kāi)發(fā) 任務(wù)映射文檔說(shuō)明 源表、目標(biāo)表字段映射關(guān)系 執(zhí)行 ” 生成腳本”語(yǔ)句生成任務(wù)腳本 Teradata Confidential 31 標(biāo)準(zhǔn)加載算法 算法代碼 算法名稱(chēng) 算法說(shuō)明 0 其它加載方式 手工書(shū)寫(xiě) sql 1 全表覆蓋 delete/insert 2 直接追加 insert where … 3 歷史表加載 歷史表加載算法 4 主表、歷史表加載 主表、歷史表加載算法 5 主表加載 delete where 主鍵 in()/insert 6 初始、比對(duì)加載 初始加載： insert 每日加載： insert … minus … Teradata Confidential 32 歷史表加載算法 ? 2個(gè)重要概念 開(kāi)始日期：數(shù)據(jù)開(kāi)始存在的日期 結(jié)束日期：數(shù)據(jù)消失（或失效）的日期 記錄了數(shù)據(jù)的變動(dòng)軌跡 ? 初始加載 Insert 開(kāi)始日期為加載日期或最小日期（ mindate)19800101 結(jié)束日期為最大日期（ maxdate） 30001231 ? 日常加載 新增數(shù)據(jù) – 直接插入目標(biāo)表 – s_date=加載日期， e_date=最大日期 消失或失效數(shù)據(jù) – 更新目標(biāo)表結(jié)束日期字段值 – e_date=加載日期 Teradata Confidential 33 歷史表加載算法示例 Teradata Confidential 34 歷史表腳本生成器 ? 歷史表腳本生成器 Usage: SUBSYS JOBDIR DBNAME HISTABLE LOADMODE [MASTABLE] Function: 拉鏈歷史表數(shù)據(jù)轉(zhuǎn)換腳本生成 Usage : 使用參數(shù) SUBSYSETL自動(dòng)流程所定義的子系統(tǒng)名，格式 XXX JOBDIR歷史表數(shù)據(jù)轉(zhuǎn)換任務(wù)名 DBNAME歷史表所在數(shù)據(jù)庫(kù)名 HISTABLE歷史表名 LOADMODE目標(biāo)表加載方式 [1:全表覆蓋 2:直接追加 ] 3:插入歷史表 4:插入歷史表和主表 0:其它 MASTABLE主表名 (該參數(shù)若省略，則無(wú)主表 ) ? 生成網(wǎng)站歷史表加載任務(wù) clp_pty_mgr_dtl_src_his腳本示例： CLP clp_pty_mgr_dtl_src_his dvpdata clp_pty_mgr_dtl_src_his 3 腳本名稱(chēng) 腳本自動(dòng)存放在 $AUTO_HOME\APP\CLP\ clp_pty_mgr_dtl_src_his\bin目錄 Teradata Confidential 35 除歷史表外的加載腳本生成器 ? 除歷史表外的加載腳本生成器 Usage: SUBSYS JOBDIR DBNAME HISTABLE LOADMODE_D DATEFLD Function: 目標(biāo)表數(shù)據(jù)轉(zhuǎn)換腳本生成 Usage : 使用參數(shù) SUBSYSETL自動(dòng)流程所定義的子系統(tǒng)名，格式 XXX JOBDIR目標(biāo)表數(shù)據(jù)轉(zhuǎn)換任務(wù)名 DBNAME目標(biāo)表所在數(shù)據(jù)庫(kù)名 HISTABLE目標(biāo)表名 LOADMODE_D目標(biāo)表日常加載方式 【 1:全表覆蓋 2:直接追加 5:插入主表 6:初始比對(duì) 0:其它 】 DATEFLD加載方式為 6時(shí)的“日期修改字段” ? 生成深圳數(shù)據(jù)表 act_s_acct_mdf_src示例（加載算法為直接追加）： ACT act_s_acct_mdf_src dvpdata act_s_acct_mdf_src 2 upd_date 腳本名稱(chēng) act_s_acct_mdf_src 腳本自動(dòng)存放在 $AUTO_HOME\APP\CLP\ act_s_acct_mdf_src \bin目錄 Teradata Confidential 36 任務(wù)映射文檔 ?文檔名稱(chēng) :DEV_datamapping文檔建立日期 .xls ?記錄了目標(biāo)表、源表之間的表級(jí)映射關(guān)系 ?記錄了目標(biāo)表的業(yè)務(wù)主題、加載算法及加載說(shuō)明 ?記錄了目標(biāo)表的加載頻率 ?包含了眾多的轉(zhuǎn)換任務(wù) Teradata Confidential 37 sdm excel工具模板（一） ?為 Excel文件 ?包含 3個(gè) excel sheet 制作 DataMap – 生成源表、目標(biāo)表字段的映射關(guān)系 DataMap任務(wù) – 存放從 ”任務(wù)映射文檔 ”中拷貝過(guò)來(lái)的表級(jí)映射關(guān)系 制作腳本 – 存放“生成腳本 ”語(yǔ)句 ?包含定制 VB代碼宏 ”宏 :加載導(dǎo)入 mapping表