【正文】 （ Backup）任務腳本 ?腳本生成器高效的生成 Perl代碼腳本并存放在 Automation相應目錄下 ?生成的 Perl代碼腳本格式統(tǒng)一，有助于維護并增強安全性 ?對生成的 Perl代碼腳本可以自定義修改，一般情況下加載任務腳本不需要修改 Teradata Confidential 21 ETL任務分類 ?ETL加載任務 將源數(shù)據(jù)文件加載到 Teradata數(shù)據(jù)倉庫 調用 Fastload/Multiload/Tpum/TPT等工具 如果數(shù)據(jù)源比較復雜，需要調用 Inmod/Axsmod等 API接口 ?ETL轉換任務 將源表（ Source tables）數(shù)據(jù)根據(jù)業(yè)務需求進行轉換加載到目標表（Target tables）中 調用 Bteq工具 如果轉換比較復雜，可以考慮使用 UDF ? ETL導出任務 將數(shù)據(jù)倉庫表數(shù)據(jù)導出以供接收方使用 調用 Fastexport工具 如果對導出要求較高 ,需要調用 Outmod/Preprocessor等接口 ?ETL備份任務 備份 ETL數(shù)據(jù)及數(shù)據(jù)倉庫表到磁帶庫磁帶 調用 Netvault工具 Teradata Confidential 22 異常監(jiān)控及錯誤處理開發(fā) ?異常監(jiān)控程序開發(fā) 監(jiān)控源數(shù)據(jù)傳輸狀態(tài) 監(jiān)控 ETL任務狀態(tài) ?異常監(jiān)控頁面開發(fā) 監(jiān)控 ETL流程加載情況 進行錯誤報警 ?ETL錯誤處理程序開發(fā) 自動處理 ETL加載失敗的任務 Teradata Confidential 23 任務開發(fā)示例 CSDCC ETL任務開發(fā)說明 ?ETL任務開發(fā) ?ETL任務開發(fā)流程 ?ETL源數(shù)據(jù)加載任務開發(fā) ?ETL轉換任務開發(fā) 標準加載算法 歷史表加載算法 任務映射文檔 sdm excel工具模板 ETL任務測試 ETL開發(fā)、測試總結 ETL程序開發(fā) ETL開發(fā)成果歸檔 Teradata Confidential 24 ETL任務開發(fā) ?ETL加載任務開發(fā) 二進制文件加載任務 – 以 dds文件為核心的開發(fā)模式 – 使用加載任務腳本生成器生成加載任務腳本 其他文件加載任務 – 使用加載任務腳本鏈接生成器直接生成加載任務腳本 ?ETL轉換任務開發(fā) 使用 sdm excel集成工具進行開發(fā) – 便捷的生成源表、目標表的字段映射關系，生成 ETL任務的 sdm文檔 – 便捷的將映射關系插入到 ETL映射表中，生成 ETL映射元數(shù)據(jù) – 便捷的根據(jù) ETL映射元數(shù)據(jù)生成 ETL轉換任務腳本，自動存放在 ETL相應目錄下 – 對較復雜的 ETL任務腳本根據(jù)業(yè)務需求做少許的修改 Teradata Confidential 25 ETL任務開發(fā)流程 Teradata Confidential 26 ETL源數(shù)據(jù)加載任務開發(fā) ?根據(jù)源數(shù)據(jù)結構生成 dds文件 dds文件格式 – ASCII文件 dds文件內容 – 包含表名稱、字段名稱、字段長度、數(shù)值型字段長度、數(shù)值型小數(shù)位數(shù)、字段中文名稱等 7列 – 列之間使用 Tab鍵分隔 – ： Teradata Confidential 27 ETL加載任務開發(fā) ?使用腳本生成器生成加載任務腳本 Usage: SYS JOBDIR DBNAME TABLE DDSFILE – SYS：子系統(tǒng)名稱 – JOBDIR：任務路徑名稱 – DBNAME： source table 所在庫名 – TABLE： source table name – DDSFILE: dds file name 示例： SHH HCGDATV1R0_CGBJJLPF dvs0ddl HCGDATV1R0_CGBJJLPF – 生成源文件結構生成三個加載任務腳本 、 ，腳本自動存放在 $AUTO_HOME\APP\SHH\HCGDATV1R0_CGBJJLPF\bin目錄 下 – 生成一個源數(shù)據(jù)結構文件 ，自動存放在$AUTO_HOME\APP\SHH\HCGDATV1R0_CGBJJLPF\ddl目錄 下 Teradata Confidential 28 Fastload語法 ?Fastload Syntax Set record …。 Sleep …。 Logon …。 Define … INMOD(FILE)=。 End loading。 Teradata Confidential 29 Fastload示例 ? Fasload Example LOGON educ2/user14,ziplock。 DEFINE in_Acctno (CHAR(9)) , in_Trnsdate (CHAR(10)) , in_Balcurr (CHAR(7)) , in_Balfwd (INTEGER) , in_Status (CHAR(10)) FILE = INFILE。YYYYMMDD39。 END LOADING。 Teradata Confidential 30 ETL轉換任務開發(fā) ? 標準加載算法說明 ? 轉換任務腳本生成器說明 生成歷史表加載腳本 生成除歷史表外的加載腳本 ? 使用 sdm excel集成工具進行任務開發(fā) 任務映射文檔說明 源表、目標表字段映射關系 執(zhí)行 ” 生成腳本”語句生成任務腳本 Teradata Confidential 31 標準加載算法 算法代碼 算法名稱 算法說明 0 其它加載方式 手工書寫 sql 1 全表覆蓋 delete/insert 2 直接追加 insert where … 3 歷史表加載 歷史表加載算法 4 主表、歷史表加載 主表、歷史表加載算法 5 主表加載 delete where 主鍵 in()/insert 6 初始、比對加載 初始加載： insert 每日加載： insert … minus … Teradata Confidential 32 歷史表加載算法 ? 2個重要概念 開始日期：數(shù)據(jù)開始存在的日期 結束日期：數(shù)據(jù)消失（或失效）的日期 記錄了數(shù)據(jù)的變動軌跡 ? 初始加載 Insert 開始日期為加載日期或最小日期（ mindate)19800101 結束日期為最大日期（ maxdate） 30001231 ? 日常加載 新增數(shù)據(jù) – 直接插入目標表 – s_date=加載日期， e_date=最大日期 消失或失效數(shù)據(jù) – 更新目標表結束日期字段值 – e_date=加載日期 Teradata Confidential 33 歷史表加載算法示例 Teradata Confidential 34 歷史表腳本生成器 ? 歷史表腳本生成器 Usage: SUBSYS JOBDIR DBNAME HISTABLE LOADMODE [MASTABLE] Function: 拉鏈歷史表數(shù)據(jù)轉換腳本生成 Usage : 使用參數(shù) SUBSYSETL自動流程所定義的子系統(tǒng)名，格式 XXX JOBDIR歷史表數(shù)據(jù)轉換任務名 DBNAME歷史表所在數(shù)據(jù)庫名 HISTABLE歷史表名 LOADMODE目標表加載方式 [1:全表覆蓋 2:直接追加 ] 3:插入歷史表 4:插入歷史表和主表 0:其它