【正文】 profile Teradata Confidential 63 議題 ?ETL 介紹 ?ETL Automation說(shuō)明 ?ETL 開(kāi)發(fā) ?ETL 管理維護(hù) ?ETL人員職責(zé)與技能要求 ?ETL人員職責(zé) ?技能要求 Teradata Confidential 64 ETL人員職責(zé)領(lǐng)域 ?能夠捕獲并把握 ETL需求 ?能夠設(shè)計(jì)、開(kāi)發(fā)以及測(cè)試從舊版本系統(tǒng)或生產(chǎn)系統(tǒng)抽取數(shù)據(jù)的程序 ?能夠設(shè)計(jì)、開(kāi)發(fā)以及測(cè)試在數(shù)據(jù)加載入庫(kù)前對(duì)數(shù)據(jù)驗(yàn)證和加工處理的程序 ?能夠設(shè)計(jì)、開(kāi)發(fā)以及測(cè)試加載初始數(shù)據(jù)和日常數(shù)據(jù)的程序 ?能夠?yàn)閿?shù)據(jù)的及時(shí)性和傳輸頻率設(shè)計(jì)符合 SLA的流程 ?能夠決定哪些數(shù)據(jù)是歷史數(shù)據(jù)以及這些歷史數(shù)據(jù)的保存周期 ?能夠決定數(shù)據(jù)的增長(zhǎng)趨勢(shì)和業(yè)務(wù)峰值周期 Teradata Confidential 65 ETL人員技能要求 ? 精通 Teradata數(shù)據(jù)庫(kù) ? 精通 ETL tools 技能種類(lèi) 技能要求 Databases 熟練掌握 Teradata Active Data Warehousing Knowledge 精通 Tools – Development 精通 Tools – Enterprise Application Integration 熟練掌握 Tools – ERP Software 熟練掌握 Tools – ETL 精通 Tools – Job Control and Scheduling 熟練掌握 Tools – Modeling 了解 Tools – Operating Systems/Networking 了解 Tools – Security 了解 Tools – Teradata 精通 Teradata Confidential 66 THANK YOU! Qamp。 ? 角色 (role)amp。 – 語(yǔ)法 : DROP PROFILE profile_name。 – 語(yǔ)法 : REVOKE role_name TO[FROM] user_name[role_name]。 – 語(yǔ)法 : REVOKE access_rights TO role_name。 – 語(yǔ)法 : DROP ROLE role_name。常見(jiàn)的情況： – 將一條記錄放入臨時(shí)表中，使用此臨時(shí)表字段與其他表的 PPI字段關(guān)聯(lián) – 對(duì) PPI字段的表進(jìn)行全表掃描，執(zhí)行效率極差 – 將此條記錄取出，然后做為常量和表的 PPI字段連接 – 對(duì) PPI字段的表部分記錄掃描，執(zhí)行效率極高 Teradata Confidential 61 數(shù)據(jù)庫(kù)用戶(hù)管理 ?角色 (role)amp。 LOGOFF。) ,:in_Balfwd ,:in_Balcurr)。 INSERT INTO Accounts (Account_Number ,Account_Status ,Trans_Date ,Balance_Forward ,Balance_Current) VALUES ( :in_Acctno ,:in_Status ,:in_Trnsdate (Format 39。 BEGIN LOADING Accounts ERRORFILES Accts_Err1, Accts_Err2 。 Logoff。 Insert … values (…)。 Begin loading … ERRORFILES …。 Session … 。 Tenacity …。而在發(fā)現(xiàn)有次要服務(wù)器未能在一段時(shí)間內(nèi)送來(lái)存活封包的話(huà) , 則會(huì)認(rèn)定此次要服務(wù)器 為停止?fàn)顟B(tài) , 而會(huì)將當(dāng)時(shí)正在此部次要服務(wù)器上執(zhí)行的作業(yè)的狀態(tài)設(shè)成失敗 (Failed)。在此目錄下先建子系統(tǒng)目錄，然后建 ETL任務(wù)目錄 |/DATA |/plete 存放已成功執(zhí)行過(guò)的數(shù)據(jù) . 以系統(tǒng)名稱(chēng)以及日期來(lái)建立子目錄 |/fail |/bypass 存放不須執(zhí)行的檔案 .以系統(tǒng)名稱(chēng)以及日期來(lái)建立子目錄 |/corrupt 存放大小不符合的檔案 . 以系統(tǒng)名稱(chēng)以及日期來(lái)建立子目錄 |/duplicate 存放重復(fù)接收的檔案 . 以系統(tǒng)名稱(chēng)以及日期來(lái)建立子目錄 |/error 存放執(zhí)行作業(yè)過(guò)程中產(chǎn)生錯(cuò)誤的檔案 . 以系統(tǒng)名稱(chēng)以及日期來(lái)建立子目錄 |/unknown 存放未定義在 ETL Automation 機(jī)制中的檔案 . 以日期來(lái)建立子目錄 |/message 存放要發(fā)送訊息通知的控制文件 |/process 存放正在執(zhí)行中的作業(yè)所使用的數(shù)據(jù)文件及控制檔 |/queue 存放準(zhǔn)備要執(zhí)行的作業(yè)所使用的數(shù)據(jù)文件及控制檔 |/receive 用來(lái)接收各來(lái)源系統(tǒng)所傳送來(lái)的數(shù)據(jù)文件及控制文件 |/LOG 存放 ETL Automation 系統(tǒng)程序及各作業(yè)在執(zhí)行時(shí)所產(chǎn)生的記錄檔案 |/bin 存放 ETL Automation 系統(tǒng)程序的執(zhí)行文件 |/etc 存放 ETL Automation 機(jī)制的一些設(shè)定檔案 |/lock 存放 ETL Automation 系統(tǒng)程序及各作業(yè)在執(zhí)行時(shí)所產(chǎn)生的 lock 檔案 |/tmp 臨時(shí)緩沖目錄，存放臨時(shí)文件 Teradata Confidential 14 ETL Automation服務(wù) 服務(wù)名稱(chēng) 說(shuō)明 負(fù)責(zé)執(zhí)行遠(yuǎn)程操作的動(dòng)作 負(fù)責(zé)執(zhí)行數(shù)據(jù)清除 (House Keeping) 的動(dòng)作 負(fù)責(zé)處理由 所交付的檔案 。Teradata Trainee Technical Booklets Course 5－ ETL開(kāi)發(fā)與維護(hù) By： Li Erniu Teradata Confidential 2 議題 ?ETL 介紹 ?ETL Automation說(shuō)明 ?ETL 開(kāi)發(fā) ?ETL 管理維護(hù) ?ETL人員職責(zé)與技能要求 Teradata Confidential 3 議題 ?ETL 介紹 ?ETL Automation說(shuō)明 ?ETL 開(kāi)發(fā) ?ETL 管理維護(hù) ?ETL人員職責(zé)與技能要求 ?ETL 定義 ?ETL/ELT/ETLT總結(jié) ?ETL 流程概述 ?ETL 技術(shù)架構(gòu) Teradata Confidential 4 ETL 定義 ?ETL 抽取 (Extract)、轉(zhuǎn)換 (Transform)和加載 (Load) Teradata use ELT framework ?抽取 (Extract) 從數(shù)據(jù)庫(kù)、磁帶或其它各種介質(zhì)抽取數(shù)據(jù) 或由數(shù)據(jù)提供方主動(dòng)提供數(shù)據(jù) ?加載 (Load) 將數(shù)據(jù)源文件加載至數(shù)據(jù)倉(cāng)庫(kù) (Teradata) 使用 fastload/multiload/tpump/TPT – inmod/axsmod ?轉(zhuǎn)換 (Transform) 將源表數(shù)據(jù)根據(jù)業(yè)務(wù)需要轉(zhuǎn)換成目標(biāo)表數(shù)據(jù) 使用 bteq – SQL （ SELECT/DELETE/INSERT/UPDATE） Teradata Confidential 5 數(shù)據(jù)倉(cāng)庫(kù)數(shù)據(jù)轉(zhuǎn)換 數(shù)據(jù)倉(cāng)庫(kù)數(shù)據(jù)流 數(shù)據(jù)集市數(shù)據(jù)轉(zhuǎn)換 數(shù)據(jù)集市數(shù)據(jù)流 數(shù)據(jù)倉(cāng)庫(kù)服務(wù)器 ETL服務(wù)器 ELT ADW DMs T ELT Extract – Load Transform ETL ADW DMs ETL Extract – Transform Load EtLT ADW DMs T EtLT Extract – light Transform – Load Transform ELT 可選項(xiàng) Vs. EtLT 可選項(xiàng) Vs. ETL vs. EtLT vs. ELT – 總結(jié) Teradata Confidential 6 Teradata ETL 流程簡(jiǎn)要說(shuō)明 ETL流程是數(shù)據(jù)觸發(fā)的、全自動(dòng)的數(shù)據(jù)流過(guò)程； ETL流程是將數(shù)據(jù)抽取、轉(zhuǎn)換和裝載到數(shù)據(jù)倉(cāng)庫(kù)的一個(gè)數(shù)