【正文】 ?ETL人員職責(zé)與技能要求 ?ETL 任務(wù)管理 ?ETL 加載監(jiān)控 /錯(cuò)誤處理 ?ETL 加載服務(wù)器管理 ?主索引調(diào)整、分區(qū)及二級(jí)索引創(chuàng)建 ?SQL優(yōu)化（腳本優(yōu)化） Teradata Confidential 55 ETL任務(wù)管理 ?使用 ETL Administrator或執(zhí)行 SQL語(yǔ)句對(duì) ETL任務(wù)進(jìn)行管理、維護(hù) ?增 /刪 /改 ETL Server信息，可選擇 ?增 /刪 /改 ETL Sys，可選擇 ?增 /刪 /改 ETL job定義 ?增 /刪 /改 ETL job source定義 ?增 /刪 /改 ETL dependency，可選擇 ?增 /刪 /改 ETL stream，可選擇 ?增 /刪 /改 ETL related，可選擇 ?增 /刪 /改 ETL 任務(wù) calendar，可選擇 ?增 /刪 /改 ETL任務(wù)組，可選擇 ?增 /刪 /改 ETL 任務(wù)至任務(wù)組，可選擇 Teradata Confidential 56 ETL 加載監(jiān)控 /錯(cuò)誤處理 ? 數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng) ETL監(jiān)控 Web頁(yè)面 ETL人員開(kāi)發(fā)的加載流程監(jiān)控界面 包含了所有數(shù)據(jù)源加載流程的各個(gè)階段 記錄了流程各個(gè)階段的完成時(shí)間、運(yùn)行狀態(tài) (完成、未完成、錯(cuò)誤 )等 使用不同的顏色標(biāo)識(shí)各個(gè)階段的各個(gè)運(yùn)行狀態(tài) – 綠色：流程正常完成 – 黃色：流程未完成 – 紅色：流程出現(xiàn)錯(cuò)誤 監(jiān)控?cái)?shù)據(jù)庫(kù)空間使用情況 點(diǎn)擊各個(gè)階段的鏈接，可以查看任務(wù)或數(shù)據(jù)庫(kù)空間的詳細(xì)信息 錯(cuò)誤報(bào)警 – 顯示數(shù)據(jù)源文件錯(cuò)誤的詳細(xì)信息 – 顯示出錯(cuò)任務(wù)的詳細(xì)信息 – 顯示數(shù)據(jù)庫(kù)空間不足錯(cuò)誤 – 顯示聯(lián)系人員信息 ? 使用 ETL Administrator/ ETL Monitor進(jìn)行加載監(jiān)控、錯(cuò)誤處理 Teradata Confidential 57 數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng) ETL流程監(jiān)控圖 Teradata Confidential 58 ETL加載服務(wù)器管理 ?ETL加載服務(wù)器分類 生產(chǎn)系統(tǒng)數(shù)據(jù) ETL加載服務(wù)器 生產(chǎn)系統(tǒng)數(shù)據(jù) ETL備份服務(wù)器 其他用途的 ETL加載服務(wù)器 ?管理 加載服務(wù)器空間監(jiān)控 – 定時(shí)對(duì)磁盤空間監(jiān)控 – 數(shù)據(jù)備份、清理監(jiān)控 ETL服務(wù)監(jiān)控 ETL失敗任務(wù)處理 Teradata Confidential 59 主索引調(diào)整、分區(qū)及二級(jí)索引創(chuàng)建 ? 數(shù)據(jù)倉(cāng)庫(kù)數(shù)據(jù)量隨每日 ETL加載而增大，為節(jié)約數(shù)據(jù)庫(kù)空間及保證查詢、加載的效率，需要考慮對(duì)一些表的主索引進(jìn)行調(diào)整以及創(chuàng)建分區(qū)主索引或二級(jí)索引 ? 主索引的選擇標(biāo)準(zhǔn) 經(jīng)常訪問(wèn)的字段 取值唯一的字段 值穩(wěn)定的字段 綜合以上三點(diǎn)考慮，選擇主索引 ? 分區(qū)主索引 對(duì)表的部分?jǐn)?shù)據(jù)進(jìn)行掃描，為了提高查詢效率 通常選擇日期或地區(qū)做為分區(qū)主索引 ? 二級(jí)主索引 為了提高查詢效率 通常選擇經(jīng)常訪問(wèn)的字段做為二級(jí)主索引 ? 示例 :上海交易過(guò)戶表采用 ”股東帳戶 +交易日期 ”做為主索引 (保證取值唯一性 )、使用交易日期做為分區(qū)主索引 (保證查詢、關(guān)聯(lián)效率 )、使用股東帳戶做為二級(jí)主索引 (保證查詢、關(guān)聯(lián)效率 )，這樣既節(jié)省了實(shí)際可用空間，又提高了查詢效率 Teradata Confidential 60 SQL優(yōu)化（腳本優(yōu)化） ?保證加載、查詢效率、降低數(shù)據(jù)庫(kù) (SPOOL)空間使用 ?經(jīng)常采用的優(yōu)化方法： 收集（臨時(shí)）表統(tǒng)計(jì)信息 拆分冗長(zhǎng)的 SQL語(yǔ)句，創(chuàng)建臨時(shí)表（注意臨時(shí)表的 PI選擇），多步實(shí)現(xiàn) 去除不必要（使用）的字段，只選擇有用字段 對(duì)于匯總（ sum）關(guān)聯(lián)語(yǔ)句，一般情況下，先進(jìn)行匯總，然后關(guān)聯(lián) 表的 PPI字段，盡可能的使用常量，不使用關(guān)聯(lián)。常見(jiàn)的情況： – 將一條記錄放入臨時(shí)表中，使用此臨時(shí)表字段與其他表的 PPI字段關(guān)聯(lián) – 對(duì) PPI字段的表進(jìn)行全表掃描，執(zhí)行效率極差 – 將此條記錄取出，然后做為常量和表的 PPI字段連接 – 對(duì) PPI字段的表部分記錄掃描，執(zhí)行效率極高 Teradata Confidential 61 數(shù)據(jù)庫(kù)用戶管理 ?角色 (role)amp。profile 角色是一系列權(quán)限的集合 為不同功能用戶創(chuàng)建不同的角色 Profile是用戶參數(shù)的集合 – Account id(s) – Default database – Spool space allocation – Temporary space allocation – Password attributes (expiration, etc.) 角色和 profile簡(jiǎn)化、方便用戶的訪問(wèn)權(quán)限及參數(shù)管理，提高數(shù)據(jù)庫(kù)的運(yùn)行效率 ?創(chuàng)建、修改、清空及刪除用戶 ?用戶的權(quán)限管理 Teradata Confidential 62 ? 角色 (role)管理 創(chuàng)建、刪除角色 – 語(yǔ)法 : CREATE ROLE role_name。 – 語(yǔ)法 : DROP ROLE role_name。 為角色賦權(quán)或取消權(quán)限 – 語(yǔ)法 : GRANT access_rights TO role_name。 – 語(yǔ)法 : REVOKE access_rights TO role_name。 將角色賦權(quán)或取消給用戶或角色 – 語(yǔ)法 : GRANT role_name TO user_name[role_name]。 – 語(yǔ)法 : REVOKE role_name TO[FROM] user_name[role_name]。 ? Profile 創(chuàng)建、修改、刪除 profile – 語(yǔ)法 : CREATE[MODIFY] PROFILE profile_name AS … 。 – 語(yǔ)法 : DROP PROFILE profile_name。 將 profile賦給（關(guān)聯(lián)）相關(guān)用戶 – 語(yǔ)法 : CREATE[MODIFY] USER user_name AS …, PROFILE = profile_name。 ? 角色 (role)amp。profile的管理也可以通過(guò) Terdata Administrator圖形界面操作實(shí)現(xiàn) 角色 (role)amp。profile Teradata Confidential 63 議題 ?ETL 介紹 ?ETL Automation說(shuō)明 ?ETL 開(kāi)發(fā) ?ETL 管理維護(hù) ?ETL人員職責(zé)與技能要求 ?ETL人員職責(zé) ?技能要求 Teradata Confidential 64 ETL人員職責(zé)領(lǐng)域 ?能夠捕獲并把握 ETL需求 ?能夠設(shè)計(jì)、開(kāi)發(fā)以及測(cè)試從舊版本系統(tǒng)或生產(chǎn)系統(tǒng)抽取數(shù)據(jù)的程序 ?能夠設(shè)計(jì)、開(kāi)發(fā)以及測(cè)試在數(shù)據(jù)加載入庫(kù)前對(duì)數(shù)據(jù)驗(yàn)證和加工處理的程序 ?能夠設(shè)計(jì)、開(kāi)發(fā)以及測(cè)試加載初始數(shù)據(jù)和日常數(shù)據(jù)的程序 ?能夠?yàn)閿?shù)據(jù)的及時(shí)性和傳輸頻率設(shè)計(jì)符合 SLA的流程 ?能夠決定哪些數(shù)據(jù)是歷史數(shù)據(jù)以及這些歷史數(shù)據(jù)的保存周期 ?能夠決定數(shù)據(jù)的增長(zhǎng)趨勢(shì)和業(yè)務(wù)峰值周期 Teradata Confidential 65 ETL人員技能要求 ? 精通 Teradata數(shù)據(jù)庫(kù) ? 精通 ETL tools 技能種類 技能要求 Databases 熟練掌握 Teradata Active Data Warehousing Knowledge 精通 Tools – Development 精通 Tools – Enterprise Application Integration 熟練掌握 Tools – ERP Software 熟練掌握 Tools – ETL 精通 Tools – Job Control and Scheduling 熟練掌握 Tools – Modeling 了解 Tools – Operating Systems/Networking 了解 Tools – Security 了解 Tools – Teradata 精通 Teradata Confidential 66 THANK YOU! Qamp。A