freepeople性欧美熟妇, 色戒完整版无删减158分钟hd, 无码精品国产vα在线观看DVD, 丰满少妇伦精品无码专区在线观看,艾栗栗与纹身男宾馆3p50分钟,国产AV片在线观看,黑人与美女高潮,18岁女RAPPERDISSSUBS,国产手机在机看影片

正文內(nèi)容

d員工入職技術(shù)培訓(xùn)之etl開發(fā)與維護(hù)v-文庫吧資料

2025-01-16 11:38本頁面
  

【正文】 據(jù)流的過程,它定義了對眾多數(shù)據(jù)處理的順序性、依賴性及觸發(fā)性等關(guān)系; 使用 ETL AUTOMATION進(jìn)行統(tǒng)一的管理、調(diào)度; 使用 ETL監(jiān)控服務(wù)進(jìn)行流程監(jiān)控并處理異常情況; 一般情況下, ETL流程包括數(shù)據(jù)源準(zhǔn)備、加載、轉(zhuǎn)換、數(shù)據(jù)導(dǎo)出和數(shù)據(jù)備份等幾部分。 Teradata Confidential 7 CSDCC ETL流程圖 Teradata Confidential 8 Teradata ETL技術(shù)架構(gòu) Teradata Confidential 9 議題 ?ETL 介紹 ?ETL Automation說明 ?ETL 開發(fā) ?ETL 管理維護(hù) ?ETL人員職責(zé)與技能要求 ?ETL Automation簡介 ?Perl對數(shù)據(jù)庫的訪問 ?ETL Automation目錄架構(gòu) ?ETL Automation服務(wù) ?ETL Automation處理流程 ?ETL管理及組件 ?ETL管理示意圖 Teradata Confidential 10 ETL Automation簡介 ? Teradata公司開發(fā)的 ETL流程調(diào)度產(chǎn)品( product); ? 使用 Perl程序開發(fā),運(yùn)行環(huán)境需要安裝 Perl軟件及 DBI、 DBD插件; ? C/S服務(wù)器架構(gòu) ? ETL Automaiton由以下幾部分組成: ETL Automation服務(wù) ETL Automation目錄架構(gòu) ETL Automation知識庫 ETL Automation環(huán)境變量 ETL Administrator管理工具( GUI) ETL monitor監(jiān)控工具( GUI) ? ETL Automation任務(wù)調(diào)度: 定義了目錄架構(gòu)及知識庫 – 目錄架構(gòu)下不同的目錄用于不同的目的 – 知識庫中不同的表用于不同的目的 定義了目錄架構(gòu)下部分目錄與知識庫中相應(yīng)表的對應(yīng)關(guān)系規(guī)則 – 目錄中的任務(wù)名稱與知識庫任務(wù)表中相應(yīng)任務(wù)名稱必須相同 – 目錄中的日志文件名稱與知識庫日志表中相應(yīng)日志名稱必須相同 定義了控制文件的命名規(guī)則 – 控制文件作為 Automation調(diào)度任務(wù)的必需條件之一 ETL Automation服務(wù)使用環(huán)境變量、控制文件和知識庫對 ETL任務(wù)進(jìn)行調(diào)度 Teradata Confidential 11 ETL Automation簡介 ?ETL Automation功能說明 ETL任務(wù)的自動化調(diào)度 ETL任務(wù)管理 – 一般情況下使用圖形界面工具( GUI) ETL Administrator和 ETL Monitor對 ETL任務(wù)進(jìn)行管理、監(jiān)控 – 添加 /刪除 /修改 ETL server(可選)、子系統(tǒng)(可選)、任務(wù) – 定義任務(wù)之間的關(guān)系、任務(wù)組、日歷等 – 任務(wù)定時 ETL日志清理 – 日志文件清理 – 日志記錄清理 ETL任務(wù)訊息通知 – 郵件通知 – 手機(jī)短信通知 ETL遠(yuǎn)程訪問管理 Teradata Confidential 12 Perl對數(shù)據(jù)庫的訪問 Teradata Confidential 13 ETL Automation目錄架構(gòu) /ETL ( Automation 主目錄) |/APP 存放 ETL任務(wù)腳本。 會找出檔案所對應(yīng)的作業(yè)并在作業(yè)的執(zhí)行條件滿足時呼叫 或 來執(zhí)行作業(yè) 負(fù)責(zé)發(fā)送訊息通知 (Message Notification) 的動作 負(fù)責(zé)處理從各來源系統(tǒng)所傳送來的檔案 . 當(dāng)檔案通過檢查后 , 會將檔案交由 在主要服務(wù)器 (Primary erver) 上是負(fù)責(zé)接收各次 要服務(wù)器 (Secondary Server)所傳送來的存活封包 (Heartbeat Packet) 以判斷各服務(wù)的狀態(tài)并 更新記錄 。 而在次要服務(wù)器 (Secondary Server)上則是定時發(fā)送存活封包 (Heartbeat Packet) 至主要服務(wù)器 (Primary Server)上以通知目前次要服務(wù)器的狀態(tài) e 負(fù)責(zé)提交定時任務(wù)作業(yè)的動作 Teradata Confidential 15 ETL Automation處理流程 Teradata Confidential 16 ETL 管理及組件 ? ETL 管理 自動流程管理 :附以開發(fā)的 ETL程序及 ETL Automation產(chǎn)品進(jìn)行自動的 ETL流程管理 – Automation是調(diào)度工具,不能自動捕獲源數(shù)據(jù)文件 – 建議開發(fā)的 ETL程序包括( 1)、源文件處理程序,負(fù)責(zé)生成控制文件,傳遞給 Automation進(jìn)行任務(wù)提交;( 2)、 ETL錯誤處理及監(jiān)控程序,對 ETL任務(wù)進(jìn)行監(jiān)控及對異常的任務(wù)進(jìn)行自動處理、不能處理的任務(wù)告警 手工維護(hù) :維護(hù)人員通過 ETL Administrator/Monitor或直接訪問 ETL Repository/ETL 服務(wù)器進(jìn)行管理、維護(hù) ? ETL 組件 ETL Automation – ETL Service – ETL 目錄架構(gòu) – ETL Repository – ETL Environment – ETL Administrator工具( GUI) – ETL Monitor工具( GUI) ETL任務(wù)腳本( ETL Job Scripts) 用戶自定義 ETL程序( User Defined ETL Program) ETL Server/Client服務(wù)器 Teradata Confidential 17 ETL 管理示意圖 E T L S e r ve rE T L C l ientE T L R e po s i t o r y管理人員? E T L A ut o m a t i o n? E T L S e r v i c e? E T L E n v? E T L J o b S c r i p t s? U s e r D e f i n e d E T L P r o gra m? E T L A ut o m a t i o n? E T L S e r v i c e? E T L E n v? E T L J o b S c r i p t s? U s e r D e f i n e d E T L P r o gra m? ET L A d m i ni s t r a t o r? ET L M oni t or? S Q L A ss i s t a n t? B T EQA U T O _ P R I M A R Y_S ER V ER = 1Teradata Confidential 18 議題 ?ETL 介紹 ?ETL Automation說明 ?ETL 開發(fā) ?ETL 管理維護(hù) ?ETL人員職責(zé)與技能要求 ?開發(fā)前的必要準(zhǔn)備 ?腳本生成器 ?ETL任務(wù)分類 ?異常監(jiān)控及錯誤處理開發(fā) ?任務(wù)開發(fā)示例 CSDCC ETL任務(wù)開發(fā)說明 Teradata Confidential 19 開發(fā)前的必要準(zhǔn)備 ?安裝 Perl軟件及 DBI、 DBIODBC插件 ?安裝 Teradata TTU工具 ?配置 Teradata ODBC數(shù)據(jù)源 ?配置 hosts文件 ?創(chuàng)建 ETL Automation目錄 ?設(shè)置 ETL Automation環(huán)境變量 ?拷貝相關(guān)的 ETL程序到 $auto_home\bin目錄 ?配置 ETL 服務(wù)(可選) 必須完成以下操作: Teradata Confidential 20 Scripts Generators(腳本生成器) ?盡可能的情況下,使用任務(wù)腳本生成器進(jìn)行任務(wù)開發(fā) ?ETL開發(fā)人員要逐步了解并能夠獨(dú)立開發(fā)腳本生成器 ?腳本生成器分為: 加載任務(wù)腳本生成器 – 生成加載( Load)任務(wù)腳本 轉(zhuǎn)換任務(wù)腳本生成器 – 生成轉(zhuǎn)換( Transform)任務(wù)腳本 備份任務(wù)腳本生成器 – 生成備份
點(diǎn)擊復(fù)制文檔內(nèi)容
環(huán)評公示相關(guān)推薦
文庫吧 www.dybbs8.com
備案圖鄂ICP備17016276號-1