02大數(shù)據(jù)配套ppt之二：第2章數(shù)據(jù)采集與預(yù)處理-資料下載頁
2025-02-16 14:16本頁面
【正文】 BI解決方案。 Kettle是一款國外優(yōu)秀的開源 ETL工具，由純 Java編寫，可以在Windows、 Linux、 UNIX上運行，無須安裝，數(shù)據(jù)抽取高效穩(wěn)定。 數(shù)據(jù) 倉庫與 ETL工具 第二章 數(shù)據(jù)采集不預(yù)處理 of 42 28 01 （ 1） Chef 可使用戶創(chuàng)建仸務(wù)（ Job）。它是提供圖形用戶界面的工作設(shè)計工具。 02 （ 2） Kitchen 可使用戶批量使用由 Chef設(shè)計的仸務(wù)，一般在自勱調(diào)度時借劣此命令調(diào)用調(diào)試成功的仸務(wù)。它是一個后臺運行的程序，以命令行方式，沒有圖形用戶界面。 03 （ 3） Spoon 可使用戶通過圖形界面來設(shè)計ETL轉(zhuǎn)換過程，一般在編寫和調(diào)試 ETL時用到。 04 （ 4） Span 可使用戶批量運行由 Spoon設(shè)計的 ETL轉(zhuǎn)換， Span是一個后臺執(zhí)行的程序，以命令行方式，沒有圖形界面，一般在自勱調(diào)度時借劣此命令調(diào)用調(diào)試成功的轉(zhuǎn)換。 Kettle目前包括如下 4個產(chǎn)品： 數(shù)據(jù) 倉庫與 ETL工具 第二章 數(shù)據(jù)采集不預(yù)處理 案例： Kettle數(shù)據(jù)遷移 可以在 Kettle的官網(wǎng) 迚 入 主 界 面 在“輸入”文件夾下選擇“表輸入”，幵把它拖勱到右側(cè)編輯區(qū) of 42 29 案例： Kettle數(shù)據(jù)遷移 數(shù)據(jù) 倉庫與 ETL工具 第二章 數(shù)據(jù)采集不預(yù)處理 案例： Kettle數(shù)據(jù)遷移 編輯 數(shù)據(jù) 來源 配置 數(shù)據(jù)庫的 參數(shù) 選擇 輸入 表 設(shè)置 “字段選擇” of 42 30 數(shù)據(jù) 倉庫與 ETL工具 第二章 數(shù)據(jù)采集不預(yù)處理 案例： Kettle數(shù)據(jù)遷移 將每一個輸入字段改成和輸出字段相同的名字 自勱列出乊前表輸入中的所有字段 of 42 31 數(shù)據(jù) 倉庫與 ETL工具 第二章 數(shù)據(jù)采集不預(yù)處理 案例： Kettle數(shù)據(jù)遷移 of 42 32 在“輸出”文件夾中拖出一個“表輸出”到右側(cè)編輯區(qū)，并畫連接 配置數(shù)據(jù)庫 將輸出表對象設(shè)置為 Oracle數(shù)據(jù)庫 映射輸入 /輸出關(guān)系 單擊“確定”按鈕關(guān)閉窗口 數(shù)據(jù) 倉庫與 ETL工具 第二章 數(shù)據(jù)采集不預(yù)處理 案例： Kettle數(shù)據(jù)遷移 of 42 33 執(zhí)行轉(zhuǎn)換 去本地 Oracle數(shù)據(jù)庫中查看 實時顯示轉(zhuǎn)換過程 1．采用哪些方式可以獲取大數(shù)據(jù)？ 2．常用大數(shù)據(jù)采集工具有哪些？ 3．簡述什么是 Apache Kafka數(shù)據(jù)采集。 4． Topic可以有多個分區(qū)，這些分區(qū)有什么作用？ 5． Kafka抽象具有哪種模式的特征消費組？ 6．查閱相關(guān)資料，實例演示 Apache Kafka的安裝及使用。 7．使用 Java來編寫 Kafka的實例。 8．簡述數(shù)據(jù)預(yù)處理的原理。 9．數(shù)據(jù)清洗有哪些方法？ 10．數(shù)據(jù)集成需要重點考慮的問題有哪些？ 11．數(shù)據(jù)變換主要涉及哪些內(nèi)容？ 12．分別簡述常用 ETL工具。 習(xí)題： 百 度 排 名 首 位 的 大 數(shù) 據(jù) 資 料 和 交 流 中 心 百度排名首位的于計算資料和交流中心 BDRack大數(shù)據(jù)實驗一體機 虛擬出百套集群，幵行開展大數(shù)據(jù)實驗 預(yù)裝各種流行于計算和大數(shù)據(jù)平臺 提供配套實驗教程、課件、 PPT和培訓(xùn) 學(xué) 習(xí) 大 數(shù) 據(jù) 必 須 關(guān) 注 的 公 眾 號 知名微信公眾號推薦 劉鵬 看 未來 云計算頭條 云創(chuàng) 大數(shù)據(jù) 中國大數(shù)據(jù) 微信號： chinacloudnj 微信號： cstorbigdata 資源豐富、分析深入、更新及時的于計算知識共享平臺。 微信號： lpoutlook 微信號： cStor_ 國內(nèi)大數(shù)據(jù)龍頭企業(yè)。提供領(lǐng)先的于存儲、于數(shù)據(jù)庫、于規(guī)頻、于傳輸產(chǎn)品和解決方案。 眼光決定成敗，不劉鵬教授看未來。 劉鵬，清華博士，《 于計算 》 作者。 分享大數(shù)據(jù)技術(shù)，剖析大數(shù)據(jù)案例，討論大數(shù)據(jù)話題。 運用大數(shù)據(jù) ， 精彩你生活 免費大數(shù)據(jù) App推薦 感謝聆聽 演講完畢，謝謝觀看！
數(shù)學(xué)相關(guān)推薦
鄂ICP備17016276號-1