橘云大數(shù)據(jù)42-資料下載頁
2025-02-22 13:44本頁面
【正文】 I C l o u d E T L P l a t f o r mm a s t e r 備 份w e b 服 務(wù) 器m a s t e rs l a v e ss l a v e ss l a v e s數(shù) 據(jù) 倉 庫數(shù) 據(jù)F T P 數(shù) 據(jù) 服 務(wù) 器? 主機(jī)支持： 支持 HP、 IBM、 Cisco、 Dell等任意廠商主機(jī)設(shè)備，建議基亍 x86架構(gòu)的刀片機(jī) PC服務(wù)器。 ? 存儲支持： 支持集中式的磁盤陣列存儲，也支持基亍本地硬盤的存儲方式。 ? 網(wǎng)絡(luò)要求： 主節(jié)點(diǎn)和子節(jié)點(diǎn)乊間需支持千兆及以上網(wǎng)絡(luò)帶寬。 ? 操作系統(tǒng)： 支持各類操作系統(tǒng)如 Unix、Linux。建議采用 Linux系列（ Redhat、CentOS等）。 ? 擴(kuò)容方式： 支持通過擴(kuò)容方式線性增加 ETL平臺處理能力，支持設(shè)備的勱態(tài)擴(kuò)容。 平臺部署 計(jì)算能力線性擴(kuò)容 于計(jì)算集群 增加新的節(jié)點(diǎn) 存儲和運(yùn)算能力得到擴(kuò)展 提綱 2 3 橘云大數(shù)據(jù)處理平臺功能與特點(diǎn) 橘云大數(shù)據(jù)處理平臺部署方案 1 橘云大數(shù)據(jù)處理平臺簡介 4 橘云大數(shù)據(jù)處理平臺二次開發(fā)接口 5 橘云大數(shù)據(jù)處理平臺業(yè)務(wù)場景示例 二次開發(fā) ?接口方式： 支持 WebService、 Rest、 Java API、 Jar包 Plugin等多種接口輸入輸出方式。 ? 接口種類： 內(nèi)置不網(wǎng)管、 4A等管理類系統(tǒng)的接口，同時支持其它調(diào)度工具向 OCDC平臺發(fā)送調(diào)度請求。 ? 開放性： 支持?jǐn)?shù)據(jù)格式、接入平臺、 ETL算法等單元的自定義開發(fā)、可以靈活擴(kuò)充平臺的抽取、轉(zhuǎn)換、裝載能力。 提綱 2 3 橘云大數(shù)據(jù)處理平臺功能與特點(diǎn) 橘云大數(shù)據(jù)處理平臺部署方案 1 橘云大數(shù)據(jù)處理平臺簡介 4 橘云大數(shù)據(jù)處理平臺二次開發(fā)接口 5 橘云大數(shù)據(jù)處理平臺業(yè)務(wù)場景示例 功能描述： Oracle、 DB2等數(shù)據(jù)庫抽取 FTP從接口機(jī)指定目錄抽取 主要處理流程： 1 FTP傳輸（或 DB抽?。? 2 記錄傳輸數(shù)據(jù) 3 刪除 FTP遠(yuǎn)程數(shù)據(jù) 實(shí)施關(guān)鍵點(diǎn)： 1 抽取總連接數(shù)可控 2 支持多連接提高抽取速度 3 異常情況下避免文件的重傳、漏傳 4 數(shù)據(jù)傳輸記錄要有證可查 業(yè)務(wù)場景丼例 數(shù)據(jù)遠(yuǎn)程抽取 業(yè)務(wù)場景丼例 接口數(shù)據(jù)校驗(yàn)與入庫 功能描述： 將抽取的數(shù)據(jù)進(jìn)行校驗(yàn)并加載到hive中 主要處理流程： 1 對抽取到的數(shù)據(jù)做文件級校驗(yàn) 2 將校驗(yàn)結(jié)果入庫記錄 3 對抽取到的數(shù)據(jù)做數(shù)據(jù)級校驗(yàn) 4 將校驗(yàn)結(jié)果入庫記錄 5 將文件從指定目錄導(dǎo)入臨時表 6 將文件臨時表導(dǎo)入正式接口層表 7 將接口層表導(dǎo)入記錄入庫 實(shí)施關(guān)鍵點(diǎn)： 1 文件級校驗(yàn)通常各地都有所不同， 需要各個項(xiàng)目地自行開發(fā) 2 記錄級校驗(yàn)使用了 OCDC提供的平行轉(zhuǎn)換節(jié)點(diǎn)，可以對時間格式，字符串長度， 數(shù)字精度等進(jìn)行逐個記錄的排查，并且還可以做適當(dāng)?shù)臄?shù)據(jù)篩選 業(yè)務(wù)場景丼例 數(shù)據(jù)分組、匯總、關(guān)聯(lián) 功能描述： 低層級數(shù)據(jù)向高層級數(shù)據(jù)計(jì)算 主要處理流程： 1 通過配置 Hive語句，對低層級數(shù)據(jù)進(jìn)行關(guān)聯(lián)、匯總、分組等處理，將結(jié)果數(shù)據(jù)導(dǎo)入高層級數(shù)據(jù)表 2 通過配置 event節(jié)點(diǎn)監(jiān)聽流程執(zhí)行情況，對于流程執(zhí)行啟動、失敗、成功等事件可以做后續(xù)處理 實(shí)施關(guān)鍵點(diǎn)： 1 原有 SQL語句向 Hive語句轉(zhuǎn)換 2 數(shù)據(jù)如何分區(qū)需要結(jié)合應(yīng)用場景設(shè)計(jì) 3 關(guān)聯(lián)到的維度表需要單獨(dú)配置流程定時抽取到 OCDC平臺 業(yè)務(wù)場景丼例 數(shù)據(jù)加載 功能描述： 將庫外運(yùn)算的結(jié)果導(dǎo)入傳統(tǒng)的數(shù)據(jù)倉庫 主要處理流程： 1 清理臨時目錄 2 通過 Hive語句將要加載的數(shù)據(jù)導(dǎo)入到臨時目錄中 3 清理目標(biāo)數(shù)據(jù)倉庫中對應(yīng)的表 4 執(zhí)行批量數(shù)據(jù)加載，將數(shù)據(jù)加載到傳統(tǒng)的數(shù)據(jù)倉庫 5 記錄本次加載過程的記錄 實(shí)施關(guān)鍵點(diǎn)： 1 通過流程配置，保證流程在任意節(jié)點(diǎn)中斷后再重新運(yùn)行時都不會造成數(shù)據(jù)重復(fù)和丟失問題 2 導(dǎo)出到臨時目錄主要是為了做格式的轉(zhuǎn)換（從壓縮到非壓縮） 演讱完畢，謝謝觀看！
規(guī)章制度相關(guān)推薦
鄂ICP備17016276號-1