橘云大數(shù)據(jù)處理平臺(編輯修改稿)
2025-03-12 13:47 本頁面
【文章內(nèi)容簡介】 擴容 ? 全圖形化配置監(jiān)控 傳統(tǒng) ETL ? 基亍數(shù)據(jù)倉庫 ? 小型機以上 ? 統(tǒng)一存儲和單節(jié)點運算 ? 難以擴容 ? 需要與業(yè)人員維護 云 VS 傳統(tǒng) 平臺 VS傳統(tǒng) ETL 提綱 2 3 橘 云大數(shù)據(jù)處理平臺功能 與特點 橘云大數(shù)據(jù)處理平臺部署方案 1 橘云大數(shù)據(jù)處理平臺簡介 4 橘云大數(shù)據(jù)處理平臺二次開發(fā)接口 5 橘云大數(shù)據(jù)處理平臺業(yè)務(wù)場景示例 平臺功能概要 基礎(chǔ)數(shù)據(jù) 元數(shù)據(jù) 接入平臺 自定義節(jié)點 活勱類別 維度數(shù)據(jù) 數(shù)據(jù)流程 數(shù)據(jù)流程編輯 數(shù)據(jù)清洗轉(zhuǎn)換算法 數(shù)據(jù)抽取加載參數(shù) 調(diào)度任務(wù) 觸發(fā)器 吭勱參數(shù) 任務(wù)組依賴 任務(wù)監(jiān)控 監(jiān)控任務(wù) 操作任務(wù) 批量執(zhí)行 系統(tǒng)管理 用戶管理 角色管理 Hive 查詢數(shù)據(jù) HIVE：就基亍 HADOOP的一個數(shù)據(jù)倉庫的工具，可以將非結(jié)構(gòu)化的數(shù)據(jù)文件映射為一張數(shù)據(jù)庫表，幵提供完整的 SQL查詢功能?？梢詫QL轉(zhuǎn)換為 MAPREDUCE任務(wù)進行運行。其優(yōu)點是學(xué)習(xí)成本低，可通過類 SQL語句快速實現(xiàn)簡單的 MAPREDUCE統(tǒng)計，適合數(shù)據(jù)他庫的統(tǒng)計分析； 多種格式 ? CVS ? XML ? Excel ? 參數(shù)可配 ? 丌同格式丌同參數(shù) ? 編碼 ? 分隔符、 Tag ? 字段定義 可擴展 ? 提供擴展接口，方便支持其他格式 ? 參數(shù)自定義 高效率 ? 內(nèi)部運算使用二進制存儲 ? 針對大批量零散文件優(yōu)化 基礎(chǔ)數(shù)據(jù) 元數(shù)據(jù) 元數(shù)據(jù) ：用亍描述業(yè)務(wù)數(shù)據(jù)的格式、含義、特性及其運行環(huán)境等的數(shù)據(jù) ? FTP ? Oracle/DB2/Mysql/Teradata ? GP ? 其他（可方便擴展） 多種協(xié)議 ? 多任務(wù)發(fā)布到集群中幵行處理 ? 可限制抽取幵發(fā)數(shù) ? 可控制幵發(fā)優(yōu)兇級 幵發(fā)和控制 基礎(chǔ)數(shù)據(jù) 接入平臺 基礎(chǔ)數(shù)據(jù) 維度數(shù)據(jù) 維度數(shù)據(jù) ： 定義于數(shù)據(jù)中字段的取值的枚丼類型，可以通過此維度校驗于 數(shù)據(jù)的正確性 基礎(chǔ)數(shù)據(jù) 自定義節(jié)點 自定義節(jié)點 ：用戶可以根據(jù)平臺的二次接口開發(fā)規(guī)范定義個性化的業(yè) 務(wù)處理接口，在此處把定義接口類注冊到系統(tǒng)中 數(shù)據(jù)流程 系統(tǒng)提供圖形化的流程定義畫面，用戶以拖拉和配置的方式，從“工具箱”中將流程節(jié)點拖勱到流程設(shè)計器的畫板上，幵根據(jù)實際業(yè)務(wù)需要對流程節(jié)點進行配置 數(shù)據(jù)流程 流程節(jié)點 流程節(jié)點幫劣實現(xiàn)具體的流程邏輯完成具體的工作流任務(wù) 流程節(jié)點 功能描述 開始 標(biāo)識 著一個數(shù)據(jù)流程的開始 。 里面沒有什么 配置 數(shù)據(jù)抽取 將外部提供的數(shù)據(jù)抽取到，需要定義抽取接口的連接方式、訪問協(xié)議和接入賬戶等 信息，提供了文件和數(shù)據(jù)庫兩種抽取方式： 1. 文件 提供了 FTP、 HTTP訪問方式以獲取文件 1. 數(shù)據(jù)庫 能夠獲取 Oracle和 DB2中的數(shù)據(jù) ， 需要配置獲取數(shù)據(jù)的查詢條件 輸出 把處理后的數(shù)據(jù)以文件或壓縮包的方式輸出到指定位置 加載 到 數(shù)據(jù)庫 加載到相應(yīng)的數(shù)據(jù)倉庫中進行后續(xù)分析運算 ， 支持 Oracle、 DB2等主流數(shù)據(jù)庫 結(jié)束 標(biāo)識著一個數(shù)據(jù)流程的結(jié)束 。 里面沒有什么配置 數(shù)據(jù)流程 邏輯節(jié)點 邏輯節(jié)點在流程中對數(shù)據(jù)進行相應(yīng)的處理 流程節(jié)點 功能描述 Join 能夠?qū)蓚€文件通過一項或多項記錄進行關(guān)聯(lián)輸出 ， 可以是 left join、 right join或inner join。 在過程中也可以進行記錄的過濾和轉(zhuǎn)換操作 Group 能夠根據(jù)某個文件的一項或多項記錄進行聚合 ， 幵進行 Max、 Min、 Count等運算處理 。在過程中也可以進行記錄的過濾和轉(zhuǎn)換操作 Union 能過對多個文件進行轉(zhuǎn)換為統(tǒng)一字段后進行合幵處理 。 在過程中也可以進行記錄的過濾 Hive 通過編寫 HIVE QL語句對流程中的數(shù)據(jù)進行處理 Parallet 通過 JEXL
數(shù)學(xué)相關(guān)推薦
鄂ICP備17016276號-1