橘云大數(shù)據(jù)處理平臺(tái)-文庫(kù)吧資料
2025-02-26 13:47本頁(yè)面
【正文】 網(wǎng)絡(luò)、內(nèi)存、 IO等 ) 平臺(tái)監(jiān)控 集群監(jiān)控 Hive管理 – hive簡(jiǎn)介 （ 1）用戶接口，包括 CLI， Client，WUI。在過(guò)程中也可以進(jìn)行記錄的過(guò)濾和轉(zhuǎn)換操作 Union 能過(guò)對(duì)多個(gè)文件進(jìn)行轉(zhuǎn)換為統(tǒng)一字段后進(jìn)行合幵處理 。 里面沒(méi)有什么配置 數(shù)據(jù)流程 邏輯節(jié)點(diǎn) 邏輯節(jié)點(diǎn)在流程中對(duì)數(shù)據(jù)進(jìn)行相應(yīng)的處理 流程節(jié)點(diǎn) 功能描述 Join 能夠?qū)蓚€(gè)文件通過(guò)一項(xiàng)或多項(xiàng)記錄進(jìn)行關(guān)聯(lián)輸出 ， 可以是 left join、 right join或inner join。其優(yōu)點(diǎn)是學(xué)習(xí)成本低，可通過(guò)類(lèi) SQL語(yǔ)句快速實(shí)現(xiàn)簡(jiǎn)單的 MAPREDUCE統(tǒng)計(jì)，適合數(shù)據(jù)他庫(kù)的統(tǒng)計(jì)分析； 多種格式 ? CVS ? XML ? Excel ? 參數(shù)可配 ? 丌同格式丌同參數(shù) ? 編碼 ? 分隔符、 Tag ? 字段定義 可擴(kuò)展 ? 提供擴(kuò)展接口，方便支持其他格式 ? 參數(shù)自定義 高效率 ? 內(nèi)部運(yùn)算使用二進(jìn)制存儲(chǔ) ? 針對(duì)大批量零散文件優(yōu)化 基礎(chǔ)數(shù)據(jù) 元數(shù)據(jù) 元數(shù)據(jù) ：用亍描述業(yè)務(wù)數(shù)據(jù)的格式、含義、特性及其運(yùn)行環(huán)境等的數(shù)據(jù) ? FTP ? Oracle/DB2/Mysql/Teradata ? GP ? 其他（可方便擴(kuò)展） 多種協(xié)議 ? 多任務(wù)發(fā)布到集群中幵行處理 ? 可限制抽取幵發(fā)數(shù) ? 可控制幵發(fā)優(yōu)兇級(jí) 幵發(fā)和控制 基礎(chǔ)數(shù)據(jù) 接入平臺(tái) 基礎(chǔ)數(shù)據(jù) 維度數(shù)據(jù) 維度數(shù)據(jù) ： 定義于數(shù)據(jù)中字段的取值的枚丼類(lèi)型，可以通過(guò)此維度校驗(yàn)于 數(shù)據(jù)的正確性 基礎(chǔ)數(shù)據(jù) 自定義節(jié)點(diǎn) 自定義節(jié)點(diǎn) ：用戶可以根據(jù)平臺(tái)的二次接口開(kāi)發(fā)規(guī)范定義個(gè)性化的業(yè) 務(wù)處理接口，在此處把定義接口類(lèi)注冊(cè)到系統(tǒng)中 數(shù)據(jù)流程 系統(tǒng)提供圖形化的流程定義畫(huà)面，用戶以拖拉和配置的方式，從“工具箱”中將流程節(jié)點(diǎn)拖勱到流程設(shè)計(jì)器的畫(huà)板上，幵根據(jù)實(shí)際業(yè)務(wù)需要對(duì)流程節(jié)點(diǎn)進(jìn)行配置 數(shù)據(jù)流程 流程節(jié)點(diǎn) 流程節(jié)點(diǎn)幫劣實(shí)現(xiàn)具體的流程邏輯完成具體的工作流任務(wù) 流程節(jié)點(diǎn) 功能描述 開(kāi)始 標(biāo)識(shí) 著一個(gè)數(shù)據(jù)流程的開(kāi)始 。 橘云大數(shù)據(jù)處理 平臺(tái)技術(shù)架構(gòu) 于平臺(tái) ? 基亍文件 ? 刀片機(jī)或 PC Server ? 分布式存儲(chǔ)和幵行計(jì)算 ? 方便擴(kuò)容 ? 全圖形化配置監(jiān)控 傳統(tǒng) ETL ? 基亍數(shù)據(jù)倉(cāng)庫(kù) ? 小型機(jī)以上 ? 統(tǒng)一存儲(chǔ)和單節(jié)點(diǎn)運(yùn)算 ? 難以擴(kuò)容 ? 需要與業(yè)人員維護(hù) 云 VS 傳統(tǒng) 平臺(tái) VS傳統(tǒng) ETL 提綱 2 3 橘 云大數(shù)據(jù)處理平臺(tái)功能 與特點(diǎn) 橘云大數(shù)據(jù)處理平臺(tái)部署方案 1 橘云大數(shù)據(jù)處理平臺(tái)簡(jiǎn)介 4 橘云大數(shù)據(jù)處理平臺(tái)二次開(kāi)發(fā)接口 5 橘云大數(shù)據(jù)處理平臺(tái)業(yè)務(wù)場(chǎng)景示例 平臺(tái)功能概要 基礎(chǔ)數(shù)據(jù) 元數(shù)據(jù) 接入平臺(tái) 自定義節(jié)點(diǎn) 活勱類(lèi)別 維度數(shù)據(jù) 數(shù)據(jù)流程 數(shù)據(jù)流程編輯 數(shù)據(jù)清洗轉(zhuǎn)換算法 數(shù)據(jù)抽取加載參數(shù) 調(diào)度任務(wù) 觸發(fā)器 吭勱參數(shù) 任務(wù)組依賴 任務(wù)監(jiān)控 監(jiān)控任務(wù) 操作任務(wù) 批量執(zhí)行 系統(tǒng)管理 用戶管理 角色管理 Hive 查詢數(shù)據(jù) HIVE：就基亍 HADOOP的一個(gè)數(shù)據(jù)倉(cāng)庫(kù)的工具，可以將非結(jié)構(gòu)化的數(shù)據(jù)文件映射為一張數(shù)據(jù)庫(kù)表，幵提供完整的 SQL查詢功能。 為什么選擇 Hadoop 選擇 Hadoop需要注意什么 Hadoop——Google分布式技術(shù)的開(kāi)源實(shí)現(xiàn) 橘云大數(shù)據(jù)處理平臺(tái) OCDC簡(jiǎn)介 OCDataComputing平臺(tái)包含基亍 Map/Reduce的分布式批量計(jì)算和基亍流式計(jì)算技術(shù)的分布式實(shí)時(shí)計(jì)算功能，實(shí)現(xiàn)海量數(shù)據(jù)的幵行處理。Datanode故障一般是不會(huì)影響整個(gè)系統(tǒng)的，這個(gè)和它的存儲(chǔ)策略有關(guān)。在 Hadoop中有兩種類(lèi)型的結(jié)點(diǎn)： namenode和datanode。因此對(duì)于一些數(shù)據(jù)量很小的處理沒(méi)有任何優(yōu)勢(shì)可言，甚至還不如單機(jī)串行的效果，性能也完全體現(xiàn)不出來(lái)。 ? 可靠性： hadoop能自動(dòng)地維護(hù)數(shù)據(jù)的多份復(fù)制，并且在任務(wù)失敗后能自動(dòng)地
數(shù)學(xué)相關(guān)推薦
鄂ICP備17016276號(hào)-1