大數(shù)據(jù)架構(gòu)師的基本職責(zé)(參考版)
2024-09-02 23:43本頁面
【正文】 能夠組織項(xiàng)目開發(fā)組協(xié)同工作，包括團(tuán)隊(duì)溝通、計(jì)劃、開發(fā)環(huán)境管理等 。 熟悉 Linux 系統(tǒng)，熟練使用 shell/perl/python 腳本處理問題 。 任職要求： 統(tǒng)招本科及以上學(xué)歷，計(jì)算機(jī)、軟件工程相關(guān)專業(yè)，至少 8 年以上工作經(jīng)驗(yàn)， 5 年以上大數(shù)據(jù)開發(fā)經(jīng)驗(yàn) 。 負(fù)責(zé)公司產(chǎn)品研發(fā)過程中的數(shù)據(jù)及存儲(chǔ)設(shè)計(jì) 。參與公司離線、實(shí)時(shí)大數(shù)據(jù)處理系統(tǒng)的設(shè)計(jì)、開發(fā)、測(cè)試及多個(gè)業(yè)務(wù)模塊的自動(dòng)化集成 。 大數(shù)據(jù)架構(gòu)師的基本職責(zé) 5 職責(zé)： 負(fù)責(zé)公司的大數(shù)據(jù)處理框架的研發(fā)設(shè)計(jì)工作，梳理可實(shí)現(xiàn)方案和技術(shù)規(guī)范 。 掌握一種或以上實(shí)時(shí)處理語言，如 JAVA、 SCALA、 PYTHON 等，有 SCALA 經(jīng)驗(yàn)者優(yōu)先 。 掌握常見數(shù)據(jù)流接入工具，包括 Flume、 kafka 等 。 精通離線和實(shí)時(shí)數(shù)據(jù)處理流程，掌握離線數(shù)據(jù)處理框架 hive、 impala、 sparksql 等，掌握實(shí)時(shí)數(shù)據(jù)處理常用技術(shù)工具，包括 Storm、 SparkStreaming 等 。 負(fù)責(zé)建立和維護(hù)大數(shù)據(jù)平臺(tái)技術(shù)標(biāo)準(zhǔn)規(guī)范，指導(dǎo)開發(fā)人員編寫代碼 。參與數(shù)據(jù) 應(yīng)用需求、設(shè)計(jì)、審核和評(píng)審 。根據(jù)項(xiàng)目要求編寫
環(huán)評(píng)公示相關(guān)推薦
鄂ICP備17016276號(hào)-1