【文章內(nèi)容簡(jiǎn)介】 發(fā)平臺(tái)配置數(shù)據(jù)處理流程，可支持庫(kù)內(nèi)與庫(kù)外、云平臺(tái)與關(guān)系數(shù)據(jù)庫(kù)的混搭數(shù)據(jù)處理，示例如下：上述的處理流程實(shí)現(xiàn)：在hadoop上對(duì)ods_cdr通過sql腳本匯總dw_cdr，再通過數(shù)據(jù)分發(fā)到db2上的dw_cdr_yyyymmdd表上。開發(fā)人員需要對(duì)輸出表dw_cdr設(shè)置表結(jié)構(gòu)，sql處理匯總處編寫sql腳本。在一個(gè)處理的任務(wù)流程中，節(jié)點(diǎn)包括數(shù)據(jù)節(jié)點(diǎn)，數(shù)據(jù)函數(shù)節(jié)點(diǎn)拼接起來的一個(gè)處理流程。其中數(shù)據(jù)處理函數(shù)節(jié)點(diǎn)包括：Sql，tcl，java，shell，數(shù)據(jù)分發(fā)，數(shù)據(jù)加載，數(shù)據(jù)導(dǎo)出，ftp、創(chuàng)建表，刪除表等。3. 測(cè)試在界面上可以立即執(zhí)行某個(gè)節(jié)點(diǎn)或整個(gè)處理流程，執(zhí)行過程和日志信息會(huì)實(shí)時(shí)輸出到前臺(tái)界面進(jìn)行查看。如下示意圖：4. 上線開發(fā)人員在界面上直接提交上線。包括臨時(shí)上線和正式上線兩種。臨時(shí)上線需要開發(fā)人員填寫生效的開始日期，結(jié)束日期，調(diào)度周期。正式上線，系統(tǒng)管理管理員會(huì)進(jìn)行審批。審批的項(xiàng)目包括：程序名稱，表名是否規(guī)范，字段名稱和中文信息是否完整。在上線時(shí)，系統(tǒng)會(huì)自動(dòng)將程序代碼、數(shù)據(jù)結(jié)構(gòu)從開發(fā)環(huán)境的配置信息部署到生產(chǎn)環(huán)境下。5. 運(yùn)行程序上線后，調(diào)度平臺(tái)就會(huì)根據(jù)程序數(shù)據(jù)依賴關(guān)系自動(dòng)進(jìn)行調(diào)度。如果是臨時(shí)上線的只有調(diào)度運(yùn)行在有效期內(nèi)的程序才會(huì)被調(diào)度執(zhí)行。程序開發(fā)人員可以申請(qǐng)延長(zhǎng)有效期或申請(qǐng)固定上線。 調(diào)度執(zhí)行多租戶調(diào)度使用平臺(tái)提供的統(tǒng)一調(diào)度功能，實(shí)現(xiàn)過程如下：1. 調(diào)度運(yùn)行依據(jù)輸入表關(guān)系，根據(jù)數(shù)據(jù)關(guān)系實(shí)現(xiàn)正確調(diào)度依賴運(yùn)行。對(duì)租戶的臨時(shí)程序調(diào)度時(shí)，只會(huì)調(diào)度在有效期的程序才會(huì)調(diào)度。2. SQL腳本執(zhí)行開發(fā)人員開發(fā)好的SQL腳本，可以到多個(gè)數(shù)據(jù)平臺(tái)上運(yùn)行，系統(tǒng)需要進(jìn)行正確選擇投入到相應(yīng)的數(shù)據(jù)平臺(tái)運(yùn)行。a) 開發(fā)人員可以指定節(jié)點(diǎn)運(yùn)行的數(shù)據(jù)庫(kù)，如下圖b) 系統(tǒng)會(huì)對(duì)開發(fā)人員的編寫的sql進(jìn)行解析，獲取其依賴的輸入表和輸出表。再跟元數(shù)據(jù)進(jìn)行對(duì)比自動(dòng)選擇相應(yīng)數(shù)據(jù)庫(kù)。選擇策略如下：所有輸入表都在同一個(gè)庫(kù)則選擇那個(gè)庫(kù)輸入表分布在兩個(gè)庫(kù)系統(tǒng)給出錯(cuò)誤提示。建議其采用數(shù)據(jù)同步再進(jìn)行開發(fā)。如果涉及到的表涉及到兩個(gè)庫(kù)都存在如果有關(guān)聯(lián)表，則跟著關(guān)聯(lián)表同個(gè)庫(kù)，否則優(yōu)先選擇大數(shù)據(jù)平臺(tái)。3. 跨數(shù)據(jù)平臺(tái)命令的運(yùn)行比如：如何實(shí)現(xiàn)在hadoop平臺(tái)執(zhí)行匯總數(shù)據(jù)，導(dǎo)入到db2，在進(jìn)行匯總。Server端在讀取這個(gè)一個(gè)處理任務(wù)時(shí)，將命令發(fā)送匯總命令給hadoop Agent執(zhí)行，然后在發(fā)送命令給hadoop Agent進(jìn)行分發(fā)到db2，然后在發(fā)送命令給db2 agent進(jìn)行數(shù)據(jù)處理。第5章 應(yīng)用開發(fā)與部署 應(yīng)用開發(fā)流程應(yīng)用層的所有業(yè)務(wù)應(yīng)用具備與底層數(shù)據(jù)松耦合特性，通過接口層提供的各種數(shù)據(jù)接口，向業(yè)務(wù)人員或第三方廠商提供開放API服務(wù)。根據(jù)不同的應(yīng)用場(chǎng)景，通過對(duì)相應(yīng)的API進(jìn)行選擇和組合，從而快速生成所需要的業(yè)務(wù)應(yīng)用，以滿足對(duì)應(yīng)用的快速開發(fā)、部署、上線的能力。對(duì)于應(yīng)用的開發(fā)可通過兩種方式進(jìn)行實(shí)現(xiàn)： 數(shù)據(jù)中心平臺(tái)內(nèi)應(yīng)用開發(fā)：通過數(shù)據(jù)中心提供的應(yīng)用開發(fā)平臺(tái)直接進(jìn)行應(yīng)用開發(fā)，開發(fā)平臺(tái)提供高效的可視化開發(fā)界面，包括對(duì)各類API可以追根溯源，展現(xiàn)詳細(xì)API元數(shù)據(jù)信息等。同時(shí)對(duì)應(yīng)用設(shè)計(jì)、應(yīng)用開發(fā)、應(yīng)用測(cè)試、應(yīng)用上線、應(yīng)用下線進(jìn)行全流程、全生命周期的開發(fā)管控。此類開發(fā)場(chǎng)景主要適用于不具備硬件資源的用戶（如業(yè)務(wù)部門開發(fā)人員）進(jìn)行應(yīng)用開發(fā)。 數(shù)據(jù)中心平臺(tái)外應(yīng)用開發(fā)：通過Http協(xié)議數(shù)據(jù)服務(wù)接口，直接調(diào)用數(shù)據(jù)中心服務(wù)層中的各類API服務(wù)，通過開發(fā)編寫相應(yīng)的計(jì)算過程形成對(duì)應(yīng)的業(yè)務(wù)應(yīng)用。此類開發(fā)場(chǎng)景主要適用于具備硬件資源（如第三方廠商）的用戶進(jìn)行應(yīng)用開發(fā)。 應(yīng)用部署建議本期從外部系統(tǒng)接入8類數(shù)據(jù)源，所有清單數(shù)據(jù)在企業(yè)數(shù)據(jù)中心進(jìn)行基礎(chǔ)匯總，提供數(shù)據(jù)、存儲(chǔ)和API接口服務(wù)能力，供14類應(yīng)用調(diào)用。標(biāo)簽庫(kù)應(yīng)用：所有標(biāo)簽數(shù)據(jù)計(jì)算、存儲(chǔ)在數(shù)據(jù)中心，標(biāo)簽結(jié)果數(shù)據(jù)在HIVE和HBASE分別存儲(chǔ)一份數(shù)據(jù)，HIVE上存儲(chǔ)的數(shù)據(jù)通過Spark的RDD對(duì)外提供“根據(jù)標(biāo)簽查用戶群”API，HBASE上存儲(chǔ)的數(shù)據(jù)對(duì)外提供“根據(jù)號(hào)碼查標(biāo)簽信息”API。指標(biāo)庫(kù)：所有指標(biāo)計(jì)算、存儲(chǔ)在數(shù)據(jù)中心，結(jié)果數(shù)據(jù)存儲(chǔ)在RDB，通過“KPI查詢”API對(duì)外提供服務(wù)。掌上經(jīng)分應(yīng)用支撐：掌上經(jīng)分需要的KPI由經(jīng)分提供，改為由數(shù)據(jù)中心“KPI查詢”API提供。實(shí)時(shí)營(yíng)銷支撐：將MC位置信令事件集成到數(shù)據(jù)中心，由數(shù)據(jù)中心提供消息事件給實(shí)時(shí)營(yíng)銷平臺(tái)。LTE互聯(lián)網(wǎng)管控策略（PCC）、自有業(yè)務(wù)分析平臺(tái)、區(qū)域價(jià)值洞察：對(duì)于這些規(guī)劃中的系統(tǒng)，建議采用多租戶的方式，在企業(yè)數(shù)據(jù)中心完成數(shù)據(jù)處理和存儲(chǔ)都在數(shù)據(jù)中心，應(yīng)用通過調(diào)用API獲取數(shù)據(jù)。經(jīng)分系統(tǒng)一經(jīng)接口、MIS接口、財(cái)務(wù)報(bào)表、ESOP、VGOP、戰(zhàn)略地圖、渠道運(yùn)營(yíng)平臺(tái)、所需的數(shù)據(jù)源，統(tǒng)一由數(shù)據(jù)中心將DWD、DW層數(shù)據(jù)分發(fā)文件給各系統(tǒng)，由應(yīng)用系統(tǒng)自行進(jìn)行數(shù)據(jù)加工及展現(xiàn)。經(jīng)分其他應(yīng)用（除去一經(jīng)接口、MIS接口、財(cái)務(wù)報(bào)表）：數(shù)據(jù)處理和存儲(chǔ)都在數(shù)據(jù)中心，ST層數(shù)據(jù)保存在db2。第6章 統(tǒng)一門戶 概述企業(yè)數(shù)據(jù)中心統(tǒng)一門戶的建設(shè)是為了降低系統(tǒng)使用人員訪問數(shù)據(jù)中心的難度，提高系統(tǒng)的易用性，并且實(shí)現(xiàn)數(shù)據(jù)中心的資源有機(jī)整合和統(tǒng)籌管理。1. 數(shù)據(jù)開放服務(wù)門戶：對(duì)于數(shù)據(jù)開放服務(wù)提供開發(fā)者門戶，含有數(shù)據(jù)服務(wù)授權(quán)申請(qǐng)、開發(fā)者幫助文檔、服務(wù)注冊(cè)、創(chuàng)建、注銷等。2. 管控平臺(tái)門戶：對(duì)整個(gè)數(shù)據(jù)中心管控平臺(tái)使用者門戶，系統(tǒng)管理、運(yùn)維調(diào)度、質(zhì)量監(jiān)控等。3. 應(yīng)用使用門戶：對(duì)于應(yīng)用使用者的門戶，支持多租戶應(yīng)用、第三方應(yīng)用的集成統(tǒng)一呈現(xiàn)。 門戶功能框架統(tǒng)一門戶功能框架如下圖所示門戶功能框架包括門戶接入、門戶功能兩部分；通過功能適配到角色工作臺(tái)形成不同的角色視圖。216。 門戶接入：主要負(fù)責(zé)企業(yè)數(shù)據(jù)中心用戶訪問渠道的接入管理；接入應(yīng)用的日志管理、負(fù)載均衡與訪問授權(quán)。216。 門戶功能：包括角色工作臺(tái)、認(rèn)證管理、權(quán)限管理、用戶管理、流程審批、數(shù)據(jù)開發(fā)、應(yīng)用開發(fā)、數(shù)據(jù)授權(quán)、運(yùn)維監(jiān)控、多租戶管理等界面。第7章 管控平臺(tái) 概述 元數(shù)據(jù)管理 功能框架元數(shù)據(jù)管理是需要將各系統(tǒng)的信息、設(shè)計(jì)工具信息、生產(chǎn)平臺(tái)信息，進(jìn)行收集管理，統(tǒng)一管理。提供一個(gè)視圖，以幫助使用人員了解系統(tǒng)的數(shù)據(jù)分布、數(shù)據(jù)關(guān)系、業(yè)務(wù)規(guī)則、指標(biāo)口徑等。元數(shù)據(jù)包括：系統(tǒng)類元數(shù)據(jù)、技術(shù)類元數(shù)、管理類元數(shù)據(jù)?？傮w功能框架圖針對(duì)數(shù)據(jù)中心的要求，元數(shù)據(jù)管理需要具備的關(guān)鍵的特性如下：1） 要求提供標(biāo)準(zhǔn)化的應(yīng)用開發(fā)工具，滿足在不同平臺(tái)上的開發(fā)需求2） 100%的ETL開發(fā)、數(shù)據(jù)模型開發(fā)、應(yīng)用開發(fā)能基于開發(fā)工具實(shí)現(xiàn)3） 95%以上的元數(shù)據(jù)能自動(dòng)采集、解析與管理，元數(shù)據(jù)的范圍包括但不局限于數(shù)據(jù)結(jié)構(gòu)、數(shù)據(jù)詞典、字段維度、程序映射邏輯、數(shù)據(jù)生命周期等4） 多租戶的統(tǒng)一元數(shù)據(jù)管理 基于元數(shù)據(jù)的應(yīng)用開發(fā)工具提供統(tǒng)一的應(yīng)用開發(fā)工具，完成高效應(yīng)用的開發(fā)，并可以自動(dòng)完成應(yīng)用元數(shù)據(jù)的采集。提供諸如數(shù)據(jù)展示包括報(bào)表工具，儀表盤分析等工具如 支持常見的各種報(bào)表樣式 支持常見各種分析圖，同時(shí)支持圖表組合分析 支持各種數(shù)據(jù)源方式支持oracle，db2,mysql等常見的關(guān)系型數(shù)據(jù)庫(kù)支持gp，gbase等mpp數(shù)據(jù)庫(kù)支持hdfs，hbase等大數(shù)據(jù)平臺(tái)提供數(shù)據(jù)支持webservice獲取數(shù)據(jù) 基于元數(shù)據(jù)的數(shù)據(jù)開發(fā)工具采用元數(shù)據(jù)驅(qū)動(dòng)(MDA)設(shè)計(jì)理念，去規(guī)劃元數(shù)據(jù)對(duì)象的創(chuàng)建、運(yùn)行、評(píng)估、維護(hù)各環(huán)節(jié)節(jié)。屏蔽大數(shù)據(jù)平臺(tái)差異性，統(tǒng)一模型設(shè)計(jì)、統(tǒng)一程序開發(fā)，將元數(shù)據(jù)融入到開發(fā)各個(gè)環(huán)節(jié)，利于管理。216。 數(shù)據(jù)模型設(shè)計(jì)支持IDE數(shù)據(jù)模型設(shè)計(jì)，同時(shí)支持模型設(shè)計(jì)工具power design、Erwin批量導(dǎo)入功能。提供數(shù)據(jù)周期、數(shù)據(jù)表級(jí)字段級(jí)銘感設(shè)置、字段口徑定義。216。 數(shù)據(jù)流程設(shè)計(jì)設(shè)計(jì)程序輸入表和輸出表的元數(shù)據(jù)信息。216。 程序開發(fā)根據(jù)設(shè)計(jì)的內(nèi)容轉(zhuǎn)換成開發(fā)內(nèi)容。開發(fā)人員就可以在此基礎(chǔ)上進(jìn)行開發(fā)。提供各個(gè)接入平臺(tái)統(tǒng)一封裝函數(shù)，降低開發(fā)難度216。 數(shù)據(jù)質(zhì)量控制。包括及時(shí)性，運(yùn)行狀態(tài)，運(yùn)行時(shí)長(zhǎng)，處理記錄數(shù)等進(jìn)行常規(guī)檢查。包括單步的處理時(shí)長(zhǎng)，記錄數(shù)的波動(dòng)等。檢查目標(biāo)的統(tǒng)計(jì)指標(biāo)值，關(guān)鍵字段維度、層次間數(shù)據(jù)的一致性進(jìn)行檢查216。 提供程序界面測(cè)試功能對(duì)開發(fā)內(nèi)容進(jìn)行測(cè)試和調(diào)優(yōu)，檢查質(zhì)量規(guī)范，性能，質(zhì)量是否滿足期望發(fā)布應(yīng)用到正式運(yùn)行環(huán)境元數(shù)據(jù)收集存儲(chǔ)：216。 程序的基本信息。包括程序的名稱，中文名稱，備注，周期，層次，主題，創(chuàng)建人，開發(fā)人員216。 程序的處理步驟信息。包括程序步驟編號(hào)，調(diào)用函數(shù)，執(zhí)行腳本216。 程序輸入輸出關(guān)系。輸入模型，輸出模型程序的字段映射規(guī)則。輸入模型到輸出模型的轉(zhuǎn)換規(guī)則 數(shù)據(jù)流設(shè)計(jì)設(shè)計(jì)數(shù)據(jù)模型，設(shè)置數(shù)據(jù)存儲(chǔ)周期，敏感級(jí)別，數(shù)據(jù)模型數(shù)據(jù)流設(shè)計(jì)，支持模型字段映射關(guān)系設(shè)計(jì)1. 數(shù)據(jù)流程設(shè)計(jì)，也可以是遠(yuǎn)程數(shù)據(jù)庫(kù)上的某個(gè)表。目標(biāo)表可以是文件也可以是遠(yuǎn)程目標(biāo)數(shù)據(jù)庫(kù)上的表。