【正文】 據(jù)，即查即用，不落地。需求方提出申請(qǐng)審批通過(guò)后，系統(tǒng)通過(guò)分發(fā)平臺(tái)定期將數(shù)據(jù)分發(fā)到目標(biāo)庫(kù)定期數(shù)據(jù)同步。適合于系統(tǒng)之間的實(shí)時(shí)協(xié)助，如用戶事件信息。使用企業(yè)級(jí)數(shù)據(jù)中心提供統(tǒng)一開(kāi)發(fā)平臺(tái)來(lái)實(shí)現(xiàn)多租戶數(shù)據(jù)開(kāi)發(fā)，其功能結(jié)構(gòu)如下圖：系統(tǒng)包括兩部分：開(kāi)發(fā)管控和技術(shù)平臺(tái)。這種模式下需要解決的關(guān)鍵問(wèn)題包括如下：如何進(jìn)行資源控制，數(shù)據(jù)權(quán)限管理，跨系統(tǒng)之間的數(shù)據(jù)交互，自動(dòng)調(diào)度運(yùn)行，元數(shù)據(jù)管理。設(shè)置開(kāi)發(fā)團(tuán)隊(duì)使用資源和賬號(hào)對(duì)開(kāi)發(fā)團(tuán)隊(duì)提出的數(shù)據(jù)權(quán)限申請(qǐng)進(jìn)行審批授權(quán)表的敏感級(jí)別和敏感字段。檢查性能，開(kāi)發(fā)規(guī)范的滿足情況，調(diào)度申請(qǐng)周期是否合理對(duì)開(kāi)發(fā)團(tuán)隊(duì)數(shù)據(jù)導(dǎo)出安全進(jìn)行審計(jì)租戶開(kāi)發(fā)：使用統(tǒng)一的技術(shù)架構(gòu)和開(kāi)發(fā)工具，在可以使用的數(shù)據(jù)的基礎(chǔ)，加工出私有數(shù)據(jù)查看詳細(xì)的數(shù)據(jù)結(jié)構(gòu)新申請(qǐng)數(shù)據(jù)權(quán)限，如果需要新的數(shù)據(jù)，可以進(jìn)行申請(qǐng)，由管理員審批后就可以使用數(shù)據(jù)加工開(kāi)發(fā)，進(jìn)行數(shù)據(jù)匯總、關(guān)聯(lián)查詢，數(shù)據(jù)導(dǎo)出等類(lèi)型數(shù)據(jù)數(shù)據(jù)加工開(kāi)發(fā)臨時(shí)上線、正式上線。 統(tǒng)一開(kāi)發(fā)平臺(tái)技術(shù)詳解 租戶用戶管理n 租戶與系統(tǒng)用戶映射通過(guò)映射開(kāi)發(fā)管理平臺(tái)帳號(hào)及執(zhí)行平臺(tái)帳號(hào)，以租戶的方式實(shí)現(xiàn)用戶及用戶組管理，以達(dá)到資源管控及數(shù)據(jù)權(quán)限控制的目的。每個(gè)開(kāi)發(fā)團(tuán)隊(duì)根據(jù)需要指定其在hadoop或關(guān)系數(shù)據(jù)庫(kù)上的執(zhí)行賬號(hào)。在查詢或運(yùn)行某個(gè)數(shù)據(jù)處理任務(wù)時(shí)，用其對(duì)應(yīng)的賬號(hào)進(jìn)行執(zhí)行。在管理平臺(tái)新建租戶的賬號(hào)或數(shù)據(jù)權(quán)限變更時(shí)，管理平臺(tái)根據(jù)配置參數(shù)，實(shí)時(shí)調(diào)用OCDC的相關(guān)API自動(dòng)進(jìn)行授權(quán)、修改、創(chuàng)建賬號(hào)。實(shí)現(xiàn)資源控制，包括兩部分：hadoop上的資源分配和關(guān)系數(shù)據(jù)庫(kù)的資源分配（DB2）。一個(gè)系統(tǒng)賬號(hào)只能屬于一個(gè)資源池，YARN支持采用資源池方式對(duì)系統(tǒng)用戶進(jìn)行CPU，內(nèi)存的運(yùn)行控制。系統(tǒng)確保此用戶有最小的資源。如何設(shè)置租戶的資源參數(shù)，是一個(gè)需要不斷根據(jù)運(yùn)行情況進(jìn)行優(yōu)化的過(guò)程。目前db2的版本已經(jīng)滿足，需要開(kāi)通WLM的生效參數(shù)。控制參數(shù)如下：參數(shù)名說(shuō)明min分配給某個(gè)服務(wù)類(lèi)的最小資源百分比。softmax在有沖突的情況下（這里可以理解為資源緊張時(shí)），服務(wù)類(lèi)可獲得的最少資源比例。缺省值 100hardmax在沒(méi)有沖突的情況下，服務(wù)類(lèi)可獲得的最大資源比例。缺陷是無(wú)法高度自動(dòng)共享可用空間。因此一般做法是由小到大慢慢分配空間。根據(jù)分配的結(jié)果在數(shù)據(jù)平臺(tái)進(jìn)行授權(quán)、回收等操作。注：在管理平臺(tái)分配的是邏輯模板表，數(shù)據(jù)平臺(tái)控制的是實(shí)際的表。l 字段級(jí)權(quán)限分配：在表級(jí)授權(quán)的基礎(chǔ)上，對(duì)表的字段的權(quán)限進(jìn)行授權(quán)分配。所以我們采用兩種方式實(shí)現(xiàn)這個(gè)功能：方式1：建立視圖，過(guò)濾掉沒(méi)有權(quán)限的字段，然后將視圖授權(quán)給相關(guān)賬號(hào)。方式2：通過(guò)應(yīng)用級(jí)的控制。資源控制手段列表：控制項(xiàng)目db2hadoop表級(jí)權(quán)限通過(guò)db2的權(quán)限管理，通過(guò)腳本實(shí)現(xiàn)數(shù)據(jù)權(quán)限的分配通過(guò)kerbors的權(quán)限管理，通過(guò)腳本實(shí)現(xiàn)數(shù)據(jù)權(quán)限的分配字段級(jí)權(quán)限通過(guò)視圖通過(guò)視圖資源CPU通過(guò)wlm進(jìn)行設(shè)置通過(guò)YARN資源池進(jìn)行控制資源內(nèi)存無(wú)法實(shí)現(xiàn)通過(guò)YARN資源池進(jìn)行控制資源存儲(chǔ)每個(gè)租戶獨(dú)立一個(gè)表空間，設(shè)置表空間大小每個(gè)租戶獨(dú)立一個(gè)文件跟目錄，設(shè)置文件目錄大小系統(tǒng)文件目錄每個(gè)租戶在數(shù)據(jù)主機(jī)上建立文件目錄，存放源代碼，可執(zhí)行程序每個(gè)租戶在數(shù)據(jù)主機(jī)上建立文件目錄，存放源代碼，可執(zhí)行程序 租戶的數(shù)據(jù)開(kāi)發(fā)過(guò)程1. 查看數(shù)據(jù)字典開(kāi)發(fā)人員可以查看到所有的數(shù)據(jù)字典。通過(guò)調(diào)用基礎(chǔ)平臺(tái)的元數(shù)據(jù)實(shí)現(xiàn)數(shù)據(jù)字典查看。開(kāi)發(fā)人員需要對(duì)輸出表dw_cdr設(shè)置表結(jié)構(gòu)，sql處理匯總處編寫(xiě)sql腳本。其中數(shù)據(jù)處理函數(shù)節(jié)點(diǎn)包括：Sql，tcl，java，shell，數(shù)據(jù)分發(fā)，數(shù)據(jù)加載，數(shù)據(jù)導(dǎo)出，ftp、創(chuàng)建表，刪除表等。如下示意圖：4. 上線開(kāi)發(fā)人員在界面上直接提交上線。臨時(shí)上線需要開(kāi)發(fā)人員填寫(xiě)生效的開(kāi)始日期，結(jié)束日期，調(diào)度周期。審批的項(xiàng)目包括：程序名稱，表名是否規(guī)范，字段名稱和中文信息是否完整。5. 運(yùn)行程序上線后，調(diào)度平臺(tái)就會(huì)根據(jù)程序數(shù)據(jù)依賴關(guān)系自動(dòng)進(jìn)行調(diào)度。程序開(kāi)發(fā)人員可以申請(qǐng)延長(zhǎng)有效期或申請(qǐng)固定上線。對(duì)租戶的臨時(shí)程序調(diào)度時(shí)，只會(huì)調(diào)度在有效期的程序才會(huì)調(diào)度。a) 開(kāi)發(fā)人員可以指定節(jié)點(diǎn)運(yùn)行的數(shù)據(jù)庫(kù)，如下圖b) 系統(tǒng)會(huì)對(duì)開(kāi)發(fā)人員的編寫(xiě)的sql進(jìn)行解析，獲取其依賴的輸入表和輸出表。選擇策略如下：所有輸入表都在同一個(gè)庫(kù)則選擇那個(gè)庫(kù)輸入表分布在兩個(gè)庫(kù)系統(tǒng)給出錯(cuò)誤提示。如果涉及到的表涉及到兩個(gè)庫(kù)都存在如果有關(guān)聯(lián)表，則跟著關(guān)聯(lián)表同個(gè)庫(kù)，否則優(yōu)先選擇大數(shù)據(jù)平臺(tái)。Server端在讀取這個(gè)一個(gè)處理任務(wù)時(shí)，將命令發(fā)送匯總命令給hadoop Agent執(zhí)行，然后在發(fā)送命令給hadoop Agent進(jìn)行分發(fā)到db2，然后在發(fā)送命令給db2 agent進(jìn)行數(shù)據(jù)處理。根據(jù)不同的應(yīng)用場(chǎng)景，通過(guò)對(duì)相應(yīng)的API進(jìn)行選擇和組合，從而快速生成所需要的業(yè)務(wù)應(yīng)用，以滿足對(duì)應(yīng)用的快速開(kāi)發(fā)、部署、上線的能力。同時(shí)對(duì)應(yīng)用設(shè)計(jì)、應(yīng)用開(kāi)發(fā)、應(yīng)用測(cè)試、應(yīng)用上線、應(yīng)用下線進(jìn)行全流程、全生命周期的開(kāi)發(fā)管控。 數(shù)據(jù)中心平臺(tái)外應(yīng)用開(kāi)發(fā)：通過(guò)Http協(xié)議數(shù)據(jù)服務(wù)接口，直接調(diào)用數(shù)據(jù)中心服務(wù)層中的各類(lèi)API服務(wù)，通過(guò)開(kāi)發(fā)編寫(xiě)相應(yīng)的計(jì)算過(guò)程形成對(duì)應(yīng)的業(yè)務(wù)應(yīng)用。 應(yīng)用部署建議本期從外部系統(tǒng)接入8類(lèi)數(shù)據(jù)源，所有清單數(shù)據(jù)在企業(yè)數(shù)據(jù)中心進(jìn)行基礎(chǔ)匯總，提供數(shù)據(jù)、存儲(chǔ)和API接口服務(wù)能力，供14類(lèi)應(yīng)用調(diào)用。指標(biāo)庫(kù)：所有指標(biāo)計(jì)算、存儲(chǔ)在數(shù)據(jù)中心，結(jié)果數(shù)據(jù)存儲(chǔ)在RDB，通過(guò)“KPI查詢”API對(duì)外提供服務(wù)。實(shí)時(shí)營(yíng)銷(xiāo)支撐：將MC位置信令事件集成到數(shù)據(jù)中心，由數(shù)據(jù)中心提供消息事件給實(shí)時(shí)營(yíng)銷(xiāo)平臺(tái)。經(jīng)分系統(tǒng)一經(jīng)接口、MIS接口、財(cái)務(wù)報(bào)表、ESOP、VGOP、戰(zhàn)略地圖、渠道運(yùn)營(yíng)平臺(tái)、所需的數(shù)據(jù)源，統(tǒng)一由數(shù)據(jù)中心將DWD、DW層數(shù)據(jù)分發(fā)文件給各系統(tǒng)，由應(yīng)用系統(tǒng)自行進(jìn)行數(shù)據(jù)加工及展現(xiàn)。第6章 統(tǒng)一門(mén)戶 概述企業(yè)數(shù)據(jù)中心統(tǒng)一門(mén)戶的建設(shè)是為了降低系統(tǒng)使用人員訪問(wèn)數(shù)據(jù)中心的難度，提高系統(tǒng)的易用性，并且實(shí)現(xiàn)數(shù)據(jù)中心的資源有機(jī)整合和統(tǒng)籌管理。2. 管控平臺(tái)門(mén)戶：對(duì)整個(gè)數(shù)據(jù)中心管控平臺(tái)使用者門(mén)戶，系統(tǒng)管理、運(yùn)維調(diào)度、質(zhì)量監(jiān)控等。 門(mén)戶功能框架統(tǒng)一門(mén)戶功能框架如下圖所示門(mén)戶功能框架包括門(mén)戶接入、門(mén)戶功能兩部分；通過(guò)功能適配到角色工作臺(tái)形成不同的角色視圖。 門(mén)戶接入：主要負(fù)責(zé)企業(yè)數(shù)據(jù)中心用戶訪問(wèn)渠道的接入管理；接入應(yīng)用的日志管理、負(fù)載均衡與訪問(wèn)授權(quán)。 門(mén)戶功能：包括角色工作臺(tái)、認(rèn)證管理、權(quán)限管理、用戶管理、流程審批、數(shù)據(jù)開(kāi)發(fā)、應(yīng)用開(kāi)發(fā)、數(shù)據(jù)授權(quán)、運(yùn)維監(jiān)控、多租戶管理等界面。提供一個(gè)視圖，以幫助使用人員了解系統(tǒng)的數(shù)據(jù)分布、數(shù)據(jù)關(guān)系、業(yè)務(wù)規(guī)則、指標(biāo)口徑等?？傮w功能框架圖針對(duì)數(shù)據(jù)中心的要求，元數(shù)據(jù)管理需要具備的關(guān)鍵的特性如下：1） 要求提供標(biāo)準(zhǔn)化的應(yīng)用開(kāi)發(fā)工具，滿足在不同平臺(tái)上的開(kāi)發(fā)需求2） 100%的ETL開(kāi)發(fā)、數(shù)據(jù)模型開(kāi)發(fā)、應(yīng)用開(kāi)發(fā)能基于開(kāi)發(fā)工具實(shí)現(xiàn)3） 95%以上的元數(shù)據(jù)能自動(dòng)采集、解析與管理，元數(shù)據(jù)的范圍包括但不局限于數(shù)據(jù)結(jié)構(gòu)、數(shù)據(jù)詞典、字段維度、程序映射邏輯、數(shù)據(jù)生命周期等4） 多租戶的統(tǒng)一元數(shù)據(jù)管理 基于元數(shù)據(jù)的應(yīng)用開(kāi)發(fā)工具提供統(tǒng)一的應(yīng)用開(kāi)發(fā)工具，完成高效應(yīng)用的開(kāi)發(fā)，并可以自動(dòng)完成應(yīng)用元數(shù)據(jù)的采集。屏蔽大數(shù)據(jù)平臺(tái)差異性，統(tǒng)一模型設(shè)計(jì)、統(tǒng)一程序開(kāi)發(fā)，將元數(shù)據(jù)融入到開(kāi)發(fā)各個(gè)環(huán)節(jié)，利于管理。 數(shù)據(jù)模型設(shè)計(jì)支持IDE數(shù)據(jù)模型設(shè)計(jì)，同時(shí)支持模型設(shè)計(jì)工具power design、Erwin批量導(dǎo)入功能。216。216。開(kāi)發(fā)人員就可以在此基礎(chǔ)上進(jìn)行開(kāi)發(fā)。 數(shù)據(jù)質(zhì)量控制。檢查目標(biāo)的統(tǒng)計(jì)指標(biāo)值，關(guān)鍵字段維度、層次間數(shù)據(jù)的一致性進(jìn)行檢查216。 程序的基本信息。 程序的處理步驟信息。 程序輸入輸出關(guān)系。輸入模型到輸出模型的轉(zhuǎn)換規(guī)則 數(shù)據(jù)流設(shè)計(jì)設(shè)計(jì)數(shù)據(jù)模型，設(shè)置數(shù)據(jù)存儲(chǔ)周期，敏感級(jí)別，數(shù)據(jù)模型數(shù)據(jù)流設(shè)計(jì)，支持模型字段映射關(guān)系設(shè)計(jì)1. 數(shù)據(jù)流程設(shè)計(jì)，也可以是遠(yuǎn)程數(shù)據(jù)庫(kù)上的某個(gè)表。2. 數(shù)據(jù)模型設(shè)計(jì)對(duì)輸入表和輸出表，進(jìn)行表結(jié)構(gòu)的設(shè)計(jì)。根據(jù)不同的存儲(chǔ)類(lèi)別，會(huì)有設(shè)計(jì)參數(shù)上的差異。映射規(guī)則包括合并，拆分，規(guī)則轉(zhuǎn)換，函數(shù)轉(zhuǎn)換等常見(jiàn)的操作 可視化程序開(kāi)發(fā)216。根據(jù)數(shù)據(jù)倉(cāng)庫(kù)處理過(guò)程抽象出5大類(lèi)通用函數(shù)庫(kù)，統(tǒng)一調(diào)用參數(shù)接口，開(kāi)發(fā)人員針對(duì)不同不平臺(tái)實(shí)現(xiàn)無(wú)差異的開(kāi)發(fā)。系統(tǒng)執(zhí)行時(shí)如果是要入庫(kù)到DB2調(diào)用DB2的命令，如果是Hadoop平臺(tái)，調(diào)用Hadoop的命令。 通過(guò)可視化的流程界面，拖拽方式實(shí)現(xiàn)對(duì)函數(shù)的編排，對(duì)每個(gè)節(jié)點(diǎn)函數(shù)編寫(xiě)參數(shù)，實(shí)現(xiàn)數(shù)據(jù)加工功能。開(kāi)發(fā)時(shí)候，對(duì)函數(shù)進(jìn)行編排，填寫(xiě)節(jié)點(diǎn)函數(shù)參數(shù)。 支持多種腳本開(kāi)發(fā)，提供基于web腳本開(kāi)發(fā)工具編寫(xiě)如tcl、python開(kāi)發(fā)程序；能夠從開(kāi)發(fā)的腳本中自動(dòng)解析建立元數(shù)據(jù)：輸入表和輸出表的關(guān)系；腳本類(lèi)的開(kāi)發(fā)工具，集成了開(kāi)發(fā)，測(cè)試，上線集成操作。在上線時(shí)，對(duì)元數(shù)據(jù)內(nèi)容進(jìn)行稽核檢查，保證元數(shù)據(jù)信息的完整性，合理性。每個(gè)團(tuán)隊(duì)提交要上線的內(nèi)容，