基于大數(shù)據(jù)的能力開(kāi)放平臺(tái)解決方案-文庫(kù)吧
2025-04-18 22:34 本頁(yè)面
【正文】 交的大量程序執(zhí)行調(diào)度的運(yùn)維需求。如果采用統(tǒng)一調(diào)度的設(shè)計(jì)思路則基于任務(wù)的數(shù)據(jù)表依賴進(jìn)行任務(wù)解耦及調(diào)度，將大大簡(jiǎn)化調(diào)度配置工作和提高系統(tǒng)的并發(fā)度； 需求周期長(zhǎng)，導(dǎo)致開(kāi)發(fā)周期長(zhǎng)現(xiàn)行的開(kāi)發(fā)模式是由業(yè)務(wù)部門提出需求，業(yè)務(wù)支撐中心進(jìn)行需求分析，然后再轉(zhuǎn)派給開(kāi)發(fā)廠商。廠商除了需要與業(yè)支溝通需求以外，有時(shí)候還需要與業(yè)務(wù)部門進(jìn)行二次溝通，最終才能明確需求，開(kāi)發(fā)周期比較長(zhǎng)； 數(shù)據(jù)管理分散，存在數(shù)據(jù)冗余，營(yíng)銷效果欠佳經(jīng)分系統(tǒng)對(duì)外提供數(shù)據(jù)，目前采用的是傳統(tǒng)的文件接口形式，這樣會(huì)造成經(jīng)分和外圍系統(tǒng)存在至少2 份的數(shù)據(jù)，隨著經(jīng)分的按天支撐模式，造成傳統(tǒng)的營(yíng)銷效果欠佳，外圍系統(tǒng)的存儲(chǔ)浪費(fèi)。3 解決方案介紹 業(yè)務(wù)目標(biāo)將大數(shù)據(jù)平臺(tái)及經(jīng)分?jǐn)?shù)據(jù)倉(cāng)庫(kù)平臺(tái)的數(shù)據(jù)和系統(tǒng)處理能力進(jìn)行標(biāo)準(zhǔn)化封裝，按需進(jìn)行開(kāi)放，滿足各業(yè)務(wù)部門數(shù)據(jù)使用的需求，并在經(jīng)驗(yàn)成熟的情況下逐漸開(kāi)放給外部眾多的合作伙伴使用。統(tǒng)一調(diào)度：作為大數(shù)據(jù)開(kāi)放基礎(chǔ)平臺(tái)，通過(guò)消息總線將大數(shù)據(jù)平臺(tái)、經(jīng)分、集市、VGOP、業(yè)務(wù)部門的應(yīng)用進(jìn)行統(tǒng)一的系統(tǒng)調(diào)度管控，提供跨平臺(tái)調(diào)度、分發(fā)、解析等基礎(chǔ)功能，實(shí)現(xiàn)大數(shù)據(jù)平臺(tái)、經(jīng)分?jǐn)?shù)據(jù)倉(cāng)庫(kù)等多類型底層平臺(tái)的能力互補(bǔ)，形成融合平臺(tái)的協(xié)作效應(yīng)；通過(guò)多租戶技術(shù)，解決生產(chǎn)任務(wù)與數(shù)據(jù)開(kāi)放能力爭(zhēng)用的問(wèn)題，實(shí)現(xiàn)系統(tǒng)資源對(duì)生產(chǎn)任務(wù)與臨時(shí)任務(wù)的合理分配及高效調(diào)度。統(tǒng)一開(kāi)發(fā)：集成圖形化的開(kāi)發(fā)界面，通過(guò)統(tǒng)一封裝的函數(shù)庫(kù)提供類SQL 的開(kāi)發(fā)語(yǔ)言，以屏蔽底層平臺(tái)差異，降低業(yè)務(wù)人員的開(kāi)發(fā)門檻，實(shí)現(xiàn)快速的業(yè)務(wù)開(kāi)發(fā)及數(shù)據(jù)測(cè)試。通過(guò)元數(shù)據(jù)的數(shù)據(jù)模型抽象，逐步將Hadoop、DB2 的后臺(tái)數(shù)據(jù)資源高效、安全并可控可管的開(kāi)放給前端進(jìn)行訪問(wèn)。數(shù)據(jù)共享：大數(shù)據(jù)平臺(tái)將用戶標(biāo)簽、營(yíng)銷目標(biāo)、用戶套餐剩余量等信息通過(guò)統(tǒng)一的數(shù)據(jù)服務(wù)方式開(kāi)放給其他系統(tǒng)或者在線使用，確保數(shù)據(jù)的唯一性和數(shù)據(jù)響應(yīng)的及時(shí)性。 方案內(nèi)容及亮點(diǎn)圖為基于大數(shù)據(jù)的能力開(kāi)放體系架構(gòu)，我們?cè)谠写髷?shù)據(jù)平臺(tái)上進(jìn)行整合，使得大數(shù)據(jù)的成果能夠有效的被外部系統(tǒng)調(diào)用，并具備標(biāo)準(zhǔn)的服務(wù)能力供后續(xù)的系統(tǒng)對(duì)接。能力開(kāi)放平臺(tái)由統(tǒng)一調(diào)度、統(tǒng)一開(kāi)發(fā)、數(shù)據(jù)共享三大平臺(tái)組成：統(tǒng)一調(diào)度平臺(tái)將原大數(shù)據(jù)平臺(tái)、經(jīng)分?jǐn)?shù)據(jù)倉(cāng)庫(kù)、VGOP 平臺(tái)等關(guān)聯(lián)度高的獨(dú)立應(yīng)用系統(tǒng)的任務(wù)進(jìn)行統(tǒng)一管理、執(zhí)行調(diào)度及監(jiān)控，提升整體的執(zhí)行
公司管理相關(guān)推薦
鄂ICP備17016276號(hào)-1