基于大數(shù)據(jù)的能力開放平臺(tái)解決方案-免費(fèi)閱讀
【正文】 方案效果統(tǒng)一調(diào)度方案效果：統(tǒng)一調(diào)度集中整合了運(yùn)營商經(jīng)分系統(tǒng)、大數(shù)據(jù)平臺(tái)、集團(tuán)集市、VGOP 等應(yīng)用系統(tǒng)的調(diào)度管理，提高了各個(gè)平臺(tái)程序的并發(fā)度，減少重復(fù)建設(shè)，節(jié)約成本近百萬；統(tǒng)一開發(fā)方案效果：目前互聯(lián)網(wǎng)中心和信安部已經(jīng)開始進(jìn)行客戶體驗(yàn)工作，統(tǒng)一開發(fā)平臺(tái)上線之后，需求的開發(fā)速度由原來的數(shù)十天量級(jí)提升到小時(shí)內(nèi)量級(jí)實(shí)現(xiàn)，數(shù)據(jù)變現(xiàn)能力得到數(shù)倍的增強(qiáng)；數(shù)據(jù)共享方案效果：目前某省運(yùn)營商已部署基于Redis 的“用戶剩余流量”實(shí)時(shí)查詢系統(tǒng)，采用Redis 內(nèi)存數(shù)據(jù)庫作為內(nèi)存存儲(chǔ)單元；每天分流500 萬以上的查詢需求，同步數(shù)據(jù)達(dá)到秒級(jí)；掃描用戶流量檔次變化達(dá)到分鐘級(jí)，單機(jī)支持并發(fā)查詢量由原有BOSS系統(tǒng)的300 次每秒提高到5000 次每秒，并支持水平擴(kuò)展。216。其查詢速度比HBASE 更高。 元數(shù)據(jù)的可控開放：為了保障開放數(shù)據(jù)的安全性，安全管理員要對(duì)即將開放的基礎(chǔ)元數(shù)據(jù)進(jìn)行逐個(gè)審批，只有得到安全管理員審批的基礎(chǔ)數(shù)據(jù)才能對(duì)外開放，從而保障開放數(shù)據(jù)的安全性。包含以下功能：查看元數(shù)據(jù)、數(shù)據(jù)模型注冊(cè)、數(shù)據(jù)模型導(dǎo)入、設(shè)計(jì)、開發(fā)、測(cè)試、上線、優(yōu)化；216。消息接收：支持各種事件觸發(fā)消息，如文件到達(dá)、接口裝載、表生成；規(guī)則引擎：根據(jù)人工定義、系統(tǒng)資源情況、租戶定義等設(shè)置制定任務(wù)的執(zhí)行條件及前后依賴關(guān)系；任務(wù)觸發(fā)：根據(jù)消息總線傳遞的消息，判斷任務(wù)是否具備執(zhí)行條件，并將滿足觸發(fā)條件的任務(wù)分發(fā)至各平臺(tái)Agent 端執(zhí)行；任務(wù)監(jiān)控：接收來自Agent 的程序執(zhí)行狀態(tài)及資源狀態(tài)并產(chǎn)生新的消息。通過元數(shù)據(jù)的數(shù)據(jù)模型抽象，逐步將Hadoop、DB2 的后臺(tái)數(shù)據(jù)資源高效、安全并可控可管的開放給前端進(jìn)行訪問。大數(shù)據(jù)平臺(tái)增強(qiáng)了傳統(tǒng)經(jīng)分的數(shù)據(jù)處理的能力，成為公司重要的資產(chǎn)，但是傳統(tǒng)經(jīng)分?jǐn)?shù)據(jù)倉庫的用戶主要面向業(yè)支內(nèi)部人員，限制了數(shù)據(jù)的使用人員范圍和數(shù)據(jù)的使用頻度，已經(jīng)無法滿足公司日益發(fā)展的業(yè)務(wù)需求，數(shù)據(jù)的開放迫在眉睫。2 問題分析 背景分析隨著市場(chǎng)發(fā)展，傳統(tǒng)的開發(fā)模式已經(jīng)無法滿足業(yè)務(wù)開發(fā)敏捷性的要求。驅(qū)動(dòng)力一：程序調(diào)度管理混亂，系統(tǒng)資源使用不充分經(jīng)分、大數(shù)據(jù)平臺(tái)、VGOP、集團(tuán)集市平臺(tái)各自擁有獨(dú)立的調(diào)度管理，平臺(tái)內(nèi)程序基本是串行執(zhí)行，以經(jīng)分日處理為例，每日運(yùn)行時(shí)間為20 個(gè)小時(shí)，已經(jīng)嚴(yán)重影響到了指標(biāo)的匯總展示。
公司管理相關(guān)推薦
鄂ICP備17016276號(hào)-1