基于大數(shù)據(jù)的能力開放平臺解決方案(存儲版)
【正文】 3 解決方案介紹 業(yè)務目標將大數(shù)據(jù)平臺及經(jīng)分數(shù)據(jù)倉庫平臺的數(shù)據(jù)和系統(tǒng)處理能力進行標準化封裝，按需進行開放，滿足各業(yè)務部門數(shù)據(jù)使用的需求，并在經(jīng)驗成熟的情況下逐漸開放給外部眾多的合作伙伴使用。通過多租戶的方式，對開發(fā)者分配獨立的大數(shù)據(jù)平臺及數(shù)據(jù)倉庫的存儲、計算資源，確保開發(fā)者在共享數(shù)據(jù)、系統(tǒng)能力的同時，不影響生產(chǎn)系統(tǒng)的正常運行。 滿足業(yè)務部門自助開發(fā)的需求，集成圖形化的開發(fā)界面，通過拖拽的方式實現(xiàn)快速數(shù)據(jù)處理邏輯設計及開發(fā)；216。包含全局數(shù)據(jù)字典、程序邏輯等元數(shù)據(jù)，提供元數(shù)據(jù)維護、權限控制等工具實現(xiàn)元數(shù)據(jù)整個生命周期的管理。 HBASE:作為分布式的、面向列的開源數(shù)據(jù)庫，HBASE 在Hadoop 之上提供了大數(shù)據(jù)的存儲和快速查詢能力。 服務安全管理：服務認證鑒權是用于鑒別服務請求方是否有服務調(diào)用權限；數(shù)據(jù)交換安全是用于保證服務請求響應過程中的數(shù)據(jù)安全；權限管理是用于確定服務請求方可調(diào)用的服務權限。216。 查詢響應：負責處理數(shù)據(jù)和各類數(shù)據(jù)源進行交互，獲取查詢結(jié)果。 服務注冊：服務屬性配置：如服務標識、服務名稱、服務描述、服務發(fā)布地址等信息的配置； 服務參數(shù)配置：包括輸入?yún)?shù)、輸出參數(shù)、輸出內(nèi)容等配置。（1）數(shù)據(jù)層為實現(xiàn)快速的數(shù)據(jù)查詢，數(shù)據(jù)共享平臺采用了HBASE 及Redis 作為數(shù)據(jù)層。 數(shù)據(jù)同步采用開源的Sqoop 來實現(xiàn)大數(shù)據(jù)平臺和DBHBASE 的高效數(shù)據(jù)同步?？刂浦行膶崟r監(jiān)控Agent 運行狀態(tài)，并進行短信告警,防止Agent 掛死。能力開放平臺由統(tǒng)一調(diào)度、統(tǒng)一開發(fā)、數(shù)據(jù)共享三大平臺組成：統(tǒng)一調(diào)度平臺將原大數(shù)據(jù)平臺、經(jīng)分數(shù)據(jù)倉庫、VGOP 平臺等關聯(lián)度高的獨立應用系統(tǒng)的任務進行統(tǒng)一管理、執(zhí)行調(diào)度及監(jiān)控，提升整體的執(zhí)行效率并簡化運維。如果采用統(tǒng)一調(diào)度的設計思路則基于任務的數(shù)據(jù)表依賴進行任務解耦及調(diào)度，將大大簡化調(diào)度配置工作和提高系統(tǒng)的并發(fā)度； 需求周期長，導致開發(fā)周期長現(xiàn)行的開發(fā)模式是由業(yè)務部門提出需求，業(yè)務支撐中心進行需求分析，然后再轉(zhuǎn)派給開發(fā)廠商。由于歷史原因，業(yè)務支撐系統(tǒng)存在經(jīng)分、VGOP、大數(shù)據(jù)平臺、集團集市等多套獨立的運維系統(tǒng)，缺乏統(tǒng)一的運維管理，造成系統(tǒng)與系統(tǒng)之間的數(shù)據(jù)交付復雜，無法最大化的利用系統(tǒng)資源。能力開放使業(yè)務人
公司管理相關推薦
鄂ICP備17016276號-1