基于大數據的能力開放平臺解決方案(存儲版)
【正文】 3 解決方案介紹 業(yè)務目標將大數據平臺及經分數據倉庫平臺的數據和系統(tǒng)處理能力進行標準化封裝，按需進行開放，滿足各業(yè)務部門數據使用的需求，并在經驗成熟的情況下逐漸開放給外部眾多的合作伙伴使用。通過多租戶的方式，對開發(fā)者分配獨立的大數據平臺及數據倉庫的存儲、計算資源，確保開發(fā)者在共享數據、系統(tǒng)能力的同時，不影響生產系統(tǒng)的正常運行。 滿足業(yè)務部門自助開發(fā)的需求，集成圖形化的開發(fā)界面，通過拖拽的方式實現快速數據處理邏輯設計及開發(fā)；216。包含全局數據字典、程序邏輯等元數據，提供元數據維護、權限控制等工具實現元數據整個生命周期的管理。 HBASE:作為分布式的、面向列的開源數據庫，HBASE 在Hadoop 之上提供了大數據的存儲和快速查詢能力。 服務安全管理：服務認證鑒權是用于鑒別服務請求方是否有服務調用權限；數據交換安全是用于保證服務請求響應過程中的數據安全；權限管理是用于確定服務請求方可調用的服務權限。216。 查詢響應：負責處理數據和各類數據源進行交互，獲取查詢結果。 服務注冊：服務屬性配置：如服務標識、服務名稱、服務描述、服務發(fā)布地址等信息的配置； 服務參數配置：包括輸入參數、輸出參數、輸出內容等配置。（1）數據層為實現快速的數據查詢，數據共享平臺采用了HBASE 及Redis 作為數據層。 數據同步采用開源的Sqoop 來實現大數據平臺和DBHBASE 的高效數據同步?？刂浦行膶崟r監(jiān)控Agent 運行狀態(tài)，并進行短信告警,防止Agent 掛死。能力開放平臺由統(tǒng)一調度、統(tǒng)一開發(fā)、數據共享三大平臺組成：統(tǒng)一調度平臺將原大數據平臺、經分數據倉庫、VGOP 平臺等關聯(lián)度高的獨立應用系統(tǒng)的任務進行統(tǒng)一管理、執(zhí)行調度及監(jiān)控，提升整體的執(zhí)行效率并簡化運維。如果采用統(tǒng)一調度的設計思路則基于任務的數據表依賴進行任務解耦及調度，將大大簡化調度配置工作和提高系統(tǒng)的并發(fā)度； 需求周期長，導致開發(fā)周期長現行的開發(fā)模式是由業(yè)務部門提出需求，業(yè)務支撐中心進行需求分析，然后再轉派給開發(fā)廠商。由于歷史原因，業(yè)務支撐系統(tǒng)存在經分、VGOP、大數據平臺、集團集市等多套獨立的運維系統(tǒng)，缺乏統(tǒng)一的運維管理，造成系統(tǒng)與系統(tǒng)之間的數據交付復雜，無法最大化的利用系統(tǒng)資源。能力開放使業(yè)務人
公司管理相關推薦
鄂ICP備17016276號-1