基于大數(shù)據(jù)的能力開放平臺解決方案(文件)
【正文】 開發(fā)過程進行支撐。 數(shù)據(jù)同步采用開源的Sqoop 來實現(xiàn)大數(shù)據(jù)平臺和DBHBASE 的高效數(shù)據(jù)同步。 元數(shù)據(jù)的自動更新：通過統(tǒng)一開發(fā)平臺開發(fā)的程序，相關元數(shù)據(jù)（表、字段、數(shù)據(jù)流圖、觸發(fā)條件）將自動納入元數(shù)據(jù)管理，實現(xiàn)元數(shù)據(jù)的自動更新，并為統(tǒng)一調度平臺提供程序調度觸發(fā)消息；216。（1）數(shù)據(jù)層為實現(xiàn)快速的數(shù)據(jù)查詢，數(shù)據(jù)共享平臺采用了HBASE 及Redis 作為數(shù)據(jù)層。 Redis：作為基于內存亦可持久化的日志型、KeyValue 數(shù)據(jù)庫，并提供多種語言的API。 服務注冊：服務屬性配置：如服務標識、服務名稱、服務描述、服務發(fā)布地址等信息的配置； 服務參數(shù)配置：包括輸入?yún)?shù)、輸出參數(shù)、輸出內容等配置。 認證鑒權：確定服務請求方是否有訪問服務提供方提供的具體服務的功能權限；對于有功能權限的服務請求方，還需要再確定其可訪問的具體服務的數(shù)據(jù)范圍權限。 查詢響應：負責處理數(shù)據(jù)和各類數(shù)據(jù)源進行交互，獲取查詢結果。需求方更容易安全接入系統(tǒng)。數(shù)據(jù)共享平臺上線后將進行融合對外提供統(tǒng)一的API 接口查詢服務。216。 服務運維：服務監(jiān)控對數(shù)據(jù)服務的運行狀況提供實時的監(jiān)控和分析，幫助運維人員及時了解數(shù)據(jù)服務的健康情況。 服務安全管理：服務認證鑒權是用于鑒別服務請求方是否有服務調用權限；數(shù)據(jù)交換安全是用于保證服務請求響應過程中的數(shù)據(jù)安全；權限管理是用于確定服務請求方可調用的服務權限。（2）封裝層基于Restful 架構實現(xiàn)API 封裝，使用Nginx 的代理功能，整合后端多個Tomcat服務器，實現(xiàn)高并發(fā)的查詢能力。 HBASE:作為分布式的、面向列的開源數(shù)據(jù)庫，HBASE 在Hadoop 之上提供了大數(shù)據(jù)的存儲和快速查詢能力。 數(shù)據(jù)共享為發(fā)揮大數(shù)據(jù)的價值，通過標準API 封裝的方式為企業(yè)內各種實時的業(yè)務運營提供信息支撐，并對外部系統(tǒng)提供統(tǒng)一的數(shù)據(jù)調用接口，具有實時、動態(tài)的信息交互能力。包含全局數(shù)據(jù)字典、程序邏輯等元數(shù)據(jù)，提供元數(shù)據(jù)維護、權限控制等工具實現(xiàn)元數(shù)據(jù)整個生命周期的管理。 數(shù)據(jù)處理過程API 分為7 大類：數(shù)據(jù)輸入(Reader)、數(shù)據(jù)輸出(Writer)、行集處理(Process)、字段級處理、流程控制類、數(shù)據(jù)檢查類、數(shù)據(jù)交換類，并提供了一套可擴展的機制；216。 滿足業(yè)務部門自助開
公司管理相關推薦
鄂ICP備17016276號-1