基于大數(shù)據(jù)的能力開放平臺解決方案(文件)
【正文】 開發(fā)過程進行支撐。 數(shù)據(jù)同步采用開源的Sqoop 來實現(xiàn)大數(shù)據(jù)平臺和DBHBASE 的高效數(shù)據(jù)同步。 元數(shù)據(jù)的自動更新：通過統(tǒng)一開發(fā)平臺開發(fā)的程序，相關(guān)元數(shù)據(jù)（表、字段、數(shù)據(jù)流圖、觸發(fā)條件）將自動納入元數(shù)據(jù)管理，實現(xiàn)元數(shù)據(jù)的自動更新，并為統(tǒng)一調(diào)度平臺提供程序調(diào)度觸發(fā)消息；216。（1）數(shù)據(jù)層為實現(xiàn)快速的數(shù)據(jù)查詢，數(shù)據(jù)共享平臺采用了HBASE 及Redis 作為數(shù)據(jù)層。 Redis：作為基于內(nèi)存亦可持久化的日志型、KeyValue 數(shù)據(jù)庫，并提供多種語言的API。 服務(wù)注冊：服務(wù)屬性配置：如服務(wù)標識、服務(wù)名稱、服務(wù)描述、服務(wù)發(fā)布地址等信息的配置； 服務(wù)參數(shù)配置：包括輸入?yún)?shù)、輸出參數(shù)、輸出內(nèi)容等配置。 認證鑒權(quán)：確定服務(wù)請求方是否有訪問服務(wù)提供方提供的具體服務(wù)的功能權(quán)限；對于有功能權(quán)限的服務(wù)請求方，還需要再確定其可訪問的具體服務(wù)的數(shù)據(jù)范圍權(quán)限。 查詢響應(yīng)：負責處理數(shù)據(jù)和各類數(shù)據(jù)源進行交互，獲取查詢結(jié)果。需求方更容易安全接入系統(tǒng)。數(shù)據(jù)共享平臺上線后將進行融合對外提供統(tǒng)一的API 接口查詢服務(wù)。216。 服務(wù)運維：服務(wù)監(jiān)控對數(shù)據(jù)服務(wù)的運行狀況提供實時的監(jiān)控和分析，幫助運維人員及時了解數(shù)據(jù)服務(wù)的健康情況。 服務(wù)安全管理：服務(wù)認證鑒權(quán)是用于鑒別服務(wù)請求方是否有服務(wù)調(diào)用權(quán)限；數(shù)據(jù)交換安全是用于保證服務(wù)請求響應(yīng)過程中的數(shù)據(jù)安全；權(quán)限管理是用于確定服務(wù)請求方可調(diào)用的服務(wù)權(quán)限。（2）封裝層基于Restful 架構(gòu)實現(xiàn)API 封裝，使用Nginx 的代理功能，整合后端多個Tomcat服務(wù)器，實現(xiàn)高并發(fā)的查詢能力。 HBASE:作為分布式的、面向列的開源數(shù)據(jù)庫，HBASE 在Hadoop 之上提供了大數(shù)據(jù)的存儲和快速查詢能力。 數(shù)據(jù)共享為發(fā)揮大數(shù)據(jù)的價值，通過標準API 封裝的方式為企業(yè)內(nèi)各種實時的業(yè)務(wù)運營提供信息支撐，并對外部系統(tǒng)提供統(tǒng)一的數(shù)據(jù)調(diào)用接口，具有實時、動態(tài)的信息交互能力。包含全局數(shù)據(jù)字典、程序邏輯等元數(shù)據(jù)，提供元數(shù)據(jù)維護、權(quán)限控制等工具實現(xiàn)元數(shù)據(jù)整個生命周期的管理。 數(shù)據(jù)處理過程API 分為7 大類：數(shù)據(jù)輸入(Reader)、數(shù)據(jù)輸出(Writer)、行集處理(Process)、字段級處理、流程控制類、數(shù)據(jù)檢查類、數(shù)據(jù)交換類，并提供了一套可擴展的機制；216。 滿足業(yè)務(wù)部門自助開
公司管理相關(guān)推薦
鄂ICP備17016276號-1