基于大數(shù)據(jù)的能力開放平臺解決方案(編輯修改稿)
2025-05-30 22:34 本頁面
【文章內(nèi)容簡介】 效率并簡化運維。統(tǒng)一開發(fā)平臺搭建于統(tǒng)一調(diào)度的基礎(chǔ)之上，開發(fā)者可以通過IDE 使用封裝后的函數(shù)，以SQL 腳本進行圖形化的數(shù)據(jù)處理程序設(shè)計及開發(fā)。通過多租戶的方式，對開發(fā)者分配獨立的大數(shù)據(jù)平臺及數(shù)據(jù)倉庫的存儲、計算資源，確保開發(fā)者在共享數(shù)據(jù)、系統(tǒng)能力的同時，不影響生產(chǎn)系統(tǒng)的正常運行。數(shù)據(jù)共享平臺提供標準API 封裝，提供給外部系統(tǒng)進行數(shù)據(jù)查詢和調(diào)用，實現(xiàn)經(jīng)分系統(tǒng)對外數(shù)據(jù)服務標準化，同時保障數(shù)據(jù)安全性并降低外部系統(tǒng)數(shù)據(jù)存儲壓力。 統(tǒng)一調(diào)度統(tǒng)一調(diào)度由控制中心和AGENT 兩部分組成，如下圖所示：（1）控制中心: 控制中心接收來自內(nèi)部的消息，通過規(guī)則引擎判斷任務是否滿足觸發(fā)條件并分發(fā)給Agent 進行處理，并對任務執(zhí)行情況進行監(jiān)控及消息生成。消息接收：支持各種事件觸發(fā)消息，如文件到達、接口裝載、表生成；規(guī)則引擎：根據(jù)人工定義、系統(tǒng)資源情況、租戶定義等設(shè)置制定任務的執(zhí)行條件及前后依賴關(guān)系；任務觸發(fā)：根據(jù)消息總線傳遞的消息，判斷任務是否具備執(zhí)行條件，并將滿足觸發(fā)條件的任務分發(fā)至各平臺Agent 端執(zhí)行；任務監(jiān)控：接收來自Agent 的程序執(zhí)行狀態(tài)及資源狀態(tài)并產(chǎn)生新的消息。（2）AGENT:部署到參與調(diào)度的執(zhí)行平臺，負責任務執(zhí)行及系統(tǒng)資源、任務狀態(tài)收集報告。任務監(jiān)聽：輪詢掃描控制中心發(fā)出的任務；任務執(zhí)行：支持tcl、shell、python、java 等程序，可以手工設(shè)置各個執(zhí)行平臺進程數(shù)，支持多進程并發(fā)處理；資源狀態(tài)及心跳報告：支持分鐘級和主動資源收集報告，將資源信息進行反饋?？刂浦行膶崟r監(jiān)控Agent 運行狀態(tài)，并進行短信告警,防止Agent 掛死。 統(tǒng)一開發(fā)統(tǒng)一開發(fā)提供圖形化的開發(fā)能力以及統(tǒng)一元數(shù)據(jù)管理：(1) IDE 圖形化的開發(fā)界面及統(tǒng)一封裝函數(shù)庫的集成，如下圖所示：216。 滿足業(yè)務部門自助開發(fā)的需求，集成圖形化的開發(fā)界面，通過拖拽的方式實現(xiàn)快速數(shù)據(jù)處理邏輯設(shè)計及開發(fā)；216。 通過JAVA 包對SQL 命令、Hadoop、DB2 執(zhí)行平臺的系統(tǒng)命令、時間函數(shù)、字符串函數(shù)、聚合函數(shù)等基礎(chǔ)函數(shù)庫進行統(tǒng)一封裝，屏蔽底層執(zhí)行平臺的系統(tǒng)差異，實現(xiàn)類SQL 開發(fā)語言支持，降低系統(tǒng)的技術(shù)門檻；216。 前臺提供圖形化開發(fā)界面、拖拽式開發(fā)方式、統(tǒng)一封裝的函
公司管理相關(guān)推薦
鄂ICP備17016276號-1