【導讀】省級電子政務云平臺。數(shù)據(jù)交換共享平臺方案

　　

【正文】 門之間的數(shù)據(jù)對接，實現(xiàn) 相 同層級間部門信息交換，同時 前置 機上要部署前置 數(shù)據(jù) 庫做為 交換 數(shù)據(jù)庫，所有對接的數(shù)據(jù)在交換數(shù)據(jù)庫中要進行落地，以實現(xiàn)對數(shù) 據(jù)交換的 跟蹤、監(jiān)控和事后查詢等管理任務。為以 后 續(xù) 審計數(shù)據(jù)安全、業(yè)務安全， 制定 管理制度 提 供依據(jù)。 （ 5） 、省 級交換平臺與市 （州）級交換 平臺通過 政務信息資源網絡 進行連接，以保障兩級交換平臺之間可以進行數(shù)據(jù)交換 、 數(shù)據(jù)共享，實現(xiàn)兩級之間 政務 信息數(shù)據(jù)可以進行互聯(lián)互通。 根據(jù) 以上分析 ，政務信息資源交換平臺架構由交換橋接、前置交換、交換傳輸、交換管理等部分組成。交換橋接用來實現(xiàn)部門業(yè)務信息庫與交換信息庫的雙向信息同步。前置交換由網絡及硬件基礎設施、操作系統(tǒng)、交換信息庫、前置交換環(huán)境、交換服務配置工具等組成。交換前置支持不 同的交換信息庫之間的雙向信息交換，是交換信息庫和交換傳輸系統(tǒng)之間的橋梁，支持多個交換服務的并發(fā)運行。交換傳輸是前置交換系統(tǒng)之間的信息交換通道，實現(xiàn)交換信息的打包、轉換、傳遞、路由、解包等功能。交換管理支持對整個交換平臺的綜合管理監(jiān)控， 28 包括交換流程的配置、部署與管理以及對交換系統(tǒng)運行情況的監(jiān)視與管理兩個方面。 政務 信息資源交換 平臺 結構設計 軟件模塊組成和功能結構 政務 信息資源交換 平臺系統(tǒng)總體 結構 如下圖所示： 29 總體 功能結構圖 非云環(huán)境 中 系統(tǒng)部署 圖 云環(huán)境 中 系統(tǒng)部署 圖 軟件 （模塊 ）組成 根據(jù)政務信息資源交換平臺結構 設計， 政務信息資源交換平臺架構由交換橋接、前置交換、交換傳輸、交換管理等部分組成。交換橋接用來實現(xiàn)部門業(yè)務信息庫與交換信息庫的雙向信息同步。前置交換由網絡及硬件基礎設施、操作系統(tǒng)、 30 交換信息庫、前置交換環(huán)境、交換服務配置工具等組成。交換前置支持不同的交換信息庫之間的雙向信息交換，是交換信息庫和交換傳輸系統(tǒng)之間的橋梁，支持多個交換服務的并發(fā)運行。交換傳輸是前置交換系統(tǒng)之間的信息交換通道，實現(xiàn)交換信息的打包、轉換、傳遞、路由、解包等功能。交換管理支持對整個交換平臺的綜合管理監(jiān)控，包括交 換流程的配置、部署與管理以及對交換系統(tǒng)運行情況的監(jiān)視與管理兩個方面。 政務信息資源交換平臺中交換 橋接采用金蝶 Apusic 數(shù)據(jù) 集成軟件，前置交換采用 金 蝶 Apusic 數(shù)據(jù)交換平臺結點軟件，交換管理采用 金 蝶 Apusic 數(shù)據(jù)交換管理 中心，交換傳輸 采用 金蝶 Apusic 消息中 間 軟件。 數(shù)據(jù)交換與共享系統(tǒng)主要包括金蝶 ApusicMQ 消息中間件、金蝶 ApusicETL數(shù)據(jù)集成軟件、金蝶 ApusicDXP 數(shù)據(jù) 交換 系統(tǒng)。 金蝶 ApusicMQ 消息中間件采用成熟的 JMS 消息機制，保證本項目交換中心預八大平臺系統(tǒng)在異構、異地情況下 的數(shù)據(jù)不重、不錯、不漏、不丟的可靠傳輸，金蝶 Apusic 消息中間件主要提供如下功能： ? 點對點消息傳輸功能 ? 消息安全傳輸功能 ? 消息壓縮、切分 ? 大文件傳輸功能 ? 隊列管理、隊列存儲 ? 隊列集群 ? 熱備功能 金蝶 ApusicETL 數(shù)據(jù)集成軟件采用業(yè)界成熟的 ETL 架構設計理念，采用易用的設計器工具能夠方便完成數(shù)據(jù)采集、同步、清洗、比對等業(yè)務場景，在本項目中應用在將各個共享庫的數(shù)據(jù)抽取、加載到公共數(shù)據(jù)庫。 ApusicETL 產品主要提供如下功能： ? 豐富的數(shù)據(jù)適配組件 ? 豐富的數(shù)據(jù)清洗、轉換組件 ? 元數(shù)據(jù)存儲管理 ? 數(shù)據(jù)傳輸功能 ? 穩(wěn)定的運行環(huán)境 31 ? 高可用集群能力 ? 資源監(jiān)控和管理 金蝶 ApusicDXP 系統(tǒng)立足與解決大規(guī)模數(shù)據(jù)共享交換問題，通過平臺化的思想對現(xiàn)有數(shù)據(jù)共享交換業(yè)務進行改造，采用統(tǒng)一技術、統(tǒng)一配置、統(tǒng)一管理、統(tǒng)一監(jiān)控的平臺化運作模式重新構建數(shù)據(jù)交換體系。通過對現(xiàn)有系統(tǒng)進行數(shù)據(jù)整合，尤其是對相關領域的數(shù)據(jù)資源進行整合，徹底消除“信息孤島”，實現(xiàn)各種系統(tǒng)的互聯(lián)互通和數(shù)據(jù)共享，形成統(tǒng)一的數(shù)據(jù)服務層，為上層應用提供高速、穩(wěn)定、可靠的數(shù)據(jù)服務。各類、各級用戶可通過金蝶數(shù)據(jù)交換平臺的 B/S 瀏覽器界面方便地進行基礎設施管理、交換管理、共享 管理、服務代理、監(jiān)控管理、統(tǒng)計管理、審計管理、系統(tǒng)管理、資源目錄等業(yè)務管理與監(jiān)控操作。為數(shù)據(jù)交換業(yè)務的開發(fā)、上線、部署、監(jiān)控、審計提供了極大便利。 內部數(shù)據(jù)控制機制和調度方式過程 政務信息 資源 交換平臺數(shù)據(jù)控制和調度方式如下： 數(shù)據(jù)控制和調度方式圖 整體過程分為數(shù)據(jù)交換、數(shù)據(jù)轉換、監(jiān)控管理三大控制模塊，其中監(jiān)控管理模塊能夠對數(shù)據(jù)交換和數(shù)據(jù)轉換模塊完全監(jiān)控。 32 數(shù)據(jù)交換與共享交換操作過程如下： 1．數(shù)據(jù)交換流程可視化編排：組件化配置。 2．調度策略靈活：按周期設定。 33 3．靈活的數(shù)據(jù)過濾能力：可通過編寫 SQL 的條件實現(xiàn)數(shù)據(jù)的高級過濾，滿足特殊場景的需要。 4．便捷的流程參數(shù)設置：選擇數(shù)據(jù)庫源、選擇數(shù)據(jù)表、來源與目標數(shù)據(jù)表字段自動映射。 34 系統(tǒng)內部模塊數(shù)據(jù)處理流程圖 系統(tǒng)內部模塊數(shù)據(jù)處理流程圖如下所示： 業(yè)務 庫與前置庫數(shù)據(jù)處理流程圖 前置庫 數(shù)據(jù) 到 平臺管理中心數(shù)據(jù)流程圖 數(shù)據(jù)交換與共享系統(tǒng)數(shù)據(jù)處理分為業(yè)務數(shù)據(jù)流和控制數(shù)據(jù)流。 政務 信息資源交換平臺 數(shù)據(jù)流是從業(yè)務系統(tǒng)到前置庫庫采用 ETL 橋 接 方式的數(shù)據(jù)匯總，然后通過數(shù)據(jù)數(shù)據(jù) 交換 平 臺節(jié)點模塊采集數(shù)據(jù) 通過 數(shù)據(jù) 傳輸 模塊將數(shù)據(jù)推送到數(shù)據(jù)交換平臺中心 模塊 35 政務信息資源交換平臺系統(tǒng)設計 橋接交換系統(tǒng)設計 設計 思路 橋接交換系統(tǒng)建設包含以 下 幾個部分： 橋 接系統(tǒng) 交換如 何進行數(shù)據(jù)采集 橋 接 交換 系統(tǒng) 數(shù)據(jù) 映射 轉換 過濾 橋 接交換系統(tǒng)數(shù)據(jù)加載 落地 建模設計 工具 運行 引擎 系統(tǒng) 架構 36 功能模塊 （ 1） 、數(shù)據(jù)采集 數(shù)據(jù)采集是指從各部門相關業(yè)務系統(tǒng)、格式 文件或接口 通過數(shù)據(jù)抓取技術實現(xiàn)業(yè)務數(shù)據(jù)捕獲，實現(xiàn)業(yè)務數(shù)據(jù)對外共享。 針對部署前置交換數(shù)據(jù)庫的場景，數(shù)據(jù)交換平臺提供數(shù)據(jù)庫入站適配器，支持主流的關系型數(shù)據(jù)庫的主流版本，并且能夠支持初始數(shù)據(jù)同步和增量數(shù)據(jù)同步兩種數(shù)據(jù)同步模式。 針對部門通過暴露 Web 服務的方式提供數(shù)據(jù)的場景，數(shù)據(jù)交換平臺提供 Web服務適配器，能夠通過調用 Web 服務的方式，獲取數(shù)據(jù)。 針對部門通過介質報備數(shù)據(jù)的場景，數(shù)據(jù)交換與共享系統(tǒng)提供適配器、文本文件適配器等多種文件適配器，完成數(shù)據(jù)的采集。 （ 2） 、數(shù)據(jù) 轉換 數(shù)據(jù)轉換是根據(jù)數(shù)據(jù)系統(tǒng)模型的要求，對抽取后的數(shù)據(jù)進行轉換、拆分、匯總等處理，保證來自不同系統(tǒng)、不同格式 的數(shù)據(jù)的一致性和完整性，并按要求裝入數(shù)據(jù)庫。從數(shù)據(jù)源中抽取的數(shù)據(jù)不一定完全滿足目的庫的要求，例如數(shù)據(jù)格式的不一致、數(shù)據(jù)輸入錯誤、數(shù)據(jù)不完整等等，因此有必要對抽取出的數(shù)據(jù)進行數(shù) 37 據(jù)轉換和加工。 基于金蝶 AETL 可以完整實現(xiàn)對于數(shù)據(jù)轉換方面的相關功能： 系統(tǒng)采用松耦合的組件式架構，具有清晰的流程邏輯圖。 支持字段級處理，支持字段值替換、值映射、重命名 支持記錄級處理，支持一列拆多列、記錄合并、記錄排序等 支持行列變換，支持一維行轉二維列、一列轉多行等 內置常見的工具組件，如序列、常量、隨機數(shù)、計算器、唯一數(shù)等組件 支持使用內部函數(shù)或者用戶自定義函數(shù)，支持 JavaScript 腳本語言。 支持批處理，支持分批分包進行處理方式 數(shù)據(jù)轉換過程應具有事務性，為數(shù)據(jù)提供完整的事務控制與保障，以保障數(shù)據(jù)的一致性。 數(shù)據(jù)轉換減少 I/O 操作，采用基于內存計算的技術，使大量的計算在內存中完成，減少對硬盤 I/O 的占用，提高效率。 （ 3） 、數(shù)據(jù) 加 載 將抽取到 的數(shù)據(jù)經過加工后，將加工后的結果數(shù)據(jù)存入數(shù)據(jù)庫， 橋 接交換子系統(tǒng)中要求將數(shù)據(jù)存入交換庫，所有涉及交換的數(shù)據(jù)均必須落地， 以實現(xiàn)對數(shù)據(jù)交換的 跟蹤、監(jiān)控和事后查詢等管理任務。為以 后 續(xù) 審計數(shù)據(jù)安全、業(yè)務安全，制定 管理制度 提 供依據(jù)。 （ 4） 、 建模工具 Designer 設計器 是 基于 SWT GUI 編程框架的圖形化高度集成開發(fā)環(huán)境。用于提供數(shù)據(jù)集成中間件作業(yè)和轉換的開發(fā)、調試、配置管理、部署、執(zhí)行、監(jiān)控以及運行日志的一體化平臺。 （ 5） 、 運行引擎 數(shù)據(jù)集成中間件 Server 運行服務器，是運行數(shù)據(jù)集成中間件作業(yè)和轉換流程的服務端引擎，簡稱數(shù)據(jù)集成中間件 Server。多個數(shù)據(jù)集成中間件 Server 可以配置為一個集群。每個數(shù)據(jù)集成中間件 Server 集群包含一個 Master Server 和多個 Slave Server，它們之間通過 TCP(socket)進行節(jié)點通信和數(shù)據(jù)消息傳遞。 隨著數(shù)據(jù)量的增大，單臺服務器已經無法在一定時間內完成對大量數(shù)據(jù)的處理。 集群是 數(shù)據(jù)集成中間件工具的企業(yè)級特性。集群使得大量數(shù)據(jù)能夠分布 38 到多臺服務器上并發(fā)處理，充分利用 CPU 等計算機資源。提供了 Scale Out 的特性。 支持動態(tài)集群，可以動態(tài)地根據(jù)連接到主服務器的從屬服務器的數(shù)量創(chuàng)建集群。很方便為集群添加或刪除計算資源 。 前置交換系統(tǒng)設計 設計思路 前置交換系統(tǒng)主要實現(xiàn)相同層級部門間的前置交換數(shù)據(jù)庫的數(shù)據(jù)交換對接，支持不 同的交換信息庫之間的雙向信息交換，是交換信息庫和交換傳輸系統(tǒng)之間的橋梁。 因此，前置交換系統(tǒng)的設計主要考慮以下幾個方面： 1. 可視化界面配置，部署交換任務 用戶可以在界面上選擇資源目錄中發(fā)布的源表資源和目標表資源，實現(xiàn)界面流程創(chuàng)建和映射，并可在線統(tǒng)一部署配置任務和流程。 2. 多交換任務的并發(fā)執(zhí)行和隔離管理 前置交換系統(tǒng)需要支持多個并發(fā)的不同業(yè)務類型的交換任務流程執(zhí)行，各交換任務實例隔離運行。 3. 多種調度方式執(zhí)行交換任務 需要支持多種調度方式執(zhí)行交換任務，比如間隔時間，定時執(zhí)行，以及可以自定義調度周期執(zhí)行交換任務。 4. 交 換任務的執(zhí)行監(jiān)控 監(jiān)控交換任務和交換流程的執(zhí)行情況，并可對交換任務進行基本的操作，如啟動，停止，刪除等管理操作。 5. 不同類型交換庫的數(shù)據(jù)抽取 前置交換系統(tǒng)需要適應各種類型的前置交換數(shù)據(jù)庫的數(shù)據(jù)抽取，必須支持目前的幾大主流關系數(shù)據(jù)庫作為前置交換庫，包括 MySQL,Oracle,SQL Server,DB2 等數(shù)據(jù)庫。 6. 數(shù)據(jù)交換任務跟蹤審計 前置交換系統(tǒng)的交換任務每次調度的執(zhí)行日志統(tǒng)計，支持上報到交換管理系統(tǒng)，最終在交換管理中心平臺上統(tǒng)一展示交換任務執(zhí)行統(tǒng)計情況。 系統(tǒng)架構 結合上述整體設計思路，目前的技術架構方案中，前置交換系統(tǒng)的采用 39 ApusicDXP 的 ADXPNode 節(jié)點服務器實現(xiàn)，其架構圖如下所示： ADXPNode 交換節(jié)點服務器架構圖 1. 設計開發(fā) 主要實現(xiàn)交換流程的設計開發(fā)和部署。 2. 交換流程 交換流程的基本功能實現(xiàn)，包括數(shù)據(jù)訪問以及數(shù)據(jù)轉換處理。 3. 交換任務 交換任務的創(chuàng)建，運行和管理。 4. 日志審計 交換任務日志和流程運行日志的統(tǒng)計和上報。 5. 運行容器 功能模塊 按照如上整體架構，系統(tǒng)整體由于四個模塊構成，分別是括核心容器、流程管理模塊，任務管理模塊，部署開發(fā)模塊和日志審模塊。 設計開發(fā) 1. 流程開發(fā) 交換流程的開發(fā)設計，所有前置交換流程均可在界面進行可視化的設計開發(fā)，通過訪問資源目錄中的交換資源如表資源，文件資源編排流程，進行數(shù)據(jù)的映射轉換和目標表的配置，完成交換流程的開發(fā)。 2. 流程部署 提供部署接口，通過交換管理系統(tǒng)實現(xiàn)交換流程的遠程部署到前置交換系統(tǒng)。 40 3. 可視化配置 支持在界面通過資源的選取和功能組件的編排搭配完成流程開發(fā)和屬性配置；支持交換系統(tǒng)的參數(shù)動態(tài)配置。 交換 流程 1. 資源訪問 和資源目錄系統(tǒng)直接對接，訪問資源目錄中已經編目發(fā)布的資源；也支持直接設定的資源。在此項目中，支持交換的資源類型包括數(shù)據(jù)庫表和文件資源兩種。 2. 增量捕獲 數(shù)據(jù)表資源的增量捕獲，支持在前置交換庫上的表創(chuàng)建增量捕獲機制，實現(xiàn)增刪改操作的增量變化數(shù)據(jù)的捕獲。 3. 數(shù)據(jù)轉換 支持數(shù)據(jù)的基本轉換。在本系統(tǒng)架構中，業(yè)務系統(tǒng)和前置交換庫的數(shù)據(jù)異構的復雜轉換由橋接子系統(tǒng)完成。但在實際中，不同部門的前置交換庫之間的數(shù)據(jù)交換，在某些特殊場景下也需要支持數(shù)據(jù)的轉換。在沒有橋接系統(tǒng)的情況下，前置交換系統(tǒng)可支持直接和業(yè)務庫的 交換，支持常見的數(shù)據(jù)轉換，包括字段拆分，字段合并，截取，計算器和常量等基本轉換。 4. 路由分支 支持根據(jù)條件配置流程的路由處理分支。 5. 異常處理 支持交換流程中出錯時的異常處理，以保證交換流程在運行中不因為個別數(shù)據(jù)的錯誤導致整個交換任務的終止。 6. 沖突策略 支持交換流程加載數(shù)據(jù)到目標交換庫時重復數(shù)據(jù)策略處理，包括丟棄，更新以及主動拋錯