【文章內容簡介】 的 Datastage、Informatica 公司的 Powercente:以及 NCRTeradata 公司的 ETLAutomation。這類專業(yè)廠商的產品一般都有較完善的體系結構和久經考驗的品質，產品的功能之復雜和詳盡往往能令初次接觸的人膛目，但其高昂的價格也會使一般用戶望而卻步。 開源數據交換平臺研究情況數據交換平臺的研究受到的業(yè)界的廣泛關注和重視，經過近幾年的發(fā)展，出現了許多開源的數據交換技術，如 BIE(商業(yè)集成引擎)172。——一個完全基于Java 跨平臺的企業(yè)應用集成(EAI)服務器；XmlBlaster ——基于 Java 的 MOM (Message oriented Middleware)；Mule——一個企業(yè)服務總線(ESB)消息框架；WSO2 ESB——一套輕量級以 XML 和 Web service 為核心的 ESB（Enterprise Service Bus）等等。這些系統(tǒng)以 EAI 或 ESB 為理念，提供應用系統(tǒng)整合和數據交換功能。但是這些系統(tǒng)基本上不能為一般用戶提供易操作性和穩(wěn)定性的使用特性，需經過專業(yè)的機構和技術人員進行較深入的研究和二次開發(fā)才能有效地得到應用。 除了以前的 ESB 開源產品之外，也有許多廠商研發(fā)的輕量級的開源產品，如 Kettle、JasperETL、Jitterbit 等，這些產品一般都用 Java 編寫，易維護易擴展，體積較小，數據抽取高效穩(wěn)定。其中 Kettle 以其強健全面的功能和靈活直觀的界面在眾多產品中占據翹楚。 國內數據交換平臺研究和應用情況國內數據交換平臺近幾年在研究和應用方面有了良好的發(fā)展。在研究方面，主要基于通用數據庫技術和開源 ESB 技術，近年來基于 SOA 和 ESB 理念和技術的研究越來越多和深入。在應用方面，主要是針對行業(yè)的系統(tǒng)，如電子政務數12 / 46據交換、企業(yè)應用集成（EAI）、教育數據交換等，這些系統(tǒng)的行業(yè)性強，通用性較低。在產品方面，目前國內尚欠缺比較成型的 ETL 產品，針對這方面工具軟件的研發(fā)也相對落后，不過還是有一些功能上近似的替代品被廣泛應用，在項目中也為其做了嘗試，如金蝶的 ESB（也是基于開源的 ESB）、東方通公司的中間件系列產品(Tonglniegrator、TongL、KQ 等)，與提供的服務相配合可以實現數據的企業(yè)級集成交換；還有新晨的整合化傳輸工具 XXCJ，只能滿足部分要求，對于數據交換安全、大數據量、實時數據等不能實現交換。但使用中需要專業(yè)人員和大量二次開發(fā)，未能成為主流和形成規(guī)范。因為中文的原因，國內產品在使用上，操作復雜性、界面友好性等方面還存在一些差距。 項目研究的主要內容項目的主要研究內容如下：1. 數據交換目錄與數據元管理。平臺可依據數據元的國際、國家標準以及應用行業(yè)（如政務、教育、企業(yè)等）自身的信息標準，規(guī)范化地定義和描述數據元、數據字典、數據交互目錄。2. 數據交換服務管理?；?SOA 理念定義和描述所需的數據交換服務清單，包括服務清單管理、服務對象（提供者、請求者）管理、服務注冊管理、服務測試管理、服務發(fā)布管理、數據源管理等。3. 數據適配器技術。數據適配器連接并訪問數據交換中涉及到的可能的數據對象（數據源/目） 。平臺支持適配器定義、適配器安裝與卸除、適配器測試、適配器配置等。主要數據適配器將各種數據庫、電子表格（EXEL） 、數據文件、應用服務（WEB SERVICE） 、數據目錄（LDAP）等。適配器根據需要可擴充。4. 數據交換管理技術。定義和配置數據交換的一個或數個示例。主要包括交換發(fā)布與訂閱配置管理、交換機構管理、觸發(fā)器管理、數據發(fā)布管理、數據訂閱管理等。5. 數據交換調度技術。通過任務排程管理對數據交換操作提供調度管理。主要包括排成清單管理（新增、刪除、編輯等） 、排程屬性管理（發(fā)起方式、時間、頻度、批量規(guī)模等） 、排程監(jiān)控（日志、分析等） 。13 / 466. 管道式交換過程處理技術。提供交換過程中的管道式數據處理插件，主要包括數據抽取、格式轉換、內容過濾、內容轉換、安全加密等方面功能。7. 實用的數據交換平臺管理。實現對數據交換的狀況和性能進行管理，主要包括用戶管理、角色管理、授權管理、配置管理、備份恢復、服務統(tǒng)計、服務分析、日志監(jiān)控等。8. 輕量級體系架構。平臺將基于開放、開源、主流的輕量級 J2EE 應用支持平臺和開發(fā)工具，實現功能強、系統(tǒng)開銷小、高效、易部署、易管理的輕量、通用的數據交換平臺。 9. 其他特殊交換技術。平臺在常規(guī)數據交換的基礎上，還可支持超大數據（如超大文件、超大數據庫等） 、流數據（如實時視頻流）的數據交換，滿足特殊的數據交換需求。 項目的技術方案 數據交換平臺總體設計 數據交換平臺的功能結構根據上述描述的數據交換作用與功能，我們將數據交換平臺的功能結構設計成下圖所示。14 / 46數據交換接口數據交換系統(tǒng)管理（用戶、角色、授權、日志、監(jiān)控）數據交換標準（數據元、數據字典、交換目錄）系統(tǒng)軟件支撐系統(tǒng)數據交換適配器（ D B 、 E X E L 、 W E B S E R V I C E 、 L D A P … … ）數據交換處理管道（ 數據抽取 、 格式轉換 、 內容過濾 、 內容轉換 、 安全加密 ）數據交換任務調度管理（ 排成清單 、 排程屬性 、 排程監(jiān)控等 ）數據交換管理（ 交換服務 、 訂閱配置 、 交換機構 、 交換觸發(fā)器 、 交換發(fā)布 ）在數據交換平臺的上述架構中， “數據交換管理”子系統(tǒng)作為平臺的管理核心，調動各子系統(tǒng)協(xié)同工作，共同完成是特定的數據交換服務。數據交換平臺各功能模塊的協(xié)同工作過程如下：（1） 數據交換子系統(tǒng)首先定義數據交換服務，按照 SOA 模式描述如交換機構、交換數據源、交換觸發(fā)器等信息；（2） 數據交換適配器管理子系統(tǒng)根據交換數據源實際情況，配置好源數據對象和目標數據對象的數據適配器，必要時可擴展所需的數據適配器；（3） 數據交換標準管理子系統(tǒng)根據描述的數據交換服務，定義交換源、目各方都一致性理解的數據元、數據字典，形成交換所需的數據目錄；（4） 數據交換系統(tǒng)管理子系統(tǒng)對執(zhí)行交換的用戶權限進行配置管理，描述用戶和用戶組帳戶屬性，定于角色及操作權利，對用戶進行授權。（5） 數據交換管道處理子系統(tǒng)根據交換源數據對象和目標數據對象的數據項的情況以及交換過程用戶對數據的各種處理要求，以管道插件方式配置對數據進行處理，如數據項合并、數據項拆分、數據變換、內容過濾、安全加密等；（6） 數據交換任務調度子系統(tǒng)根據用戶的交換執(zhí)行模式要求，配置數據15 / 46交換服務的排程參數，如發(fā)起方式、時間、頻度、批量規(guī)模等；（7） 數據交換子系統(tǒng)根據預先描述和配置好的數據交換任務，自動執(zhí)行數據交換操作。 數據交換平臺的系統(tǒng)架構在數據交換平臺的整體架構設計中，將整個平臺劃分為輕量 ESB 體系結構、數據交換引擎、組織結構及權限配置接口、可視化數據交換流程定義工具、數據適配器接口、監(jiān)控管理接口、應用服務接口。數據交換平臺的系統(tǒng)架構如下圖所示：可 視 化 數 據 交 換流 程 定 義 工 具數據交換流程定義被解釋組織角色權限數據組 織 結 構 及 權限 配 置 接 口引用交換配置及日志監(jiān) 控 管 理 接 口數據交換引擎數據交換引擎數 據 交 換 引 擎輕 量 級 E S B 體 系 結 構調用服務數據交換控制數據數據交換相關數據應用數據庫應用數據庫應 用 服 務 接 口數 據 適 配 器 接 口調用維護使用引用更新更新數據交換目錄數 據 交 換 目 錄 接 口引用輕量級 ESB 體系結構采用目前流行的、輕量的、開源的 ESB，實現服務的注冊、配置、管理。服務運行時環(huán)境提供服務（和服務組件）的部署、運行和管理能力，支持服務編程模型，保證系統(tǒng)的安全和性能等質量要素；服務總線提供服務中介的能力，使得服務使用者能夠以技術透明和位置透明的方式來訪問16 / 46服務；服務注冊庫支持存儲和訪問服務的描述信息，是實現服務中介、管理服務的重要基礎；而服務組裝引擎，則將服務組裝為服務流程，完成一個業(yè)務過程；服務網關用于在不同服務計算環(huán)境的邊界進行服務翻譯，比如安全。數據交換引擎是整個數據交換平臺中核心，它的性能直接影響到數據交換平臺的性能。因此，采用目前最輕量的、性能最高的開源的數據交換工具Kettle,在 Kettle 基礎中，封裝成各種不同的數據交換服務組件，注冊到 ESB服務池中，將通過數據交換引擎，解釋數據交換配置工具定義的交換流程，并實例化數據交換流程，運行數據交換流程。對于多種數據交換平臺相互協(xié)調交換時，可以配置相應的交換路由，在交換路由中配置遠程數據交換平臺的地址、流程名稱、節(jié)點名稱等，實現不同數據交換平臺之間的相應協(xié)調工作。對于定義調度的數據交換流程，由數據交換引擎提供的定義調度功能，實現數據交換流程的被起動；在被動啟動數據交換流程時，由流程調用本身的服務組件，起動交換過程；在交換過程中，調用數據交換平臺提供的服務組件時，可以直接調用本身的組件，提高引擎響應速度；對于外部接入的應用服務組件，通過 ESB 發(fā)布的數據服務接口，調用應用服務組件提供的服務，實現數據交換的被動觸發(fā)；對于由應用服務組件觸發(fā)的數據交換流程，應用服務組件通過調用 ESB 提供的服務接口，以及數據交換引擎發(fā)布的服務接口，由 ESB 調用相應的數據交換流程，實現數據主動的實現。組織結構及權限配置接口是實現與其它應用系統(tǒng)的權限統(tǒng)一管理。在數據交換引擎中，可以對不同的數據交換流程，授予不同用戶的權限，只有被授權的用戶，才可以起動流程的運行；或者是數據發(fā)布接口，只有被授權的用戶才可以訪問被授權的服務接口?？梢暬瘮祿粨Q流程配置工具是配置數據交換流程的工具，通過易用的、可視化的工具，為用戶提供十分便捷的配置手段，簡化數據交換流程的管理。數據適配器接口可以直接配置各種不同類型的數據源或目標數據源。當數據交換過程中，需要訪問外部數據時，可以通過數據適配器接口，直接加載或輸出數據。對于提供數據訪問服務接口的應用系統(tǒng)，可以通過配置應用服務接口，從接口從讀取所需要的數據或輸出數據到應用服務接口中。17 / 46數據交換目錄接口是提供數據交換過程中涉及的數據交換元數據。這些元數據結構可以通過外部系統(tǒng)提供滿足條件的目錄結構，也可以直接通過數據交換平臺提供的目錄管理功能，配置數據交換目錄數據。在數據交換目錄結構中，對于每一個數據源與目標之間的相應關系，都可以通過數據交換目錄結構進行定義。應用服務接口是提供各種應用系統(tǒng)接入數據交換平臺的接入方式，它通過注冊應用服務的方式將各種應用系統(tǒng)集成到數據交換平臺中，并通過數據交換配置工具，將應用服務接口做為一個節(jié)點引入到數據交換流程中，實現各種應用系統(tǒng)之間的數據交換。 數據交換平臺的應用部署模式數據交換平臺的一般部署模式如下圖所示。數據交換標準業(yè) 業(yè) 業(yè) 業(yè)業(yè) 業(yè) 業(yè) 業(yè)業(yè) 業(yè) 業(yè) 業(yè) 業(yè)業(yè) 業(yè) 業(yè) 業(yè)業(yè) 業(yè) / 業(yè) 業(yè) 業(yè) 業(yè) 業(yè) 業(yè)業(yè) 業(yè) 業(yè) 業(yè) 業(yè) 業(yè)業(yè) 業(yè) 業(yè) 業(yè)業(yè) 業(yè) 業(yè) 業(yè) 業(yè)業(yè) 業(yè) 業(yè) 業(yè)業(yè) 業(yè) / 業(yè) 業(yè) 業(yè) 業(yè) n業(yè) 業(yè) 業(yè) 業(yè) 業(yè) 業(yè)業(yè) 業(yè) 業(yè) 業(yè)業(yè) 業(yè) 業(yè) 業(yè) 業(yè)業(yè) 業(yè) 業(yè) 業(yè)業(yè) 業(yè) / 業(yè) 業(yè) 業(yè) 業(yè) 1業(yè) 業(yè) 業(yè) 業(yè) 業(yè) 業(yè)業(yè) 業(yè) 業(yè) 業(yè)業(yè) 業(yè) 業(yè) 業(yè) 業(yè)業(yè) 業(yè) 業(yè) 業(yè)業(yè) 業(yè) / 業(yè) 業(yè) 業(yè) 業(yè) 2業(yè) 業(yè) 業(yè) 業(yè) 業(yè) 業(yè)網絡基礎設施… … …從圖中可以看出，采用數據交換平臺，遵循一致的數據交換標準，通過網絡可實現不同應用之間、不同機構之間以及分支與中心之間的數據交換。根據18 / 46應用的范圍的不同，數據交換平臺可有以下幾種基本的部署模式：（1） 內部業(yè)務系統(tǒng)數據交換部署這種模式主要適應于同一個機構（政府部門、學校、企業(yè)等）內部的不同應用系統(tǒng)之間的數據交換，解決信息孤島問題，實現數據的治理。由于各種原因，一個機構內部可能先后采購了多種應用系統(tǒng)，這些系統(tǒng)可能來源不同、開發(fā)平臺不同、數據庫系統(tǒng)不同、工作模式不同，使得系統(tǒng)之間數據交換非常困難，造成數據重復建設、數據冗余、數據不一致等問題。采用數據交換平臺，可實現機構內各應用系統(tǒng)的數據整合，解決信息孤島問題。（2） 對等系統(tǒng)數據交換部署這種模式主要適應于具有業(yè)務聯系的兩個或多個對等機構之間的應用系統(tǒng)之間的數據交換，實現關鍵業(yè)務數據的關聯，提高關聯業(yè)務處理的效率。各機構的系統(tǒng)一般都作用不同、功能不同、開發(fā)平臺不同、數據庫系統(tǒng)不同，系統(tǒng)之間數據交換一般都需要接口系統(tǒng)來解決。這類數據交換的例子有電子商務（ECommerce） 、電子數據交換（EDI） 、文件交換、資源共享等。（3） 上下級系統(tǒng)數據交換部署這種模式主要適應于具有數據關聯的上、下級機構之間的數據交換，實現預定的工作業(yè)務數據的上報或下傳，提高工作效率。上下級之間的通常都是各自先后建設，系統(tǒng)開發(fā)平臺、數據庫系統(tǒng)不同、信息格式不同，數據交換平臺可作為其中的有效橋梁。這類數據交換的例子有統(tǒng)計資料的上報、文件的下發(fā)等。 規(guī)范化的交換目錄與數據元管理數據元指通過定義、標識、表示以及允許值等一系列屬性描述的數據單元。數據元由數據元概念和表示兩部分組成。當一個表示被聯合到一個數據元概念時,就能夠產生數據元。數據元表示規(guī)范是通過描述數據元的一系列屬性來實現的。這些屬性實際上是數據元的元數據。針對數