【正文】 因此， II 的核心是數(shù)據(jù)的集成。下面我們對這樣的一個解決方案進行詳細說明。建立統(tǒng)一的交換數(shù)據(jù)區(qū)。在資源庫基礎上，進行數(shù)據(jù) 信息的 綜合利用，實現(xiàn) 信息 分析 、數(shù)據(jù)挖掘 和決策 支持 。 數(shù)據(jù)轉換平臺起到 數(shù)據(jù)質量管理 的作用 ，對數(shù)據(jù)的屬性、邏輯正確性、完整性、一致性等進行驗證 查核 工作。同時實現(xiàn)業(yè)務資源數(shù)據(jù)庫的遠程備份。在建立集中統(tǒng)一的數(shù)據(jù)交換平臺，實現(xiàn)提取生產(chǎn)區(qū)的實際業(yè)務數(shù)據(jù)，并進行數(shù)據(jù)的過濾、檢測。統(tǒng)一數(shù)據(jù)標準。 1. 現(xiàn)狀 現(xiàn)在的勞動與社保數(shù)據(jù)庫有近十個，其中數(shù)據(jù)庫容量平均是 50G，而且數(shù)據(jù)源為異構數(shù)據(jù)源，包括 Oracle、 DB Sqlserver 等數(shù)據(jù)庫； 2. 系統(tǒng)主要建設目標： ? 建立 數(shù)據(jù)中心業(yè)務 資源庫的數(shù)據(jù)采集平臺 ， 用以實現(xiàn) 對垂直的下級 業(yè)務系統(tǒng)數(shù)據(jù)向 上級中心業(yè)務 資源庫的 及時 更新 以及數(shù)據(jù)轉換。 保障 信息資源庫 取 得的數(shù)據(jù)是真實、一致和完整的。同時資源庫的建設將為數(shù)據(jù)倉庫及應用的建設打下基礎。 ? 基于交換平臺，實 現(xiàn)對業(yè)務數(shù)據(jù)的檢測、過濾、篩選、抽取等功能。 二、 勞動與社會保障行業(yè)數(shù)據(jù)交換平臺方案 1. 本解決方案的設計出發(fā)點： ? 快速實現(xiàn)對多種異構數(shù)據(jù)源的集成 ? 保證勞動與社保分析區(qū)數(shù)據(jù)采集、交換區(qū)數(shù)據(jù)的實時性、一致性； ? 建立一套安全可靠的信息交換通道，實現(xiàn)數(shù)據(jù)在上、下級管理系統(tǒng)之間的數(shù)據(jù)交換、數(shù)據(jù)同步； ? 建立統(tǒng)一數(shù)據(jù)視圖，支持真正意義上的勞動與社保信息分析區(qū)及交換區(qū)的建立，提供復雜、分布式環(huán)境下的可讀寫操作環(huán)境，并支持今后建 立跨業(yè)務系統(tǒng)條塊的新的業(yè)務流程； 4 ? 簡化應用編程的難度，縮短開發(fā)和實施的周期，降低日常維護難度； ? 能夠很好地將當前業(yè)務系統(tǒng)與新的綜合業(yè)務系統(tǒng)的用戶管理、認證及授權機制結合，建立方便、清晰、易管理的用戶安全認證管理機制； ? 在分布式的環(huán)境下實現(xiàn)全局優(yōu)化，保證分析應用及數(shù)據(jù)交換的整體性能表現(xiàn)； ? 適應未來擴展性要求，方便應用范疇的擴展； 2. 建議通過 IBM 信息集成（ II）技術 方式 實現(xiàn)公共數(shù)據(jù)交換平臺 信息整合方式也稱為數(shù)據(jù)整合方式。它采用數(shù)據(jù)包裝器作為連接件，將現(xiàn)有客戶的異種數(shù)據(jù)庫（ Oracle、 DB Sqlserver） 等連接在一起。 在 有效性 方面， II 的數(shù)據(jù)采集機制，對源數(shù)據(jù)增量識別的問題采用了偵聽同步或者數(shù)據(jù)復制的方式， 可以有效地解決數(shù)據(jù)采集同步的問題。由于 II 的平臺設計的目的就是為了解決數(shù)據(jù)整合的問題，因此能夠得到這樣比較理想的測試結果 ，而無需依賴于特殊的開發(fā)和編程手段。 在分級縱向信息整合建立起數(shù)據(jù)中心的過程中，建議分階段實現(xiàn)，第一階段旨在利用數(shù)據(jù)映射層，實現(xiàn)統(tǒng)一查詢訪問，使全省數(shù)據(jù)可共享。第四階段，在第二階段數(shù)據(jù)標準規(guī)范化的基礎上，實現(xiàn)統(tǒng)一的數(shù)據(jù)交換。整合平臺主要實現(xiàn)兩個方面的功能： ? 業(yè)務數(shù)據(jù)中心的 數(shù)據(jù)采集和轉換 ? 不同數(shù)據(jù)分區(qū)（業(yè)務數(shù)據(jù)區(qū)、分析區(qū)、交換區(qū)）間的數(shù)據(jù)交換 為保證對數(shù)據(jù)整合平臺的統(tǒng)一控制和管理，我們采用集中式的數(shù)據(jù)整合平臺設計思路，即在中心部署一個大的平臺上完成對主要業(yè)務數(shù)據(jù)的采集，及不同數(shù)據(jù)分區(qū)間的數(shù)據(jù)交換。 IBM WebSphere Information Integrator 7 能夠支持用戶在一個廣泛的異構數(shù)據(jù)環(huán)境內，定義各個異構數(shù)據(jù)源之間的復制關系和復制機制， IBM WebSphere Information Integrator可以支持表級的、雙向的、指定時間點的復制，能夠提供接近實時的，事務一致的數(shù)據(jù)復制 機制的定義和實現(xiàn)。 實現(xiàn)數(shù)據(jù)采集 通過數(shù)據(jù)整合平臺，實現(xiàn)中心對 垂直業(yè)務數(shù)據(jù)的采集，我們可以提供三種數(shù)據(jù)采集的途徑，分別說明如下： 數(shù)數(shù) 據(jù)據(jù) 運運 輸輸 表表 Oracle SQL Server ANY source 地市級管理系統(tǒng)統(tǒng) 縣級管理系統(tǒng) IBM Information Integrator 數(shù)據(jù)復制引擎 外部應用 管理系統(tǒng) 數(shù)據(jù)庫系統(tǒng) Oracle 9 批量數(shù)據(jù)抽取 對于比較規(guī)范的業(yè)務系統(tǒng)，如果通過理解其數(shù)據(jù)庫表結構能夠識別增量數(shù)據(jù)，則建議采用批量數(shù)據(jù)抽取的方式。首先在業(yè)務系統(tǒng)數(shù)據(jù)源將增量信息卸載 為文件，然后再將文件傳送到信息采集平臺。在大多數(shù)情況下，復制應該不干預現(xiàn)有的應用，對系統(tǒng)的影響應該降到最低，復制過程有必要進行管理和監(jiān)控。 WII 提供對純增量的復制能力，在目標端自動附加操作類型、時間戳等信息，以用于后續(xù)數(shù)據(jù)轉換的處理。 數(shù)據(jù)偵聽同步 數(shù)據(jù)偵聽同步的模式與數(shù)據(jù)復制有一定類似，但可大大降低對業(yè)務系統(tǒng)正常工作時間的影響。因而對業(yè)務系統(tǒng)的工作時間的影響很小。 數(shù)據(jù)同步中可能的意外情況由系統(tǒng)自動管理。對所有業(yè)務數(shù)據(jù)的訪問都通過 WebSphere II 完成，數(shù)據(jù)存儲的異構性和不同數(shù)據(jù)庫操作的異構性由 WebSphere II 屏蔽。對于上述各類數(shù)據(jù)源， WebSphere II 提供專用的wrapper，每個 wrapper 實現(xiàn)異構數(shù)據(jù)源的 SQL 處理，支持異構數(shù)據(jù)庫間數(shù)據(jù)類型的轉換和函數(shù)的轉換。然后將結果返回給信息整合服務器處理。另外全局數(shù)據(jù)字典還 記錄數(shù)據(jù)源的 CPU，網(wǎng)絡， I/O 等系統(tǒng)資源情況。 ? 異構性。 ? 可擴展性和工具化。 ? 可以充分利用標準的分析、 報告和開發(fā)工具等高級功能。 復制運行時包括三個組成部分： Capture、 Monitor 和 Apply。對于復制數(shù)據(jù)源為非 DB2 的數(shù)據(jù)庫，其獲取數(shù)據(jù)增量的 Capture 方式由數(shù)據(jù)源的 Trigger 機制實現(xiàn) (注：這些 Trigger 由 DB2 的復制機制自動維護 )。鼠標拖拽產(chǎn)生的箭頭指示源與目標列的對應關系。 15 圖：復制映射和添加計算列 兩階段復制：一致更改數(shù)據(jù) CCD 表作中間表 兩階段復制的優(yōu)勢在于能夠獲取數(shù)據(jù)增量及其類別，并結合多種數(shù)據(jù)轉換方法。數(shù)據(jù)分發(fā)過程中的配置和管理，對復制的可靠性和可管理十分重要。通過開放不同權限的用戶給Information Integrator，可限制通過 II 的用戶訪問的數(shù)據(jù)內容和數(shù)據(jù)庫操作（如插入、修改和刪除），這樣就保證了業(yè)務數(shù)據(jù)的安全性，不會出現(xiàn)超越業(yè)務授權的所謂超級用戶，消除數(shù)據(jù)安全隱患。依靠在研究上的不斷投資及在關系數(shù)據(jù)、 XML、內容管理、聯(lián)邦、搜索和復制等領域所擁有的可靠的數(shù)據(jù)管理技術， IBM 正著手開發(fā)集成式基礎構架（如下圖所示）。無論數(shù)據(jù)是 分布在何種數(shù)據(jù)庫 ,文件或消息隊列中 ,應用對數(shù)據(jù)的訪問都如同是在對一個邏輯的數(shù)據(jù)庫進行 . 它所支持的查詢語言將包括： ? 結構化查詢語言 (SQL)：業(yè)界最成熟、功能最強大的查詢語言，市場應用廣泛； ? XQuery：有關 XML 數(shù)據(jù)訪問的新興標準，萬維網(wǎng)協(xié)會 (W3C) 目前正在進行其標準化工作 ? IBM DB2 Content Manager： 是面向對象的應用程序編程接口，它支持內容管理生命周期，包括富文本和圖像查詢。 豐富的特色功能 利用 IBM 信息集成基礎構架可實現(xiàn)對各種分散于各處的實時數(shù)據(jù)的集成，就好像它們來自同一數(shù)據(jù)源。 IBM 的聯(lián)邦引擎提供了下述功能： 透明度 :它具有屏蔽作用，可協(xié)助使用戶在訪問數(shù)據(jù)時 ,無法察覺底層數(shù)據(jù)源的差異、特質和實現(xiàn)方式，并使一組聯(lián)邦數(shù)據(jù)源看上去就像是一個系統(tǒng)。 豐富的函數(shù)功能 : 包括通過支持的查詢語言提供的函數(shù)、對后端數(shù)據(jù)源中所缺函數(shù)的補償以及將數(shù)據(jù)源專用功能無縫嵌入到查詢語言中的功能。 搜索 : IBM 的基礎構架將提供高級搜索和查詢功能，包括網(wǎng)絡爬行、文檔索引建立、多搜索引擎搜索結果聯(lián)邦、以實現(xiàn)智能訪問為目標的文本文檔分類和摘要信息建立以及語義理解。這絕非是簡單的高速緩存功能，而是基于策略的數(shù)據(jù)安排和管理。 復制 : 作為信息集成基礎構架的一個基本特征，復制功能不可 或缺。 數(shù)據(jù)存儲： IBM 現(xiàn)今提供業(yè)內領先的關系數(shù)據(jù)庫 管理系統(tǒng)和內容管理系統(tǒng)，并在提供集成 XML 支持方面引領著行業(yè)的發(fā)展。 利用互補的集成技術： 開發(fā)企業(yè)集成基礎構架的關鍵在于能否自如地組合利用或單獨利用適用的集成技術。簡言之， IBM 的集成式解決方案是