【正文】 特征，復制功能不可 或缺。 轉換 : 基礎構架必須提供豐富的轉換特色功能，以便進行分析、交換和呈現。這絕非是簡單的高速緩存功能，而是基于策略的數據安排和管理。研究成果將可為 IBM 信息集成平臺以及其它 IBM 方案提供動力。 搜索 : IBM 的基礎構架將提供高級搜索和查詢功能，包括網絡爬行、文檔索引建立、多搜索引擎搜索結果聯邦、以實現智能訪問為目標的文本文檔分類和摘要信息建立以及語義理解。 性能優(yōu)化 : 使聯邦查詢成為一種現實備選方案的性能特性 。 豐富的函數功能 : 包括通過支持的查詢語言提供的函數、對后端數據源中所缺函數的補償以及將數據源專用功能無縫嵌入到查詢語言中的功能。 可擴展性 : 一種可將聯邦能力擴展到幾乎任何數據源的功能。 IBM 的聯邦引擎提供了下述功能： 透明度 :它具有屏蔽作用，可協助使用戶在訪問數據時 ,無法察覺底層數據源的差異、特質和實現方式，并使一組聯邦數據源看上去就像是一個系統(tǒng)。聯邦的概念是：用戶可以像對待一個數據源那樣對多個數據源實施查詢和處理，同時保持數據源各自的獨立性和完整性。 豐富的特色功能 利用 IBM 信息集成基礎構架可實現對各種分散于各處的實時數據的集成，就好像它們來自同一數據源。這種客 戶訪問和查詢語言靈活性的組合使現有開發(fā)和分析工具能夠通過集成服務器訪問更廣泛的數據 ,并直接利用集成服務器所提供的信息集成功能。無論數據是 分布在何種數據庫 ,文件或消息隊列中 ,應用對數據的訪問都如同是在對一個邏輯的數據庫進行 . 它所支持的查詢語言將包括： ? 結構化查詢語言 (SQL)：業(yè)界最成熟、功能最強大的查詢語言，市場應用廣泛； ? XQuery：有關 XML 數據訪問的新興標準，萬維網協會 (W3C) 目前正在進行其標準化工作 ? IBM DB2 Content Manager： 是面向對象的應用程序編程接口，它支持內容管理生命周期，包括富文本和圖像查詢。 靈活的訪問方式 IBM 的設想是通過行業(yè)標準接口提供對信息集成基礎構架的靈活訪問。依靠在研究上的不斷投資及在關系數據、 XML、內容管理、聯邦、搜索和復制等領域所擁有的可靠的數據管理技術， IBM 正著手開發(fā)集成式基礎構架（如下圖所示）。對數據管理系統(tǒng)的發(fā)展不僅是要實現對單一數據庫中存儲的信息進行管理，而且還要能夠提供對所有形式數據的增值性集成、對數據安排實施動態(tài)管理以滿足可用性、實時性同時滿足性能要求以及提供可繼續(xù)減輕 IT 人員管理復雜數據體系結構負擔的自主特色功能。通過開放不同權限的用戶給Information Integrator，可限制通過 II 的用戶訪問的數據內容和數據庫操作（如插入、修改和刪除），這樣就保證了業(yè)務數據的安全性，不會出現超越業(yè)務授權的所謂超級用戶，消除數據安全隱患。 3）雙層認證授權機制 WebSphere II 的雙層認證授權機制，充分保證異地數據訪問下的數據安全。數據分發(fā)過程中的配置和管理，對復制的可靠性和可管理十分重要。第二階段，開發(fā)者可以編寫存儲過程、或應用程序處理 CCD 表中的數據，再采用復制方法使數據作用到最終目標表。 15 圖：復制映射和添加計算列 兩階段復制：一致更改數據 CCD 表作中間表 兩階段復制的優(yōu)勢在于能夠獲取數據增量及其類別，并結合多種數據轉換方法。如下圖紫色方框標注的兩列：右側的是目標列，其定義長度為 30 個字符；左側的是對源表某列作 SUBSTR 字符串截取生成的計算列，截取前 30 個字符。鼠標拖拽產生的箭頭指示源與目標列的對應關系。為了使目標數據源能夠讀懂、接受復制數據源的數據，就必須進行復制轉換。對于復制數據源為非 DB2 的數據庫，其獲取數據增量的 Capture 方式由數據源的 Trigger 機制實現 (注：這些 Trigger 由 DB2 的復制機制自動維護 )。 SQL 復制實現機制能夠解決以下三個主要問題： 增量復制 支持對數據的變化增量識別、提取和復制，與全量數據復制相比，可避免全量數據傳輸的巨大負載對各個系統(tǒng)的影響。 復制運行時包括三個組成部分： Capture、 Monitor 和 Apply。 2） SQL 復制 在多種數據源的環(huán)境中，主要采用 SQL 復制技術。 ? 可以充分利用標準的分析、 報告和開發(fā)工具等高級功能。 ? 避免對現有數據源和應用程序進行更改。 ? 可擴展性和工具化。 ? 雙向 SQL 訪問。 ? 異構性。其主要特點為： ? 透明性。另外全局數據字典還 記錄數據源的 CPU，網絡， I/O 等系統(tǒng)資源情況。信息整合服務器維護一個全局的數據字典，其中保存需在信息整合平臺被訪問的數據的相關描述，包括數據源的配置信息，數據源表的結構，字段數據類型，相應的索引及數據量數據分布的統(tǒng)計信息。然后將結果返回給信息整合服務器處理。對非關系型數據源，包裝器直接進行數據訪問。對于上述各類數據源， WebSphere II 提供專用的wrapper，每個 wrapper 實現異構數據源的 SQL 處理，支持異構數據庫間數據類型的轉換和函數的轉換。在此基礎上， WII 還提供異構數據復制技術及數據偵聽技術，實現對增量信息的識別和同步。對所有業(yè)務數據的訪問都通過 WebSphere II 完成，數據存儲的異構性和不同數據庫操作的異構性由 WebSphere II 屏蔽。 3. IBM數據整合平臺的功能 我們建議選用 IBM 數據整合平臺 WebSphere Information Integrator 作為數據交換平臺的核心技術。 數據同步中可能的意外情況由系統(tǒng)自動管理。首先通過數據偵聽獲取變更數據的主鍵及操作類型信息，并同步到數據采集平臺。因而對業(yè)務系統(tǒng)的工作時間的影響很小。數據偵聽與數據復制最大 的不同是在變更數據捕獲方面。 數據偵聽同步 數據偵聽同步的模式與數據復制有一定類似，但可大大降低對業(yè)務系統(tǒng)正常工作時間的影響。對大多數據業(yè)務系統(tǒng)而言，數據復制對系統(tǒng)有一定影響，但影響有限。 WII 提供對純增量的復制能力，在目標端自動附加操作類型、時間戳等信息，以用于后續(xù)數據轉換的處理。對 Oracle 數據源，通過 Trigger 機制實現。在大多數情況下，復制應該不干預現有的應用，對系統(tǒng)的影響應該降到最低，復制過程有必要進行管理和監(jiān)控。 數據復制 數據采集平臺提供對各類主流數據庫的各主要版本數據復制的能力。首先在業(yè)務系統(tǒng)數據源將增量信息卸載 為文件，然后再將文件傳送到信息采集平臺。對于網絡條件較好的數據源，該方式可直接通過信息采集平臺向業(yè)務數據庫發(fā)送數據抽取的 SQL 語句，增量信息通過 Where 條件傳入，采集的數據直接保存在信息整合平臺。 實現數據采集 通過數據整合平臺，實現中心對 垂直業(yè)務數據的采集，我們可以提供三種數據采集的途徑，分別說明如下： 數數 據據 運運 輸輸 表表 Oracle SQL Server ANY source 地市級管理系統(tǒng)統(tǒng) 縣級管理系統(tǒng) IBM Information Integrator 數據復制引擎 外部應用 管理系統(tǒng) 數據庫系統(tǒng) Oracle 9 批量數據抽取 對于比較規(guī)范的業(yè)務系統(tǒng)，如果通過理解其數據庫表結構能夠識別增量數據，則建議采用批量數據抽取的方式。而從前，我們要實現這樣一個應用，就需要花費大量的精力，進行數據采集匯總的工作，從各個地域、各個業(yè)務系統(tǒng)、各個數據庫平臺上進行數據遷移，工作量大，而且準確率和實時性都很差。 IBM WebSphere Information Integrator 7 能夠支持用戶在一個廣泛的異構數據環(huán)境內，定義各個異構數據源之間的復制關系和復制機制， IBM WebSphere Information Integrator可以支持表級的、雙向的、指定時間點的復制，能夠提供接近實時的，事務一致的數據復制 機制的定義和實現。 實現數據交換 在本方案中，根據與已有系統(tǒng)連接的要求，需要支持實現與 Oracle， SQL Server， DB2等異構、多個數據庫系統(tǒng)之間的數據復制，這就面臨著一個異構數據庫之間雙 向復制的技術要求，這