【正文】 制， IBM WebSphere Information Integrator可以支持表級的、雙向的、指定時間點(diǎn)的復(fù)制，能夠提供接近實(shí)時的，事務(wù)一致的數(shù)據(jù)復(fù)制 機(jī)制的定義和實(shí)現(xiàn)。 使用 IBM WebSphere Information Igrator 后， IBM DB2， IBM Informix，Microsoft， Oracle，和 Sybase 都可以作為復(fù)制源或復(fù)制目標(biāo)； 用戶可以配置一個多樣性的拓?fù)洵h(huán)境 ? 復(fù)制服務(wù)器支持分布式（從一個數(shù)據(jù)庫到多個數(shù)據(jù)庫的數(shù)據(jù)遷移）和集中式（從多個數(shù)據(jù)庫到一個數(shù)據(jù)庫的數(shù)據(jù)遷移） ? 數(shù)據(jù)遷移可以同時使用標(biāo)準(zhǔn)的 SQL 表達(dá)式或存儲過程 ? 數(shù)據(jù)遷移可以定時的自動執(zhí)行，或在一定的時間間隔執(zhí)行，或連續(xù)執(zhí)行，或者由事件觸發(fā)執(zhí)行 數(shù)據(jù)復(fù)制定義關(guān) 系如下圖所示： 8 從上圖可以看出，使用 IBM WebSphere Information Integrator 后，可以非常方便地實(shí)現(xiàn)跨業(yè)務(wù)平臺、跨數(shù)據(jù)平臺、跨地域的業(yè)務(wù)數(shù)據(jù)匯總、統(tǒng)計分析等工作的開展。而從前，我們要實(shí)現(xiàn)這樣一個應(yīng)用，就需要花費(fèi)大量的精力，進(jìn)行數(shù)據(jù)采集匯總的工作，從各個地域、各個業(yè)務(wù)系統(tǒng)、各個數(shù)據(jù)庫平臺上進(jìn)行數(shù)據(jù)遷移，工作量大，而且準(zhǔn)確率和實(shí)時性都很差。而在本方案中，這一切難題都會迎刃而解。 實(shí)現(xiàn)數(shù)據(jù)采集 通過數(shù)據(jù)整合平臺，實(shí)現(xiàn)中心對 垂直業(yè)務(wù)數(shù)據(jù)的采集，我們可以提供三種數(shù)據(jù)采集的途徑，分別說明如下： 數(shù)數(shù) 據(jù)據(jù) 運(yùn)運(yùn) 輸輸 表表 Oracle SQL Server ANY source 地市級管理系統(tǒng)統(tǒng) 縣級管理系統(tǒng) IBM Information Integrator 數(shù)據(jù)復(fù)制引擎 外部應(yīng)用 管理系統(tǒng) 數(shù)據(jù)庫系統(tǒng) Oracle 9 批量數(shù)據(jù)抽取 對于比較規(guī)范的業(yè)務(wù)系統(tǒng)，如果通過理解其數(shù)據(jù)庫表結(jié)構(gòu)能夠識別增量數(shù)據(jù)，則建議采用批量數(shù)據(jù)抽取的方式。 批量數(shù)據(jù)抽取的方式一般為非實(shí)時模式，在業(yè)務(wù)系統(tǒng)空閑時進(jìn)行運(yùn)行。對于網(wǎng)絡(luò)條件較好的數(shù)據(jù)源，該方式可直接通過信息采集平臺向業(yè)務(wù)數(shù)據(jù)庫發(fā)送數(shù)據(jù)抽取的 SQL 語句，增量信息通過 Where 條件傳入，采集的數(shù)據(jù)直接保存在信息整合平臺。 對于網(wǎng)絡(luò)狀況不理想的業(yè)務(wù)系統(tǒng)，該方式可分兩步進(jìn)行。首先在業(yè)務(wù)系統(tǒng)數(shù)據(jù)源將增量信息卸載 為文件，然后再將文件傳送到信息采集平臺。這種模式要求在數(shù)據(jù)源部署卸載及數(shù)據(jù)傳輸程序，管理維護(hù)成本較大，建議盡量采用第一種方式。 數(shù)據(jù)復(fù)制 數(shù)據(jù)采集平臺提供對各類主流數(shù)據(jù)庫的各主要版本數(shù)據(jù)復(fù)制的能力。在復(fù)制 10 的過程中，系統(tǒng)自動抽取數(shù)據(jù)的變化，通過中間的傳輸，最后加載到目的地。在大多數(shù)情況下，復(fù)制應(yīng)該不干預(yù)現(xiàn)有的應(yīng)用，對系統(tǒng)的影響應(yīng)該降到最低，復(fù)制過程有必要進(jìn)行管理和監(jiān)控。 復(fù)制可分為兩個步驟． Capture 用于獲取數(shù)據(jù)源數(shù)據(jù)的增量。對 Oracle 數(shù)據(jù)源，通過 Trigger 機(jī)制實(shí)現(xiàn)。 Apply 負(fù)責(zé)將變 更的數(shù)據(jù)送到數(shù)據(jù)目標(biāo)。 WII 提供對純增量的復(fù)制能力，在目標(biāo)端自動附加操作類型、時間戳等信息，以用于后續(xù)數(shù)據(jù)轉(zhuǎn)換的處理。 WII 所提供的數(shù)據(jù)復(fù)制方式提供多種調(diào)度手段，支持分鐘級數(shù)據(jù)的同步。對大多數(shù)據(jù)業(yè)務(wù)系統(tǒng)而言，數(shù)據(jù)復(fù)制對系統(tǒng)有一定影響，但影響有限。建議應(yīng)用在難以提供增量信息，而業(yè)務(wù)負(fù)荷又有一定擴(kuò)展性的系統(tǒng)。 數(shù)據(jù)偵聽同步 數(shù)據(jù)偵聽同步的模式與數(shù)據(jù)復(fù)制有一定類似，但可大大降低對業(yè)務(wù)系統(tǒng)正常工作時間的影響。 對于部分不能提供增量信息，而當(dāng)前業(yè)務(wù)系統(tǒng)負(fù)荷又較重的系統(tǒng)，可采用數(shù)據(jù)偵聽的模式。數(shù)據(jù)偵聽與數(shù)據(jù)復(fù)制最大 的不同是在變更數(shù)據(jù)捕獲方面。數(shù)據(jù)偵聽只捕獲變更數(shù)據(jù)的主鍵信息，占整個記錄的信息量很小。因而對業(yè)務(wù)系統(tǒng)的工作時間的影響很小。 11 數(shù)據(jù)偵聽同步分兩個步驟完成數(shù)據(jù)的采集。首先通過數(shù)據(jù)偵聽獲取變更數(shù)據(jù)的主鍵及操作類型信息，并同步到數(shù)據(jù)采集平臺。然后在業(yè)務(wù)系統(tǒng)的空閑時間，通過偵聽得到的變更信息，重新通過數(shù)據(jù)采集平臺訪問數(shù)據(jù)源，批量將其他數(shù)據(jù)內(nèi)容信息抽取到數(shù)據(jù)采集平臺。 數(shù)據(jù)同步中可能的意外情況由系統(tǒng)自動管理。 數(shù)據(jù)采集平臺通過提供批量數(shù)據(jù)抽取、數(shù)據(jù)復(fù)制和數(shù)據(jù)偵聽同步的方式，針對省廳的多種不同情況的源業(yè)務(wù)系統(tǒng)，均提出了有 效的采集方案，對建立系統(tǒng)打下了堅實(shí)的基礎(chǔ)。 3. IBM數(shù)據(jù)整合平臺的功能 我們建議選用 IBM 數(shù)據(jù)整合平臺 WebSphere Information Integrator 作為數(shù)據(jù)交換平臺的核心技術(shù)。將市社保的各類數(shù)據(jù)源通過聯(lián)邦的方式映射到一個數(shù)據(jù)采集平臺的邏輯數(shù)據(jù)庫中。對所有業(yè)務(wù)數(shù)據(jù)的訪問都通過 WebSphere II 完成，數(shù)據(jù)存儲的異構(gòu)性和不同數(shù)據(jù)庫操作的異構(gòu)性由 WebSphere II 屏蔽。 信息整合平臺基礎(chǔ)架構(gòu)如下所示： 12 基于聯(lián)邦數(shù)據(jù)映射能力，在數(shù)據(jù)整合平臺可直接獲取業(yè)務(wù)數(shù)據(jù)庫的數(shù)據(jù)。在此基礎(chǔ)上， WII 還提供異構(gòu)數(shù)據(jù)復(fù)制技術(shù)及數(shù)據(jù)偵聽技術(shù)，實(shí)現(xiàn)對增量信息的識別和同步。 其實(shí)現(xiàn)原理如下圖所示： 圖中：聯(lián)邦服務(wù)器（ Federated Database Server）通過稱為包裝器（ Wrapper）的軟件模塊與數(shù)據(jù)源進(jìn)行通信。對于上述各類數(shù)據(jù)源， WebSphere II 提供專用的wrapper，每個 wrapper 實(shí)現(xiàn)異構(gòu)數(shù)據(jù)源的 SQL 處理，支持異構(gòu)數(shù)據(jù)庫間數(shù)據(jù)類型的轉(zhuǎn)換和函數(shù)的轉(zhuǎn)換。對關(guān)系型數(shù)據(jù)庫數(shù)據(jù)源而言，包裝器通過安裝在信息整合平臺的該數(shù)據(jù)庫的客戶端與其進(jìn)行交互 。對非關(guān)系型數(shù)據(jù)源，包裝器直接進(jìn)行數(shù)據(jù)訪問。包裝器從信息整合服務(wù)器接受數(shù)據(jù)訪問指令，進(jìn)行轉(zhuǎn)換為數(shù)據(jù)源所支持的 SQL，通過數(shù)據(jù)源的客戶端提交執(zhí)行。然后將結(jié)果返回給信息整合服務(wù)器處理。 除包裝器外，信息整合服務(wù)器還有三個核心的部分。信息整合服務(wù)器維護(hù)一個全局的數(shù)據(jù)字典，其中保存需在信息整合平臺被訪問的數(shù)據(jù)的相關(guān)描述，包括數(shù)據(jù)源的配置信息，數(shù)據(jù)源表的結(jié)構(gòu)，字段數(shù)據(jù)類型，相應(yīng)的索引及數(shù)據(jù)量數(shù)據(jù)分布的統(tǒng)計信息。（注：該類信息無需用戶自行輸入，在定義過程中，系統(tǒng)可從源數(shù)據(jù)庫系統(tǒng)的數(shù)據(jù)字典中自動獲取）。另外全局?jǐn)?shù)據(jù)字典還 記錄數(shù)據(jù)源的 CPU，網(wǎng)絡(luò)， I/O 等系統(tǒng)資源情況。 13 現(xiàn)對 IBM 信息集成關(guān)鍵技術(shù)進(jìn)行說明 1）聯(lián)邦技術(shù) 采用聯(lián)邦技術(shù)，可通過簡單的配置，快速實(shí)現(xiàn)數(shù)據(jù)共享。其主要特點(diǎn)為： ? 透明性。所有信息源看起來就像是一個信息源。 ? 異構(gòu)性。從不同數(shù)據(jù)源整合數(shù)據(jù)。 ? 雙向 SQL 訪問?；跇?biāo)準(zhǔn)的通用訪問方式，且雙向可讀寫。 ? 可擴(kuò)展性和工具化?？梢栽L問任何數(shù)據(jù)源，配置方便。 ? 避免對現(xiàn)有數(shù)據(jù)源和應(yīng)用程序進(jìn)行更改。 ? 其性能可以滿足實(shí)際應(yīng)用程序和可能應(yīng)用程序的需要，包括高級查詢優(yōu)化技術(shù)、本地數(shù)據(jù)訪問以及透明緩存支持。 ? 可以充分利用標(biāo)準(zhǔn)的分析、 報告和開發(fā)工具等高級功能。 WebSphere II查詢接口提供了基于標(biāo)準(zhǔn)的完整功能 —— 包括對后端數(shù)據(jù)源中缺失能力的補(bǔ)償。 2） SQL 復(fù)制 在多種數(shù)據(jù)源的環(huán)境中，主要采用 SQL 復(fù)制技術(shù)。 SQL 復(fù)制技術(shù)能夠 支持網(wǎng)絡(luò)上同構(gòu)或異構(gòu)數(shù)據(jù)庫之間的數(shù)據(jù)的有效傳輸和冗余性復(fù)制， 能夠?qū)崿F(xiàn) 多 種復(fù)制 模式 （如： 準(zhǔn) 實(shí)時復(fù)制、定時復(fù)制、雙向復(fù)制、 復(fù)制轉(zhuǎn)發(fā) 等 ，復(fù)制范圍可整表復(fù)制或表中部分行復(fù)制或修改單元復(fù)制） 。 復(fù)制運(yùn)行時包括三個組成部分： Capture、 Monitor 和 Apply。其中 Capture提取復(fù)制數(shù)據(jù)源的變化增量； Apply 獲取 Capture 的結(jié)果，并根據(jù)復(fù)制映射關(guān)系進(jìn)行轉(zhuǎn)換，按照一定的時間規(guī)劃，作用于目標(biāo)數(shù)據(jù)； Monitor 監(jiān)控復(fù)制過程，并給出監(jiān)控信息。 SQL 復(fù)制實(shí)現(xiàn)機(jī)制能夠解決以下三個主要問題： 增量復(fù)制 支持對數(shù)據(jù)的變化增量識別、提取和復(fù)制，與全量數(shù)據(jù)復(fù)制相比，可避免全量數(shù)據(jù)傳輸?shù)木薮筘?fù)載對各個系統(tǒng)的影響。 14 對 DB2 家族的復(fù)制數(shù)據(jù)源而言，通過讀取數(shù)據(jù)庫日志信息獲取數(shù)據(jù)增量，可避免對數(shù)據(jù)庫運(yùn)行性能的影響。對于復(fù)制數(shù)據(jù)源為非 DB2 的數(shù)據(jù)庫，其獲取數(shù)據(jù)增量的 Capture 方式由數(shù)據(jù)源的 Trigger 機(jī)制實(shí)現(xiàn) (注：這些 Tr