【正文】 準(zhǔn)的 SQL 表達(dá)式或存儲(chǔ)過程 ? 數(shù)據(jù)遷移可以定時(shí)的自動(dòng)執(zhí)行，或在一定的時(shí)間間隔執(zhí)行，或連續(xù)執(zhí)行，或者由事件觸發(fā)執(zhí)行 數(shù)據(jù)復(fù)制定義關(guān) 系如下圖所示： 8 從上圖可以看出，使用 IBM WebSphere Information Integrator 后，可以非常方便地實(shí)現(xiàn)跨業(yè)務(wù)平臺(tái)、跨數(shù)據(jù)平臺(tái)、跨地域的業(yè)務(wù)數(shù)據(jù)匯總、統(tǒng)計(jì)分析等工作的開展。而在本方案中，這一切難題都會(huì)迎刃而解。 批量數(shù)據(jù)抽取的方式一般為非實(shí)時(shí)模式，在業(yè)務(wù)系統(tǒng)空閑時(shí)進(jìn)行運(yùn)行。 對(duì)于網(wǎng)絡(luò)狀況不理想的業(yè)務(wù)系統(tǒng)，該方式可分兩步進(jìn)行。這種模式要求在數(shù)據(jù)源部署卸載及數(shù)據(jù)傳輸程序，管理維護(hù)成本較大，建議盡量采用第一種方式。在復(fù)制 10 的過程中，系統(tǒng)自動(dòng)抽取數(shù)據(jù)的變化，通過中間的傳輸，最后加載到目的地。 復(fù)制可分為兩個(gè)步驟． Capture 用于獲取數(shù)據(jù)源數(shù)據(jù)的增量。 Apply 負(fù)責(zé)將變 更的數(shù)據(jù)送到數(shù)據(jù)目標(biāo)。 WII 所提供的數(shù)據(jù)復(fù)制方式提供多種調(diào)度手段，支持分鐘級(jí)數(shù)據(jù)的同步。建議應(yīng)用在難以提供增量信息，而業(yè)務(wù)負(fù)荷又有一定擴(kuò)展性的系統(tǒng)。 對(duì)于部分不能提供增量信息，而當(dāng)前業(yè)務(wù)系統(tǒng)負(fù)荷又較重的系統(tǒng)，可采用數(shù)據(jù)偵聽的模式。數(shù)據(jù)偵聽只捕獲變更數(shù)據(jù)的主鍵信息，占整個(gè)記錄的信息量很小。 11 數(shù)據(jù)偵聽同步分兩個(gè)步驟完成數(shù)據(jù)的采集。然后在業(yè)務(wù)系統(tǒng)的空閑時(shí)間，通過偵聽得到的變更信息，重新通過數(shù)據(jù)采集平臺(tái)訪問數(shù)據(jù)源，批量將其他數(shù)據(jù)內(nèi)容信息抽取到數(shù)據(jù)采集平臺(tái)。 數(shù)據(jù)采集平臺(tái)通過提供批量數(shù)據(jù)抽取、數(shù)據(jù)復(fù)制和數(shù)據(jù)偵聽同步的方式，針對(duì)省廳的多種不同情況的源業(yè)務(wù)系統(tǒng)，均提出了有 效的采集方案，對(duì)建立系統(tǒng)打下了堅(jiān)實(shí)的基礎(chǔ)。將市社保的各類數(shù)據(jù)源通過聯(lián)邦的方式映射到一個(gè)數(shù)據(jù)采集平臺(tái)的邏輯數(shù)據(jù)庫(kù)中。 信息整合平臺(tái)基礎(chǔ)架構(gòu)如下所示： 12 基于聯(lián)邦數(shù)據(jù)映射能力，在數(shù)據(jù)整合平臺(tái)可直接獲取業(yè)務(wù)數(shù)據(jù)庫(kù)的數(shù)據(jù)。 其實(shí)現(xiàn)原理如下圖所示： 圖中：聯(lián)邦服務(wù)器（ Federated Database Server）通過稱為包裝器（ Wrapper）的軟件模塊與數(shù)據(jù)源進(jìn)行通信。對(duì)關(guān)系型數(shù)據(jù)庫(kù)數(shù)據(jù)源而言，包裝器通過安裝在信息整合平臺(tái)的該數(shù)據(jù)庫(kù)的客戶端與其進(jìn)行交互 。包裝器從信息整合服務(wù)器接受數(shù)據(jù)訪問指令，進(jìn)行轉(zhuǎn)換為數(shù)據(jù)源所支持的 SQL，通過數(shù)據(jù)源的客戶端提交執(zhí)行。 除包裝器外，信息整合服務(wù)器還有三個(gè)核心的部分。（注：該類信息無(wú)需用戶自行輸入，在定義過程中，系統(tǒng)可從源數(shù)據(jù)庫(kù)系統(tǒng)的數(shù)據(jù)字典中自動(dòng)獲?。?。 13 現(xiàn)對(duì) IBM 信息集成關(guān)鍵技術(shù)進(jìn)行說明 1）聯(lián)邦技術(shù) 采用聯(lián)邦技術(shù)，可通過簡(jiǎn)單的配置，快速實(shí)現(xiàn)數(shù)據(jù)共享。所有信息源看起來就像是一個(gè)信息源。從不同數(shù)據(jù)源整合數(shù)據(jù)?；跇?biāo)準(zhǔn)的通用訪問方式，且雙向可讀寫?？梢栽L問任何數(shù)據(jù)源，配置方便。 ? 其性能可以滿足實(shí)際應(yīng)用程序和可能應(yīng)用程序的需要，包括高級(jí)查詢優(yōu)化技術(shù)、本地?cái)?shù)據(jù)訪問以及透明緩存支持。 WebSphere II查詢接口提供了基于標(biāo)準(zhǔn)的完整功能 —— 包括對(duì)后端數(shù)據(jù)源中缺失能力的補(bǔ)償。 SQL 復(fù)制技術(shù)能夠 支持網(wǎng)絡(luò)上同構(gòu)或異構(gòu)數(shù)據(jù)庫(kù)之間的數(shù)據(jù)的有效傳輸和冗余性復(fù)制， 能夠?qū)崿F(xiàn) 多 種復(fù)制 模式 （如： 準(zhǔn) 實(shí)時(shí)復(fù)制、定時(shí)復(fù)制、雙向復(fù)制、 復(fù)制轉(zhuǎn)發(fā) 等 ，復(fù)制范圍可整表復(fù)制或表中部分行復(fù)制或修改單元復(fù)制） 。其中 Capture提取復(fù)制數(shù)據(jù)源的變化增量； Apply 獲取 Capture 的結(jié)果，并根據(jù)復(fù)制映射關(guān)系進(jìn)行轉(zhuǎn)換，按照一定的時(shí)間規(guī)劃，作用于目標(biāo)數(shù)據(jù)； Monitor 監(jiān)控復(fù)制過程，并給出監(jiān)控信息。 14 對(duì) DB2 家族的復(fù)制數(shù)據(jù)源而言，通過讀取數(shù)據(jù)庫(kù)日志信息獲取數(shù)據(jù)增量，可避免對(duì)數(shù)據(jù)庫(kù)運(yùn)行性能的影響。 圖 SQL 復(fù)制機(jī)制 源數(shù)據(jù)與目標(biāo)數(shù)據(jù)間的復(fù)制轉(zhuǎn)換 源數(shù)據(jù)與目標(biāo)數(shù)據(jù)之間 ,往往存在著數(shù)據(jù)類型、格式、邏輯等不一致。在復(fù)制過程中的常用轉(zhuǎn)換方法有如下兩種： 復(fù)制映射和添加計(jì)算列 ： 復(fù)制映射主要指復(fù)制源和目標(biāo)之間的列映射，可以用如下圖所示的配置工具實(shí)現(xiàn)。 “添加計(jì)算列”可以使用 SQL 對(duì)復(fù)制源的某 列進(jìn)行運(yùn)算，產(chǎn)生一個(gè)計(jì)算列，該列的定義記錄在復(fù)制控制表中，不影響源表。此外常用的 SQL 還有 DATE 函數(shù)、 CASE語(yǔ)句等等。 兩階段復(fù)制中，首先由源表復(fù)制到一致更改數(shù)據(jù) CCD 表，后者能夠記錄在源表上所有的更改操作的類型（插入、更新 及刪除）和結(jié)果，從而捕獲源表中所有的增量信息。 可配置、可管理的數(shù)據(jù)分發(fā) 數(shù)據(jù)分發(fā)主要指 Apply 的過程，即將復(fù)制數(shù)據(jù)源的增量應(yīng)用到復(fù)制目標(biāo)。 數(shù)據(jù)分發(fā)提供的配置選擇包括：?jiǎn)?dòng) /停止數(shù)據(jù)應(yīng)用到目標(biāo)表；選擇連續(xù)復(fù)制方式或設(shè)置復(fù)制時(shí)間間隔等；提供自動(dòng)數(shù)據(jù)分組、出錯(cuò)自動(dòng)回滾等功能，處理傳輸過程中的異常處理，用戶可配置發(fā)生網(wǎng)絡(luò)或系統(tǒng)故障時(shí)的傳輸重試間隔 。 16 Information Integrator 用戶對(duì)數(shù)據(jù)的操作權(quán)限，取決于各個(gè)應(yīng)用系統(tǒng)數(shù)據(jù)庫(kù)向它開放的用戶的授權(quán)，是且僅可能是后者的子集。 三、 IBM 信息集成技術(shù)的特點(diǎn) 全局統(tǒng) 一的數(shù)據(jù)視圖 按照 IBM 的預(yù)想，信息集成基礎(chǔ)構(gòu)架必須為應(yīng)用層提供對(duì)其所需訪問數(shù)據(jù)的全局統(tǒng)一的數(shù)據(jù)視圖，使應(yīng)用對(duì)數(shù)據(jù)的訪問不受數(shù)據(jù)格式、數(shù)據(jù)位置和訪問接口差異的限制。為此， IBM 制訂了一項(xiàng)代號(hào)為 Xperanto 的計(jì)劃，旨在應(yīng)對(duì)客戶對(duì)集成結(jié)構(gòu)化、半結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù) 的需求。 17 IBM 基礎(chǔ)構(gòu)架憑借一系列程序設(shè)計(jì)模型、一套豐富的集成特色功能及與 IBM 的整個(gè)業(yè)務(wù)集成框架的互操作性提供了靈活的訪問方式?？蛻魬?yīng)用訪問信息可通過 ODBC、 JBDC、網(wǎng)絡(luò)服務(wù)、本地客戶機(jī)或異步客戶機(jī)接口來實(shí)現(xiàn)。 無(wú)論采用何種客戶訪問方式和查詢語(yǔ)言，應(yīng)用程序都應(yīng)能夠訪問通過集成服務(wù) 18 器連接的所有數(shù)據(jù)。它還使基礎(chǔ)構(gòu)架能夠通過 Web Services 適應(yīng)以服務(wù)為導(dǎo)向的體系結(jié)構(gòu)，還可提供與工作流異步集成或輕松調(diào)度長(zhǎng)耗時(shí)的查詢?nèi)蝿?wù)，并能保護(hù)您在現(xiàn)有和新應(yīng)用程序基礎(chǔ)構(gòu)架上的投資。該基礎(chǔ)構(gòu)架具有聯(lián)邦、搜索、高速緩存、轉(zhuǎn)換和復(fù)制異構(gòu)數(shù)據(jù)等重要的功能： 聯(lián)邦 : IBM 提供業(yè)界領(lǐng)先的對(duì)相異數(shù)據(jù)源的聯(lián)邦功能。視實(shí)施的具體情況，這些數(shù)據(jù)源可能是同構(gòu)或異構(gòu)數(shù)據(jù)源，也可能是集中或分散的數(shù)據(jù)源。 19 異構(gòu)性 : 一如其名它具有聯(lián)邦異構(gòu)類型數(shù)據(jù)的功能，這些數(shù)據(jù)類型包括結(jié)構(gòu)化數(shù)據(jù)（例如，關(guān)系 數(shù)據(jù)庫(kù)）、半結(jié)構(gòu)化數(shù)據(jù)（例如， XML 文檔）、非結(jié)構(gòu)化數(shù)據(jù)（例如，自由格式文本）。可擴(kuò)展性專為這一目的而設(shè)計(jì)，即最大程度降低集成新數(shù)據(jù)源的工作量，同時(shí)靈活地為優(yōu)化查詢?cè)L問提供必要的信息。 數(shù)據(jù)源自主性 : 即可將數(shù)據(jù)源聯(lián)邦在一起，而對(duì)現(xiàn)有應(yīng)用程序或系統(tǒng)沒有或幾乎沒有影響。憑借超過 25 年的研究和開發(fā)經(jīng)驗(yàn)及專利的優(yōu)化技術(shù)， IBM 可以事實(shí)證明，聯(lián)邦是一個(gè)能夠滿足性能要求的可行方案。 2020 年， IBM 組建了“ IBM 搜索和文本分析研究院”，以通過集成式體系結(jié)構(gòu)統(tǒng)一并加速 IBM 在高級(jí)搜索和挖掘功能上的研究和部署。 高速緩沖存儲(chǔ)器 : IBM 的信息集成基礎(chǔ)構(gòu)架將支持在數(shù)據(jù)層級(jí)中的多個(gè)點(diǎn)放置和管理數(shù)據(jù)，以改善性能。需要由一系列高速緩存策略才能向發(fā)出請(qǐng)求的應(yīng)用程序提供足夠的性能、實(shí)時(shí)性和可用性特性。轉(zhuǎn)換功能完成不同類型數(shù)據(jù)庫(kù) SQL 語(yǔ)句的動(dòng)態(tài)轉(zhuǎn)換 (如數(shù)據(jù)類型及函數(shù)的匹配 ).另外還包括對(duì)數(shù)據(jù)源缺失函數(shù)的補(bǔ)償和原有數(shù)據(jù)源專用功能 (如存儲(chǔ)過程和用戶自定義函數(shù) )的嵌入。它是分布 20 式訪問特色功能的有益補(bǔ)充，實(shí)現(xiàn)了對(duì)集中式數(shù)據(jù)存儲(chǔ)器的管理，并為高效管理數(shù)據(jù)高速緩沖存儲(chǔ)器提供了必需的基礎(chǔ)構(gòu)架。為支持業(yè)務(wù)的改良需求，此基礎(chǔ)構(gòu)架補(bǔ)充了強(qiáng)健的數(shù)據(jù)和內(nèi)容存儲(chǔ)器及附加集成技術(shù)，并采用了行業(yè)標(biāo)準(zhǔn)。除現(xiàn)有功能（基于關(guān)系數(shù)據(jù)庫(kù)模型）外， XML 儲(chǔ)存還必須完整地包含和充分利用 XML 數(shù)據(jù)模型。這些工件包括隨 XML 數(shù)據(jù)數(shù)量和種類的增加而可能產(chǎn)生的 XML schema 文檔、文檔類型定義 (DTD) 和 Web Services 說明文檔等。 IBM 繼續(xù)專注于信息集 成對(duì)“ IBM 軟件集團(tuán)”全線產(chǎn)品，特別是 WebSphere 業(yè)務(wù)集成系列產(chǎn)品的集成，以提供一套全面的業(yè)務(wù)集成基礎(chǔ)構(gòu)架。同時(shí)， IBM 也在投入力量使其