【正文】 因此， II 的核心是數(shù)據(jù)的集成。下面我們對(duì)這樣的一個(gè)解決方案進(jìn)行詳細(xì)說(shuō)明。建立統(tǒng)一的交換數(shù)據(jù)區(qū)。在資源庫(kù)基礎(chǔ)上，進(jìn)行數(shù)據(jù) 信息的 綜合利用，實(shí)現(xiàn) 信息 分析 、數(shù)據(jù)挖掘 和決策 支持 。 數(shù)據(jù)轉(zhuǎn)換平臺(tái)起到 數(shù)據(jù)質(zhì)量管理 的作用 ，對(duì)數(shù)據(jù)的屬性、邏輯正確性、完整性、一致性等進(jìn)行驗(yàn)證 查核 工作。同時(shí)實(shí)現(xiàn)業(yè)務(wù)資源數(shù)據(jù)庫(kù)的遠(yuǎn)程備份。在建立集中統(tǒng)一的數(shù)據(jù)交換平臺(tái)，實(shí)現(xiàn)提取生產(chǎn)區(qū)的實(shí)際業(yè)務(wù)數(shù)據(jù)，并進(jìn)行數(shù)據(jù)的過(guò)濾、檢測(cè)。統(tǒng)一數(shù)據(jù)標(biāo)準(zhǔn)。 1. 現(xiàn)狀 現(xiàn)在的勞動(dòng)與社保數(shù)據(jù)庫(kù)有近十個(gè)，其中數(shù)據(jù)庫(kù)容量平均是 50G，而且數(shù)據(jù)源為異構(gòu)數(shù)據(jù)源，包括 Oracle、 DB Sqlserver 等數(shù)據(jù)庫(kù)； 2. 系統(tǒng)主要建設(shè)目標(biāo)： ? 建立 數(shù)據(jù)中心業(yè)務(wù) 資源庫(kù)的數(shù)據(jù)采集平臺(tái) ， 用以實(shí)現(xiàn) 對(duì)垂直的下級(jí) 業(yè)務(wù)系統(tǒng)數(shù)據(jù)向 上級(jí)中心業(yè)務(wù) 資源庫(kù)的 及時(shí) 更新 以及數(shù)據(jù)轉(zhuǎn)換。 保障 信息資源庫(kù) 取 得的數(shù)據(jù)是真實(shí)、一致和完整的。同時(shí)資源庫(kù)的建設(shè)將為數(shù)據(jù)倉(cāng)庫(kù)及應(yīng)用的建設(shè)打下基礎(chǔ)。 ? 基于交換平臺(tái)，實(shí) 現(xiàn)對(duì)業(yè)務(wù)數(shù)據(jù)的檢測(cè)、過(guò)濾、篩選、抽取等功能。 二、 勞動(dòng)與社會(huì)保障行業(yè)數(shù)據(jù)交換平臺(tái)方案 1. 本解決方案的設(shè)計(jì)出發(fā)點(diǎn)： ? 快速實(shí)現(xiàn)對(duì)多種異構(gòu)數(shù)據(jù)源的集成 ? 保證勞動(dòng)與社保分析區(qū)數(shù)據(jù)采集、交換區(qū)數(shù)據(jù)的實(shí)時(shí)性、一致性； ? 建立一套安全可靠的信息交換通道，實(shí)現(xiàn)數(shù)據(jù)在上、下級(jí)管理系統(tǒng)之間的數(shù)據(jù)交換、數(shù)據(jù)同步； ? 建立統(tǒng)一數(shù)據(jù)視圖，支持真正意義上的勞動(dòng)與社保信息分析區(qū)及交換區(qū)的建立，提供復(fù)雜、分布式環(huán)境下的可讀寫(xiě)操作環(huán)境，并支持今后建 立跨業(yè)務(wù)系統(tǒng)條塊的新的業(yè)務(wù)流程； 4 ? 簡(jiǎn)化應(yīng)用編程的難度，縮短開(kāi)發(fā)和實(shí)施的周期，降低日常維護(hù)難度； ? 能夠很好地將當(dāng)前業(yè)務(wù)系統(tǒng)與新的綜合業(yè)務(wù)系統(tǒng)的用戶管理、認(rèn)證及授權(quán)機(jī)制結(jié)合，建立方便、清晰、易管理的用戶安全認(rèn)證管理機(jī)制； ? 在分布式的環(huán)境下實(shí)現(xiàn)全局優(yōu)化，保證分析應(yīng)用及數(shù)據(jù)交換的整體性能表現(xiàn)； ? 適應(yīng)未來(lái)擴(kuò)展性要求，方便應(yīng)用范疇的擴(kuò)展； 2. 建議通過(guò) IBM 信息集成（ II）技術(shù) 方式 實(shí)現(xiàn)公共數(shù)據(jù)交換平臺(tái) 信息整合方式也稱為數(shù)據(jù)整合方式。它采用數(shù)據(jù)包裝器作為連接件，將現(xiàn)有客戶的異種數(shù)據(jù)庫(kù)（ Oracle、 DB Sqlserver） 等連接在一起。 在 有效性 方面， II 的數(shù)據(jù)采集機(jī)制，對(duì)源數(shù)據(jù)增量識(shí)別的問(wèn)題采用了偵聽(tīng)同步或者數(shù)據(jù)復(fù)制的方式， 可以有效地解決數(shù)據(jù)采集同步的問(wèn)題。由于 II 的平臺(tái)設(shè)計(jì)的目的就是為了解決數(shù)據(jù)整合的問(wèn)題，因此能夠得到這樣比較理想的測(cè)試結(jié)果 ，而無(wú)需依賴于特殊的開(kāi)發(fā)和編程手段。 在分級(jí)縱向信息整合建立起數(shù)據(jù)中心的過(guò)程中，建議分階段實(shí)現(xiàn)，第一階段旨在利用數(shù)據(jù)映射層，實(shí)現(xiàn)統(tǒng)一查詢?cè)L問(wèn)，使全省數(shù)據(jù)可共享。第四階段，在第二階段數(shù)據(jù)標(biāo)準(zhǔn)規(guī)范化的基礎(chǔ)上，實(shí)現(xiàn)統(tǒng)一的數(shù)據(jù)交換。整合平臺(tái)主要實(shí)現(xiàn)兩個(gè)方面的功能： ? 業(yè)務(wù)數(shù)據(jù)中心的 數(shù)據(jù)采集和轉(zhuǎn)換 ? 不同數(shù)據(jù)分區(qū)（業(yè)務(wù)數(shù)據(jù)區(qū)、分析區(qū)、交換區(qū)）間的數(shù)據(jù)交換 為保證對(duì)數(shù)據(jù)整合平臺(tái)的統(tǒng)一控制和管理，我們采用集中式的數(shù)據(jù)整合平臺(tái)設(shè)計(jì)思路，即在中心部署一個(gè)大的平臺(tái)上完成對(duì)主要業(yè)務(wù)數(shù)據(jù)的采集，及不同數(shù)據(jù)分區(qū)間的數(shù)據(jù)交換。 IBM WebSphere Information Integrator 7 能夠支持用戶在一個(gè)廣泛的異構(gòu)數(shù)據(jù)環(huán)境內(nèi)，定義各個(gè)異構(gòu)數(shù)據(jù)源之間的復(fù)制關(guān)系和復(fù)制機(jī)制， IBM WebSphere Information Integrator可以支持表級(jí)的、雙向的、指定時(shí)間點(diǎn)的復(fù)制，能夠提供接近實(shí)時(shí)的，事務(wù)一致的數(shù)據(jù)復(fù)制 機(jī)制的定義和實(shí)現(xiàn)。 實(shí)現(xiàn)數(shù)據(jù)采集 通過(guò)數(shù)據(jù)整合平臺(tái)，實(shí)現(xiàn)中心對(duì) 垂直業(yè)務(wù)數(shù)據(jù)的采集，我們可以提供三種數(shù)據(jù)采集的途徑，分別說(shuō)明如下： 數(shù)數(shù) 據(jù)據(jù) 運(yùn)運(yùn) 輸輸 表表 Oracle SQL Server ANY source 地市級(jí)管理系統(tǒng)統(tǒng) 縣級(jí)管理系統(tǒng) IBM Information Integrator 數(shù)據(jù)復(fù)制引擎 外部應(yīng)用 管理系統(tǒng) 數(shù)據(jù)庫(kù)系統(tǒng) Oracle 9 批量數(shù)據(jù)抽取 對(duì)于比較規(guī)范的業(yè)務(wù)系統(tǒng)，如果通過(guò)理解其數(shù)據(jù)庫(kù)表結(jié)構(gòu)能夠識(shí)別增量數(shù)據(jù)，則建議采用批量數(shù)據(jù)抽取的方式。首先在業(yè)務(wù)系統(tǒng)數(shù)據(jù)源將增量信息卸載 為文件，然后再將文件傳送到信息采集平臺(tái)。在大多數(shù)情況下，復(fù)制應(yīng)該不干預(yù)現(xiàn)有的應(yīng)用，對(duì)系統(tǒng)的影響應(yīng)該降到最低，復(fù)制過(guò)程有必要進(jìn)行管理和監(jiān)控。 WII 提供對(duì)純?cè)隽康膹?fù)制能力，在目標(biāo)端自動(dòng)附加操作類型、時(shí)間戳等信息，以用于后續(xù)數(shù)據(jù)轉(zhuǎn)換的處理。 數(shù)據(jù)偵聽(tīng)同步 數(shù)據(jù)偵聽(tīng)同步的模式與數(shù)據(jù)復(fù)制有一定類似，但可大大降低對(duì)業(yè)務(wù)系統(tǒng)正常工作時(shí)間的影響。因而對(duì)業(yè)務(wù)系統(tǒng)的工作時(shí)間的影響很小。 數(shù)據(jù)同步中可能的意外情況由系統(tǒng)自動(dòng)管理。對(duì)所有業(yè)務(wù)數(shù)據(jù)的訪問(wèn)都通過(guò) WebSphere II 完成，數(shù)據(jù)存儲(chǔ)的異構(gòu)性和不同數(shù)據(jù)庫(kù)操作的異構(gòu)性由 WebSphere II 屏蔽。對(duì)于上述各類數(shù)據(jù)源， WebSphere II 提供專用的wrapper，每個(gè) wrapper 實(shí)現(xiàn)異構(gòu)數(shù)據(jù)源的 SQL 處理，支持異構(gòu)數(shù)據(jù)庫(kù)間數(shù)據(jù)類型的轉(zhuǎn)換和函數(shù)的轉(zhuǎn)換。然后將結(jié)果返回給信息整合服務(wù)器處理。另外全局?jǐn)?shù)據(jù)字典還 記錄數(shù)據(jù)源的 CPU，網(wǎng)絡(luò)， I/O 等系統(tǒng)資源情況。 ? 異構(gòu)性。 ? 可擴(kuò)展性和工具化。 ? 可以充分利用標(biāo)準(zhǔn)的分析、 報(bào)告和開(kāi)發(fā)工具等高級(jí)功能。 復(fù)制運(yùn)行時(shí)包括三個(gè)組成部分： Capture、 Monitor 和 Apply。對(duì)于復(fù)制數(shù)據(jù)源為非 DB2 的數(shù)據(jù)庫(kù)，其獲取數(shù)據(jù)增量的 Capture 方式由數(shù)據(jù)源的 Trigger 機(jī)制實(shí)現(xiàn) (注：這些 Trigger 由 DB2 的復(fù)制機(jī)制自動(dòng)維護(hù) )。鼠標(biāo)拖拽產(chǎn)生的箭頭指示源與目標(biāo)列的對(duì)應(yīng)關(guān)系。 15 圖：復(fù)制映射和添加計(jì)算列 兩階段復(fù)制：一致更改數(shù)據(jù) CCD 表作中間表 兩階段復(fù)制的優(yōu)勢(shì)在于能夠獲取數(shù)據(jù)增量及其類別，并結(jié)合多種數(shù)據(jù)轉(zhuǎn)換方法。數(shù)據(jù)分發(fā)過(guò)程中的配置和管理，對(duì)復(fù)制的可靠性和可管理十分重要。通過(guò)開(kāi)放不同權(quán)限的用戶給Information Integrator，可限制通過(guò) II 的用戶訪問(wèn)的數(shù)據(jù)內(nèi)容和數(shù)據(jù)庫(kù)操作（如插入、修改和刪除），這樣就保證了業(yè)務(wù)數(shù)據(jù)的安全性，不會(huì)出現(xiàn)超越業(yè)務(wù)授權(quán)的所謂超級(jí)用戶，消除數(shù)據(jù)安全隱患。依靠在研究上的不斷投資及在關(guān)系數(shù)據(jù)、 XML、內(nèi)容管理、聯(lián)邦、搜索和復(fù)制等領(lǐng)域所擁有的可靠的數(shù)據(jù)管理技術(shù)， IBM 正著手開(kāi)發(fā)集成式基礎(chǔ)構(gòu)架（如下圖所示）。無(wú)論數(shù)據(jù)是 分布在何種數(shù)據(jù)庫(kù) ,文件或消息隊(duì)列中 ,應(yīng)用對(duì)數(shù)據(jù)的訪問(wèn)都如同是在對(duì)一個(gè)邏輯的數(shù)據(jù)庫(kù)進(jìn)行 . 它所支持的查詢語(yǔ)言將包括： ? 結(jié)構(gòu)化查詢語(yǔ)言 (SQL)：業(yè)界最成熟、功能最強(qiáng)大的查詢語(yǔ)言，市場(chǎng)應(yīng)用廣泛； ? XQuery：有關(guān) XML 數(shù)據(jù)訪問(wèn)的新興標(biāo)準(zhǔn)，萬(wàn)維網(wǎng)協(xié)會(huì) (W3C) 目前正在進(jìn)行其標(biāo)準(zhǔn)化工作 ? IBM DB2 Content Manager： 是面向?qū)ο蟮膽?yīng)用程序編程接口，它支持內(nèi)容管理生命周期，包括富文本和圖像查詢。 豐富的特色功能 利用 IBM 信息集成基礎(chǔ)構(gòu)架可實(shí)現(xiàn)對(duì)各種分散于各處的實(shí)時(shí)數(shù)據(jù)的集成，就好像它們來(lái)自同一數(shù)據(jù)源。 IBM 的聯(lián)邦引擎提供了下述功能： 透明度 :它具有屏蔽作用，可協(xié)助使用戶在訪問(wèn)數(shù)據(jù)時(shí) ,無(wú)法察覺(jué)底層數(shù)據(jù)源的差異、特質(zhì)和實(shí)現(xiàn)方式，并使一組聯(lián)邦數(shù)據(jù)源看上去就像是一個(gè)系統(tǒng)。 豐富的函數(shù)功能 : 包括通過(guò)支持的查詢語(yǔ)言提供的函數(shù)、對(duì)后端數(shù)據(jù)源中所缺函數(shù)的補(bǔ)償以及將數(shù)據(jù)源專用功能無(wú)縫嵌入到查詢語(yǔ)言中的功能。 搜索 : IBM 的基礎(chǔ)構(gòu)架將提供高級(jí)搜索和查詢功能，包括網(wǎng)絡(luò)爬行、文檔索引建立、多搜索引擎搜索結(jié)果聯(lián)邦、以實(shí)現(xiàn)智能訪問(wèn)為目標(biāo)的文本文檔分類和摘要信息建立以及語(yǔ)義理解。這絕非是簡(jiǎn)單的高速緩存功能，而是基于策略的數(shù)據(jù)安排和管理。 復(fù)制 : 作為信息集成基礎(chǔ)構(gòu)架的一個(gè)基本特征，復(fù)制功能不可 或缺。 數(shù)據(jù)存儲(chǔ)： IBM 現(xiàn)今提供業(yè)內(nèi)領(lǐng)先的關(guān)系數(shù)據(jù)庫(kù) 管理系統(tǒng)和內(nèi)容管理系統(tǒng)，并在提供集成 XML 支持方面引領(lǐng)著行業(yè)的發(fā)展。 利用互補(bǔ)的集成技術(shù)： 開(kāi)發(fā)企業(yè)集成基礎(chǔ)構(gòu)架的關(guān)鍵在于能否自如地組合利用或單獨(dú)利用適用的集成技術(shù)。簡(jiǎn)言之， IBM 的集成式解決方案是