【正文】 個(gè)數(shù)據(jù)項(xiàng)的數(shù)據(jù)來(lái)源和標(biāo)準(zhǔn)統(tǒng)一的格式，最終實(shí)現(xiàn)四大基礎(chǔ)數(shù)據(jù)在資源共享交換平臺(tái)中的統(tǒng)一存儲(chǔ)。四大基礎(chǔ)數(shù)據(jù)庫(kù)的主要內(nèi)容包括如下：u 人口基礎(chǔ)數(shù)據(jù)庫(kù)：建成居民身份標(biāo)識(shí)碼為唯一標(biāo)識(shí)的各級(jí)人口基礎(chǔ)信息庫(kù)和查詢服務(wù)系統(tǒng)，實(shí)現(xiàn)各級(jí)人口信息計(jì)算機(jī)管理和聯(lián)機(jī)查詢，為各業(yè)務(wù)系統(tǒng)提供人口信息服務(wù)。u 法人單位基礎(chǔ)數(shù)據(jù)庫(kù)：建設(shè)以組織機(jī)構(gòu)代碼為唯一標(biāo)識(shí)的各級(jí)法人單位基礎(chǔ)信息庫(kù)和查詢服務(wù)系統(tǒng)，向社會(huì)提供服務(wù)。u 自然資源和空間地理基礎(chǔ)數(shù)據(jù)庫(kù)：建成水文、礦產(chǎn)、土地、森林、耕地、海洋等資源的基礎(chǔ)信息庫(kù)，形成基礎(chǔ)資源信息庫(kù)交換和共享機(jī)制。分級(jí)建設(shè)空間地理基礎(chǔ)信息庫(kù)，形成空間地理信息交換和共享的機(jī)制，為各級(jí)政府和部門提供空間地理基礎(chǔ)信息服務(wù)。u 宏觀經(jīng)濟(jì)數(shù)據(jù)庫(kù)：根據(jù)制定宏觀經(jīng)濟(jì)政策的需要，建立指標(biāo)體系，完善信息采集機(jī)制，建設(shè)高質(zhì)量的宏觀經(jīng)濟(jì)數(shù)據(jù)庫(kù)。數(shù)據(jù)存儲(chǔ)功能包含業(yè)務(wù)實(shí)體數(shù)據(jù)在數(shù)據(jù)中心的存儲(chǔ)以及實(shí)體資源元數(shù)據(jù)在資源目錄中的存儲(chǔ)。資源目錄充當(dāng)了業(yè)務(wù)數(shù)據(jù)的數(shù)據(jù)字典，用以描述實(shí)體數(shù)據(jù)的位置、摘要等描述性信息；數(shù)據(jù)中心存儲(chǔ)了業(yè)務(wù)數(shù)據(jù)的資源實(shí)體，可供其他業(yè)務(wù)系統(tǒng)進(jìn)行數(shù)據(jù)交換。 數(shù)據(jù)交換中心管理首先資源交換中心提供可視化配置管理功能，通過(guò)可視化操作界面實(shí)現(xiàn)對(duì)新增節(jié)點(diǎn)的接入，并以拖拽的方式實(shí)現(xiàn)新增節(jié)點(diǎn)與資源交換中心的數(shù)據(jù)對(duì)接工作；其次資源交換中心提供節(jié)點(diǎn)狀態(tài)監(jiān)視功能，可遠(yuǎn)程監(jiān)控個(gè)分布式節(jié)點(diǎn)及中心節(jié)點(diǎn)的運(yùn)行情況（正常、異常、停止、CPU、內(nèi)存情況、異常日志、事件等），交換流程運(yùn)行狀態(tài)（正常、停止、異常、事件），組件運(yùn)行狀態(tài)（正常、停止、異常日志、時(shí)間），并可對(duì)異常情況報(bào)警；最后平臺(tái)底層采用基于SynchroMQ的可靠消息傳輸，節(jié)點(diǎn)之間支持?jǐn)帱c(diǎn)續(xù)傳和并發(fā)傳輸，并保證數(shù)據(jù)按順序傳輸，消息可以通過(guò)配置界面設(shè)置優(yōu)先級(jí)別。通過(guò)對(duì)交換節(jié)點(diǎn)運(yùn)行狀態(tài)的監(jiān)控、交換流程的監(jiān)控、節(jié)點(diǎn)組件運(yùn)行狀態(tài)的監(jiān)控、節(jié)點(diǎn)數(shù)據(jù)交換的監(jiān)控、節(jié)點(diǎn)交換日志以及交換節(jié)點(diǎn)運(yùn)行環(huán)境的監(jiān)控等功能，實(shí)現(xiàn)了對(duì)交換平臺(tái)的精細(xì)化監(jiān)控與管理，為數(shù)據(jù)順利交換提供了相應(yīng)的保障措施。資源交換中心提供對(duì)整個(gè)交換過(guò)程的管理功能，包括對(duì)SynchroESB中心服務(wù)器和節(jié)點(diǎn)服務(wù)器的管理、運(yùn)行在節(jié)點(diǎn)服務(wù)上的組件管理、服務(wù)流程管理，通過(guò)資源交換中心提供的API對(duì)流程的停止/啟動(dòng)控制就可以實(shí)現(xiàn)節(jié)點(diǎn)之間通道的建立和刪除。以下是交換中心對(duì)交換流程提供的管理功能：u 交換時(shí)間設(shè)定：可設(shè)定交換時(shí)間和頻率，對(duì)未按時(shí)交換的信息進(jìn)行自動(dòng)提醒；u 交換量統(tǒng)計(jì)：平臺(tái)提供各節(jié)點(diǎn)數(shù)據(jù)交換量的統(tǒng)計(jì)功能，通過(guò)圖表方式展示各交換節(jié)點(diǎn)的交換數(shù)據(jù)類型、交換數(shù)據(jù)量，可以日志每個(gè)數(shù)據(jù)包的大小和數(shù)據(jù)內(nèi)容到指定的日志數(shù)據(jù)庫(kù)（Oracle或SQL Server），通過(guò)數(shù)據(jù)庫(kù)接口開(kāi)發(fā)統(tǒng)計(jì)這些日志內(nèi)容，以實(shí)現(xiàn)績(jī)效考核；u 交換量比對(duì)：提供每個(gè)消息包是否交換到目的的比對(duì)，給沒(méi)有到達(dá)目的的數(shù)據(jù)做上標(biāo)志，并且提供API、數(shù)據(jù)庫(kù)接口查詢，實(shí)現(xiàn)交換量的對(duì)比；u 交換記錄查詢：平臺(tái)提供完整的日志管理功能，可實(shí)現(xiàn)全部節(jié)點(diǎn)交換記錄（交換時(shí)間、交換數(shù)據(jù)、交換結(jié)果等）的查詢，提供按流程日志交換數(shù)據(jù)的功能，數(shù)據(jù)庫(kù)接口及管理工具查詢這些日志信息。根據(jù)查詢的結(jié)果，用戶可以分析某節(jié)點(diǎn)某數(shù)據(jù)項(xiàng)的最后傳輸時(shí)間，并判斷未正常完成交換的數(shù)據(jù)項(xiàng)；u 授權(quán)控制：用戶權(quán)限管理包括目錄管理授權(quán)、資源使用授權(quán)、平臺(tái)管理授權(quán)等。 前置交換節(jié)點(diǎn)功能設(shè)計(jì)資源共享交換平臺(tái)中各前置交換節(jié)點(diǎn)服務(wù)器一起構(gòu)成了分布式的資源交換與服務(wù)組件的執(zhí)行環(huán)境。前置交換節(jié)點(diǎn)服務(wù)器除去硬件、操作系統(tǒng)之外主要由前置交換數(shù)據(jù)庫(kù)以及節(jié)點(diǎn)服務(wù)器構(gòu)成，其中節(jié)點(diǎn)服務(wù)器中包括與平臺(tái)對(duì)接的JMS服務(wù)、HTTP服務(wù)、FTP服務(wù)、RMI服務(wù)、SOAP服務(wù)以及接口適配器等，另外還包括了用于進(jìn)行數(shù)據(jù)處理的數(shù)據(jù)服務(wù)（DataService）。功能邏輯如下圖所示：其中數(shù)據(jù)處理服務(wù)（DataService）作為節(jié)點(diǎn)服務(wù)器軟件中的組件服務(wù)主要負(fù)責(zé)業(yè)務(wù)系統(tǒng)數(shù)據(jù)源與前置交換數(shù)據(jù)庫(kù)之間數(shù)據(jù)抽取、轉(zhuǎn)換、過(guò)濾以及裝載任務(wù)，并可保持業(yè)務(wù)數(shù)據(jù)庫(kù)與前置數(shù)據(jù)庫(kù)之間的數(shù)據(jù)同步；另外，JMS、HTTP、FTP、RMI、SOAP以及其他接口適配器負(fù)責(zé)前置交換節(jié)點(diǎn)與交換平臺(tái)的數(shù)據(jù)對(duì)接并進(jìn)行實(shí)時(shí)的數(shù)據(jù)處理工作。 源數(shù)據(jù)處理源數(shù)據(jù)處理的主要任務(wù)是將業(yè)務(wù)系統(tǒng)數(shù)據(jù)庫(kù)中需要共享的數(shù)據(jù)裝載到前置交換數(shù)據(jù)庫(kù)中，并在這個(gè)過(guò)程中實(shí)現(xiàn)數(shù)據(jù)的捕獲、清洗和轉(zhuǎn)換。DataService提供了多種數(shù)據(jù)采集模式，可適應(yīng)多種復(fù)雜的數(shù)據(jù)環(huán)境以及網(wǎng)絡(luò)傳輸環(huán)境。 數(shù)據(jù)采集模式 u DataService拉模式n 數(shù)據(jù)庫(kù)連接在這種模式下，DataService通過(guò)不同的數(shù)據(jù)庫(kù)連接方式（JDBC、ODBC、JNDI）連接到目標(biāo)數(shù)據(jù)庫(kù)中，然后對(duì)其進(jìn)行數(shù)據(jù)抽取工作。這是一種最為簡(jiǎn)便、高效的數(shù)據(jù)采集方式。n 接口調(diào)用直接開(kāi)放數(shù)據(jù)庫(kù)的形式有一定的安全隱患，介于這種情況，業(yè)務(wù)系統(tǒng)可以通過(guò)暴露數(shù)據(jù)檢索API的形式向外部提供數(shù)據(jù)，DataService通過(guò)調(diào)用API進(jìn)行數(shù)據(jù)抽取工作。在這種模式下，通過(guò)調(diào)用API接口返回的數(shù)據(jù)必須是要有格式的，否則DataService將很難對(duì)數(shù)據(jù)進(jìn)行解析。這種格式可以是XML文檔、也可以是一張?zhí)摂M的二維表。n WebService由于各業(yè)務(wù)系統(tǒng)的實(shí)現(xiàn)技術(shù)各異，有的基于J2EE技術(shù)。DataService為保證其跨平臺(tái)性使用JAVA技術(shù)開(kāi)發(fā)。在接口調(diào)用的數(shù)據(jù)抽取模式中。WebService技術(shù)屏蔽了這種實(shí)現(xiàn)技術(shù)間的差異，無(wú)論哪種開(kāi)發(fā)技術(shù)實(shí)現(xiàn)的業(yè)務(wù)系統(tǒng)，只需要提供WS API，DataService就可實(shí)現(xiàn)連接進(jìn)行數(shù)據(jù)抽取工作。WS基于SOAP協(xié)議的數(shù)據(jù)傳輸形式恰好為DataService提供了標(biāo)準(zhǔn)化的數(shù)據(jù)格式，為數(shù)據(jù)解析提供了方便。 業(yè)務(wù)系統(tǒng)推模式在業(yè)務(wù)系統(tǒng)中開(kāi)發(fā)數(shù)據(jù)獲取組件，然后推送給DataService。在推送的過(guò)程中，可以使用JMS、FTP等傳輸協(xié)議。在這種模式中，無(wú)論使用哪種傳輸協(xié)議都需要將數(shù)據(jù)推送到DataService指定的文件目錄中，然后通過(guò)ETL引擎中的任務(wù)調(diào)度流程實(shí)時(shí)監(jiān)控指定目錄，當(dāng)發(fā)現(xiàn)數(shù)據(jù)變化時(shí)觸發(fā)數(shù)據(jù)抽取流程進(jìn)行數(shù)據(jù)抽取工作。 增量數(shù)據(jù)捕捉在數(shù)據(jù)同步過(guò)程中如何捕捉到上次處理以后發(fā)生變化的數(shù)據(jù)是關(guān)鍵，DataService提供了多種增量數(shù)據(jù)捕捉機(jī)制，可適應(yīng)多種不同的數(shù)據(jù)開(kāi)放形式。u 基于觸發(fā)器的增量數(shù)據(jù)捕捉在這種方式下需要在業(yè)務(wù)數(shù)據(jù)庫(kù)中針對(duì)增、刪、改三種操作建立觸發(fā)器，并由觸發(fā)器將變化的數(shù)據(jù)寫(xiě)入臨時(shí)表中，最后由DataService從臨時(shí)表中讀取數(shù)據(jù)，實(shí)現(xiàn)增量數(shù)據(jù)抽取n 優(yōu)點(diǎn)：借助數(shù)據(jù)庫(kù)本身的機(jī)制，可靠性強(qiáng)n 缺點(diǎn)：對(duì)源系統(tǒng)有影響，需要建立觸發(fā)器以及臨時(shí)表或臨時(shí)數(shù)據(jù)存儲(chǔ)文件u 基于日志文件的增量數(shù)據(jù)捕捉這種方式是使用數(shù)據(jù)庫(kù)本身的日志系統(tǒng)，由DataService讀取并解析數(shù)據(jù)庫(kù)的日志文件，然后在目標(biāo)數(shù)據(jù)庫(kù)中進(jìn)行相應(yīng)操作。n 優(yōu)點(diǎn)：可靠性強(qiáng)，對(duì)源系統(tǒng)沒(méi)有影響。n 缺點(diǎn)：各數(shù)據(jù)庫(kù)系統(tǒng)的日志文件絕大部分都是私有的，例如Oracle數(shù)據(jù)庫(kù)的日志文件只有Oracle本身的ETL工具才可以讀取。u 基于時(shí)間戳的增量數(shù)據(jù)捕捉使用這種方式進(jìn)行增量數(shù)據(jù)抽取的前提是源數(shù)據(jù)庫(kù)與目標(biāo)數(shù)據(jù)庫(kù)都必須有時(shí)間戳字段。DataService先讀取目標(biāo)數(shù)據(jù)庫(kù)中的最大時(shí)間，然后以這個(gè)時(shí)間作為參數(shù)從源數(shù)據(jù)庫(kù)中讀取大于這個(gè)時(shí)間的所有數(shù)據(jù)。n 優(yōu)點(diǎn)：處理速度快，數(shù)據(jù)處理邏輯相對(duì)簡(jiǎn)單n 缺點(diǎn)：源數(shù)據(jù)庫(kù)沒(méi)有時(shí)間戳字段的表需要更改表結(jié)構(gòu)，而且需要源數(shù)據(jù)庫(kù)來(lái)維護(hù)時(shí)間戳字段；無(wú)法實(shí)現(xiàn)數(shù)據(jù)同步，因?yàn)槭褂脮r(shí)間戳字段無(wú)法獲取刪除后的數(shù)據(jù)。下圖使用SynchroESB_DataService實(shí)現(xiàn)基于時(shí)間戳的增量數(shù)據(jù)抽?。?. 上圖黃色連接線表示將上一組件獲取的數(shù)據(jù)作為參數(shù)傳給下一組件。2. 插入/更新：源數(shù)據(jù)庫(kù)以目標(biāo)數(shù)據(jù)庫(kù)最大時(shí)間作為參數(shù)進(jìn)行數(shù)據(jù)查詢得到的數(shù)據(jù)有些是新增的、有些是修改的。插入/更新組件根據(jù)主鍵字段進(jìn)行邏輯判斷，如果目標(biāo)數(shù)據(jù)庫(kù)存在這一主鍵所描述的數(shù)據(jù)行，那么這條數(shù)據(jù)就進(jìn)行更新操作，如果沒(méi)有就進(jìn)行新增操作。u 基于全文比對(duì)的增量數(shù)據(jù)捕捉通過(guò)ETL引擎獲取某一時(shí)刻源數(shù)據(jù)庫(kù)與目標(biāo)數(shù)據(jù)庫(kù)的數(shù)據(jù)快照，然后逐一進(jìn)行對(duì)比，找出新增、刪除、修改的數(shù)據(jù)后進(jìn)行相應(yīng)操作。n 優(yōu)點(diǎn)：對(duì)源系統(tǒng)沒(méi)有任何影響n 缺點(diǎn)：面對(duì)海量數(shù)據(jù)進(jìn)行比對(duì)時(shí)有一定的性能問(wèn)題n 備注：全文比對(duì)的核心算法是將每條數(shù)據(jù)的每一列進(jìn)行逐一比對(duì)，很顯然這種頻繁的I/O操作以及復(fù)雜的比對(duì)運(yùn)算會(huì)造成巨大的性能開(kāi)銷，在實(shí)際的應(yīng)用過(guò)程中，可以事先對(duì)數(shù)據(jù)進(jìn)行預(yù)處理，將每一條數(shù)據(jù)生成一個(gè)唯一的HASH值，然后由DataService對(duì)這個(gè)HASH值進(jìn)行比對(duì)，找出變化的數(shù)據(jù)。這樣既減少了I/0操作又提高了計(jì)算效率。DataService處理邏輯為，首先獲取業(yè)務(wù)數(shù)據(jù)庫(kù)與前置交換數(shù)據(jù)庫(kù)的數(shù)據(jù)快照，根據(jù)比對(duì)記錄組件對(duì)數(shù)據(jù)進(jìn)行逐一比對(duì)，并產(chǎn)生狀態(tài)字段存儲(chǔ)比對(duì)的結(jié)果，最后由過(guò)濾記錄組件根據(jù)狀態(tài)字段將數(shù)據(jù)劃分類型并交給相應(yīng)組件對(duì)前置數(shù)據(jù)庫(kù)進(jìn)行操作。 節(jié)點(diǎn)管理節(jié)點(diǎn)管理實(shí)現(xiàn)了自身狀態(tài)的監(jiān)控，對(duì)運(yùn)行其上的服務(wù)組件進(jìn)行優(yōu)化處理、容錯(cuò)等。u 節(jié)點(diǎn)狀態(tài)監(jiān)控：查看本節(jié)點(diǎn)的運(yùn)行情況（正常、異常、停止等），并對(duì)異常情況報(bào)警u 共享目錄管理：查看共享目錄，并對(duì)屬于本節(jié)點(diǎn)的共享信息資源進(jìn)行維護(hù)管理u 數(shù)據(jù)錄入功能：提供EXCEL、WORD、XML等格式的報(bào)表數(shù)據(jù)直接導(dǎo)入數(shù)據(jù)庫(kù)的功能。 交換中心與前置交換節(jié)點(diǎn)對(duì)接共41頁(yè) 第 35 頁(yè)