【文章內(nèi)容簡介】 、先進(jìn)性、規(guī)范性和統(tǒng)一性。l 接入規(guī)范鑒于本項目所要對接的各系統(tǒng)，數(shù)據(jù)集成交換平臺、數(shù)據(jù)橋接系統(tǒng)所要建立的標(biāo)準(zhǔn)有：《部級信息平臺數(shù)據(jù)庫和流域級交換庫對接標(biāo)準(zhǔn)》《部級信息平臺數(shù)據(jù)庫和省級交換庫對接標(biāo)準(zhǔn)》《流域級交換庫和流域信息平臺數(shù)據(jù)庫對接標(biāo)準(zhǔn)》《省級交換庫和省級信息平臺數(shù)據(jù)庫對接標(biāo)準(zhǔn)》《長江流域前置庫和長江流域水資源業(yè)務(wù)庫對接標(biāo)準(zhǔn)》《廣東省前置庫和廣東省水資源業(yè)務(wù)庫對接標(biāo)準(zhǔn)》《四川省前置庫和四川省水資源業(yè)務(wù)庫對接標(biāo)準(zhǔn)》……l 數(shù)據(jù)規(guī)范本項目各業(yè)務(wù)系統(tǒng)所涉及的業(yè)務(wù)數(shù)據(jù)有多種，在項目實施過程中都需要定義標(biāo)準(zhǔn)規(guī)范，例如：《人員信息定義及格式規(guī)范》《取水許可證數(shù)據(jù)定義及格式規(guī)范》《水文數(shù)據(jù)數(shù)據(jù)定義及格式規(guī)范》l 數(shù)據(jù)交換規(guī)范為保障本項目數(shù)據(jù)傳輸?shù)膶崟r性、準(zhǔn)確性、安全性等方面，需對數(shù)據(jù)交換方面編制相應(yīng)的要求，需制定《水利水資源數(shù)據(jù)共享交換規(guī)范》l 業(yè)務(wù)邊界規(guī)范為了保障本項目系統(tǒng)集成整合的順利實施，需要在兩兩系統(tǒng)整合時定義整合的業(yè)務(wù)邊界規(guī)范，以明確的邊界劃分有效理清責(zé)任問題，避免“扯皮”現(xiàn)象發(fā)生，便于時候就查原因。、系統(tǒng)實施分析本項目考慮到項目實施，需要有多重角色定義：總集成商、分集成商（流域、省級）、廠商。總集成商作為水資源項目的總體協(xié)調(diào)單位，要總體規(guī)劃本項目，總集成商完成部級平臺與省級平臺對接，包括流域節(jié)點、省級節(jié)點交換庫建模與標(biāo)準(zhǔn)規(guī)范設(shè)計，完成流域、省級信息平臺與節(jié)點交換庫交換實施工作，完成39個節(jié)點交換庫與部級信息平臺數(shù)據(jù)庫數(shù)據(jù)交換實施工作。同時也參與流域、省級節(jié)點信息平臺與水利外部系統(tǒng)業(yè)務(wù)前置庫標(biāo)準(zhǔn)規(guī)范定義。分集成商作為流域、省級節(jié)點的集成補(bǔ)充，將參與各自流域、省級節(jié)點信息平臺與水利外部系統(tǒng)業(yè)務(wù)前置庫標(biāo)準(zhǔn)規(guī)范定義，同時完成各自流域、省級節(jié)點業(yè)務(wù)前置庫與流域、省級信息平臺數(shù)據(jù)庫數(shù)據(jù)交換實施工作，有可能完成各自流域、省級節(jié)點業(yè)務(wù)前置庫與水利外部業(yè)務(wù)系統(tǒng)系統(tǒng)數(shù)據(jù)交換實施工作。廠商作為本平臺的產(chǎn)品提供，輔助于集成商完成標(biāo)準(zhǔn)制定，提供產(chǎn)品培訓(xùn)、現(xiàn)場服務(wù)。平臺詳細(xì)設(shè)計、數(shù)據(jù)交換管理平臺、體系架構(gòu)數(shù)據(jù)交換管理平臺的體系圖，如下圖所示：在交換中心節(jié)點上的交換模塊由交換流程層、傳輸通訊層以及中心數(shù)據(jù)源三個部分組成。交換中心節(jié)點通過數(shù)據(jù)傳輸通道（TLQ）消息中間件，完成與其相鄰節(jié)點的數(shù)據(jù)傳輸，通過TongIntegrator交換流程控制引擎,控制經(jīng)過本級中心的數(shù)據(jù)、文件等交換的流轉(zhuǎn)，通過TongIntegrator交換服務(wù)管理模塊，發(fā)布本級中心代理或者代理途經(jīng)本中心的服務(wù)請求。監(jiān)控管理中心數(shù)據(jù)源是中心所有交換業(yè)務(wù)異常數(shù)據(jù)、交換過程信息、管理信息的數(shù)據(jù)存儲區(qū)，通過交換流程在中心流轉(zhuǎn)的異常數(shù)據(jù)將保存在中心庫中，由中心的異常處理流程做數(shù)據(jù)持久化和數(shù)據(jù)補(bǔ)償，而中心管理庫則記錄所有中心交換的過程基礎(chǔ)信息等。、功能實現(xiàn)前置交換這里的前置交換是指數(shù)據(jù)交換平臺中真正完成數(shù)據(jù)交換的一個技術(shù)實現(xiàn)，數(shù)據(jù)交換從整個流程上來說有數(shù)據(jù)抽取，數(shù)據(jù)處理及數(shù)據(jù)傳輸，通過這三個環(huán)節(jié)就完成了一個基本的數(shù)據(jù)交換的過程。數(shù)據(jù)抽取模式數(shù)據(jù)交換平臺有多種數(shù)據(jù)抽取模式，每一種數(shù)據(jù)抽取模式都可以配置不同的數(shù)據(jù)抽取頻率。搭建平臺的設(shè)計階段就可以根據(jù)項目的實際需求選擇不同的數(shù)據(jù)抽取模式，具體包括：l 日志分析模式：日志分析模式，是指通過分析數(shù)據(jù)庫的日志來抽取數(shù)據(jù)變化增量數(shù)據(jù)。由于目前各個數(shù)據(jù)庫日志的記錄模式，開放程度都不一樣，通過對目前常用的數(shù)據(jù)庫分析，oracle數(shù)據(jù)庫對日志的開放程度比較高，記錄的比較詳細(xì)，故此抽取模式只針對oracle數(shù)據(jù)庫，其優(yōu)點對數(shù)據(jù)庫侵入性低，只需要打開數(shù)據(jù)庫的歸檔日志即可，無需在數(shù)據(jù)庫上做更多的配置。l 觸發(fā)器模式：觸發(fā)器模式是針對目前常用數(shù)據(jù)庫都支持的一種通用模式，即通過配置工具在要進(jìn)行交換的數(shù)據(jù)表上自動創(chuàng)建一些必要的觸發(fā)器，當(dāng)數(shù)據(jù)發(fā)生變化是可以定時或者實時的把發(fā)生變化的數(shù)據(jù)交換出去。l 時間戳模式：時間戳抽取模式是針對目前常用數(shù)據(jù)庫都支持的一種通用模式，即要進(jìn)行數(shù)據(jù)交換的數(shù)據(jù)表上要求有一個時間類型的字段，業(yè)務(wù)數(shù)據(jù)發(fā)送變化的時候此字段更新成變化時間，系統(tǒng)會定時掃描發(fā)生變化的數(shù)據(jù)進(jìn)行交換。l 標(biāo)志位模式：標(biāo)志位抽取模式是針對目前常用數(shù)據(jù)庫都支持的一種通用模式，即可以指定要進(jìn)行交換的數(shù)據(jù)表中的某一個字段的值是什么時候進(jìn)行交換，這里稱其為標(biāo)志位，當(dāng)完成交換后把此字段設(shè)置成另外一種狀態(tài)，即已經(jīng)完成交換。交換觸發(fā)模式交換流程的執(zhí)行觸發(fā)方式可分為定時觸發(fā)，實時觸發(fā)，手工觸發(fā)，條件觸發(fā)。l 定時觸發(fā)：數(shù)據(jù)交換可指定某個時間，或某個周期定時執(zhí)行。l 實時觸發(fā)：數(shù)據(jù)交換實時進(jìn)行，當(dāng)系統(tǒng)檢測到數(shù)據(jù)增量變化時實時交換數(shù)據(jù)，檢測頻率可設(shè)定。l 手工觸發(fā)：可通過手工操作來執(zhí)行數(shù)據(jù)交換。l 條件觸發(fā)：可根據(jù)某個條件，當(dāng)條件滿足時來觸發(fā)交換流程的執(zhí)行。數(shù)據(jù)處理數(shù)據(jù)處理是當(dāng)數(shù)據(jù)抽取出來后需要進(jìn)行的各種處理后再進(jìn)行傳輸，包括交換模式，交換方向，數(shù)據(jù)加工，數(shù)據(jù)過濾，數(shù)據(jù)路由等功能的支持。l 交換模式：是指多個節(jié)點之間進(jìn)行數(shù)據(jù)交換時可以對應(yīng)的幾種業(yè)務(wù)模式，平臺支持?jǐn)?shù)據(jù)庫表的一對一的交換；多個表交換到一張表中；一張表的數(shù)據(jù)交換到多張表中。l 交換方向：是指在業(yè)務(wù)數(shù)據(jù)交換中支持的交換方向，平臺支持?jǐn)?shù)據(jù)的單向下發(fā)、上傳；兩個數(shù)據(jù)庫數(shù)據(jù)的雙向交換，即任何一方發(fā)生變化都要交換到對方；數(shù)據(jù)廣播，通常用于上級數(shù)據(jù)向所有下級廣播的數(shù)據(jù)交換。l 數(shù)據(jù)過濾：對業(yè)務(wù)數(shù)據(jù)可以從兩個方向去進(jìn)行過濾，一種是可以在數(shù)據(jù)發(fā)布的時候進(jìn)行有條件的發(fā)布過濾，另外就是針對不同的訂閱進(jìn)行各自特有的訂閱條件的過濾。l 數(shù)據(jù)路由：這里的路由首先是根據(jù)數(shù)據(jù)內(nèi)容的路由，按業(yè)務(wù)要求不同的內(nèi)容交換到不同的目的地；另外就是指數(shù)據(jù)轉(zhuǎn)發(fā)的場景支持，即當(dāng)兩個交換節(jié)點之間網(wǎng)絡(luò)無法直通的情況下，可以通過一個中介的網(wǎng)絡(luò)進(jìn)行路由轉(zhuǎn)發(fā)。l 數(shù)據(jù)關(guān)聯(lián)：數(shù)據(jù)交換可對單表交換，主子表關(guān)聯(lián)交換，以及數(shù)據(jù)表和文件結(jié)合的數(shù)據(jù)交換。數(shù)據(jù)傳輸在數(shù)據(jù)交換中，數(shù)據(jù)的傳輸是比較關(guān)鍵的一個技術(shù)，如何能及時、可靠、完整及安全的保證數(shù)據(jù)的傳輸是最重要的，現(xiàn)有平臺的傳輸都是基于公司已有的消息中間件來完成，消息中間件經(jīng)過多年在金融電信等關(guān)鍵行業(yè)的應(yīng)用后已經(jīng)非常成熟穩(wěn)定，數(shù)據(jù)平臺無縫的集成消息中間件，消息中間件對用戶來說是透明的?，F(xiàn)有平臺在數(shù)據(jù)傳輸過程中支持：l 鏈接管理：支持網(wǎng)絡(luò)常連接和按需連接兩種連接模式，以更好地適應(yīng)不同的網(wǎng)絡(luò)通訊環(huán)境，節(jié)省系統(tǒng)資源和提高傳輸效率；l 斷點續(xù)傳：消息不重傳，從中斷的位置開始續(xù)傳，直到消息傳輸完成。l 壓縮傳輸：提供數(shù)據(jù)壓縮機(jī)制，提高網(wǎng)絡(luò)傳輸性能。l 加密傳輸：提供數(shù)據(jù)加密機(jī)制，加強(qiáng)數(shù)據(jù)傳輸安全控制。支持多種網(wǎng)絡(luò)底層環(huán)境，如：租用線 (Leased line)、撥號線、分組交換網(wǎng)（X..25）、DDN , 幀中繼 (Frame Relay) 、衛(wèi)星網(wǎng)絡(luò)等。統(tǒng)一配置管理交換基礎(chǔ)信息配置交換節(jié)點/交換通道/網(wǎng)絡(luò)拓?fù)渑渲卯?dāng)要完成一個數(shù)據(jù)整合的項目的時候，必然會涉及到多個點的數(shù)據(jù)的交換，這里的交換節(jié)點主要就是指這些要進(jìn)行交換的交換服務(wù)器的配置；交換節(jié)點都是在一定的權(quán)限控制下，由配置管理中心統(tǒng)一進(jìn)行配置，這些節(jié)點的配置、管理及監(jiān)控都以一個交換拓?fù)鋱D為基礎(chǔ)進(jìn)行，操作簡單快捷，可以定義交換節(jié)點之間的上下級關(guān)系，定義節(jié)點之間的交換路徑等，當(dāng)節(jié)點配置完成后，各個交換服務(wù)器上的相關(guān)配置信息就全部配置完成，整個交換的拓?fù)鋱D也就自然形成，所有的交換的傳輸通道也已經(jīng)創(chuàng)建完成。交換業(yè)務(wù)配置所有的交換業(yè)務(wù)、交換規(guī)則、交換路徑都在這里進(jìn)行配置及管理，具體配置包括：l 交換數(shù)據(jù)庫配置：要進(jìn)行數(shù)據(jù)交換的數(shù)據(jù)庫的基本信息配置管理。l 發(fā)布數(shù)據(jù)庫流程配置：要對外發(fā)布的數(shù)據(jù)配置管理，這里會配置哪個數(shù)據(jù)庫的那個業(yè)務(wù)表要把數(shù)據(jù)交換出去；用什么模式抽取這些數(shù)據(jù)；抽取是否有條件及條件的配置；抽取的頻率及相關(guān)的一些處理規(guī)則。l 訂閱數(shù)據(jù)流程配置：要接收發(fā)布數(shù)據(jù)的配置管理，這里會配置那個數(shù)據(jù)庫的那個業(yè)務(wù)表要接收此發(fā)布數(shù)據(jù)，一個發(fā)布的資源一旦被訂閱，就形成了一個交換流程，訂閱可以針對已發(fā)布的資源進(jìn)行過濾、轉(zhuǎn)換等；一個發(fā)布資源可以被多個資源訂閱，一個訂閱也也可以接收多個發(fā)布的數(shù)據(jù)。l 批量處理流程配置：n 批量發(fā)布資源：要對外發(fā)布的數(shù)據(jù)批量配置管理，這里主要會配置哪個數(shù)據(jù)庫的那些業(yè)務(wù)表要把數(shù)據(jù)交換出去；可以完成一個數(shù)據(jù)庫所有表或者部分表的批量發(fā)布，這些批量發(fā)布的基本規(guī)則統(tǒng)一配置，發(fā)布條件等信息也可以單獨(dú)進(jìn)行配置。n 批量訂閱資源：要接收發(fā)布數(shù)據(jù)的批量配置管理，這里會配置那個數(shù)據(jù)庫的那些業(yè)務(wù)表要接收發(fā)布數(shù)據(jù)，系統(tǒng)會出某一個數(shù)據(jù)庫的所有發(fā)布，同時針對選定的訂閱數(shù)據(jù)庫按一定規(guī)則先進(jìn)行自動匹配發(fā)布訂閱流程，用戶也可以手工進(jìn)行匹配。統(tǒng)一監(jiān)控管理數(shù)據(jù)交換平臺的監(jiān)控管理主要分為兩方面：l 交換環(huán)境監(jiān)控: 數(shù)據(jù)交換平臺（基礎(chǔ)設(shè)施監(jiān)控），即交換節(jié)點、交換配置的基礎(chǔ)信息。l 交換業(yè)務(wù)數(shù)據(jù)監(jiān)控：交換數(shù)據(jù)監(jiān)控是指數(shù)據(jù)交換的業(yè)務(wù)數(shù)據(jù)交換統(tǒng)計分析，例如某個業(yè)務(wù)表在某個時間段有多少數(shù)據(jù)進(jìn)行了交換。交換統(tǒng)計分析，可從不同角度來進(jìn)行：節(jié)點交換統(tǒng)計，數(shù)據(jù)源交換統(tǒng)計，交換流程（業(yè)務(wù)表）交換統(tǒng)計。交換環(huán)境監(jiān)控交換環(huán)境的監(jiān)控主要是指各個交換節(jié)點以及整個交換網(wǎng)絡(luò)的監(jiān)控，通過之前在配置管理中配置好的一個交換網(wǎng)絡(luò)拓?fù)鋱D可以很清晰的監(jiān)控到整個交換網(wǎng)絡(luò)及網(wǎng)絡(luò)中各交換節(jié)點的狀態(tài)是否正常；當(dāng)發(fā)現(xiàn)交換節(jié)點有異常的顯示后，可以查看此交換節(jié)點詳細(xì)的監(jiān)控，包括交換服務(wù)器資源占用情況、交換服務(wù)器上各交換流程的運(yùn)行情況等信息。l 交換節(jié)點資源監(jiān)控：可監(jiān)控節(jié)點的基礎(chǔ)設(shè)備資源，如：CPU，內(nèi)存，硬盤使用百分比，網(wǎng)絡(luò)使用情況等。l 交換節(jié)點狀態(tài)監(jiān)控：可監(jiān)控平臺系統(tǒng)中的交換節(jié)點的狀態(tài)，如某節(jié)點是否連通等。l 交換流程監(jiān)控：可監(jiān)控交換流程的狀態(tài)，是否啟動等。l 系統(tǒng)告警監(jiān)控：當(dāng)上述監(jiān)控中發(fā)現(xiàn)異常，記錄告警，并可通過配置的告警方式告警，l 平臺默認(rèn)實現(xiàn)了郵件告警方式，只需要配置相應(yīng)的郵件信息，當(dāng)有警告產(chǎn)生時，會自動發(fā)送告警郵件給郵件接收者。同時平臺還提供了可擴(kuò)展的告警方式接口，可根據(jù)項目需要擴(kuò)展不同的告警方式，如短信告警等。交換業(yè)務(wù)數(shù)據(jù)監(jiān)控在數(shù)據(jù)交換中，用戶最關(guān)心的是數(shù)據(jù)是否正確、完整的交換到指定的目的地，現(xiàn)有數(shù)據(jù)平臺從多個角度去完成了數(shù)據(jù)交換的監(jiān)控及告警：l 節(jié)點交換統(tǒng)計：可以統(tǒng)計某一個或者某幾個節(jié)點在某一個時間段內(nèi)的數(shù)據(jù)交換情況，包括那個流程(即那張表)，發(fā)送(中轉(zhuǎn)或接收)成功數(shù)、失敗數(shù)等信息。l 數(shù)據(jù)源交換統(tǒng)計：可以統(tǒng)計某一個或某幾個數(shù)據(jù)庫某一個時間段內(nèi)的數(shù)據(jù)交換情況，包括那個流程(即那張表)，發(fā)送(中轉(zhuǎn)或接