【文章內(nèi)容簡(jiǎn)介】 、先進(jìn)性、規(guī)范性和統(tǒng)一性。l 接入規(guī)范鑒于本項(xiàng)目所要對(duì)接的各系統(tǒng)，數(shù)據(jù)集成交換平臺(tái)、數(shù)據(jù)橋接系統(tǒng)所要建立的標(biāo)準(zhǔn)有：《部級(jí)信息平臺(tái)數(shù)據(jù)庫(kù)和流域級(jí)交換庫(kù)對(duì)接標(biāo)準(zhǔn)》《部級(jí)信息平臺(tái)數(shù)據(jù)庫(kù)和省級(jí)交換庫(kù)對(duì)接標(biāo)準(zhǔn)》《流域級(jí)交換庫(kù)和流域信息平臺(tái)數(shù)據(jù)庫(kù)對(duì)接標(biāo)準(zhǔn)》《省級(jí)交換庫(kù)和省級(jí)信息平臺(tái)數(shù)據(jù)庫(kù)對(duì)接標(biāo)準(zhǔn)》《長(zhǎng)江流域前置庫(kù)和長(zhǎng)江流域水資源業(yè)務(wù)庫(kù)對(duì)接標(biāo)準(zhǔn)》《廣東省前置庫(kù)和廣東省水資源業(yè)務(wù)庫(kù)對(duì)接標(biāo)準(zhǔn)》《四川省前置庫(kù)和四川省水資源業(yè)務(wù)庫(kù)對(duì)接標(biāo)準(zhǔn)》……l 數(shù)據(jù)規(guī)范本項(xiàng)目各業(yè)務(wù)系統(tǒng)所涉及的業(yè)務(wù)數(shù)據(jù)有多種，在項(xiàng)目實(shí)施過(guò)程中都需要定義標(biāo)準(zhǔn)規(guī)范，例如：《人員信息定義及格式規(guī)范》《取水許可證數(shù)據(jù)定義及格式規(guī)范》《水文數(shù)據(jù)數(shù)據(jù)定義及格式規(guī)范》l 數(shù)據(jù)交換規(guī)范為保障本項(xiàng)目數(shù)據(jù)傳輸?shù)膶?shí)時(shí)性、準(zhǔn)確性、安全性等方面，需對(duì)數(shù)據(jù)交換方面編制相應(yīng)的要求，需制定《水利水資源數(shù)據(jù)共享交換規(guī)范》l 業(yè)務(wù)邊界規(guī)范為了保障本項(xiàng)目系統(tǒng)集成整合的順利實(shí)施，需要在兩兩系統(tǒng)整合時(shí)定義整合的業(yè)務(wù)邊界規(guī)范，以明確的邊界劃分有效理清責(zé)任問(wèn)題，避免“扯皮”現(xiàn)象發(fā)生，便于時(shí)候就查原因。、系統(tǒng)實(shí)施分析本項(xiàng)目考慮到項(xiàng)目實(shí)施，需要有多重角色定義：總集成商、分集成商（流域、省級(jí)）、廠商?？偧缮套鳛樗Y源項(xiàng)目的總體協(xié)調(diào)單位，要總體規(guī)劃本項(xiàng)目，總集成商完成部級(jí)平臺(tái)與省級(jí)平臺(tái)對(duì)接，包括流域節(jié)點(diǎn)、省級(jí)節(jié)點(diǎn)交換庫(kù)建模與標(biāo)準(zhǔn)規(guī)范設(shè)計(jì)，完成流域、省級(jí)信息平臺(tái)與節(jié)點(diǎn)交換庫(kù)交換實(shí)施工作，完成39個(gè)節(jié)點(diǎn)交換庫(kù)與部級(jí)信息平臺(tái)數(shù)據(jù)庫(kù)數(shù)據(jù)交換實(shí)施工作。同時(shí)也參與流域、省級(jí)節(jié)點(diǎn)信息平臺(tái)與水利外部系統(tǒng)業(yè)務(wù)前置庫(kù)標(biāo)準(zhǔn)規(guī)范定義。分集成商作為流域、省級(jí)節(jié)點(diǎn)的集成補(bǔ)充，將參與各自流域、省級(jí)節(jié)點(diǎn)信息平臺(tái)與水利外部系統(tǒng)業(yè)務(wù)前置庫(kù)標(biāo)準(zhǔn)規(guī)范定義，同時(shí)完成各自流域、省級(jí)節(jié)點(diǎn)業(yè)務(wù)前置庫(kù)與流域、省級(jí)信息平臺(tái)數(shù)據(jù)庫(kù)數(shù)據(jù)交換實(shí)施工作，有可能完成各自流域、省級(jí)節(jié)點(diǎn)業(yè)務(wù)前置庫(kù)與水利外部業(yè)務(wù)系統(tǒng)系統(tǒng)數(shù)據(jù)交換實(shí)施工作。廠商作為本平臺(tái)的產(chǎn)品提供，輔助于集成商完成標(biāo)準(zhǔn)制定，提供產(chǎn)品培訓(xùn)、現(xiàn)場(chǎng)服務(wù)。平臺(tái)詳細(xì)設(shè)計(jì)、數(shù)據(jù)交換管理平臺(tái)、體系架構(gòu)數(shù)據(jù)交換管理平臺(tái)的體系圖，如下圖所示：在交換中心節(jié)點(diǎn)上的交換模塊由交換流程層、傳輸通訊層以及中心數(shù)據(jù)源三個(gè)部分組成。交換中心節(jié)點(diǎn)通過(guò)數(shù)據(jù)傳輸通道（TLQ）消息中間件，完成與其相鄰節(jié)點(diǎn)的數(shù)據(jù)傳輸，通過(guò)TongIntegrator交換流程控制引擎,控制經(jīng)過(guò)本級(jí)中心的數(shù)據(jù)、文件等交換的流轉(zhuǎn)，通過(guò)TongIntegrator交換服務(wù)管理模塊，發(fā)布本級(jí)中心代理或者代理途經(jīng)本中心的服務(wù)請(qǐng)求。監(jiān)控管理中心數(shù)據(jù)源是中心所有交換業(yè)務(wù)異常數(shù)據(jù)、交換過(guò)程信息、管理信息的數(shù)據(jù)存儲(chǔ)區(qū)，通過(guò)交換流程在中心流轉(zhuǎn)的異常數(shù)據(jù)將保存在中心庫(kù)中，由中心的異常處理流程做數(shù)據(jù)持久化和數(shù)據(jù)補(bǔ)償，而中心管理庫(kù)則記錄所有中心交換的過(guò)程基礎(chǔ)信息等。、功能實(shí)現(xiàn)前置交換這里的前置交換是指數(shù)據(jù)交換平臺(tái)中真正完成數(shù)據(jù)交換的一個(gè)技術(shù)實(shí)現(xiàn)，數(shù)據(jù)交換從整個(gè)流程上來(lái)說(shuō)有數(shù)據(jù)抽取，數(shù)據(jù)處理及數(shù)據(jù)傳輸，通過(guò)這三個(gè)環(huán)節(jié)就完成了一個(gè)基本的數(shù)據(jù)交換的過(guò)程。數(shù)據(jù)抽取模式數(shù)據(jù)交換平臺(tái)有多種數(shù)據(jù)抽取模式，每一種數(shù)據(jù)抽取模式都可以配置不同的數(shù)據(jù)抽取頻率。搭建平臺(tái)的設(shè)計(jì)階段就可以根據(jù)項(xiàng)目的實(shí)際需求選擇不同的數(shù)據(jù)抽取模式，具體包括：l 日志分析模式：日志分析模式，是指通過(guò)分析數(shù)據(jù)庫(kù)的日志來(lái)抽取數(shù)據(jù)變化增量數(shù)據(jù)。由于目前各個(gè)數(shù)據(jù)庫(kù)日志的記錄模式，開(kāi)放程度都不一樣，通過(guò)對(duì)目前常用的數(shù)據(jù)庫(kù)分析，oracle數(shù)據(jù)庫(kù)對(duì)日志的開(kāi)放程度比較高，記錄的比較詳細(xì)，故此抽取模式只針對(duì)oracle數(shù)據(jù)庫(kù)，其優(yōu)點(diǎn)對(duì)數(shù)據(jù)庫(kù)侵入性低，只需要打開(kāi)數(shù)據(jù)庫(kù)的歸檔日志即可，無(wú)需在數(shù)據(jù)庫(kù)上做更多的配置。l 觸發(fā)器模式：觸發(fā)器模式是針對(duì)目前常用數(shù)據(jù)庫(kù)都支持的一種通用模式，即通過(guò)配置工具在要進(jìn)行交換的數(shù)據(jù)表上自動(dòng)創(chuàng)建一些必要的觸發(fā)器，當(dāng)數(shù)據(jù)發(fā)生變化是可以定時(shí)或者實(shí)時(shí)的把發(fā)生變化的數(shù)據(jù)交換出去。l 時(shí)間戳模式：時(shí)間戳抽取模式是針對(duì)目前常用數(shù)據(jù)庫(kù)都支持的一種通用模式，即要進(jìn)行數(shù)據(jù)交換的數(shù)據(jù)表上要求有一個(gè)時(shí)間類型的字段，業(yè)務(wù)數(shù)據(jù)發(fā)送變化的時(shí)候此字段更新成變化時(shí)間，系統(tǒng)會(huì)定時(shí)掃描發(fā)生變化的數(shù)據(jù)進(jìn)行交換。l 標(biāo)志位模式：標(biāo)志位抽取模式是針對(duì)目前常用數(shù)據(jù)庫(kù)都支持的一種通用模式，即可以指定要進(jìn)行交換的數(shù)據(jù)表中的某一個(gè)字段的值是什么時(shí)候進(jìn)行交換，這里稱其為標(biāo)志位，當(dāng)完成交換后把此字段設(shè)置成另外一種狀態(tài)，即已經(jīng)完成交換。交換觸發(fā)模式交換流程的執(zhí)行觸發(fā)方式可分為定時(shí)觸發(fā)，實(shí)時(shí)觸發(fā)，手工觸發(fā)，條件觸發(fā)。l 定時(shí)觸發(fā)：數(shù)據(jù)交換可指定某個(gè)時(shí)間，或某個(gè)周期定時(shí)執(zhí)行。l 實(shí)時(shí)觸發(fā)：數(shù)據(jù)交換實(shí)時(shí)進(jìn)行，當(dāng)系統(tǒng)檢測(cè)到數(shù)據(jù)增量變化時(shí)實(shí)時(shí)交換數(shù)據(jù)，檢測(cè)頻率可設(shè)定。l 手工觸發(fā)：可通過(guò)手工操作來(lái)執(zhí)行數(shù)據(jù)交換。l 條件觸發(fā)：可根據(jù)某個(gè)條件，當(dāng)條件滿足時(shí)來(lái)觸發(fā)交換流程的執(zhí)行。數(shù)據(jù)處理數(shù)據(jù)處理是當(dāng)數(shù)據(jù)抽取出來(lái)后需要進(jìn)行的各種處理后再進(jìn)行傳輸，包括交換模式，交換方向，數(shù)據(jù)加工，數(shù)據(jù)過(guò)濾，數(shù)據(jù)路由等功能的支持。l 交換模式：是指多個(gè)節(jié)點(diǎn)之間進(jìn)行數(shù)據(jù)交換時(shí)可以對(duì)應(yīng)的幾種業(yè)務(wù)模式，平臺(tái)支持?jǐn)?shù)據(jù)庫(kù)表的一對(duì)一的交換；多個(gè)表交換到一張表中；一張表的數(shù)據(jù)交換到多張表中。l 交換方向：是指在業(yè)務(wù)數(shù)據(jù)交換中支持的交換方向，平臺(tái)支持?jǐn)?shù)據(jù)的單向下發(fā)、上傳；兩個(gè)數(shù)據(jù)庫(kù)數(shù)據(jù)的雙向交換，即任何一方發(fā)生變化都要交換到對(duì)方；數(shù)據(jù)廣播，通常用于上級(jí)數(shù)據(jù)向所有下級(jí)廣播的數(shù)據(jù)交換。l 數(shù)據(jù)過(guò)濾：對(duì)業(yè)務(wù)數(shù)據(jù)可以從兩個(gè)方向去進(jìn)行過(guò)濾，一種是可以在數(shù)據(jù)發(fā)布的時(shí)候進(jìn)行有條件的發(fā)布過(guò)濾，另外就是針對(duì)不同的訂閱進(jìn)行各自特有的訂閱條件的過(guò)濾。l 數(shù)據(jù)路由：這里的路由首先是根據(jù)數(shù)據(jù)內(nèi)容的路由，按業(yè)務(wù)要求不同的內(nèi)容交換到不同的目的地；另外就是指數(shù)據(jù)轉(zhuǎn)發(fā)的場(chǎng)景支持，即當(dāng)兩個(gè)交換節(jié)點(diǎn)之間網(wǎng)絡(luò)無(wú)法直通的情況下，可以通過(guò)一個(gè)中介的網(wǎng)絡(luò)進(jìn)行路由轉(zhuǎn)發(fā)。l 數(shù)據(jù)關(guān)聯(lián)：數(shù)據(jù)交換可對(duì)單表交換，主子表關(guān)聯(lián)交換，以及數(shù)據(jù)表和文件結(jié)合的數(shù)據(jù)交換。數(shù)據(jù)傳輸在數(shù)據(jù)交換中，數(shù)據(jù)的傳輸是比較關(guān)鍵的一個(gè)技術(shù)，如何能及時(shí)、可靠、完整及安全的保證數(shù)據(jù)的傳輸是最重要的，現(xiàn)有平臺(tái)的傳輸都是基于公司已有的消息中間件來(lái)完成，消息中間件經(jīng)過(guò)多年在金融電信等關(guān)鍵行業(yè)的應(yīng)用后已經(jīng)非常成熟穩(wěn)定，數(shù)據(jù)平臺(tái)無(wú)縫的集成消息中間件，消息中間件對(duì)用戶來(lái)說(shuō)是透明的?，F(xiàn)有平臺(tái)在數(shù)據(jù)傳輸過(guò)程中支持：l 鏈接管理：支持網(wǎng)絡(luò)常連接和按需連接兩種連接模式，以更好地適應(yīng)不同的網(wǎng)絡(luò)通訊環(huán)境，節(jié)省系統(tǒng)資源和提高傳輸效率；l 斷點(diǎn)續(xù)傳：消息不重傳，從中斷的位置開(kāi)始續(xù)傳，直到消息傳輸完成。l 壓縮傳輸：提供數(shù)據(jù)壓縮機(jī)制，提高網(wǎng)絡(luò)傳輸性能。l 加密傳輸：提供數(shù)據(jù)加密機(jī)制，加強(qiáng)數(shù)據(jù)傳輸安全控制。支持多種網(wǎng)絡(luò)底層環(huán)境，如：租用線 (Leased line)、撥號(hào)線、分組交換網(wǎng)（X..25）、DDN , 幀中繼 (Frame Relay) 、衛(wèi)星網(wǎng)絡(luò)等。統(tǒng)一配置管理交換基礎(chǔ)信息配置交換節(jié)點(diǎn)/交換通道/網(wǎng)絡(luò)拓?fù)渑渲卯?dāng)要完成一個(gè)數(shù)據(jù)整合的項(xiàng)目的時(shí)候，必然會(huì)涉及到多個(gè)點(diǎn)的數(shù)據(jù)的交換，這里的交換節(jié)點(diǎn)主要就是指這些要進(jìn)行交換的交換服務(wù)器的配置；交換節(jié)點(diǎn)都是在一定的權(quán)限控制下，由配置管理中心統(tǒng)一進(jìn)行配置，這些節(jié)點(diǎn)的配置、管理及監(jiān)控都以一個(gè)交換拓?fù)鋱D為基礎(chǔ)進(jìn)行，操作簡(jiǎn)單快捷，可以定義交換節(jié)點(diǎn)之間的上下級(jí)關(guān)系，定義節(jié)點(diǎn)之間的交換路徑等，當(dāng)節(jié)點(diǎn)配置完成后，各個(gè)交換服務(wù)器上的相關(guān)配置信息就全部配置完成，整個(gè)交換的拓?fù)鋱D也就自然形成，所有的交換的傳輸通道也已經(jīng)創(chuàng)建完成。交換業(yè)務(wù)配置所有的交換業(yè)務(wù)、交換規(guī)則、交換路徑都在這里進(jìn)行配置及管理，具體配置包括：l 交換數(shù)據(jù)庫(kù)配置：要進(jìn)行數(shù)據(jù)交換的數(shù)據(jù)庫(kù)的基本信息配置管理。l 發(fā)布數(shù)據(jù)庫(kù)流程配置：要對(duì)外發(fā)布的數(shù)據(jù)配置管理，這里會(huì)配置哪個(gè)數(shù)據(jù)庫(kù)的那個(gè)業(yè)務(wù)表要把數(shù)據(jù)交換出去；用什么模式抽取這些數(shù)據(jù)；抽取是否有條件及條件的配置；抽取的頻率及相關(guān)的一些處理規(guī)則。l 訂閱數(shù)據(jù)流程配置：要接收發(fā)布數(shù)據(jù)的配置管理，這里會(huì)配置那個(gè)數(shù)據(jù)庫(kù)的那個(gè)業(yè)務(wù)表要接收此發(fā)布數(shù)據(jù)，一個(gè)發(fā)布的資源一旦被訂閱，就形成了一個(gè)交換流程，訂閱可以針對(duì)已發(fā)布的資源進(jìn)行過(guò)濾、轉(zhuǎn)換等；一個(gè)發(fā)布資源可以被多個(gè)資源訂閱，一個(gè)訂閱也也可以接收多個(gè)發(fā)布的數(shù)據(jù)。l 批量處理流程配置：n 批量發(fā)布資源：要對(duì)外發(fā)布的數(shù)據(jù)批量配置管理，這里主要會(huì)配置哪個(gè)數(shù)據(jù)庫(kù)的那些業(yè)務(wù)表要把數(shù)據(jù)交換出去；可以完成一個(gè)數(shù)據(jù)庫(kù)所有表或者部分表的批量發(fā)布，這些批量發(fā)布的基本規(guī)則統(tǒng)一配置，發(fā)布條件等信息也可以單獨(dú)進(jìn)行配置。n 批量訂閱資源：要接收發(fā)布數(shù)據(jù)的批量配置管理，這里會(huì)配置那個(gè)數(shù)據(jù)庫(kù)的那些業(yè)務(wù)表要接收發(fā)布數(shù)據(jù)，系統(tǒng)會(huì)出某一個(gè)數(shù)據(jù)庫(kù)的所有發(fā)布，同時(shí)針對(duì)選定的訂閱數(shù)據(jù)庫(kù)按一定規(guī)則先進(jìn)行自動(dòng)匹配發(fā)布訂閱流程，用戶也可以手工進(jìn)行匹配。統(tǒng)一監(jiān)控管理數(shù)據(jù)交換平臺(tái)的監(jiān)控管理主要分為兩方面：l 交換環(huán)境監(jiān)控: 數(shù)據(jù)交換平臺(tái)（基礎(chǔ)設(shè)施監(jiān)控），即交換節(jié)點(diǎn)、交換配置的基礎(chǔ)信息。l 交換業(yè)務(wù)數(shù)據(jù)監(jiān)控：交換數(shù)據(jù)監(jiān)控是指數(shù)據(jù)交換的業(yè)務(wù)數(shù)據(jù)交換統(tǒng)計(jì)分析，例如某個(gè)業(yè)務(wù)表在某個(gè)時(shí)間段有多少數(shù)據(jù)進(jìn)行了交換。交換統(tǒng)計(jì)分析，可從不同角度來(lái)進(jìn)行：節(jié)點(diǎn)交換統(tǒng)計(jì)，數(shù)據(jù)源交換統(tǒng)計(jì)，交換流程（業(yè)務(wù)表）交換統(tǒng)計(jì)。交換環(huán)境監(jiān)控交換環(huán)境的監(jiān)控主要是指各個(gè)交換節(jié)點(diǎn)以及整個(gè)交換網(wǎng)絡(luò)的監(jiān)控，通過(guò)之前在配置管理中配置好的一個(gè)交換網(wǎng)絡(luò)拓?fù)鋱D可以很清晰的監(jiān)控到整個(gè)交換網(wǎng)絡(luò)及網(wǎng)絡(luò)中各交換節(jié)點(diǎn)的狀態(tài)是否正常；當(dāng)發(fā)現(xiàn)交換節(jié)點(diǎn)有異常的顯示后，可以查看此交換節(jié)點(diǎn)詳細(xì)的監(jiān)控，包括交換服務(wù)器資源占用情況、交換服務(wù)器上各交換流程的運(yùn)行情況等信息。l 交換節(jié)點(diǎn)資源監(jiān)控：可監(jiān)控節(jié)點(diǎn)的基礎(chǔ)設(shè)備資源，如：CPU，內(nèi)存，硬盤(pán)使用百分比，網(wǎng)絡(luò)使用情況等。l 交換節(jié)點(diǎn)狀態(tài)監(jiān)控：可監(jiān)控平臺(tái)系統(tǒng)中的交換節(jié)點(diǎn)的狀態(tài)，如某節(jié)點(diǎn)是否連通等。l 交換流程監(jiān)控：可監(jiān)控交換流程的狀態(tài)，是否啟動(dòng)等。l 系統(tǒng)告警監(jiān)控：當(dāng)上述監(jiān)控中發(fā)現(xiàn)異常，記錄告警，并可通過(guò)配置的告警方式告警，l 平臺(tái)默認(rèn)實(shí)現(xiàn)了郵件告警方式，只需要配置相應(yīng)的郵件信息，當(dāng)有警告產(chǎn)生時(shí)，會(huì)自動(dòng)發(fā)送告警郵件給郵件接收者。同時(shí)平臺(tái)還提供了可擴(kuò)展的告警方式接口，可根據(jù)項(xiàng)目需要擴(kuò)展不同的告警方式，如短信告警等。交換業(yè)務(wù)數(shù)據(jù)監(jiān)控在數(shù)據(jù)交換中，用戶最關(guān)心的是數(shù)據(jù)是否正確、完整的交換到指定的目的地，現(xiàn)有數(shù)據(jù)平臺(tái)從多個(gè)角度去完成了數(shù)據(jù)交換的監(jiān)控及告警：l 節(jié)點(diǎn)交換統(tǒng)計(jì)：可以統(tǒng)計(jì)某一個(gè)或者某幾個(gè)節(jié)點(diǎn)在某一個(gè)時(shí)間段內(nèi)的數(shù)據(jù)交換情況，包括那個(gè)流程(即那張表)，發(fā)送(中轉(zhuǎn)或接收)成功數(shù)、失敗數(shù)等信息。l 數(shù)據(jù)源交換統(tǒng)計(jì)：可以統(tǒng)計(jì)某一個(gè)或某幾個(gè)數(shù)據(jù)庫(kù)某一個(gè)時(shí)間段內(nèi)的數(shù)據(jù)交換情況，包括那個(gè)流程(即那張表)，發(fā)送(中轉(zhuǎn)或接