【文章內(nèi)容簡介】 “ 總線 ” 上，應(yīng)用程序的添加和刪除對同在總線上的其他應(yīng)用程序造成的影響非常小。也可以認(rèn)為 ESB 實(shí)現(xiàn)了調(diào)度程序 /路由器模式，因?yàn)樗鉀Q了消息在使 用 ESB 的應(yīng)用程序之間的路由選擇問題。 ESB 是服務(wù)基礎(chǔ)架構(gòu)的核心，它支持在異構(gòu)環(huán)境中以高度動態(tài)的方式對服務(wù)進(jìn)行注冊、發(fā)現(xiàn)和調(diào)度。 ESB 本身可看作是企業(yè)實(shí)現(xiàn)和擁有的架構(gòu)模式。 ODS 從來不直接與各 系統(tǒng)或數(shù)據(jù)倉庫直接交互，無論系統(tǒng)訪問 ODS 系統(tǒng)，還是 ODS 發(fā)送消息各 系統(tǒng)，它們總是通過調(diào)用服務(wù)總線中的組件來完成數(shù)據(jù)交互的。并且， ESB 不僅是為 ODS 提供數(shù)據(jù)服務(wù)，ESB 是作企業(yè)應(yīng)用集成環(huán)境（ EAI）中核心的數(shù)據(jù)交互機(jī)制為所有的信息整合提供數(shù)據(jù)服務(wù)。下圖為 ESB的邏輯模型： 對于 ESB 的設(shè)計(jì)原則，我們主要參照以下幾點(diǎn)： ? 強(qiáng)調(diào)性能，增加系統(tǒng)并發(fā)能力，避免出現(xiàn)任何由局部的堵塞造成整個 ESB 平臺堵塞的情況。必要情況下要將長消息流用隊(duì)列斷開為多條可并行的消息流以增強(qiáng)系統(tǒng)并發(fā)能力。 ? 避免單點(diǎn)故障，使用雙 ESB，多執(zhí)行組，多消息流配置， HA 高可靠性集群等方式來杜絕單點(diǎn)故障，提高系統(tǒng)的總體可用性。 ? 提高可重用性?？芍赜眯园ùa可重用性，以及在運(yùn)行時的可重用服務(wù)。前者要求使用統(tǒng)一報(bào)文格式，統(tǒng)一編碼規(guī)則開發(fā)可備重用的標(biāo)準(zhǔn) Template，后者要求使用開放的標(biāo)準(zhǔn)定義服務(wù)及發(fā)布服務(wù)。 ? 增強(qiáng)可維護(hù)性及靈活性。盡量避免新增的功能對原有代碼的改動，改動盡量能做成由配 16 置驅(qū)動，而不是涉及代碼改動。 ESB 須提供日志（ Audit）功能以備各種比對要求和延遲計(jì)算。系統(tǒng)必須能提供在流入及流出 ESB的節(jié)點(diǎn)日志。 基于 ESB 構(gòu)建的 ODS 數(shù)據(jù)交互方式描述如下： 各 系統(tǒng)以消息訂閱者的身份注冊到 ESB 平臺，監(jiān)聽進(jìn)入 ESB 信道的各種消息，根據(jù)一定的規(guī)則選擇對某些消息做出響應(yīng)；同時每個子系統(tǒng)也可以消息發(fā)布者的身份向 ESB 發(fā)送特定的消息，期望得到其它子系統(tǒng)的相應(yīng)。通過這種模式也可以看出， ESB 實(shí)際上是一個面向服務(wù)的消息 調(diào)度平臺。 ODS 數(shù)據(jù)安全性控制 從上文的系統(tǒng)架構(gòu)設(shè)計(jì)可以看出， ODS 作為 數(shù)據(jù)集成中心 ，可以被 各個 系統(tǒng)通過不同的途徑讀取或者改寫，最主要三種方式是： ? 各 系統(tǒng)直接讀取 ODS 的數(shù)據(jù)結(jié)構(gòu)； ? 各 系統(tǒng)通過 ETL 平臺讀取或者改寫 ODS 系統(tǒng)數(shù)據(jù)； ? 各 系統(tǒng)通過 ESB 平臺發(fā)出請求消息，導(dǎo)致 ODS 的數(shù)據(jù)被請求或者改寫； 對于這樣一個龐大的系統(tǒng)的數(shù)據(jù)安全控制，我們認(rèn)為最重要的是先創(chuàng)建一份安全審計(jì)的規(guī)則表，即通常所說的 CRUD（ C, Create； R， Read； U， Update； D, Delete）權(quán)限矩陣，下表為矩陣的模版： ODS 實(shí)體 屬性 計(jì)劃建設(shè)系統(tǒng) 物質(zhì)系統(tǒng) 財(cái)務(wù)系統(tǒng) ? 供應(yīng)商 編號 R(ETL) CRU(DB) R(ESB) 名稱 R(ETL) CRU(DB) R(ESB) 上表演示了 ODS 系統(tǒng)中的關(guān)于供應(yīng)商實(shí)體數(shù)據(jù)在不同的系統(tǒng)中發(fā)起的各種操作的情況下，所能執(zhí)行的數(shù)據(jù)訪問權(quán)限。具體的 CRUD 權(quán)限矩陣將根據(jù)實(shí)際的業(yè)務(wù)需求制定。 數(shù)據(jù)管理 由于用戶的需求和場景是經(jīng)常變化的，因此滿足個性化的定制將變的非常重要。目前數(shù)據(jù)應(yīng)用在個性戶定制方面主要表現(xiàn)在：雖然定義了模型，但模型不完整，效果不好。這樣用戶在使用時，不能根據(jù)其需求動態(tài)的調(diào)整后端的業(yè)務(wù)規(guī)則和運(yùn)行環(huán)境，不利于用戶的使用。 所以需要提供一個靈活的數(shù)據(jù)模型管理，以及業(yè)務(wù)規(guī)則管理，來應(yīng)對系統(tǒng)的變化。 ? 數(shù)據(jù)模型管理 提供可視化的數(shù)據(jù)模型編輯工具，支持以下幾種數(shù)據(jù)模型抽取模式。 主擴(kuò)展模式 17 通常用來將幾個相似的對象的共有屬性抽取出來，形成一個“公共屬性表”。例如：一個員工的基本信息由角色信息、組織信息、崗位信息等部分組成。 主從模式 描述兩個表之間的主從關(guān)系，從而形成的“一對多”關(guān)系。例如：一個項(xiàng)目對應(yīng)多個計(jì)劃階段。 多對多模式 描述對象相互不分主次、地位，互為一對多的關(guān)系。例如：一種器材可以對應(yīng)多個領(lǐng)料單，一個領(lǐng)料單也可以對應(yīng)多種器材。 ? 流程、規(guī)則管理 提供可視化的流程編輯工具、流程定義和流程監(jiān)控功能。提供函數(shù)集提供常用規(guī)則方法，以及規(guī)則定義語言描述規(guī)則。提供基本規(guī)則： 直接映射 原來是什么 就是什么，原封不動照搬過來，對這樣的規(guī)則，如果數(shù)據(jù)源字段和目標(biāo)字段長度或精度不符，需要特別注意看是否真的可以直接映射還是需要做一些簡單運(yùn)算。 數(shù)學(xué) 運(yùn)算 數(shù)據(jù)源的一個或多個字段進(jìn)行數(shù)學(xué)運(yùn)算得到的目標(biāo)字段， 比如：合同里的支付計(jì)劃由多個時間段和支付比例組成，由此得出其總的合同支付時間和支付金額， 這種規(guī)則一般對數(shù)值型字段而言。 參照轉(zhuǎn)換 在轉(zhuǎn)換中通常要用數(shù)據(jù)源的一個或多個字段作為 Key，去一個關(guān)聯(lián)數(shù)組中去搜索特定值，而且應(yīng)該只能得到唯一值。這個關(guān)聯(lián)數(shù)組使用 Hash 算法實(shí)現(xiàn)是比較合適也是最常見的，在整個 ETL開始之前，它就裝入內(nèi)存，對性能提高的幫助非常大。 字符串處理 從數(shù)據(jù)源某個字符串字段中經(jīng)常可以獲取特定信息，例如身份證號。而且，經(jīng)常會有數(shù)值型值 ， 以字符串形式體現(xiàn)。對字符串的操作通常有類型轉(zhuǎn)換、字符串截取等。但是由于字符類型字段的隨意性也造成了臟數(shù)據(jù)的隱患，所以在處理這種規(guī)則的時候，一定要加上異常處理。 空值判斷 對于空值的處理是數(shù)據(jù)倉庫 中一個常見問題，是將它作為臟數(shù)據(jù)還是作為特定一種維成員？這恐怕還要看應(yīng)用的情況，也是需要進(jìn)一步探求的。但是無論怎樣，對于可能有 NULL 值的字段，不要采用“直接映射”的規(guī)則類型，必須對空值進(jìn)行判斷，目前我們的建議是將它轉(zhuǎn)換成特定的 18 值。 日期轉(zhuǎn)換 在數(shù)據(jù)倉庫中日期值一般都會有特定的，不同于日期類型值的表示方法，例如使用 8 位整型20202001 表示日期。而在數(shù)據(jù)源中，這種字段基本都是日期類型的，所以對于這樣的規(guī)則，需要一些共通函數(shù)來處理將日期轉(zhuǎn)換為 8 位日期值、 6 位月份值等。 日期運(yùn)算 基于日期，我們通常會計(jì)算日差 、月差、時長等。一般數(shù)據(jù)庫提供的日期運(yùn)算函數(shù)都是基于日期型的，而在數(shù)據(jù)倉庫中采用特定類型來表示日期的話，必須有一套自己的日期運(yùn)算函數(shù)集。 聚集運(yùn)算 對于事實(shí)表中的度量字段，他們通常是通過數(shù)據(jù)源一個或多個字段運(yùn)用聚集函數(shù)得來的，這些聚集函數(shù)為 SQL 標(biāo)準(zhǔn)中，包括 sum， count， avg， min， max。 既定取值 這種規(guī)則和以上各種類型規(guī)則的差別就在于它不依賴于數(shù)據(jù)源字段，對目標(biāo)字段取一個固定的或是依賴系統(tǒng)的值 主數(shù)據(jù)管理 我們的系統(tǒng)必須要能保證基礎(chǔ)數(shù)據(jù)的數(shù)據(jù)模型、編碼規(guī)范的穩(wěn)定性。這樣才能為其他各個 系統(tǒng) 提供準(zhǔn)確統(tǒng)一的數(shù)據(jù)。但是即使在穩(wěn)定的數(shù)據(jù)也有會發(fā)生變更的可能性，甚至?xí)灰髣h除。但是如果直接變更或是刪除，會影響到各個業(yè)務(wù)系統(tǒng)的使用。所以必須采取一定的措施來避免這樣的問題 。 主數(shù)據(jù)變更 在與相關(guān)部門溝通協(xié)調(diào)后，如果主數(shù)據(jù)仍然需要變更。我們將把主數(shù)據(jù)更新成新的版本，并同時通知各個業(yè)務(wù)系統(tǒng)，同時將繼續(xù)在一定時間內(nèi)維持舊數(shù)據(jù)的版本。使各個系統(tǒng)有時間來變更和接受新的主數(shù)據(jù)。 當(dāng)變更完成后，舊的主數(shù)據(jù)版本將會被移除。如下所示： 項(xiàng)目信息主數(shù)據(jù)（舊版本） 項(xiàng)目信息主數(shù)據(jù)（新版本） 計(jì)劃 建設(shè)系統(tǒng) 19 主數(shù)據(jù)刪除 在與相關(guān)部門溝通協(xié)調(diào)后，如果主數(shù)據(jù)仍然需要刪除。系統(tǒng)將會通知引用該主數(shù)據(jù)的系統(tǒng)。直至所有引用該主數(shù)據(jù)系統(tǒng)全部不使用該主數(shù)據(jù)時，系統(tǒng)將對此主數(shù)據(jù)進(jìn)行刪除。 報(bào)表功能 數(shù)據(jù)倉庫概念的提出也把數(shù)據(jù)處理劃分為了操作型處理和分析型處理兩種不同類型，從而建立起了 DBDW 的兩層體系結(jié)構(gòu)。但是有很多情況， DBDW 的兩層體系結(jié)構(gòu)并不能涵蓋企業(yè)所有的數(shù)據(jù)處理要求 ， 比如有些實(shí)時性決策問題 ， 它要求獲取數(shù)據(jù)周期不能太長 ， 而且也需要一定程度的匯總。計(jì)劃 建設(shè)系統(tǒng) 項(xiàng)目信息主數(shù)據(jù) 計(jì)劃 建設(shè)系統(tǒng) 項(xiàng)目信息主數(shù)據(jù) 計(jì)劃 建設(shè)系統(tǒng) 項(xiàng)目信息主數(shù)據(jù)（新版本） 計(jì)劃 建設(shè)系統(tǒng) 項(xiàng)目信息主數(shù)據(jù)（舊版本） 項(xiàng)目信息主數(shù)據(jù)（新版本） 計(jì)劃 建設(shè)系統(tǒng) 20 這樣的問題可以借助于 DBDW 的中間層 ODS（操作數(shù)據(jù)存儲）來解決。它象 DW 一樣是一種面向主題，集成的數(shù)據(jù)環(huán)境，又 像 操作型 DB一樣包含著全局一致的，細(xì)節(jié)的當(dāng)前的數(shù)據(jù)。我們看下常用的幾種系統(tǒng)應(yīng)用集成需求： ? 一級干線工程信息查詢 ?。▽?shí)時監(jiān)控） ? 重點(diǎn)供應(yīng) 商往來情況分析 ！（決策支持） ? 小靈通設(shè)備折舊年限改為七年的折舊差異測算 ?。A(yù)測） ? 建設(shè)單位管理費(fèi)占工程支出的比例分析 ? 2020 年 7 月 DDN、分組交換、微波、 PDH 在網(wǎng)資產(chǎn)情況 ? 提供事實(shí)的全局信息進(jìn)行實(shí)時監(jiān)控與臨時決策 要滿足上面所有的需求 ， 不管是傳統(tǒng)的 OLTP 系統(tǒng)還是已經(jīng)集成的數(shù)據(jù)倉庫 ， 都是很難完成任務(wù)的。由于這些原因， ODS 應(yīng)運(yùn)而生。 ODS 可以看 作 是圍繞主題進(jìn)行動態(tài)整合的一種應(yīng)用型體系結(jié)構(gòu) ，它有如下一些特點(diǎn)： ? 從 OLTP 系統(tǒng)獲取數(shù)據(jù) ? 提供幾乎精確到每秒的企業(yè)整體應(yīng)用狀態(tài) ? 數(shù)據(jù)一旦過期就將轉(zhuǎn)入 DW ? 實(shí)時決策與預(yù)警提示 ? 使用者多為前端業(yè)務(wù)人員 在 企業(yè) 領(lǐng)域中，我們可以通過下表的梳理方式來選擇我們所要切入的分析主題報(bào)表： 主數(shù)據(jù) 集團(tuán)統(tǒng)一單位編碼、集團(tuán)會計(jì)科目編號、集團(tuán) 用戶 、集團(tuán)供應(yīng)商 在建工程：專業(yè)類別、建設(shè)性質(zhì)、管理關(guān)系、項(xiàng)目屬性 資產(chǎn)：資產(chǎn)類別 、資產(chǎn)歸屬、資產(chǎn)狀態(tài)、折舊狀態(tài) 財(cái)務(wù)輔助系統(tǒng)：物資類別、網(wǎng)絡(luò)元素、產(chǎn)品類別、各種費(fèi)用明細(xì)分類等 業(yè)務(wù)數(shù)據(jù) 應(yīng)收明細(xì)、應(yīng)付明細(xì)、一級干線工程基礎(chǔ)數(shù)據(jù)表 、一級干線工程合同信息數(shù)據(jù)表 、一級干線工程計(jì)劃下達(dá)信息數(shù)據(jù)表、一級干線工程核算數(shù)據(jù)表 財(cái)務(wù)輔助系統(tǒng)報(bào)銷單明細(xì)數(shù)據(jù)：領(lǐng)料單，修理費(fèi)，營銷費(fèi)，代辦手續(xù)費(fèi)，差旅費(fèi)，會議費(fèi)，綜合費(fèi)用 多維匯總數(shù)據(jù) 科目余額表、在建工程統(tǒng)計(jì) 、資產(chǎn)統(tǒng)計(jì) 21 報(bào)表 關(guān)聯(lián)交易匯總表 、應(yīng)收賬 款匯總表 、應(yīng)付賬 款匯總表、在建工程決算信息一覽表 、工程預(yù)、決偏離信息表 、已決算工程項(xiàng)目費(fèi)用構(gòu)成情況表 、固定資產(chǎn)詳情表 、折舊預(yù)測表 功能特點(diǎn) 先進(jìn)的技術(shù)與支持多種數(shù)據(jù)庫 信息化建設(shè)過程中，業(yè)務(wù)需求是逐步發(fā)展的，這樣就要求系統(tǒng)總體結(jié)構(gòu)的設(shè)計(jì)有完善、先進(jìn)、穩(wěn)定、可靠的軟件架構(gòu)。采用基于 XML Web 服務(wù)（ Web Service）的 .NET 技術(shù)開發(fā) ODS 系統(tǒng) ，是項(xiàng)目成功的有利保證。 提供靈活方便的自定義業(yè)務(wù)流程的功能。 以圖形化的形式繪制各類業(yè)務(wù)流程，并可在該業(yè)務(wù)發(fā)生變更時很方便地進(jìn) 行 維護(hù)。對于簡單的業(yè)務(wù)，可不需進(jìn)行程序代碼的變更，完全通過自定義的方式定義出該業(yè)務(wù)種類的各個環(huán)節(jié)以及其權(quán)限處理、權(quán)限控制和業(yè)務(wù)處理方法。 面向用戶角色的設(shè)計(jì) 。 系統(tǒng)設(shè)計(jì)方案在構(gòu)想初期就從 ODS 系統(tǒng) 管理所要求的層次：操作層 和 管理層全盤考慮，充分了解不同級別的人員所關(guān)心的問題，務(wù)求能夠?yàn)橛脩艚鉀Q在 ODS 系統(tǒng) 應(yīng)用中的實(shí)際問題。 產(chǎn)品的高度靈活性、開放性和可擴(kuò)展性 市場唯一不變的法則就是永遠(yuǎn)在變。企業(yè)發(fā)展的可拓展性，作為企業(yè)的決策者，企業(yè)發(fā)展的可持續(xù)性、可拓展性已是一個不可忽略和怠慢的話題。作為 ODS 系統(tǒng) 的一種管理理念，這種企業(yè)拓展性發(fā)展已被融入其中。 ODS 系統(tǒng) 為了更好的方便企業(yè)對于拓展性的要求，并使企業(yè)決策者在考慮拓展企業(yè)時無需為大量的信息投資所困擾。 集成 與開放 體現(xiàn)在兩個方面：一是系統(tǒng)自身模塊的集成；二是與外部其它系統(tǒng)的集成。 科大訊飛的研發(fā)人員在開發(fā) ODS 系統(tǒng) 管理系統(tǒng)時就充分考慮到用戶的這種需求，將系統(tǒng)設(shè)計(jì)成開放性的系統(tǒng)，預(yù)留數(shù)據(jù)庫和系統(tǒng)接口，保證了與其它系統(tǒng)的無縫鏈接。 ODS 系統(tǒng) 管理系統(tǒng)優(yōu)良的可升級性能，使 用戶 用最低的成本，滿足了當(dāng)前和未來的資源需求。 22 服務(wù)器管理及監(jiān)控系統(tǒng) 為了能使用戶對于 公文處理和事務(wù)審批 系統(tǒng)更好的使用，我們需要對應(yīng)用服務(wù)器系統(tǒng)進(jìn)行統(tǒng)一的管理監(jiān)控。通過對應(yīng)用服務(wù)器運(yùn)行狀況的監(jiān)控管理，可以提高用戶的體驗(yàn)水平，增強(qiáng)系統(tǒng)的可用性。系統(tǒng)管理及監(jiān)控系統(tǒng)主要是為了達(dá)成此目的而建設(shè)。 整個系統(tǒng)對服務(wù)器的監(jiān)控管理，實(shí)時接收采集各種時間信息，對服務(wù)器運(yùn)行狀態(tài) 進(jìn)行評估，保證系統(tǒng)穩(wěn)定運(yùn)行。 服務(wù)器監(jiān)控管理功能 服務(wù)器監(jiān)控管理功能 通過對 Windows 平臺和 Windows 平臺上應(yīng)用系統(tǒng)的事件、健康情況、性能狀況的監(jiān)控，可以實(shí)現(xiàn)對管理范圍內(nèi)的重要事件信息的捕獲、評估并及時呈現(xiàn)給系統(tǒng)管理員，讓系統(tǒng)管理員可以及時做出反應(yīng)，盡快解決各種潛在的隱患，不至于影響關(guān)鍵應(yīng)用的正常運(yùn)行。 同時 管理系統(tǒng)通過內(nèi)置的職能知識庫系統(tǒng)幫助系統(tǒng)管理員根據(jù)發(fā)生的事件盡快診斷出問題所在，以便對癥下藥，解決問題。還可以不斷完善、豐富知識庫內(nèi)的內(nèi)容，以提高 IT 管理的水平。 系統(tǒng) 采用精密的多層體系結(jié)構(gòu) ，支持負(fù)載平衡，可以以伸縮的方式滿足大型企業(yè)的需求。 中心管理站點(diǎn)可以 接收從代理程序收集來的