【正文】 操作或管理警告。此外，還可以對本地閥值和集合閥值進行設(shè)置，以在系統(tǒng)或應(yīng)用程序的性能發(fā)生變化，需要進行管理干預(yù)時做出適當(dāng)?shù)姆磻?yīng)，發(fā)出警告并執(zhí)行適當(dāng)?shù)牟僮鳌? 系統(tǒng) 可以設(shè)置監(jiān)控主要的性能閥值。 當(dāng)管理系統(tǒng)捕獲、評估各種事件后，可以通過預(yù)先配置的手 段及時報警，通知系統(tǒng)管理員。 管理員可以定義規(guī)則，可以通過預(yù)先設(shè)定好的操作對指定的時間進行處理反映。合并器還向數(shù)據(jù)訪問服務(wù)器 (DAS) 發(fā)送信息。 中心管理站點可以 接收從代理程序收集來的信息。還可以不斷完善、豐富知識庫內(nèi)的內(nèi)容，以提高 IT 管理的水平。 服務(wù)器監(jiān)控管理功能 服務(wù)器監(jiān)控管理功能 通過對 Windows 平臺和 Windows 平臺上應(yīng)用系統(tǒng)的事件、健康情況、性能狀況的監(jiān)控，可以實現(xiàn)對管理范圍內(nèi)的重要事件信息的捕獲、評估并及時呈現(xiàn)給系統(tǒng)管理員，讓系統(tǒng)管理員可以及時做出反應(yīng)，盡快解決各種潛在的隱患，不至于影響關(guān)鍵應(yīng)用的正常運行。系統(tǒng)管理及監(jiān)控系統(tǒng)主要是為了達成此目的而建設(shè)。 22 服務(wù)器管理及監(jiān)控系統(tǒng) 為了能使用戶對于 公文處理和事務(wù)審批 系統(tǒng)更好的使用，我們需要對應(yīng)用服務(wù)器系統(tǒng)進行統(tǒng)一的管理監(jiān)控。 科大訊飛的研發(fā)人員在開發(fā) ODS 系統(tǒng) 管理系統(tǒng)時就充分考慮到用戶的這種需求，將系統(tǒng)設(shè)計成開放性的系統(tǒng)，預(yù)留數(shù)據(jù)庫和系統(tǒng)接口，保證了與其它系統(tǒng)的無縫鏈接。 ODS 系統(tǒng) 為了更好的方便企業(yè)對于拓展性的要求，并使企業(yè)決策者在考慮拓展企業(yè)時無需為大量的信息投資所困擾。企業(yè)發(fā)展的可拓展性，作為企業(yè)的決策者，企業(yè)發(fā)展的可持續(xù)性、可拓展性已是一個不可忽略和怠慢的話題。 系統(tǒng)設(shè)計方案在構(gòu)想初期就從 ODS 系統(tǒng) 管理所要求的層次：操作層 和 管理層全盤考慮，充分了解不同級別的人員所關(guān)心的問題，務(wù)求能夠為用戶解決在 ODS 系統(tǒng) 應(yīng)用中的實際問題。對于簡單的業(yè)務(wù)，可不需進行程序代碼的變更，完全通過自定義的方式定義出該業(yè)務(wù)種類的各個環(huán)節(jié)以及其權(quán)限處理、權(quán)限控制和業(yè)務(wù)處理方法。 提供靈活方便的自定義業(yè)務(wù)流程的功能。 ODS 可以看 作 是圍繞主題進行動態(tài)整合的一種應(yīng)用型體系結(jié)構(gòu) ，它有如下一些特點： ? 從 OLTP 系統(tǒng)獲取數(shù)據(jù) ? 提供幾乎精確到每秒的企業(yè)整體應(yīng)用狀態(tài) ? 數(shù)據(jù)一旦過期就將轉(zhuǎn)入 DW ? 實時決策與預(yù)警提示 ? 使用者多為前端業(yè)務(wù)人員 在 企業(yè) 領(lǐng)域中，我們可以通過下表的梳理方式來選擇我們所要切入的分析主題報表： 主數(shù)據(jù) 集團統(tǒng)一單位編碼、集團會計科目編號、集團 用戶 、集團供應(yīng)商 在建工程：專業(yè)類別、建設(shè)性質(zhì)、管理關(guān)系、項目屬性 資產(chǎn)：資產(chǎn)類別 、資產(chǎn)歸屬、資產(chǎn)狀態(tài)、折舊狀態(tài) 財務(wù)輔助系統(tǒng)：物資類別、網(wǎng)絡(luò)元素、產(chǎn)品類別、各種費用明細分類等 業(yè)務(wù)數(shù)據(jù) 應(yīng)收明細、應(yīng)付明細、一級干線工程基礎(chǔ)數(shù)據(jù)表 、一級干線工程合同信息數(shù)據(jù)表 、一級干線工程計劃下達信息數(shù)據(jù)表、一級干線工程核算數(shù)據(jù)表 財務(wù)輔助系統(tǒng)報銷單明細數(shù)據(jù)：領(lǐng)料單，修理費，營銷費，代辦手續(xù)費，差旅費，會議費，綜合費用 多維匯總數(shù)據(jù) 科目余額表、在建工程統(tǒng)計 、資產(chǎn)統(tǒng)計 21 報表 關(guān)聯(lián)交易匯總表 、應(yīng)收賬 款匯總表 、應(yīng)付賬 款匯總表、在建工程決算信息一覽表 、工程預(yù)、決偏離信息表 、已決算工程項目費用構(gòu)成情況表 、固定資產(chǎn)詳情表 、折舊預(yù)測表 功能特點 先進的技術(shù)與支持多種數(shù)據(jù)庫 信息化建設(shè)過程中，業(yè)務(wù)需求是逐步發(fā)展的，這樣就要求系統(tǒng)總體結(jié)構(gòu)的設(shè)計有完善、先進、穩(wěn)定、可靠的軟件架構(gòu)。我們看下常用的幾種系統(tǒng)應(yīng)用集成需求： ? 一級干線工程信息查詢 ?。▽崟r監(jiān)控） ? 重點供應(yīng) 商往來情況分析 ！（決策支持） ? 小靈通設(shè)備折舊年限改為七年的折舊差異測算 ?。A(yù)測） ? 建設(shè)單位管理費占工程支出的比例分析 ? 2020 年 7 月 DDN、分組交換、微波、 PDH 在網(wǎng)資產(chǎn)情況 ? 提供事實的全局信息進行實時監(jiān)控與臨時決策 要滿足上面所有的需求 ， 不管是傳統(tǒng)的 OLTP 系統(tǒng)還是已經(jīng)集成的數(shù)據(jù)倉庫 ， 都是很難完成任務(wù)的。計劃 建設(shè)系統(tǒng) 項目信息主數(shù)據(jù) 計劃 建設(shè)系統(tǒng) 項目信息主數(shù)據(jù) 計劃 建設(shè)系統(tǒng) 項目信息主數(shù)據(jù)（新版本） 計劃 建設(shè)系統(tǒng) 項目信息主數(shù)據(jù)（舊版本） 項目信息主數(shù)據(jù)（新版本） 計劃 建設(shè)系統(tǒng) 20 這樣的問題可以借助于 DBDW 的中間層 ODS（操作數(shù)據(jù)存儲）來解決。 報表功能 數(shù)據(jù)倉庫概念的提出也把數(shù)據(jù)處理劃分為了操作型處理和分析型處理兩種不同類型，從而建立起了 DBDW 的兩層體系結(jié)構(gòu)。系統(tǒng)將會通知引用該主數(shù)據(jù)的系統(tǒng)。 當(dāng)變更完成后，舊的主數(shù)據(jù)版本將會被移除。我們將把主數(shù)據(jù)更新成新的版本，并同時通知各個業(yè)務(wù)系統(tǒng)，同時將繼續(xù)在一定時間內(nèi)維持舊數(shù)據(jù)的版本。所以必須采取一定的措施來避免這樣的問題 。但是即使在穩(wěn)定的數(shù)據(jù)也有會發(fā)生變更的可能性，甚至?xí)灰髣h除。 既定取值 這種規(guī)則和以上各種類型規(guī)則的差別就在于它不依賴于數(shù)據(jù)源字段，對目標(biāo)字段取一個固定的或是依賴系統(tǒng)的值 主數(shù)據(jù)管理 我們的系統(tǒng)必須要能保證基礎(chǔ)數(shù)據(jù)的數(shù)據(jù)模型、編碼規(guī)范的穩(wěn)定性。一般數(shù)據(jù)庫提供的日期運算函數(shù)都是基于日期型的，而在數(shù)據(jù)倉庫中采用特定類型來表示日期的話，必須有一套自己的日期運算函數(shù)集。而在數(shù)據(jù)源中，這種字段基本都是日期類型的，所以對于這樣的規(guī)則，需要一些共通函數(shù)來處理將日期轉(zhuǎn)換為 8 位日期值、 6 位月份值等。但是無論怎樣，對于可能有 NULL 值的字段，不要采用“直接映射”的規(guī)則類型，必須對空值進行判斷，目前我們的建議是將它轉(zhuǎn)換成特定的 18 值。但是由于字符類型字段的隨意性也造成了臟數(shù)據(jù)的隱患，所以在處理這種規(guī)則的時候，一定要加上異常處理。而且，經(jīng)常會有數(shù)值型值 ， 以字符串形式體現(xiàn)。這個關(guān)聯(lián)數(shù)組使用 Hash 算法實現(xiàn)是比較合適也是最常見的，在整個 ETL開始之前，它就裝入內(nèi)存，對性能提高的幫助非常大。 數(shù)學(xué) 運算 數(shù)據(jù)源的一個或多個字段進行數(shù)學(xué)運算得到的目標(biāo)字段， 比如：合同里的支付計劃由多個時間段和支付比例組成，由此得出其總的合同支付時間和支付金額， 這種規(guī)則一般對數(shù)值型字段而言。提供函數(shù)集提供常用規(guī)則方法，以及規(guī)則定義語言描述規(guī)則。例如：一種器材可以對應(yīng)多個領(lǐng)料單，一個領(lǐng)料單也可以對應(yīng)多種器材。例如：一個項目對應(yīng)多個計劃階段。例如：一個員工的基本信息由角色信息、組織信息、崗位信息等部分組成。 ? 數(shù)據(jù)模型管理 提供可視化的數(shù)據(jù)模型編輯工具，支持以下幾種數(shù)據(jù)模型抽取模式。這樣用戶在使用時，不能根據(jù)其需求動態(tài)的調(diào)整后端的業(yè)務(wù)規(guī)則和運行環(huán)境，不利于用戶的使用。 數(shù)據(jù)管理 由于用戶的需求和場景是經(jīng)常變化的，因此滿足個性化的定制將變的非常重要。 ODS 數(shù)據(jù)安全性控制 從上文的系統(tǒng)架構(gòu)設(shè)計可以看出， ODS 作為 數(shù)據(jù)集成中心 ，可以被 各個 系統(tǒng)通過不同的途徑讀取或者改寫，最主要三種方式是： ? 各 系統(tǒng)直接讀取 ODS 的數(shù)據(jù)結(jié)構(gòu)； ? 各 系統(tǒng)通過 ETL 平臺讀取或者改寫 ODS 系統(tǒng)數(shù)據(jù)； ? 各 系統(tǒng)通過 ESB 平臺發(fā)出請求消息，導(dǎo)致 ODS 的數(shù)據(jù)被請求或者改寫； 對于這樣一個龐大的系統(tǒng)的數(shù)據(jù)安全控制，我們認(rèn)為最重要的是先創(chuàng)建一份安全審計的規(guī)則表，即通常所說的 CRUD（ C, Create； R， Read； U， Update； D, Delete）權(quán)限矩陣，下表為矩陣的模版： ODS 實體 屬性 計劃建設(shè)系統(tǒng) 物質(zhì)系統(tǒng) 財務(wù)系統(tǒng) ? 供應(yīng)商 編號 R(ETL) CRU(DB) R(ESB) 名稱 R(ETL) CRU(DB) R(ESB) 上表演示了 ODS 系統(tǒng)中的關(guān)于供應(yīng)商實體數(shù)據(jù)在不同的系統(tǒng)中發(fā)起的各種操作的情況下，所能執(zhí)行的數(shù)據(jù)訪問權(quán)限。 基于 ESB 構(gòu)建的 ODS 數(shù)據(jù)交互方式描述如下： 各 系統(tǒng)以消息訂閱者的身份注冊到 ESB 平臺，監(jiān)聽進入 ESB 信道的各種消息，根據(jù)一定的規(guī)則選擇對某些消息做出響應(yīng)；同時每個子系統(tǒng)也可以消息發(fā)布者的身份向 ESB 發(fā)送特定的消息，期望得到其它子系統(tǒng)的相應(yīng)。 ESB 須提供日志（ Audit）功能以備各種比對要求和延遲計算。 ? 增強可維護性及靈活性?？芍赜眯园ùa可重用性，以及在運行時的可重用服務(wù)。 ? 避免單點故障，使用雙 ESB，多執(zhí)行組，多消息流配置， HA 高可靠性集群等方式來杜絕單點故障，提高系統(tǒng)的總體可用性。下圖為 ESB的邏輯模型： 對于 ESB 的設(shè)計原則，我們主要參照以下幾點： ? 強調(diào)性能，增加系統(tǒng)并發(fā)能力，避免出現(xiàn)任何由局部的堵塞造成整個 ESB 平臺堵塞的情況。 ODS 從來不直接與各 系統(tǒng)或數(shù)據(jù)倉庫直接交互，無論系統(tǒng)訪問 ODS 系統(tǒng)，還是 ODS 發(fā)送消息各 系統(tǒng)，它們總是通過調(diào)用服務(wù)總線中的組件來完成數(shù)據(jù)交互的。 ESB 是服務(wù)基礎(chǔ)架構(gòu)的核心，它支持在異構(gòu)環(huán)境中以高度動態(tài)的方式對服務(wù)進行注冊、發(fā)現(xiàn)和調(diào)度。在一個軟件 “ 總線 ” 上，應(yīng)用程序的添加和刪除對同在總線上的其他應(yīng)用程序造成的影響非常小。 當(dāng)數(shù)據(jù)從 MSS 子系統(tǒng)轉(zhuǎn)換到 ODS 系統(tǒng)時，數(shù)據(jù)質(zhì)量依賴于 ETL 平臺， ETL 平臺提供完整的事務(wù)、容錯、補償、容錯和日志功能用于控制數(shù)據(jù)轉(zhuǎn)換的質(zhì)量。 ? 拆分：例如將員工姓名拆分為單獨的姓和名字段。接著需要通過 ETL 工具將 各 系統(tǒng)中的業(yè)務(wù)數(shù)據(jù)轉(zhuǎn)換后裝入到 ODS 數(shù)據(jù)庫中，轉(zhuǎn)換方式大致分為四種： ? 遷移：一般性的數(shù)據(jù)拷貝方式，源和目標(biāo)的數(shù)據(jù)屬性和值完全相同。以下為 ODS 的數(shù)據(jù)模型圖： 事 實 表 字 段 1 字 段 2 字 段 3 . . 字 段 n 緯 度 表 1 字 段 1 字 段 2 緯 度 表 2 字 段 1 字 段 2 緯 度 表 5 字 段 1 字 段 2 緯 度 表 3 字 段 1 字 段 2 緯 度 表 4 字 段 1 字 段 2 圖表 1 ODS 數(shù)據(jù)模型 在上圖中緯度是維持各 系統(tǒng) 數(shù)據(jù)的一致性描述，而事實表則是提供分析使用的基礎(chǔ)數(shù)據(jù)。事實數(shù)據(jù)一般代表的是業(yè)務(wù)變動記錄，在 MSS 中我們稱為業(yè)務(wù)數(shù) 據(jù)，而緯度數(shù)據(jù)則存放事實數(shù)據(jù)中業(yè)務(wù)發(fā)生的對象主體信息，緯度數(shù)據(jù)稱為 主數(shù)據(jù)。 14 ? OMS 由于擁有了完整的主數(shù)據(jù)，它為面向主題的分析提供了必須的數(shù)據(jù)基礎(chǔ)。使 ODS 系統(tǒng)作為所有 應(yīng)用 系統(tǒng)交互的平臺，通過 ETL 和 ESB 兩種技術(shù)對現(xiàn)有數(shù)據(jù)進行整合： E T L 數(shù) 據(jù) 抽 取 ， 清 洗 ， 傳 送 平 臺E S B 企 事 業(yè) 服 務(wù) 總 線 平 臺E T L 任 務(wù) 包 AE T L 任 務(wù) 包 NE T L 任 務(wù) 包 CE T L 任 務(wù) 包 B人 力 資 源 審 計 管 理物 資 管 理 財 務(wù) 管 理O D S數(shù) 據(jù) 中 心 各個應(yīng)用竹編 ，如人力資源、財務(wù)管理等將通過企業(yè)服務(wù)總線平臺（ ESB）進行交互， ESB 也作為其它可能與 應(yīng)用 系統(tǒng)交互的統(tǒng)一接口；另一方面，數(shù)據(jù)抽取傳送平臺（ ETL）負責(zé)將各個子系統(tǒng)的數(shù)據(jù)抽取出來（拆分、合并、映射）裝入到 ODS 系統(tǒng)中，那么 ODS 系統(tǒng)在具備了各個子系統(tǒng)的近實時數(shù)據(jù)之后，就可以作為獨立數(shù)據(jù)源對外提供數(shù)據(jù)服務(wù)，它可以作為數(shù)據(jù)報表和分析的數(shù)據(jù)源，也可以作為其它子系統(tǒng)相互同步的數(shù)據(jù)源。歷史 事實證明，只有將各個系統(tǒng)的數(shù)據(jù)綜合在一起才能真正反映出企業(yè)管理需要的數(shù)據(jù)或者報表，而對這些數(shù)據(jù)的要求是近乎實時的。而不應(yīng)對一個正常運行的應(yīng)用 系統(tǒng) 進行任何的改變。相關(guān)數(shù)據(jù)將放在 SAN 網(wǎng)路存儲中，冗余后的邏輯大小為 3TB。 因此，在現(xiàn)有設(shè)計中，我們將配置 2 個服務(wù)器分別運行 ETL 應(yīng)用和 ODS 數(shù)據(jù)庫，由于 ODS 數(shù)據(jù)庫即具有數(shù)據(jù)倉庫的功能，也具有一定 OLTP 應(yīng)用的特征，對性能要求較高，因此我們建議配置 1 個6CPU 的 PC 服務(wù)器作為 ODS 數(shù)據(jù)庫服務(wù)器，另一個 4CPU 的 PC 服務(wù)器作為 ETL 服務(wù)器。近實時的數(shù)據(jù)存儲提供了查詢與服務(wù)能力，并以更高的性能生成操作報告。它可以幫助用戶輕松應(yīng)對跨多個商業(yè)功能的操作挑戰(zhàn)，是面向主題的、集成的、近實時的數(shù)據(jù)存儲。 ODS 數(shù)據(jù)庫模塊 操作數(shù)據(jù)存儲 ODS（ Operation Data Storage）是一個集成了來自不同數(shù)據(jù)庫數(shù)據(jù)的環(huán)境。 ? 數(shù)據(jù)轉(zhuǎn)換 數(shù)據(jù)轉(zhuǎn)換是指對抽取的源數(shù)據(jù)根據(jù)數(shù)據(jù)倉庫系統(tǒng)模型的要求，進行數(shù)據(jù)的轉(zhuǎn)換、清洗、拆分、匯 12 總等，保證來自不同系統(tǒng)、不同格式的數(shù)據(jù)和信息模型具有一致性和完整性，并按要求裝入數(shù)據(jù)倉庫。 ETL 模塊 這里的 ETL 模塊主要是 數(shù)據(jù)抽取、轉(zhuǎn)換和加載， 這是 數(shù)據(jù)由數(shù)據(jù)源系統(tǒng)向 ODS 加載的主要方法 ? 數(shù)據(jù)抽取 從數(shù)據(jù)源系 統(tǒng)抽取數(shù)據(jù)倉庫系統(tǒng)所需的數(shù)據(jù)，數(shù)據(jù)抽取采用統(tǒng)一的接口，可以從數(shù)據(jù)庫抽取數(shù)據(jù)，也可以從文件抽取。 11 5. 數(shù)據(jù)集成 方案 ODS 系統(tǒng)設(shè)計 現(xiàn)階段 ODS 系統(tǒng)設(shè)計 抽 取 轉(zhuǎn) 換 裝 載數(shù) 據(jù) 1O D S數(shù) 據(jù) 中 心數(shù) 據(jù) 3數(shù) 據(jù) 2 如上圖所示，我