【正文】 儲 在一個沒有 ODS 層的數(shù)據(jù)倉庫應(yīng)用系統(tǒng)體系結(jié)構(gòu)中，數(shù)據(jù)倉庫中存儲的數(shù)據(jù)粒度是根據(jù)需要而確定的，但一般來說，最為細(xì)節(jié)的業(yè)務(wù)數(shù)據(jù)也是需要保留的，實(shí)際上也就相 當(dāng)于 ODS，但與 ODS 所不同的是，這時(shí)的細(xì)節(jié)數(shù)據(jù)不是 “當(dāng)前、不斷變化的 ”數(shù)據(jù)，而是 “歷史的，不再變化的 ”數(shù)據(jù)。兩種不同的設(shè)計(jì)方式必須根據(jù)實(shí)際的應(yīng)用情境進(jìn)行選擇。 通用 ESB 架構(gòu)分析 基于 SO 思想的 A 企業(yè)服務(wù)總線（ ESB）， 是傳統(tǒng)中間件技術(shù)與 XML、 Web 服務(wù)等技術(shù)相互結(jié)合的產(chǎn)物，用于實(shí)現(xiàn)企業(yè)應(yīng)用不同消息和信息的準(zhǔn)確、高效和安全傳遞。 電力領(lǐng)域 ESB 能夠在全方位支持電力行業(yè) EMS 的數(shù)據(jù)整合概念，是理想的 SCADA 系統(tǒng)數(shù)據(jù)交換平臺。它可以在不改變現(xiàn)有基礎(chǔ)結(jié)構(gòu)的情況下讓幾代技術(shù)實(shí)現(xiàn)互操作。 進(jìn)行 數(shù)據(jù) 的集成，一般按以下三個階段來進(jìn)行： 1. 把原有應(yīng)用系統(tǒng)需要進(jìn)行集成的業(yè)務(wù)功能先進(jìn)行標(biāo)準(zhǔn)的封裝，如采用 web service 進(jìn)行封裝，然后以標(biāo)準(zhǔn)的結(jié)構(gòu)文檔，如 XSD,確定接口輸入輸出的數(shù)據(jù)格式 . 2. 部署 ESB中間件產(chǎn)品，并進(jìn)行 ESB上相關(guān)功能調(diào)用的開發(fā)，把原有應(yīng)用系統(tǒng)封裝好的接口，接入到 ESB 中，形成一種服務(wù)。 10 E T L 數(shù) 據(jù) 抽 取 ， 清 洗 ， 傳 送 平 臺E S B 企 事 業(yè) 服 務(wù) 總 線 平 臺E T L 任 務(wù) 包 AE T L 任 務(wù) 包 NE T L 任 務(wù) 包 CE T L 任 務(wù) 包 B人 力 資 源 審 計(jì) 管 理物 資 管 理 財(cái) 務(wù) 管 理O D S數(shù) 據(jù) 中 心 數(shù)據(jù)集成效果 ? 主數(shù)據(jù)整合，通過 ODS（共享管控 數(shù)據(jù)集成中心 ）、 ESB（企業(yè)服務(wù)總線）基礎(chǔ)平臺的搭建，規(guī)范系統(tǒng)主數(shù)據(jù)，實(shí)現(xiàn) 企事業(yè)內(nèi) 各系統(tǒng)、以及 EDW 間的數(shù)據(jù)交互和共享，保證數(shù)據(jù)一致性； ? 統(tǒng)一系統(tǒng)接口，通過 ESB 與 多 個核心平臺搭建接口，實(shí)現(xiàn)核心系統(tǒng)接口統(tǒng)一。所有的統(tǒng)計(jì)分析需求按其涉及數(shù)據(jù)范圍大小和復(fù)雜程度高低，分別由應(yīng)用系統(tǒng)、 ODS 和數(shù)據(jù)倉庫提供支撐，盡可能向 ODS 和數(shù)據(jù)倉庫集中。對于不同數(shù)據(jù)平臺、源數(shù)據(jù)形式、性能要求的業(yè)務(wù)系統(tǒng)，以及不同數(shù)據(jù)量的源數(shù)據(jù)，可能采用的接口方式不同，為保證抽取效率，減少對生產(chǎn)運(yùn)營的影響，對于大數(shù)據(jù)量的抽取，采取數(shù)據(jù)分割、縮短抽取周期的原則，對于直接的數(shù)據(jù)庫抽取，采取協(xié)商接口表的方式，保障生產(chǎn)系統(tǒng)數(shù)據(jù)庫的安全。其目的是為終端用戶提供一致的企業(yè)數(shù)據(jù)集成視圖。設(shè)計(jì) ODS 的核心是實(shí)現(xiàn)焦點(diǎn)主題全局試圖應(yīng)用，如企業(yè)的 用戶 管理系統(tǒng)，可以建立以 用戶 為中心的 ODS 用戶 主題視圖，向上層提供高效的服務(wù)。 未來 ODS 系統(tǒng)設(shè)計(jì) 對于未來的 ODS 系統(tǒng)設(shè)計(jì)，我們認(rèn)為可以引入 MDM 的設(shè)計(jì)，但通過 ODS 來自動修改的數(shù)據(jù)庫結(jié)構(gòu)也應(yīng)該僅針對新開發(fā)的應(yīng)用，即根據(jù)新開發(fā)應(yīng)用的需來對數(shù)據(jù)庫的結(jié)構(gòu)進(jìn)行修改。 通過 整合現(xiàn)有系統(tǒng)的數(shù)據(jù)和流程。 ODS 數(shù)據(jù)模型 ODS 終極目標(biāo)是為了 提供 非戰(zhàn)略性的中層決策 支持，我們認(rèn)為 ODS 的數(shù)據(jù)模型可以參考數(shù)據(jù)倉庫（ DW, Data Warehouse）的基礎(chǔ)模型，即將數(shù)據(jù)分為事實(shí)數(shù)據(jù)和緯度數(shù)據(jù)。 在確立了基本的數(shù)據(jù)模型之后，如何確定數(shù)據(jù)的采集的范圍呢？首先從構(gòu)建企業(yè)全局視圖出發(fā)（即面向主題的分析），查出每個主題需要哪些數(shù)據(jù)，這些數(shù)據(jù)分別分布在哪些系統(tǒng)中，當(dāng)這一切確定之后，那么整個 ODS 數(shù)據(jù)模型牽涉到的數(shù)據(jù)范圍就基本確定了。 ? 映射：例如將合同的“完成”狀態(tài)映射為“ OK”態(tài)。也可以認(rèn)為 ESB 實(shí)現(xiàn)了調(diào)度程序 /路由器模式，因?yàn)樗鉀Q了消息在使 用 ESB 的應(yīng)用程序之間的路由選擇問題。并且， ESB 不僅是為 ODS 提供數(shù)據(jù)服務(wù)，ESB 是作企業(yè)應(yīng)用集成環(huán)境（ EAI）中核心的數(shù)據(jù)交互機(jī)制為所有的信息整合提供數(shù)據(jù)服務(wù)。 ? 提高可重用性。盡量避免新增的功能對原有代碼的改動，改動盡量能做成由配 16 置驅(qū)動，而不是涉及代碼改動。通過這種模式也可以看出， ESB 實(shí)際上是一個面向服務(wù)的消息 調(diào)度平臺。目前數(shù)據(jù)應(yīng)用在個性戶定制方面主要表現(xiàn)在：雖然定義了模型，但模型不完整，效果不好。 主擴(kuò)展模式 17 通常用來將幾個相似的對象的共有屬性抽取出來，形成一個“公共屬性表”。 多對多模式 描述對象相互不分主次、地位，互為一對多的關(guān)系。提供基本規(guī)則： 直接映射 原來是什么 就是什么，原封不動照搬過來，對這樣的規(guī)則，如果數(shù)據(jù)源字段和目標(biāo)字段長度或精度不符，需要特別注意看是否真的可以直接映射還是需要做一些簡單運(yùn)算。 字符串處理 從數(shù)據(jù)源某個字符串字段中經(jīng)常可以獲取特定信息，例如身份證號。 空值判斷 對于空值的處理是數(shù)據(jù)倉庫 中一個常見問題，是將它作為臟數(shù)據(jù)還是作為特定一種維成員？這恐怕還要看應(yīng)用的情況，也是需要進(jìn)一步探求的。 日期運(yùn)算 基于日期，我們通常會計(jì)算日差 、月差、時(shí)長等。這樣才能為其他各個 系統(tǒng) 提供準(zhǔn)確統(tǒng)一的數(shù)據(jù)。 主數(shù)據(jù)變更 在與相關(guān)部門溝通協(xié)調(diào)后，如果主數(shù)據(jù)仍然需要變更。如下所示： 項(xiàng)目信息主數(shù)據(jù)（舊版本） 項(xiàng)目信息主數(shù)據(jù)（新版本） 計(jì)劃 建設(shè)系統(tǒng) 19 主數(shù)據(jù)刪除 在與相關(guān)部門溝通協(xié)調(diào)后，如果主數(shù)據(jù)仍然需要刪除。但是有很多情況， DBDW 的兩層體系結(jié)構(gòu)并不能涵蓋企業(yè)所有的數(shù)據(jù)處理要求 ， 比如有些實(shí)時(shí)性決策問題 ， 它要求獲取數(shù)據(jù)周期不能太長 ， 而且也需要一定程度的匯總。由于這些原因， ODS 應(yīng)運(yùn)而生。 以圖形化的形式繪制各類業(yè)務(wù)流程，并可在該業(yè)務(wù)發(fā)生變更時(shí)很方便地進(jìn) 行 維護(hù)。 產(chǎn)品的高度靈活性、開放性和可擴(kuò)展性 市場唯一不變的法則就是永遠(yuǎn)在變。 集成 與開放 體現(xiàn)在兩個方面：一是系統(tǒng)自身模塊的集成；二是與外部其它系統(tǒng)的集成。通過對應(yīng)用服務(wù)器運(yùn)行狀況的監(jiān)控管理，可以提高用戶的體驗(yàn)水平，增強(qiáng)系統(tǒng)的可用性。 同時(shí) 管理系統(tǒng)通過內(nèi)置的職能知識庫系統(tǒng)幫助系統(tǒng)管理員根據(jù)發(fā)生的事件盡快診斷出問題所在，以便對癥下藥，解決問題。 通過 合并器 進(jìn)行合并 執(zhí)行由處理規(guī)則指定的中央操作，如 ， 運(yùn)行一個腳本或批處理文件，或?qū)z測到的情況通知操作員。并可和微軟知識庫進(jìn)行集成，直接得到錯誤事件的序列號，方便操作人員查詢?？梢宰远x規(guī)則或添加新規(guī)則，對系統(tǒng)和應(yīng)用程序性能趨勢進(jìn)行監(jiān)控，以用于歷史記錄報(bào)告和能力規(guī)劃。規(guī)則還能夠?qū)⑹录蛄墟溄拥?“Microsoft 知識庫 ”文章中，不斷向操作人員提供指導(dǎo)， 23 指明可能導(dǎo)致錯誤的原因、允許對特定問題做出的反應(yīng)，以及指向其他信息的鏈接。 操作 Microsoft Exchange Server 20Microsoft SQL Server? 2020 和 BackOffice 應(yīng)用程序套件 (Exchange 、 SQL Server Microsoft、Site Server 、 Microsoft Proxy Server 和 SNA Server ) 等?？稍谙到y(tǒng)中添加一些來自 Microsoft 或其他供應(yīng)商 “管理軟件包 ”的其他報(bào)告，以進(jìn)一步豐富管理員可用的報(bào)表資源?，F(xiàn)成的管理包模塊可 直接 用于 系統(tǒng) 監(jiān)控、管理特定用途，如 活動目錄、 DNS、 WINS 服務(wù)以及 Microsoft SMS 2020 Server 應(yīng)用 環(huán)境。 按照本項(xiàng)目的系統(tǒng)運(yùn)行管理需求，管理包的選擇如下： ? 活動目錄管理包 ? 組策略管理包 ? FRS 管理包 24 ? DNS 管理包 ? DHCP 管理包（選擇使用） ? WINS 管理包 ? IIS 管理包 ? Windows OS 管理包 ? Windows SharePoint Service 管理包 ? SMS 2020 管理包 ? MOM 2020 管理包 ? SQL 2020 管理包 ? RMS 管理包 ? ISA 2020 管理包 服務(wù)器監(jiān)控管理模塊報(bào)表設(shè)計(jì) 在服務(wù)器監(jiān)控管理模塊中報(bào)表是一項(xiàng)很重要的功能，它對于幫助管理人員管理維護(hù)整個系統(tǒng)具有重要的作用。 25 多項(xiàng) MOM Reporting 可連接至單一 MOM 數(shù)據(jù)庫并利用其數(shù)據(jù)生成報(bào)告， 此項(xiàng)功能有助于不同的管理員監(jiān)視 MOM 的不同方面，例如： 一個管理員可生成性能及容量的報(bào)告，而另一個管理員可生成有關(guān)操作的報(bào)告。 報(bào)告服務(wù)器策略 運(yùn)行 MOM 報(bào)告 服務(wù)器需要下列軟件： ? Microsoft Access 2020 及以后的版本 至少啟動一次 Access 供 MOM 安裝程序檢測 ? Microsoft Access Snapshot viewer與 Access 一起安裝 ? Microsoft Office Graph ? Microsoft Data Access Component 及以后的版本 ? Printer – 用于存儲 HTML 格式的報(bào)告 如需頻繁生成報(bào)告，請勿將 MOM Reporting 安裝在 MOM 數(shù)據(jù)庫服務(wù)器上， 否則將導(dǎo)致由于生成報(bào)告所需的 CPU 和內(nèi)存占用影響 MOM 數(shù)據(jù)庫的性能； 將 MOM Reporting 安裝在單獨(dú)的計(jì)算機(jī)上，報(bào)告生成次數(shù)的增加僅與網(wǎng)絡(luò)延遲有關(guān)，而不會影響到 MOM 服務(wù)器的性能。存儲 HTML 格式報(bào)表的缺省位置為： x:\Program Files\Microsoft Operations Manager 2020\Event\Reports。此共享可被刪除而不會影響 MOM的功能。 .NET 平臺支持業(yè)內(nèi)各種高級應(yīng)用、接口技術(shù)和標(biāo)準(zhǔn)，使系統(tǒng)平臺具有良好的開放性和互集成性。 27 高效 性 本系統(tǒng)在技術(shù)選型、功能、架構(gòu)設(shè)計(jì)過程中，一直以“實(shí)用”、“高效”為衡量基準(zhǔn)。系統(tǒng)采用 技術(shù)架構(gòu)、先進(jìn)的 MVC 模式、工作流 /業(yè)務(wù)模式、完全的 XML與 Web Service 應(yīng)用，可以方便地在各個層次上實(shí)現(xiàn)系統(tǒng)的擴(kuò)展，保證前期投資的有效和后期投入的接續(xù)，最大限度的保證其繼承性和經(jīng)濟(jì)性。 在系統(tǒng)管理與維護(hù)方面，通過對系統(tǒng)功能、用戶角色及其權(quán)限進(jìn)行個性化的定制，操作簡單方便，使得系統(tǒng)能充分滿足業(yè)務(wù)管理的實(shí)際需求，而且系統(tǒng)安全性高。 在本次設(shè)計(jì)中，我們對 2 個系統(tǒng)都采用了高可靠性的設(shè)計(jì)。 此外，對于 BizTalk 服務(wù)器采用均衡負(fù)載的設(shè)計(jì)可以保證當(dāng)任意一個服務(wù)器發(fā)生故障是，業(yè)務(wù)不會受到任何的影響和中斷，這種設(shè)計(jì)要優(yōu)于 HA 高可靠性集群。而這些設(shè)備又都支持熱插拔，這也大大提高了系統(tǒng)的高可服務(wù)性。 ? 通用性、易用性及經(jīng)濟(jì)性 由于我們的設(shè)計(jì)是基于 . 平臺和 windows server 2020 基礎(chǔ)上的，這就最大程度地保證了系統(tǒng)的通用性和易用性，而這些平臺運(yùn)行在 PC 服務(wù)器上，設(shè)備成本和運(yùn)行成本遠(yuǎn)低于其它的操作系統(tǒng)計(jì)服務(wù)器，性價(jià)比極高。這些操作次數(shù)會直接影響到 ETL 的整個操作過程。 30 計(jì)算結(jié)果 計(jì)算因素 數(shù)據(jù)值 (峰值 ) 數(shù)據(jù)值 (均值 ) 單次消耗 tpmc 個數(shù) 描述 應(yīng)用 系統(tǒng) 2100 操作 /秒 720 操作 /秒 ETL 讀取數(shù)據(jù) MSS系統(tǒng)的 數(shù)據(jù) ETL 2100 操作 /秒 720 操作 /秒 1 對源數(shù)據(jù)進(jìn)行篩選整合 主數(shù)據(jù)庫 2100 操作 /秒 720 操作 /秒 將整合后的數(shù)據(jù)載入到數(shù)據(jù)庫服務(wù)器中 合計(jì)： 2100**60+2100*1*60+2100**60=252020 tpmc 由于 在 通常情況下需要有 30%的冗余，以保證系統(tǒng)的穩(wěn)定運(yùn)行，所以最終的 計(jì)算 結(jié)果應(yīng)為： 252020 / 70% = 360000 tpmc。 向各個系統(tǒng) 提供數(shù)據(jù)實(shí)時(shí)查詢、采集、同步應(yīng)用。因此可以測算出每個 ETL 與運(yùn)營數(shù)據(jù)庫的連接操作次數(shù)大約為 240 次 /秒，峰值大約為700 次 /秒。 能夠并行執(zhí)行多種具有一定復(fù)雜度的事務(wù)，強(qiáng)調(diào)服務(wù)器在一定時(shí)間限制范圍內(nèi)的事務(wù)處理能力。HP Rx8640 具有 50 萬的 tpmc 值，所以可以選擇這個服務(wù)器。 分析數(shù)據(jù)庫會牽涉到以下操作： ? 從運(yùn)營數(shù)據(jù)庫中同步數(shù)據(jù)； ? 為前臺生成報(bào)表； ? 向 EDW 輸出數(shù)據(jù)。 .選擇結(jié)果 分析數(shù)據(jù)庫所要的 tpmc 值為 432900，可以采用和運(yùn)營服務(wù)器同樣的配置。 所以基本容量為： 35 存儲內(nèi)容 計(jì)算依據(jù) 容量 (G) 運(yùn)營數(shù)據(jù)庫備份 兩年的運(yùn)營數(shù)據(jù) 3598 分析數(shù)據(jù)庫 從運(yùn)營數(shù)據(jù)庫中提取一些重要數(shù)據(jù) 2020 分析數(shù)據(jù)庫備份 2020 聚合維度數(shù)據(jù) 2 數(shù)據(jù)挖掘數(shù)據(jù) 100 系統(tǒng)自身占用 100 冗余空間 400 小計(jì) 8200 軟件平臺選型 ODS 數(shù)據(jù)平臺的選型分為兩個部分： 企業(yè)服務(wù)總線產(chǎn)品 業(yè)內(nèi)對 ESB 的定義是：它是由中間件技術(shù)實(shí)現(xiàn)并支持 SOA 的一組基礎(chǔ)架構(gòu)，支持異構(gòu)環(huán)境中的服務(wù)、消息以及基于事件的交互，并且具有適當(dāng)?shù)姆?wù)級別和可管理性。 36 因此，對于本次 MSS 系統(tǒng) ESB 系統(tǒng)設(shè)計(jì)，我們將采用以 Microsoft BizTalk Server 2020 為基礎(chǔ)運(yùn)行平臺的設(shè)計(jì)