【導(dǎo)讀】管理、庫(kù)存管理）、管理數(shù)據(jù)統(tǒng)計(jì)系統(tǒng)和企業(yè)信息門(mén)戶。這些系統(tǒng)一般都有不同供應(yīng)商提供，他們之。間的信息有重疊和不一致顯現(xiàn)存在。因此很容易產(chǎn)生下列的問(wèn)題：。這就導(dǎo)致了兩個(gè)系統(tǒng)間沒(méi)有數(shù)據(jù)標(biāo)準(zhǔn)，在工程管理系統(tǒng)中更新了供應(yīng)商數(shù)據(jù)后，物資系統(tǒng)。要，使得企業(yè)的運(yùn)營(yíng)效率和管理水平難以進(jìn)一步提升。接口是一項(xiàng)非常艱巨的任務(wù)，并且在不同的供應(yīng)商之間難于明確自身的責(zé)任，出現(xiàn)問(wèn)題之后相互推諉。企業(yè)不容易獲取匯總信息。查詢和退定等工作。了不同部門(mén)有差異，不同組織層級(jí)有差異，而且大量按需的對(duì)外報(bào)表提供對(duì)生產(chǎn)系統(tǒng)性能影響很大，不利于生產(chǎn)系統(tǒng)對(duì)其核心事務(wù)處理的穩(wěn)定運(yùn)行。緯度的報(bào)表需求，以支撐精確化管理需要。隊(duì)或渠道的KPI指標(biāo)進(jìn)行監(jiān)控與考核。業(yè)運(yùn)營(yíng)數(shù)據(jù)共享平臺(tái)，是各業(yè)務(wù)部門(mén)和企業(yè)管理層獲取統(tǒng)計(jì)數(shù)據(jù)的唯一來(lái)源。統(tǒng)完成該屬性數(shù)據(jù)的更新后，再通過(guò)數(shù)據(jù)抽取、加載過(guò)程進(jìn)入數(shù)據(jù)集成中心之后更新。

　　

【正文】 的均衡負(fù)載及高可靠性，而后端的 SQL數(shù)據(jù)庫(kù)服務(wù)器則被另外一個(gè)備份服務(wù)器所備份。因此，在這 2 個(gè)系統(tǒng)中，都沒(méi)有單點(diǎn)的故障，具有高可靠性。 此外，對(duì)于 BizTalk 服務(wù)器采用均衡負(fù)載的設(shè)計(jì)可以保證當(dāng)任意一個(gè)服務(wù)器發(fā)生故障是，業(yè)務(wù)不會(huì)受到任何的影響和中斷，這種設(shè)計(jì)要優(yōu)于 HA 高可靠性集群。其他系統(tǒng)采用高可靠性集群的原因是因?yàn)閿?shù)據(jù)庫(kù)的單一性和一致性，只能采用 HA高可靠性集群來(lái)實(shí)現(xiàn)系統(tǒng)的高可靠性。此外， SAN 存儲(chǔ)設(shè)計(jì)中，我們采用了雙 SAN 交換機(jī)和磁盤(pán)陣列，這些設(shè)計(jì)可以保證存儲(chǔ)物單點(diǎn)故障。 ? 高可用 性及可服務(wù)性 在整個(gè)硬件設(shè)計(jì)中，我們采用了 SAN 網(wǎng)絡(luò)存儲(chǔ)的設(shè)計(jì)，采用 SAN 網(wǎng)絡(luò)存儲(chǔ)的設(shè)計(jì)，這種設(shè)計(jì)使存儲(chǔ)硬件和服務(wù)器在物理上分離，未來(lái)服務(wù)器或存儲(chǔ)設(shè)備上的任何硬件改動(dòng)都不會(huì)影響其它設(shè)備的正常工作。而這些設(shè)備又都支持熱插拔，這也大大提高了系統(tǒng)的高可服務(wù)性。 而從架構(gòu)設(shè)計(jì)中，在 ESB 系統(tǒng)采用了 2 個(gè)并行的 BizTalk 服務(wù)器，主要是利用了其橫向擴(kuò)展的特點(diǎn)，當(dāng)任何一個(gè)服務(wù)器需要服務(wù)時(shí)，只需要將其拿走，而業(yè)務(wù)會(huì)轉(zhuǎn)移到另一個(gè)服務(wù)器上，不會(huì)受到影響，同樣當(dāng)需要增加 BizTalk 服務(wù)器時(shí)，也只要在業(yè)務(wù)進(jìn)行時(shí)將其加入，這都體現(xiàn)了系統(tǒng)的高可服務(wù)性。 ? 可擴(kuò)展性 在硬件設(shè)計(jì)中，我們利用了應(yīng)用服務(wù)器適合橫向擴(kuò)展、數(shù)據(jù)庫(kù)服務(wù)器適合縱向擴(kuò)展的特點(diǎn)，對(duì)所有的數(shù)據(jù)庫(kù)服務(wù)器的設(shè)計(jì)配置都高于相應(yīng)的應(yīng)用服務(wù)器，這樣的話，即使未來(lái)業(yè)務(wù)需求超過(guò)本次需求的話，也不需要更換任何服務(wù)器。而 BizTalk 服務(wù) 器因?yàn)榭梢詸M向擴(kuò)展，所以將來(lái)業(yè)務(wù)量超過(guò)本次需求時(shí)，即使不夠的話也只需要添加新的服務(wù)器，和現(xiàn)有的服務(wù)器共同分擔(dān)業(yè)務(wù)壓力。 ? 通用性、易用性及經(jīng)濟(jì)性 由于我們的設(shè)計(jì)是基于 . 平臺(tái)和 windows server 2020 基礎(chǔ)上的，這就最大程度地保證了系統(tǒng)的通用性和易用性，而這些平臺(tái)運(yùn)行在 PC 服務(wù)器上，設(shè)備成本和運(yùn)行成本遠(yuǎn)低于其它的操作系統(tǒng)計(jì)服務(wù)器，性價(jià)比極高。而且微軟公司擁有全球最大的用戶群，這可以保證未來(lái)技術(shù)能力的持續(xù)。 下圖為網(wǎng)絡(luò)拓樸圖 29 ETL 服務(wù)器 服務(wù)器作用 主要負(fù)責(zé)數(shù)據(jù)的抽取 (Extract)，轉(zhuǎn)換 (Transform)和裝載 (Load),將分布在各業(yè)務(wù)系統(tǒng)的數(shù)據(jù)按照數(shù)據(jù)建模的要求對(duì)源數(shù)據(jù)進(jìn)行篩選整合 ,并將整合后的數(shù)據(jù)裁載到數(shù)據(jù)庫(kù)服務(wù)器中 。 計(jì)算測(cè)算依據(jù) 每個(gè) 應(yīng)用 系統(tǒng)與 ETL 的連接操作次數(shù)大約為 120 次 /秒，峰值大約為 300 次 /秒。這些操作次數(shù)會(huì)直接影響到 ETL 的整個(gè)操作過(guò)程。 ETL 服務(wù)主要會(huì)涉及到以下操作： ? 從 應(yīng)用 系統(tǒng)（目前一共 6 個(gè)主要系統(tǒng)）中獲取源數(shù)據(jù)； ? 將獲取到的數(shù)據(jù)進(jìn)行 抽取 (Extract)，轉(zhuǎn)換 (Transform)和裝載 (Load)； ? 最后將處理好的數(shù)據(jù)存放到運(yùn)營(yíng)數(shù)據(jù)庫(kù)中。 衡量指標(biāo) 指標(biāo)描述 考核目的 TPCC 單位為 tpmc 它的定義是每分鐘內(nèi)系統(tǒng)處理的事務(wù)個(gè)數(shù)。 能夠并行執(zhí)行多種具有一定復(fù)雜度的事務(wù)，強(qiáng)調(diào)服務(wù)器在一定時(shí)間限制范圍內(nèi)的事務(wù)處理能力。 30 計(jì)算結(jié)果 計(jì)算因素 數(shù)據(jù)值 (峰值 ) 數(shù)據(jù)值 (均值 ) 單次消耗 tpmc 個(gè)數(shù) 描述 應(yīng)用 系統(tǒng) 2100 操作 /秒 720 操作 /秒 ETL 讀取數(shù)據(jù) MSS系統(tǒng)的 數(shù)據(jù) ETL 2100 操作 /秒 720 操作 /秒 1 對(duì)源數(shù)據(jù)進(jìn)行篩選整合 主數(shù)據(jù)庫(kù) 2100 操作 /秒 720 操作 /秒 將整合后的數(shù)據(jù)載入到數(shù)據(jù)庫(kù)服務(wù)器中 合計(jì)： 2100**60+2100*1*60+2100**60=252020 tpmc 由于 在 通常情況下需要有 30%的冗余，以保證系統(tǒng)的穩(wěn)定運(yùn)行，所以最終的 計(jì)算 結(jié)果應(yīng)為： 252020 / 70% = 360000 tpmc。 選擇結(jié)果 由于需要和多個(gè) 應(yīng)用 服務(wù)器進(jìn)行交互，這里可以選擇三臺(tái)做為 ETL 服務(wù)器，每個(gè) ETL 服務(wù)器與負(fù)責(zé) 2 個(gè)以上的應(yīng)用系統(tǒng)，即每臺(tái)要求的 tcmp 值為 120200。 HP DL380G5 可以滿足這個(gè)要求，同時(shí)性價(jià)比也是最好的。 ^ Hardware Vendor System tpmC Price/tpmC System Availability HP HP ProLiant DL380G5 QC 138,979 US $ 03/26/07 HP HP ProLiant BL25p/110,615 US $ 05/04/06 HP HP ProLiant ML370 G5 SAS GHz/4MB DC 169,360 US $ 11/22/06 運(yùn)營(yíng)數(shù)據(jù)庫(kù) 服務(wù)器作用 31 用于存儲(chǔ)經(jīng)過(guò) ETL 的數(shù)據(jù)。 向各個(gè)系統(tǒng) 提供數(shù)據(jù)實(shí)時(shí)查詢、采集、同步應(yīng)用。 向分析數(shù)據(jù)庫(kù)提供數(shù)據(jù)，同步周期為 1 天。 計(jì)算測(cè)算依據(jù) 由于 系統(tǒng) 的數(shù)據(jù)被 ETL 處理后，會(huì)直接被存放于運(yùn)營(yíng)數(shù)據(jù)庫(kù)。所以運(yùn)營(yíng)數(shù)據(jù)庫(kù)的操作直接受到 MSS數(shù)據(jù)的影響。因此可以測(cè)算出每個(gè) ETL 與運(yùn)營(yíng)數(shù)據(jù)庫(kù)的連接操作次數(shù)大約為 240 次 /秒，峰值大約為700 次 /秒。這些操作次數(shù)會(huì)直接影響到 ETL 的整個(gè)操作過(guò)程。 運(yùn)營(yíng)數(shù)據(jù)庫(kù) 主要會(huì)涉及到以下操作： ? 接受 ETL 處理后的數(shù)據(jù)（間接從 MSS 系統(tǒng)（目前一共 6 個(gè)主要系統(tǒng)）中獲取源數(shù)據(jù)）； ? 向各個(gè) 應(yīng)用系統(tǒng) （大約 15 個(gè)左右）提供數(shù)據(jù)實(shí)時(shí)查詢、采集、同步應(yīng)用； ? 向分析數(shù)據(jù)庫(kù)提供數(shù)據(jù)； ? BizTalk 進(jìn)行數(shù)據(jù)操作。 衡量指標(biāo) 指標(biāo)描述 考核目的 TPCC 單位為 tpmc 它的定義是每分鐘內(nèi)系統(tǒng)處理的事務(wù)個(gè)數(shù)。 能夠并行執(zhí)行多種具有一定復(fù)雜度的事務(wù)，強(qiáng)調(diào)服務(wù)器在一定時(shí)間限制范圍內(nèi)的事務(wù)處理能力。 計(jì)算結(jié)果 計(jì)算因素 數(shù)據(jù)值 (峰值 ) 數(shù)據(jù)值 (均值 ) 單次消耗 tpmc 個(gè)數(shù) 描述 應(yīng)用 系統(tǒng) 2100 操作 /秒 1260 操作 /秒 進(jìn)行 數(shù)據(jù)實(shí)時(shí)查詢、采集、同步應(yīng)用 ETL 2100 操作 /秒 1260 操作 /秒 將整合后的數(shù)據(jù)載入到數(shù)據(jù)庫(kù)服務(wù)器中 分析數(shù)據(jù)庫(kù) 2100 操作 /秒 1260 操作 /秒 將運(yùn)營(yíng)數(shù)據(jù)同步至分析數(shù)據(jù)庫(kù) BizTalk 1000 操作 /秒 400 操作 /秒 數(shù)據(jù)的操作 合計(jì)： 2100**60+2100**60+2100**60+1000**60=345000 tpmc 32 由于通常情況下需要有 30%的冗余，以保證系統(tǒng)的穩(wěn)定運(yùn)行，所以最終的結(jié)果應(yīng)為： 345000 / 70% = 492900 tpmc。 為了保證數(shù)據(jù)庫(kù)系統(tǒng)的高可用性，需要使用兩臺(tái)數(shù)據(jù)庫(kù)服務(wù)器做群集。每個(gè)需要 492900 tpmc 值。HP Rx8640 具有 50 萬(wàn)的 tpmc 值，所以可以選擇這個(gè)服務(wù)器。 50 萬(wàn) tpmc（ 12* CPU/36G 內(nèi)存 /2*146G硬盤(pán) /2*HBA 卡） HP Rx8640 分析數(shù)據(jù)庫(kù) 服務(wù)器作用 與運(yùn)營(yíng)數(shù)據(jù)庫(kù)間同步周期為 1 天； 向 EDW 輸出數(shù)據(jù)； 面向前臺(tái)的查詢統(tǒng)計(jì)報(bào)表類應(yīng)用。 計(jì)算測(cè)算依據(jù) 分析主要 是每天同步運(yùn)營(yíng)數(shù)據(jù)庫(kù)中的數(shù)據(jù)，然后將這些數(shù)據(jù)根據(jù)前臺(tái)報(bào)表的需求生成報(bào)表，輸出到 用戶 端。同時(shí)也可以將數(shù)據(jù)輸出到 EDW。 分析數(shù)據(jù)庫(kù)會(huì)牽涉到以下操作： ? 從運(yùn)營(yíng)數(shù)據(jù)庫(kù)中同步數(shù)據(jù)； ? 為前臺(tái)生成報(bào)表； ? 向 EDW 輸出數(shù)據(jù)。 衡量指標(biāo) 指標(biāo)描述 考核目的 TPCC 單位為 tpmc 它的定義是每分鐘內(nèi)系統(tǒng)處理的事務(wù)個(gè)數(shù)。 能夠并行執(zhí)行多種具有一定復(fù)雜度的事務(wù)，強(qiáng)調(diào)服務(wù)器在一定時(shí)間限制范圍內(nèi)的事務(wù)處理能力。 計(jì)算結(jié)果 計(jì)算因素 數(shù)據(jù)值 (峰值 ) 數(shù)據(jù)值 (均值 ) 單次消耗 tpmc個(gè)數(shù) 描述 33 應(yīng)用 系統(tǒng) 300 操作 /秒 50 操作 /秒 5 ETL 讀取數(shù)據(jù) MSS 系統(tǒng)的 數(shù)據(jù) 運(yùn)營(yíng)數(shù)據(jù)庫(kù) 2100 操作 /秒 1260 操作 /秒 從運(yùn)營(yíng)數(shù)據(jù)庫(kù)中同步數(shù)據(jù) EDW 500 操作 /秒 200 操作 /秒 5 向 EDW 輸出數(shù)據(jù) 合計(jì)： 300*5*60+2100**60+500*5*60=303000 tpmc 由于通常情況下需要有 30%的冗余，以保證系統(tǒng)的穩(wěn)定運(yùn)行，所以最終的結(jié)果應(yīng)為： 303000 / 70% = 432900 tpmc。 .選擇結(jié)果 分析數(shù)據(jù)庫(kù)所要的 tpmc 值為 432900，可以采用和運(yùn)營(yíng)服務(wù)器同樣的配置。 HP Rx8640 具有 50 萬(wàn)的 tpmc 值，所以可以選擇這個(gè)服務(wù)器。 50 萬(wàn) tpmc（ 12* CPU/36G 內(nèi)存/2*146G 硬盤(pán) /2*HBA 卡） HP Rx8640 存儲(chǔ)容量 運(yùn)營(yíng)數(shù)據(jù)庫(kù) 主要存儲(chǔ)從各個(gè)系統(tǒng)中提取的主數(shù)據(jù)，以及主業(yè)務(wù)單等。 源數(shù)據(jù)項(xiàng) 計(jì)算依據(jù) 容量 (G) 單位 人力資源 員工、組織、崗位、角色等相關(guān)信息 日 財(cái)務(wù)系統(tǒng) 會(huì)計(jì)科目及其相關(guān)主數(shù)據(jù) 現(xiàn)金流量項(xiàng)目及其相關(guān)主數(shù)據(jù) 資產(chǎn)及其相關(guān)主數(shù)據(jù) 關(guān)聯(lián)交易類型及其相關(guān)主數(shù)據(jù) 成本中心及其相關(guān)主數(shù)據(jù) 預(yù)算中心及其相關(guān)主數(shù)據(jù) 網(wǎng)絡(luò)元素及其相關(guān)主數(shù)據(jù) 用戶 類型及其相關(guān)主數(shù)據(jù) 產(chǎn)品類型及其相關(guān)主數(shù)據(jù) 作業(yè)類型及其相關(guān)主數(shù)據(jù) ?? 日 34 計(jì)劃建設(shè)系統(tǒng) 工程項(xiàng)目及其相關(guān)主數(shù)據(jù) 專業(yè)類別及其相關(guān)主數(shù)據(jù) 供應(yīng)商及其相關(guān)主數(shù)據(jù) ?? 日 物資管理系統(tǒng) 物資主數(shù)據(jù)及其相關(guān)主數(shù)據(jù) 庫(kù)存地點(diǎn)及其相關(guān)主數(shù)據(jù) ?? 日 綜合審批系統(tǒng) 合同及其相關(guān)主數(shù)據(jù) ?? 日 固定資產(chǎn)系統(tǒng) 資產(chǎn)及其相關(guān)主數(shù)據(jù) ?? 日 存儲(chǔ)內(nèi)容 計(jì)算依據(jù) 容量 (G) 源數(shù)據(jù) 每日數(shù)據(jù)量 *24*30（兩年的估算時(shí)間） 1440 歷史數(shù)據(jù) 各個(gè)系統(tǒng)中已有的數(shù)據(jù) 400 ETL中轉(zhuǎn)表 源數(shù)據(jù) *10% 144 中間表 源數(shù)據(jù) *25% 360 聚合事實(shí)數(shù)據(jù) 源數(shù)據(jù) *50% 720 聚合維度數(shù)據(jù) 2 多維立方數(shù)據(jù) 聚合事實(shí)數(shù)據(jù) *30% 432 數(shù)據(jù)挖掘數(shù)據(jù) 100 系統(tǒng)自身占用 100 冗余空間 400 小計(jì) 4098 備份和分析數(shù)據(jù)庫(kù) 由于備份主要是對(duì)運(yùn)營(yíng)數(shù)據(jù)庫(kù)進(jìn)行備份，以及接收從運(yùn)營(yíng)數(shù)據(jù)庫(kù)中的數(shù)據(jù)進(jìn)行分析，以及備份自身的分析數(shù)據(jù)庫(kù)。 所以基本容量為： 35 存儲(chǔ)內(nèi)容 計(jì)算依據(jù) 容量 (G) 運(yùn)營(yíng)數(shù)據(jù)庫(kù)備份 兩年的運(yùn)營(yíng)數(shù)據(jù) 3598 分析數(shù)據(jù)庫(kù) 從運(yùn)營(yíng)數(shù)據(jù)庫(kù)中提取一些重要數(shù)據(jù) 2020 分析數(shù)據(jù)庫(kù)備份 2020 聚合維度數(shù)據(jù) 2 數(shù)據(jù)挖掘數(shù)據(jù) 100 系統(tǒng)自身占用 100 冗余空間 400 小計(jì) 8200 軟件平臺(tái)選型 ODS 數(shù)據(jù)平臺(tái)的選型分為兩個(gè)部分： 企業(yè)服務(wù)總線產(chǎn)品 業(yè)內(nèi)對(duì) ESB 的定義是：它是由中間件技術(shù)實(shí)現(xiàn)并支持 SOA 的一組基礎(chǔ)架構(gòu)，支持異構(gòu)環(huán)境中的服務(wù)、消息以及基于事件的交互，并且具有適當(dāng)?shù)姆?wù)級(jí)別和可管理性。簡(jiǎn)單地說(shuō)， ESB 就是試圖將應(yīng)用服務(wù)器上的多種邏輯層面遷移到總線以及連接點(diǎn)上，從而降低企業(yè)內(nèi)部信息共享的成本。 然而通用的 ESB 架構(gòu)中包含了大量的軟硬件設(shè)備，這是因?yàn)槠渌?ESB 軟件所支持的應(yīng)用或協(xié)議較少，如需要按照用戶 ESB 的需求可以支持連通或集成大量不同的應(yīng)用，則需要多個(gè)不同軟件的組合。相對(duì)于其他公司的產(chǎn)品，微軟公司的 ESB基礎(chǔ)軟件 BizTalk2020支持著業(yè)界 300種以上的應(yīng)用或協(xié)議，如業(yè)界流行的 SAP、 MQ 等。 36 因此，對(duì)于本次 MSS 系統(tǒng) ESB 系統(tǒng)設(shè)計(jì)，我們將采用以 Microsoft BizTalk Server 2020 為基礎(chǔ)運(yùn)行平臺(tái)的設(shè)計(jì)。 上圖是 ESB 架構(gòu)，可以看到微軟 BizTalk Server 2020 已經(jīng)涵蓋了所有的 ESB（甚至 SOA）所需要的功能，因此，在設(shè)計(jì)中，主要以設(shè)計(jì) BizTalk Server 2020 的架構(gòu)為主對(duì)于 ESB 的架構(gòu)設(shè)計(jì)，根據(jù)以下的設(shè)計(jì)原則，我們將采用 控制的集中和基礎(chǔ)架構(gòu)的分布。 即所有的 MSS 應(yīng)用都將通過(guò) ESB 來(lái)進(jìn)行集成和連通，而 ESB 系統(tǒng)將由 2 個(gè)以上的 BizTalk 服務(wù)器組成，以實(shí)現(xiàn) ESB 系統(tǒng)的均衡負(fù)載，共同工作，同時(shí)這種設(shè)計(jì)也可以保證系統(tǒng)的高可靠性。在實(shí)際設(shè)計(jì)中，也可以根據(jù)一定策略使多個(gè)不同的BizTalk 服務(wù)器在工作中承擔(dān)不同的工作，如服務(wù)器 A 負(fù)責(zé)一些