【正文】 ......................................................................................57第 1 章 南車電氣數(shù)據(jù)倉庫建設(shè)項(xiàng)目介紹. 南車電氣數(shù)據(jù)倉庫建設(shè)項(xiàng)目的背景南車時(shí)代電氣始終堅(jiān)持核心技術(shù)向相關(guān)產(chǎn)業(yè)延伸的發(fā)展戰(zhàn)略，不斷鞏固在軌道交通領(lǐng)域的行業(yè)地位，著力提升在電氣傳動(dòng)和控制系統(tǒng)領(lǐng)域的專業(yè)地位，正樹立起公司在電氣傳動(dòng)和控制系統(tǒng)領(lǐng)域國際化專業(yè)供應(yīng)商的新形象。為挖掘信息化系統(tǒng)價(jià)值，提升內(nèi)部管理手段，公司于 2022~2022 年啟動(dòng)并初步建立了南車時(shí)代電氣綜合分析系統(tǒng)。為優(yōu)化各類應(yīng)用系統(tǒng)間的借口，提高系統(tǒng)的安全性和可維護(hù)性，公司于 2022 年啟動(dòng)了 ESB 技術(shù)平臺(tái)的預(yù)研工作，確立了以普元公司的 Primeton ESB 為技術(shù)平臺(tái)建設(shè)公司的數(shù)據(jù)總線，部分系統(tǒng)間接口已經(jīng)實(shí)現(xiàn)與 ESB 的集成。本項(xiàng)目的工作任務(wù)包括數(shù)據(jù)倉庫的建設(shè)規(guī)劃、數(shù)據(jù)倉庫的技術(shù)規(guī)范及性能優(yōu)化、數(shù)據(jù)倉庫與 BO、EP 的集成應(yīng)用、數(shù)據(jù)倉庫與 ESB 集成實(shí)現(xiàn)重要主數(shù)據(jù)的信息共享等四個(gè)方面。同時(shí)，提出規(guī)范和優(yōu)化提升既有的 SAP BW 數(shù)據(jù)倉庫系統(tǒng)，使之成為企業(yè)商務(wù)智能平臺(tái)中運(yùn)行良好的關(guān)鍵一環(huán)。實(shí)現(xiàn) BW 系統(tǒng)的規(guī)劃與優(yōu)化，搭建并應(yīng)用 BW+EP+BO 的技術(shù)平臺(tái)，建立重要主數(shù)據(jù)的集中存儲(chǔ)機(jī)制，與 ESB 集成實(shí)現(xiàn)與試點(diǎn)目標(biāo)系統(tǒng)主數(shù)據(jù)的同步。. 項(xiàng)目目標(biāo)本期項(xiàng)目定位為規(guī)劃奠基階段，需要全面系統(tǒng)的構(gòu)建南車電氣未來企業(yè)核心數(shù)據(jù)倉庫的基礎(chǔ)架構(gòu)，該基礎(chǔ)架構(gòu)要具有完整性，能滿足本期項(xiàng)目的需求，同時(shí)也要具有靈活性和可拓展性，能夠滿足未來企業(yè)發(fā)展而不斷變化的需求。規(guī)劃內(nèi)容包括數(shù)據(jù)整合（ETL）層、數(shù)據(jù)服務(wù)層、數(shù)據(jù)展現(xiàn)（應(yīng)用）層的軟硬件技術(shù)平臺(tái)和服務(wù)內(nèi)容，制定數(shù)據(jù)倉庫的設(shè)計(jì)規(guī)范。涉及的相關(guān) CUBE 主要有總帳行項(xiàng)目、應(yīng)收、應(yīng)付、成本、采購、庫存、銷售、考核指標(biāo)等。4. 構(gòu)建主數(shù)據(jù)共享平臺(tái)，擴(kuò)展數(shù)據(jù)倉庫實(shí)現(xiàn)重要主數(shù)據(jù)歸集和儲(chǔ)存的業(yè)務(wù)應(yīng)用，目前有物料、客戶、供應(yīng)商、人員、崗位、組織機(jī)構(gòu)、制造 BOM、訂單 BOM 七類核心業(yè)務(wù)系統(tǒng)中的主數(shù)據(jù)需要匯集到 BW 數(shù)據(jù)倉庫，通過 ETL 手段完成 SAP 和非 SAP系統(tǒng)的主數(shù)據(jù)抽取并且在 BW 中建模，最終實(shí)現(xiàn)將數(shù)據(jù)倉庫作為 ESB 中核心業(yè)務(wù)系統(tǒng)重要主數(shù)據(jù)的存儲(chǔ)與共享中心，提供相關(guān)主數(shù)據(jù)的接口以供 ESB 系統(tǒng)調(diào)用，以此實(shí)現(xiàn)重要主數(shù)據(jù)的跨平臺(tái)同步。XX 軟件系統(tǒng)有限公司以 ROI(投資回報(bào) )為目標(biāo)，以科技為手段，為南車電氣未來的公司績(jī)效管控和決策支持服務(wù)構(gòu)建強(qiáng)壯的基礎(chǔ)。針對(duì)上一章節(jié)中我們所理解歸納的南車電氣本期項(xiàng)目的需求，本期項(xiàng)目是南車電氣信息系統(tǒng)建設(shè)的核心部分，整合后的數(shù)據(jù)倉庫將作為將來南車電氣整個(gè) IT 環(huán)境中的數(shù)據(jù)基礎(chǔ)平臺(tái)，建設(shè)完成后將為未來的南車電氣企業(yè)績(jī)效管理信息化系統(tǒng)做準(zhǔn)備。數(shù)據(jù)倉庫系統(tǒng)建設(shè)過程中，將發(fā)現(xiàn)原有的營運(yùn)系統(tǒng)在作業(yè)流程、數(shù)據(jù)質(zhì)量、數(shù)據(jù)標(biāo)準(zhǔn)化的問題，基于此發(fā)現(xiàn)，將有助于對(duì)營運(yùn)系統(tǒng)的缺陷進(jìn)行修復(fù)?；谏鲜鱿敕?，數(shù)據(jù)倉庫項(xiàng)目的實(shí)施，當(dāng)一期建設(shè)完成后，二期、三期將建設(shè)更為詳細(xì)的企業(yè)各系統(tǒng)數(shù)據(jù)模型，增加新的源數(shù)據(jù)系統(tǒng)，擴(kuò)展和完善數(shù)據(jù)主題域，新建更多主題數(shù)據(jù)集市，涵蓋整個(gè)南車電氣的業(yè)務(wù)范圍。 第 7 頁 共 51 頁. 系統(tǒng)邏輯架構(gòu) 系統(tǒng)邏輯架構(gòu)示意圖? 源系統(tǒng)說明本次項(xiàng)目的主要數(shù)據(jù)來源為 SAP 系統(tǒng)和非 SAP 系統(tǒng)? 數(shù)據(jù)處理層數(shù)據(jù)抽取層的目的是實(shí)現(xiàn)將數(shù)據(jù)源的數(shù)據(jù)經(jīng)過抽取，轉(zhuǎn)換后加載到數(shù)據(jù)管理層中，同時(shí)在這個(gè)過程中，需要進(jìn)行任務(wù)的調(diào)度控制，任務(wù)出錯(cuò)處理以及數(shù)據(jù)質(zhì)量的檢查。? 數(shù)據(jù)管理層數(shù)據(jù)管理層以業(yè)務(wù)需求為驅(qū)動(dòng)，根據(jù)業(yè)務(wù)不同的主題，建立多個(gè)主題模型。? 報(bào)表平臺(tái)層報(bào)表平臺(tái)采用業(yè)界最為優(yōu)秀的 SAP BO 產(chǎn)品，可實(shí)現(xiàn)固定格式報(bào)表,動(dòng)態(tài)報(bào)表, 移動(dòng)展現(xiàn)等多種報(bào)表。. 系統(tǒng)硬件架構(gòu)建議方案本次項(xiàng)目至少需要有兩套環(huán)境：開發(fā)環(huán)境和生產(chǎn)環(huán)境，從邏輯上，兩套環(huán)境必須分開，權(quán)限上必須進(jìn)行區(qū)分。開發(fā)的資源配置可低于生產(chǎn)環(huán)境。而 BW 系統(tǒng)的數(shù)據(jù)基本上為源系統(tǒng)數(shù)據(jù)量的 ~2 倍，也就是說在數(shù)據(jù)倉庫服務(wù)器的存儲(chǔ)設(shè)備上至少要準(zhǔn)備 20T 以上才能滿足未來 5 年內(nèi)的業(yè)務(wù)需求。服務(wù)器種類VCPU （虛擬CPU）內(nèi)存 硬盤空間 性能問題簡(jiǎn)述BW 開發(fā)服務(wù)器(應(yīng)用+數(shù)據(jù)庫) 4 20G C:50G。D:300G 操作響應(yīng)慢BW 生產(chǎn)服務(wù)器 12 30G C:100G,D:300G 數(shù)據(jù)查詢等待時(shí)間長BW 生產(chǎn)數(shù)據(jù)庫服務(wù)器 12 30G C:100G,D:1800G,D:400G 數(shù)據(jù)查詢等待時(shí)間長EP 生產(chǎn)服務(wù)器 12 30G C:100G,D:1800G,D:400G 數(shù)據(jù)查詢等待時(shí)間長由上表中我們可以看到幾乎每一臺(tái)服務(wù)器都有不同程度的性能問題，但光看配置感覺在 CPU 和內(nèi)存上并沒有太大問題，所以我們的做法是在項(xiàng)目啟動(dòng)之后，將會(huì)派遣資深的SAP BASIS 顧問對(duì)于相關(guān)系統(tǒng)的內(nèi)存使用率、CPU 使用情況、服務(wù)器資源分配是否合理等等情況進(jìn)行評(píng)估，找準(zhǔn)產(chǎn)生性能問題的原因之后，我們?cè)龠M(jìn)行相關(guān)的 BW 軟硬件配置調(diào)整。：進(jìn)行指標(biāo)管理系統(tǒng)的初步建設(shè)，該系統(tǒng)主要功能為設(shè)置指標(biāo)閥值、指標(biāo)權(quán)重、指標(biāo)字典、梳理指標(biāo)歸口關(guān)系，是一個(gè)管理維護(hù)整個(gè)指標(biāo)體系的強(qiáng)大系統(tǒng)；由于涉及的功能較為復(fù)雜，我們會(huì)逐步完善充實(shí)該系統(tǒng)，本期的目標(biāo)是該系統(tǒng)的初步建設(shè)，主要開發(fā)指標(biāo)閥值、指標(biāo)權(quán)重維護(hù)功能。階段性成果：這一階段的工作重點(diǎn)是 XX 智慧采集平臺(tái)、 XX 智慧決策平臺(tái)的建立以及這兩個(gè)平臺(tái)同南車時(shí)代電氣原有的企業(yè)級(jí)數(shù)據(jù)倉庫、報(bào)表平臺(tái)相整合，同時(shí)做好數(shù)據(jù)倉庫的數(shù)據(jù)梳理工作。同時(shí)，對(duì)集團(tuán)和事業(yè)部 BI 用戶實(shí)現(xiàn)嚴(yán)格的權(quán)限劃分，使不同管轄權(quán)限的用戶看到不同的數(shù)據(jù)，為今后系統(tǒng)建設(shè)及擴(kuò)展打下堅(jiān)實(shí)基礎(chǔ)。：完善指標(biāo)管理系統(tǒng)的功能，在第二階段中指標(biāo)字典、指標(biāo)歸口關(guān)系設(shè)定等功能將陸續(xù)開發(fā)，最終使得整個(gè)指標(biāo)管理平臺(tái)可以完全滿足整個(gè)系統(tǒng)指標(biāo)管理維護(hù)的需要，使得未來的開發(fā)維護(hù)成本大大降低。階段性成果：在這一階段中，主要是對(duì)一期已經(jīng)建設(shè)完成的較為全面的績(jī)效管理系統(tǒng)的全面深化，包括預(yù)測(cè)分析、多維分析、各個(gè)主題分析的深入和系統(tǒng)功能的完善。考慮到未來可能有的系統(tǒng)擴(kuò)展和 SAP ERP 故障， XX 智慧采集平臺(tái)依舊在整個(gè)架構(gòu)中扮演重要的角色，但是手工 第 11 頁 共 51 頁上報(bào)數(shù)據(jù)和自動(dòng)上報(bào)數(shù)據(jù)將通過數(shù)據(jù)標(biāo)簽嚴(yán)格區(qū)分，以便事業(yè)部和集團(tuán)清楚數(shù)據(jù)來源。例如，我們可以從風(fēng)機(jī)運(yùn)行時(shí)各部件傳感器傳回的大量秒級(jí)數(shù)據(jù)之中分析得到為什么這個(gè)型號(hào)的風(fēng)機(jī)故障率會(huì)高？故障主要集中在哪幾個(gè)點(diǎn)？當(dāng)出現(xiàn)怎么樣的數(shù)據(jù)參數(shù)波動(dòng)時(shí)，風(fēng)機(jī)的哪個(gè)部件有可能將會(huì)出問題？從而做到設(shè)備的故障預(yù)測(cè)，減少設(shè)備的非計(jì)劃性停機(jī)維護(hù)，增加客戶的經(jīng)濟(jì)效益，提升客戶的滿意度。讓管理層隨時(shí)可以觀察到企業(yè)的運(yùn)轉(zhuǎn)狀態(tài)，即使得到分析預(yù)測(cè)結(jié)果來輔助自己的決策，為戰(zhàn)略層和管理層提供“一站式”的決策支持。這一階段工作重點(diǎn)將會(huì)是如何做好 HANA 平臺(tái)的替換以及如何運(yùn)用數(shù)據(jù)分析軟件做到 BI 系統(tǒng)的全面預(yù)測(cè)、深入的數(shù)據(jù)分析及多元化的報(bào)表展現(xiàn)。與此同時(shí)，通過大數(shù)據(jù)、數(shù)據(jù)分析等應(yīng)用，逐步形成針對(duì)各產(chǎn)業(yè)板塊的個(gè)性化的數(shù)據(jù)挖掘、數(shù)據(jù)預(yù)測(cè)，以提高對(duì)市場(chǎng)的洞察力、提升客戶滿意度、促進(jìn)技術(shù)創(chuàng)新，最終達(dá)成提升企業(yè)市場(chǎng)競(jìng)爭(zhēng)力，為企業(yè)創(chuàng)造更多的經(jīng)濟(jì)效益和社會(huì)效益。? 靈活性：數(shù)據(jù)倉庫系統(tǒng)的模型需要能夠依業(yè)務(wù)變化而調(diào)整，南車電氣數(shù)據(jù)倉庫系統(tǒng)從不同的角度對(duì)整個(gè)南車電氣的生產(chǎn)情況和銷售情況進(jìn)行多維度、多角度、多指標(biāo)的不同層次的分析，這樣就確保了隨著業(yè)務(wù)的發(fā)展，可以很方便的在此基礎(chǔ)上擴(kuò)充更多的應(yīng)用、主題，用戶能夠靈活地根據(jù)實(shí)際需要定制不同層次的分析。? 容災(zāi)性：數(shù)據(jù)倉庫系統(tǒng)的 3 個(gè)重要元件，包括 ODS、EDW、DM 的系統(tǒng)平臺(tái)架設(shè)于不同的數(shù)據(jù)庫實(shí)例，此種設(shè)計(jì)確保系統(tǒng)因單個(gè)系統(tǒng)發(fā)生災(zāi)害時(shí)，減少系統(tǒng)恢復(fù)的時(shí)間，降低相應(yīng)的損失。現(xiàn)有業(yè)務(wù)系統(tǒng)的數(shù)據(jù)被抽取、清理，并有效地集成到數(shù)據(jù)倉庫中，并按照主題進(jìn)行重新組織。數(shù)據(jù)倉庫管理的數(shù)據(jù)包含了集成之后的多年歷史數(shù)據(jù)，數(shù)據(jù)量是巨大的。按照企業(yè)建立數(shù)據(jù)“唯一事實(shí)”的要求，數(shù)據(jù)倉庫應(yīng)為各級(jí)業(yè)務(wù)人員提供一致的信息視圖。與這樣的要求相匹配，企業(yè)數(shù)據(jù)倉庫采用滿足第三范式的規(guī)范化建模。規(guī)范化的關(guān)系型數(shù)據(jù)通常能夠給出精確和無歧異的回答。邏輯數(shù)據(jù)模型是把業(yè)務(wù)需求，特別是對(duì)數(shù)據(jù)的需求，用規(guī)范化的 ER 模型和文字進(jìn)行描述。邏輯數(shù)據(jù)模型標(biāo)識(shí)出業(yè)務(wù)管理領(lǐng)域中涉及的主題、實(shí)體、屬性，及它們之間的關(guān)系。實(shí)體是任何可以區(qū)分的人、地點(diǎn)、事情、事件或概念，信息圍繞它來保存。對(duì)數(shù)據(jù)倉庫需求進(jìn)行分解，按業(yè)務(wù)主題進(jìn)行組織，將業(yè)務(wù)主題相關(guān)的數(shù)據(jù)組織成主題域，并對(duì)各指標(biāo)進(jìn)行分析。數(shù)據(jù)模型是數(shù)據(jù)倉庫系統(tǒng)的關(guān)鍵部分，開發(fā)數(shù)據(jù)模型除了要描述企業(yè)現(xiàn)有的業(yè)務(wù)數(shù)據(jù)架構(gòu)，還要滿足企業(yè)未來業(yè)務(wù)擴(kuò)展的需要，通過整體數(shù)據(jù)架構(gòu)的搭建可以實(shí)現(xiàn)以下三個(gè)目標(biāo)：? 數(shù)據(jù)整合，建立業(yè)務(wù)數(shù)據(jù)構(gòu)架，找出業(yè)務(wù)項(xiàng)目的相互關(guān)系，描繪企業(yè)的各個(gè)業(yè)務(wù)項(xiàng)目在現(xiàn)實(shí)中是如何被組合在一起的，創(chuàng)建出企業(yè)業(yè)務(wù)的整體性視圖，基于業(yè)務(wù)數(shù)據(jù)架構(gòu)創(chuàng)建企業(yè)數(shù)據(jù)模型，能夠較好地保證數(shù)據(jù)模型的穩(wěn)定性和有效性。 第 16 頁 共 51 頁? 數(shù)據(jù)分析，業(yè)務(wù)上經(jīng)常遇到同一指標(biāo)在不同報(bào)表里得到的值不一致，有些不一致是為人所知的，有些不一致卻沒有人清楚，通過對(duì)數(shù)據(jù)的分析和了解，使不一致變得明顯而可操作，是數(shù)據(jù)模型建立的主要目標(biāo)之一?？刂坪媒７秶椭芷趯⒅苯雨P(guān)系到項(xiàng)目的進(jìn)展，最好的方法是利用已有的各類業(yè)務(wù)需求、報(bào)表需求及查詢需求，借助建模人員本身的業(yè)務(wù)經(jīng)驗(yàn)及與各部門業(yè)務(wù)人員的溝通，將獲得的需求片斷有機(jī)地組織成一個(gè)完整的目標(biāo)區(qū)域，在區(qū)域范圍內(nèi)開展建模工作。邏輯模型設(shè)計(jì)的成果是，對(duì)每個(gè)當(dāng)前要裝載的主題的邏輯實(shí)現(xiàn)進(jìn)行定義，并將相關(guān)內(nèi)容記錄在數(shù)據(jù)倉庫的元數(shù)據(jù)中，包括： （1） 適當(dāng)?shù)牧６葎澐?；?） 合理的數(shù)據(jù)分割策略；（3） 適當(dāng)?shù)谋韯澐郑唬?） 定義合適的數(shù)據(jù)來源等。確定數(shù)據(jù)倉庫實(shí)現(xiàn)的物理模型，要求設(shè)計(jì)人員必須做到以下幾方面： ? 要全面了解所選用的數(shù)據(jù)庫管理系統(tǒng)，特別是存儲(chǔ)結(jié)構(gòu)和存取方法。? 了解外部存儲(chǔ)設(shè)備的特性，如分塊原則，塊大小的規(guī)定，設(shè)備的 I/O 特性等。該層數(shù)據(jù)對(duì)接 BW 底層與其他業(yè)務(wù)系統(tǒng)數(shù)據(jù)，同時(shí)僅對(duì)該層數(shù)據(jù)進(jìn)行基本的清理，以保留業(yè)務(wù)系統(tǒng)原始數(shù)據(jù)。為了將數(shù)據(jù)從各源系統(tǒng)順利抽取至 BW 系統(tǒng)，需要進(jìn)行以下工作：? 配置 BW 與各源系統(tǒng)的接口連接；? 復(fù)制各業(yè)務(wù)源系統(tǒng)的數(shù)據(jù)源；? 創(chuàng)建各數(shù)據(jù)源的初始化、全量、增量信息包； 第 18 頁 共 51 頁? SAP ECC 系統(tǒng) LO 數(shù)據(jù)源的初始化，刪除，填充設(shè)置表；? 執(zhí)行信息包，裝載數(shù)據(jù)至 PSA；? 創(chuàng)建信息包到數(shù)據(jù)抽取層 DSO 轉(zhuǎn)換及 DTP；? 將數(shù)據(jù)從 PSA 加載至數(shù)據(jù)抽取層 DSO。該層模型的集成、整合工作主要分為以下兩大類：? 不同業(yè)務(wù)系統(tǒng)間模型合并數(shù)據(jù)抽取層中來自不同業(yè)務(wù)系統(tǒng)的模型數(shù)據(jù)，按照業(yè)務(wù)規(guī)則創(chuàng)建模型轉(zhuǎn)換，進(jìn)行數(shù)據(jù)合并。根據(jù)實(shí)際需要新增數(shù)據(jù)映射關(guān)系表，以保證數(shù)據(jù)合并。以上合并過程，最終都通過數(shù)據(jù)傳輸流程（DTP）進(jìn)行數(shù)據(jù)加載，將數(shù)據(jù)抽取層轉(zhuǎn)換、加載至數(shù)據(jù)邏輯層，DTP 默認(rèn)加載方式為增量加載。該層模型的設(shè)計(jì)原則是以最終分析為準(zhǔn)，根據(jù)分析規(guī)則創(chuàng)建轉(zhuǎn)換，將數(shù)據(jù)指標(biāo)按照多維度組織，同時(shí)衍生出計(jì)算后分析指標(biāo)，通過數(shù)據(jù)傳輸流程（DTP）將數(shù)據(jù)加載至數(shù)據(jù)分析層。 上圖即為 BW 數(shù)據(jù)倉庫 ETL 的流程，使用信息包（InfoPackage）將數(shù)據(jù)從源系統(tǒng)抽取至 BW 底層 PSA，通過一系列的轉(zhuǎn)換（ Transformation）和數(shù)據(jù)傳輸流程（DTP）將PSA 中數(shù)據(jù)逐層加載至數(shù)據(jù)抽取層、數(shù)據(jù)合并層及分析層相應(yīng)的模型中。在這樣的設(shè)計(jì)中，數(shù)據(jù)是真正物理存儲(chǔ)于各層模型中。 分析層數(shù)據(jù)分析層提供給商務(wù)用戶一個(gè)專業(yè)的數(shù)據(jù)視圖，提供多樣展示數(shù)據(jù)必需的功能。這個(gè)工具的具體信息在軟件和硬件層里詳細(xì)的 第 20 頁 共 51 頁描述。抽取層、合并層使用 DSO存放數(shù)據(jù)，分析層一般使用 DSO 存放數(shù)據(jù)，但亦有使用特性存放主數(shù)據(jù)，如與時(shí)間相關(guān)的主數(shù)據(jù)。Cube 中僅存放匯總后的業(yè)務(wù)數(shù)據(jù)且此類數(shù)據(jù)是已經(jīng)經(jīng)過邏輯處理的。3 Reporting Data Layer (RDL) 報(bào)表層報(bào)表層，主要由立方體、多信息提供者、虛擬信息提供者構(gòu)成。 第 21 頁 共 51 頁2 Consolidation Data Layer (CDL) 邏輯合并層邏輯處理層，實(shí)現(xiàn)報(bào)表邏輯，儲(chǔ)存邏輯處理完的數(shù)據(jù)。此層數(shù)據(jù)未經(jīng)過轉(zhuǎn)換和數(shù)據(jù)