【正文】 數(shù)據(jù)集成 1. 數(shù)據(jù)集成 系統(tǒng)現(xiàn) 狀 企事業(yè)內(nèi)部有不少的應(yīng)用 系統(tǒng)，比如 財務(wù)系統(tǒng)、人力資源系統(tǒng)、工程管理系統(tǒng)（項目管理、采購管理、庫存管理）、管理數(shù)據(jù)統(tǒng)計系統(tǒng)和企業(yè)信息門戶。這些系統(tǒng)一般都有不同供應(yīng)商提供，他們之間的信息有重疊和不一致顯現(xiàn)存在。 因此 很容易產(chǎn)生下列的問題： 基礎(chǔ)數(shù)據(jù)多頭管理，系統(tǒng)間數(shù)據(jù)一致性差 對于同樣的問題，每個不同的系統(tǒng)都維護有自身的數(shù)據(jù)結(jié)構(gòu)，例如在工程管理系統(tǒng)中存在供應(yīng)商數(shù)據(jù)，而在物資系統(tǒng)中也存在供應(yīng)商數(shù)據(jù)，這兩個系統(tǒng)對同一個供應(yīng)商可能存在不同的編號、不同的命名等等。這就導(dǎo)致了兩個系統(tǒng)間沒有數(shù)據(jù)標(biāo)準，在工程管理系統(tǒng)中更新了供應(yīng)商數(shù)據(jù)后，物資系統(tǒng)無法依據(jù)指定的規(guī)則進行同步更新，造成了企業(yè)主數(shù)據(jù)的混亂局面，難以滿足快速支撐精確管理的需要，使得企業(yè)的運營效率和管理水平難以進一步提升。 接口沒有實現(xiàn)統(tǒng)一的接口平臺 由于沒有統(tǒng)一的企業(yè)主數(shù)據(jù)，目前系統(tǒng)接口均采用點對點方式，技術(shù)實現(xiàn)方式多種多樣，例如最多的方式是數(shù)據(jù)庫直接存取，接口雙方需要明確知道對方的底層數(shù)據(jù)結(jié)構(gòu)，這導(dǎo)致了完成和維護這些接口是一項非常艱巨的任務(wù)，并且在不同的供應(yīng)商之間難于明確自身的責(zé)任，出現(xiàn)問題之后相互推諉。 企業(yè)內(nèi)部信息難以完整統(tǒng)一和共享 由于現(xiàn)在的 應(yīng)用 系統(tǒng)是由 不同的供應(yīng)商提供，基礎(chǔ)數(shù)據(jù)難以同步更新，各自產(chǎn)生的數(shù)據(jù)信息，都成了一個個的信息孤島，彼此之間的數(shù)據(jù)難以共享。企業(yè)不容易獲取匯總信息。 2. 數(shù)據(jù)集成 需求分析 接下來我們從業(yè)務(wù)和系統(tǒng) 兩 個方面來分 析數(shù)據(jù)集成的需求： 業(yè)務(wù)需求 統(tǒng)一用戶視圖的提供及展示 企事業(yè)應(yīng)用系統(tǒng) 給 用 戶提供 各種 服務(wù) ， 需要在各個 應(yīng)用系統(tǒng) 上提供及展現(xiàn)統(tǒng)一用戶視圖信息，通過 數(shù)據(jù)集成 實現(xiàn)統(tǒng)一用戶視圖信息的共享，支撐多個層面快速準確地獲取用戶和產(chǎn)品信息，提升用戶感知。 比如在 營銷、銷售、服務(wù) 中，提供 營銷人員營銷活動所需的市場 統(tǒng)計 數(shù)據(jù)和目標(biāo)用戶數(shù)據(jù)，以便進行精確化營銷； 提供 銷售人員單一用戶視圖信息及其 統(tǒng)計 數(shù)據(jù)的即席查詢，以發(fā)現(xiàn)用戶需求，增加 2 銷售機會； 提供 服務(wù)人員 跨系統(tǒng)數(shù)據(jù)的支撐，以進行用戶分等級服務(wù)、用戶增值業(yè)務(wù) ， 訂購信息快速查詢和退定等工作。 統(tǒng)一 企業(yè)運營報表 的 提供和展示 CRM、計費等生產(chǎn)系統(tǒng)分別按照本系統(tǒng)的自有數(shù)據(jù)向外提供運營報表，不同部門對數(shù)據(jù)的時間和業(yè)務(wù)概念理解不一致，造成不同系統(tǒng)的報表有差異，同時手工進行報表拼湊也會造成差異，于是產(chǎn)生了不同部門有差異，不同組織層級有差異，而且大量按需的對外報表提供對生產(chǎn)系統(tǒng)性能影響很大，不利于生產(chǎn)系統(tǒng)對其核心事務(wù)處理的穩(wěn)定運行。因此通過 數(shù)據(jù)集成， 統(tǒng)一企業(yè)運營報表的數(shù)據(jù)源， 形成統(tǒng)一的指標(biāo)體系，并通過統(tǒng)一的企業(yè)數(shù)據(jù)應(yīng)用門戶，實現(xiàn)企業(yè) 運營報表 的統(tǒng)一提供和展示，實現(xiàn)多緯度的報表需 求， 以支撐 精確化管理 需要。 支撐 企業(yè)運營過程的統(tǒng)計、監(jiān)控和考核 全過程的營銷支撐需要對市場計劃、營銷活動、銷售活動等各項工作事前預(yù)期，事中監(jiān)控， 通過數(shù)據(jù)集成， 基于從各生產(chǎn)系統(tǒng)搜集到市場營銷與銷售的相關(guān)信息，對市場營銷與銷售業(yè)績完成情況進行統(tǒng)計，并通過用戶發(fā)展、業(yè)務(wù)量、收入等關(guān)鍵績效指標(biāo)和實際完成狀況的關(guān)聯(lián)，完成對各部門、團隊或渠道的 KPI 指標(biāo)進行監(jiān)控與考核。 支撐 企業(yè)運營過程所需跨系統(tǒng)數(shù)據(jù)的批量計算 為了更好地支企事業(yè) 工作的開展，提升用戶管理能力，需要建立用戶積分、信用度等用戶評價體系；為了實現(xiàn)用戶品牌維度 ，對相關(guān)量收指標(biāo)進行統(tǒng)計； 為了，發(fā)展優(yōu)質(zhì)用戶，需要復(fù)雜、完善的渠道傭金計算支持；隨著產(chǎn)品為中心向用戶為中心的轉(zhuǎn)型，越來越多運營過程所需的跨系統(tǒng)、大量細節(jié)數(shù)據(jù)的批量計算需求都需要 統(tǒng)一的 數(shù)據(jù)集成中心 提供 相關(guān)數(shù)據(jù) 。 數(shù)據(jù)集成中心 作為 企業(yè)運營數(shù)據(jù)共享平臺 ，收斂企業(yè)各業(yè)務(wù)系統(tǒng)中的運營數(shù)據(jù)，按照企業(yè)數(shù)據(jù)模型進行數(shù)據(jù)整合，提供運營數(shù)據(jù)共享，支撐跨系統(tǒng)數(shù)據(jù)的應(yīng)用，提升數(shù)據(jù)質(zhì)量。 系統(tǒng)需求 實現(xiàn) 數(shù)據(jù) 統(tǒng)一 數(shù)據(jù)集成中心 在對企業(yè) 數(shù)據(jù)的整合過程中能夠?qū)崿F(xiàn)以下三個統(tǒng)一： 1. 統(tǒng)一數(shù)據(jù)模型 由 數(shù)據(jù)集成中心 承載企業(yè)數(shù)據(jù)模型（ EDM），促進企 業(yè)各域數(shù)據(jù)邏輯模型的統(tǒng)一。在 企事業(yè) 內(nèi)新建或改造的系統(tǒng)，其數(shù)據(jù)模型應(yīng)向 數(shù)據(jù)集成中心 所承載的企業(yè)數(shù) 據(jù)模型靠攏。數(shù)據(jù)模型是各個 系統(tǒng)及應(yīng)用間交互的 基礎(chǔ)，通過數(shù)據(jù)模型的統(tǒng)一，減少系統(tǒng)及應(yīng)用間復(fù)雜的轉(zhuǎn)換，提高系統(tǒng)、應(yīng)用、接口的效率。 3 2. 統(tǒng)一數(shù)據(jù)標(biāo)準 數(shù)據(jù)集成中心 中建立標(biāo)準的數(shù)據(jù)編碼目錄，源系統(tǒng)數(shù)據(jù)依據(jù)標(biāo)準的數(shù)據(jù)編碼目錄，經(jīng)過整合后進入 數(shù)據(jù)集成中心 存儲，實現(xiàn)企業(yè)數(shù)據(jù)的標(biāo)準化與統(tǒng)一存儲。 3. 統(tǒng)一數(shù)據(jù)視圖 基于 數(shù)據(jù)集成中心 所存儲的數(shù)據(jù)，支撐實現(xiàn)統(tǒng)一數(shù)據(jù)視圖，使企業(yè)在用戶 、 資源等視角獲取到的信息是一致的，提升用戶、以及企業(yè)內(nèi)部的管理人員與分析人員對系統(tǒng)的感知。 實現(xiàn) 數(shù)據(jù)共享 數(shù)據(jù)集成中心 為企業(yè)各業(yè)務(wù)系統(tǒng)提供統(tǒng)一共享數(shù)據(jù)接口，減少系統(tǒng)間相互接口的重復(fù)性，降低接口的復(fù)雜程度，提高系統(tǒng)間接口效率與質(zhì)量；為跨系統(tǒng)數(shù)據(jù)應(yīng)用提供數(shù)據(jù)支撐。 數(shù)據(jù)集成中心 作為 企業(yè)運營數(shù)據(jù)共享平臺 ，是各業(yè)務(wù)部門和企業(yè)管理層獲取統(tǒng)計數(shù)據(jù)的唯一來源。 數(shù)據(jù)集成中心 可將某個生產(chǎn)系統(tǒng)的數(shù)據(jù)以準實時地方式存儲轉(zhuǎn)發(fā)至其它對數(shù)據(jù)實時性要求不高的生產(chǎn)系統(tǒng)，以減少生產(chǎn)系統(tǒng)間的網(wǎng)狀接口。 數(shù)據(jù)集成中心 以實時的查詢服務(wù)或準實時批量的 數(shù)據(jù)提供的方式將 數(shù)據(jù)集成中心 內(nèi)整合或計算好的數(shù)據(jù)向外 部 系統(tǒng)提供，以配合外 部 系統(tǒng)支撐統(tǒng)一用戶視圖查詢、用戶服務(wù)流程等功能。 實現(xiàn) 數(shù)據(jù)應(yīng)用 數(shù)據(jù)集成中心 利用 自身 系統(tǒng)的數(shù)據(jù)提供以下幾類功能： 1. 查詢應(yīng)用 實現(xiàn)查詢條件不固定的按需查詢功能。用戶可以根據(jù)關(guān)心的維度查詢 數(shù)據(jù)集成中心 內(nèi) 整合好的360 度業(yè)務(wù)全貌數(shù)據(jù)， 如 ， 為渠道經(jīng)理提供完整 用戶視圖 信息的查詢，為 用戶提供完整用戶視圖查詢、用戶 賬 單查詢 等。 2. 固定報表應(yīng)用 固定報表是維度和指標(biāo)固定的統(tǒng)計結(jié)果的展示，在 數(shù)據(jù)集成中心 內(nèi) 對于實時性要求高的報表采用即時生成的模式，而對于實時性要求不高的報表，基于性能影響和資源開銷兩方面的考慮，應(yīng)采用后臺通過作業(yè)的方式先自動生成，在需要時可以立即展現(xiàn)結(jié)果。 報表展現(xiàn)應(yīng)支持多種圖表方式，如餅圖、柱圖、線圖等；支持報表數(shù)據(jù)導(dǎo)出為其他文件類型，如EXCEL、 CSV、 XML、 PDF、 WEB 存檔文件等；支持報表精確打印控制。 3. 動態(tài)報表應(yīng)用 基于 數(shù)據(jù)集成中心 整合好的數(shù)據(jù)，可以利用報表工具 ， 按關(guān)心的維度和指標(biāo)對數(shù)據(jù)進行主題性的統(tǒng)計，動態(tài)報表應(yīng)用中 ， 維度和指標(biāo)不固定，可在數(shù)據(jù)模型支持的范圍內(nèi)變換。在 數(shù)據(jù)集成中心 上可實現(xiàn)多種 動態(tài)報表。 4 4. 計算應(yīng)用 數(shù)據(jù)集成中心 可基于整合好的數(shù)據(jù)按照設(shè)定好的業(yè)務(wù)規(guī)則進行部分屬性數(shù)據(jù)計算，計算結(jié)果并不在 數(shù)據(jù)集成中心 內(nèi) 直接更新，而是由 數(shù)據(jù)集成中心 返回到該屬性數(shù)據(jù)的屬主生產(chǎn)系統(tǒng)，由屬主生產(chǎn)系統(tǒng)完成該屬性數(shù)據(jù)的更新后 ， 再通過數(shù)據(jù)抽取、加載過程進入 數(shù)據(jù)集成中心 之后更新。 實現(xiàn) 數(shù)據(jù)質(zhì)量管控 數(shù)據(jù)集成中心 在數(shù)據(jù)收斂的過程中，能完成以下數(shù)據(jù)質(zhì)量管控工作： 根據(jù)規(guī)則對 數(shù)據(jù)集成中心 所存儲的數(shù)據(jù)進行一致性、完整性、正確性的校驗，形成數(shù)據(jù)校驗結(jié)果并交付源業(yè)務(wù)系統(tǒng)進行修正。 據(jù)質(zhì)量管控 通過建立企業(yè)數(shù)據(jù)的質(zhì)量標(biāo)準、數(shù)據(jù)管控的組織、數(shù)據(jù)管控的流程，對數(shù)據(jù)質(zhì)量進行統(tǒng)一管控，達到數(shù)據(jù)質(zhì)量逐步完善。 3. 數(shù)據(jù)集成目標(biāo) 通過數(shù)據(jù)集成， 數(shù)據(jù)集成中心 應(yīng)該能達到 以 下幾個目標(biāo)： 建立規(guī)范統(tǒng)一的指標(biāo)體系 根據(jù) 企業(yè)的業(yè)務(wù)實際情況，建立面向企業(yè)指標(biāo)體系的數(shù)據(jù)接口，用于收集企業(yè) 各系統(tǒng)間的指標(biāo)數(shù)據(jù)，同時為 企業(yè) 各系統(tǒng)提供所需的指標(biāo)數(shù)據(jù)，成為溝通 企業(yè) 現(xiàn)有系統(tǒng)和未來系統(tǒng)之間各種關(guān)鍵業(yè)務(wù)指標(biāo)數(shù)據(jù)的信息橋梁。 統(tǒng)一的數(shù)據(jù)采集接口 建立統(tǒng)一的數(shù)據(jù)采集接口，根據(jù) 企業(yè) 實際業(yè)務(wù)需要，定義符合企業(yè) 需要的數(shù)據(jù)采集指標(biāo)，通過 企業(yè) 數(shù)據(jù)業(yè)務(wù)平臺統(tǒng)一的進行數(shù)據(jù)采集，改變原有 層層下達參數(shù)，再層層匯總、層層過濾，時效性和準確性亦難以保證 的問題 。 統(tǒng)一的數(shù)據(jù)存儲中心 通過 企業(yè) 規(guī)范的指標(biāo)體系，收集和整合相應(yīng)指標(biāo)數(shù)據(jù)，存儲到 數(shù)據(jù)集成中心 。按照統(tǒng)一指標(biāo)、統(tǒng)一統(tǒng)計口徑和統(tǒng)一數(shù)據(jù)概念的要求，存儲指標(biāo)數(shù)據(jù)和建立數(shù)據(jù)存儲中心，滿足不同系統(tǒng)之間相互獲取數(shù)據(jù)的要求，同時為數(shù)據(jù)的綜合分析和歷史回溯奠定數(shù)據(jù)基礎(chǔ)。 歷史數(shù)據(jù)的回溯分析 基于規(guī)范性與靈活性相結(jié)合的原則，通過對數(shù)據(jù)存儲中心的歷史數(shù)據(jù)進行提取和加工整理，采取 5 分級用戶具有分級權(quán)限，在權(quán)限范圍內(nèi)靈活使用數(shù)據(jù)， 進行分析和查詢，可以為管理決策者在生產(chǎn)管理和經(jīng)營決策上提供科學(xué)有效的歷史數(shù)據(jù)依據(jù)。 建立 數(shù)據(jù)應(yīng)用接口 企業(yè) 在生產(chǎn)經(jīng)營決策過程中，通常迫切需要了解 企業(yè)外部 的實際情況，所以需要打通 企業(yè) 與 外部的數(shù)據(jù)壁壘，實現(xiàn)彼此之間數(shù)據(jù)共享。 這種需求通過建立 企業(yè) 與 外部 之間特定的數(shù)據(jù)應(yīng)用接口，一方面，從 外部 抽取 企業(yè) 需要的特定商業(yè)指標(biāo)數(shù)據(jù)，另一方面，提供 外部 所需的 企業(yè) 指標(biāo)數(shù)據(jù)。通過二者 數(shù)據(jù)之間的充分對比分析，實現(xiàn) 數(shù)據(jù)之間的數(shù)據(jù)共享，提高現(xiàn)有系統(tǒng)的數(shù)據(jù)使用率和有效地提高數(shù)據(jù)支撐能力，為管理層的經(jīng)營決策提供堅實可靠的依據(jù)。 建立統(tǒng)一的 決策分析管理平臺 通過對采集 的基礎(chǔ)數(shù)據(jù)信息的提取和加工整理，本著規(guī)范化與靈活性相結(jié)合的原則，設(shè)定不同的使用權(quán)限（組織和人員），靈活使用數(shù)據(jù)，進行分析和查詢。系統(tǒng)統(tǒng)一下發(fā)固定報表模板，同時用戶可根據(jù)個性化需求靈活定制報表，提供決策支持。 4. 數(shù)據(jù)集成思路 通過前面的需求分析，我們可以整理出我們的數(shù)據(jù)集成思路 ，從而 設(shè)計 合理的數(shù)據(jù)集成方案。 數(shù)據(jù)集成 系統(tǒng) 對于企事業(yè)的長遠發(fā)展來說，應(yīng)該是處于企 業(yè) 應(yīng)用系統(tǒng)與企業(yè)數(shù)據(jù)倉庫 系統(tǒng) 之間的 。 企業(yè)的一系列數(shù)據(jù)中，一部分是實時性要求非常高的，必須要求能實時的更改存放在多處的同一份數(shù)據(jù)；而有一些數(shù)據(jù)則實時性的要求不高，不需要 實時地進行修改而是定時進行相應(yīng)的同步即可。 ODS 的思想 結(jié)合 ETL 與 ESB 等相關(guān)技術(shù)， 實現(xiàn) 這一套數(shù)據(jù)集成系統(tǒng)是比較合適的。 通用 ODS 架構(gòu)分析 ODS（ Operational Data Store）， 運營數(shù)據(jù)存儲或者操作型數(shù)據(jù)存儲 ， 存儲了運營系統(tǒng) （ OLTP，聯(lián)機事務(wù)處理系統(tǒng) ） 近實時的詳細數(shù)據(jù)。 ODS 是企業(yè)數(shù)據(jù)架構(gòu)中最為復(fù)雜的一種形態(tài)， 它 既要滿足數(shù)據(jù)事務(wù)操作要求，又要滿足數(shù)據(jù)分析要求 。它 是 “ 一個面向主題的、集成的、可變的、當(dāng)前的細節(jié)數(shù)據(jù)集合，用于支持企業(yè)對于即時性的、操作性的、集成的全體信息的需求 ”， 常常被作為數(shù)據(jù)倉庫的過渡，也是數(shù)據(jù)倉庫項目的可選項之一。 ODS 的引入是為了尋找能滿足快速加載和數(shù)據(jù)整合的性能要求，并且減少面向分析的需求的變更和擴充對業(yè)務(wù)系統(tǒng)的影響的解決方案。這一解決方案是在業(yè)務(wù)系統(tǒng)和 EDW 中的按主題存儲的歷史數(shù)據(jù)存儲層之間增加一個數(shù)據(jù)整合層 （ 也叫做數(shù)據(jù)緩沖層 ） 。數(shù)據(jù)整合層的作用主要體現(xiàn)在以下兩個方面： 6 ? 數(shù)據(jù)結(jié)構(gòu)和處理流程是以快速從業(yè)務(wù)系統(tǒng)中加載和整合數(shù)據(jù)為目的設(shè)計實現(xiàn) 的，因此盡量減少復(fù)雜的數(shù)據(jù)轉(zhuǎn)換，只對原始數(shù)據(jù)進行清理和整合，這樣，可以滿足快速加載和數(shù)據(jù)整合的性能要求。 ? 另一方面，當(dāng)面向分析的業(yè)務(wù)需求變更和擴充需要對數(shù)據(jù)倉庫中的歷史數(shù)據(jù)進行主題重組或增加新的數(shù)據(jù)時，所需數(shù)據(jù)將會先從數(shù)據(jù)整合層中提取，只有數(shù)據(jù)整合層也不能滿足其數(shù)據(jù)需求時，才會從業(yè)務(wù)系統(tǒng)中提取數(shù)據(jù)，這樣就減少了分析需求變更和擴充對業(yè)務(wù)系統(tǒng)的影響，數(shù)據(jù)整合層起到了一個數(shù)據(jù)緩沖的作用，同時提高了數(shù)據(jù)倉庫系統(tǒng)對于需求廣度和深度擴展的適應(yīng)性。 我們認為， ODS（ Operational Data Store）是數(shù)據(jù)倉庫體系結(jié)構(gòu)中的一個可選部分， ODS 具備數(shù)據(jù)倉庫的部分特征和 OLTP 系統(tǒng)的部分特征，它是 “ 面向主題的、集成的、當(dāng)前或接近當(dāng)前的、不斷變化的 ” 數(shù)據(jù)。 一般在帶有 ODS 的系統(tǒng)體系結(jié)構(gòu)中， ODS 都設(shè)計為如下幾個作用： 1） 在業(yè)務(wù)系統(tǒng)和數(shù)據(jù)倉庫之間形成一個隔離層。 一般的數(shù)據(jù)倉庫應(yīng)用系統(tǒng)都具有非常復(fù)雜的數(shù)據(jù)來源，這些數(shù)據(jù)存放在不同的地理位置、不同的數(shù)據(jù)庫、不同的應(yīng)用之中，從這些業(yè)務(wù)系統(tǒng)對數(shù)據(jù)進行抽取并不是一件容易的事。因此， ODS用于存放從業(yè)務(wù)系統(tǒng)直接抽取出來的數(shù)據(jù)，這些數(shù)據(jù)從數(shù)據(jù)結(jié)構(gòu)、數(shù)據(jù)之間的邏輯 關(guān)系上都與業(yè)務(wù)系統(tǒng)基本保持一致，因此在抽取過程中極大降低了數(shù)據(jù)轉(zhuǎn)化的復(fù)雜性，而主要關(guān)注數(shù)據(jù)抽取的接口、數(shù)據(jù)量大小、抽取方式等方面的問題。 2） 轉(zhuǎn)移一部分業(yè)務(wù)系統(tǒng)細節(jié)查詢的功能 在數(shù)據(jù)倉庫建立之前，大量的報表、分析是由業(yè)務(wù)系統(tǒng)直接支持的，在一些比較復(fù)雜的報表生成過程中，對業(yè)務(wù)系統(tǒng)的運行產(chǎn)生相當(dāng)大的壓力。 ODS 的數(shù)據(jù)從粒度、組織方式等各個方面都保持了與業(yè)務(wù)系統(tǒng)的一致，那么原來由業(yè)務(wù)系統(tǒng)產(chǎn)生的報表、細節(jié)數(shù)據(jù)的查詢自然能夠從 ODS 中進行，從而降低業(yè)務(wù)系統(tǒng)的查詢壓力。 3） 完成數(shù)據(jù)倉庫中不能完成的一些功能。 一般來說，帶有 ODS 的數(shù)據(jù)倉庫體系結(jié)構(gòu)中， DW 層所存儲的數(shù)據(jù)都是進行匯總過的數(shù)據(jù)，并不存儲每筆交易產(chǎn)生的細節(jié)數(shù)據(jù)，但是在某些特殊的應(yīng)用中，可能需要對交易細節(jié)數(shù)據(jù)進行查詢，這時就需要把細節(jié)數(shù)據(jù)查詢的功能轉(zhuǎn)移到 ODS 來完成，而且 ODS 的