【正文】 數(shù)據(jù)集成 1. 數(shù)據(jù)集成 系統(tǒng)現(xiàn) 狀 企事業(yè)內部有不少的應用 系統(tǒng)，比如 財務系統(tǒng)、人力資源系統(tǒng)、工程管理系統(tǒng)（項目管理、采購管理、庫存管理）、管理數(shù)據(jù)統(tǒng)計系統(tǒng)和企業(yè)信息門戶。這些系統(tǒng)一般都有不同供應商提供，他們之間的信息有重疊和不一致顯現(xiàn)存在。 因此 很容易產(chǎn)生下列的問題： 基礎數(shù)據(jù)多頭管理，系統(tǒng)間數(shù)據(jù)一致性差 對于同樣的問題，每個不同的系統(tǒng)都維護有自身的數(shù)據(jù)結構，例如在工程管理系統(tǒng)中存在供應商數(shù)據(jù)，而在物資系統(tǒng)中也存在供應商數(shù)據(jù)，這兩個系統(tǒng)對同一個供應商可能存在不同的編號、不同的命名等等。這就導致了兩個系統(tǒng)間沒有數(shù)據(jù)標準，在工程管理系統(tǒng)中更新了供應商數(shù)據(jù)后，物資系統(tǒng)無法依據(jù)指定的規(guī)則進行同步更新，造成了企業(yè)主數(shù)據(jù)的混亂局面，難以滿足快速支撐精確管理的需要，使得企業(yè)的運營效率和管理水平難以進一步提升。 接口沒有實現(xiàn)統(tǒng)一的接口平臺 由于沒有統(tǒng)一的企業(yè)主數(shù)據(jù)，目前系統(tǒng)接口均采用點對點方式，技術實現(xiàn)方式多種多樣，例如最多的方式是數(shù)據(jù)庫直接存取，接口雙方需要明確知道對方的底層數(shù)據(jù)結構，這導致了完成和維護這些接口是一項非常艱巨的任務，并且在不同的供應商之間難于明確自身的責任，出現(xiàn)問題之后相互推諉。 企業(yè)內部信息難以完整統(tǒng)一和共享 由于現(xiàn)在的 應用 系統(tǒng)是由 不同的供應商提供，基礎數(shù)據(jù)難以同步更新，各自產(chǎn)生的數(shù)據(jù)信息，都成了一個個的信息孤島，彼此之間的數(shù)據(jù)難以共享。企業(yè)不容易獲取匯總信息。 2. 數(shù)據(jù)集成 需求分析 接下來我們從業(yè)務和系統(tǒng) 兩 個方面來分 析數(shù)據(jù)集成的需求： 業(yè)務需求 統(tǒng)一用戶視圖的提供及展示 企事業(yè)應用系統(tǒng) 給 用 戶提供 各種 服務 ， 需要在各個 應用系統(tǒng) 上提供及展現(xiàn)統(tǒng)一用戶視圖信息，通過 數(shù)據(jù)集成 實現(xiàn)統(tǒng)一用戶視圖信息的共享，支撐多個層面快速準確地獲取用戶和產(chǎn)品信息，提升用戶感知。 比如在 營銷、銷售、服務 中，提供 營銷人員營銷活動所需的市場 統(tǒng)計 數(shù)據(jù)和目標用戶數(shù)據(jù)，以便進行精確化營銷； 提供 銷售人員單一用戶視圖信息及其 統(tǒng)計 數(shù)據(jù)的即席查詢，以發(fā)現(xiàn)用戶需求，增加 2 銷售機會； 提供 服務人員 跨系統(tǒng)數(shù)據(jù)的支撐，以進行用戶分等級服務、用戶增值業(yè)務 ， 訂購信息快速查詢和退定等工作。 統(tǒng)一 企業(yè)運營報表 的 提供和展示 CRM、計費等生產(chǎn)系統(tǒng)分別按照本系統(tǒng)的自有數(shù)據(jù)向外提供運營報表，不同部門對數(shù)據(jù)的時間和業(yè)務概念理解不一致，造成不同系統(tǒng)的報表有差異，同時手工進行報表拼湊也會造成差異，于是產(chǎn)生了不同部門有差異，不同組織層級有差異，而且大量按需的對外報表提供對生產(chǎn)系統(tǒng)性能影響很大，不利于生產(chǎn)系統(tǒng)對其核心事務處理的穩(wěn)定運行。因此通過 數(shù)據(jù)集成， 統(tǒng)一企業(yè)運營報表的數(shù)據(jù)源， 形成統(tǒng)一的指標體系，并通過統(tǒng)一的企業(yè)數(shù)據(jù)應用門戶，實現(xiàn)企業(yè) 運營報表 的統(tǒng)一提供和展示，實現(xiàn)多緯度的報表需 求， 以支撐 精確化管理 需要。 支撐 企業(yè)運營過程的統(tǒng)計、監(jiān)控和考核 全過程的營銷支撐需要對市場計劃、營銷活動、銷售活動等各項工作事前預期，事中監(jiān)控， 通過數(shù)據(jù)集成， 基于從各生產(chǎn)系統(tǒng)搜集到市場營銷與銷售的相關信息，對市場營銷與銷售業(yè)績完成情況進行統(tǒng)計，并通過用戶發(fā)展、業(yè)務量、收入等關鍵績效指標和實際完成狀況的關聯(lián)，完成對各部門、團隊或渠道的 KPI 指標進行監(jiān)控與考核。 支撐 企業(yè)運營過程所需跨系統(tǒng)數(shù)據(jù)的批量計算 為了更好地支企事業(yè) 工作的開展，提升用戶管理能力，需要建立用戶積分、信用度等用戶評價體系；為了實現(xiàn)用戶品牌維度 ，對相關量收指標進行統(tǒng)計； 為了，發(fā)展優(yōu)質用戶，需要復雜、完善的渠道傭金計算支持；隨著產(chǎn)品為中心向用戶為中心的轉型，越來越多運營過程所需的跨系統(tǒng)、大量細節(jié)數(shù)據(jù)的批量計算需求都需要 統(tǒng)一的 數(shù)據(jù)集成中心 提供 相關數(shù)據(jù) 。 數(shù)據(jù)集成中心 作為 企業(yè)運營數(shù)據(jù)共享平臺 ，收斂企業(yè)各業(yè)務系統(tǒng)中的運營數(shù)據(jù)，按照企業(yè)數(shù)據(jù)模型進行數(shù)據(jù)整合，提供運營數(shù)據(jù)共享，支撐跨系統(tǒng)數(shù)據(jù)的應用，提升數(shù)據(jù)質量。 系統(tǒng)需求 實現(xiàn) 數(shù)據(jù) 統(tǒng)一 數(shù)據(jù)集成中心 在對企業(yè) 數(shù)據(jù)的整合過程中能夠實現(xiàn)以下三個統(tǒng)一： 1. 統(tǒng)一數(shù)據(jù)模型 由 數(shù)據(jù)集成中心 承載企業(yè)數(shù)據(jù)模型（ EDM），促進企 業(yè)各域數(shù)據(jù)邏輯模型的統(tǒng)一。在 企事業(yè) 內新建或改造的系統(tǒng)，其數(shù)據(jù)模型應向 數(shù)據(jù)集成中心 所承載的企業(yè)數(shù) 據(jù)模型靠攏。數(shù)據(jù)模型是各個 系統(tǒng)及應用間交互的 基礎，通過數(shù)據(jù)模型的統(tǒng)一，減少系統(tǒng)及應用間復雜的轉換，提高系統(tǒng)、應用、接口的效率。 3 2. 統(tǒng)一數(shù)據(jù)標準 數(shù)據(jù)集成中心 中建立標準的數(shù)據(jù)編碼目錄，源系統(tǒng)數(shù)據(jù)依據(jù)標準的數(shù)據(jù)編碼目錄，經(jīng)過整合后進入 數(shù)據(jù)集成中心 存儲，實現(xiàn)企業(yè)數(shù)據(jù)的標準化與統(tǒng)一存儲。 3. 統(tǒng)一數(shù)據(jù)視圖 基于 數(shù)據(jù)集成中心 所存儲的數(shù)據(jù)，支撐實現(xiàn)統(tǒng)一數(shù)據(jù)視圖，使企業(yè)在用戶 、 資源等視角獲取到的信息是一致的，提升用戶、以及企業(yè)內部的管理人員與分析人員對系統(tǒng)的感知。 實現(xiàn) 數(shù)據(jù)共享 數(shù)據(jù)集成中心 為企業(yè)各業(yè)務系統(tǒng)提供統(tǒng)一共享數(shù)據(jù)接口，減少系統(tǒng)間相互接口的重復性，降低接口的復雜程度，提高系統(tǒng)間接口效率與質量；為跨系統(tǒng)數(shù)據(jù)應用提供數(shù)據(jù)支撐。 數(shù)據(jù)集成中心 作為 企業(yè)運營數(shù)據(jù)共享平臺 ，是各業(yè)務部門和企業(yè)管理層獲取統(tǒng)計數(shù)據(jù)的唯一來源。 數(shù)據(jù)集成中心 可將某個生產(chǎn)系統(tǒng)的數(shù)據(jù)以準實時地方式存儲轉發(fā)至其它對數(shù)據(jù)實時性要求不高的生產(chǎn)系統(tǒng)，以減少生產(chǎn)系統(tǒng)間的網(wǎng)狀接口。 數(shù)據(jù)集成中心 以實時的查詢服務或準實時批量的 數(shù)據(jù)提供的方式將 數(shù)據(jù)集成中心 內整合或計算好的數(shù)據(jù)向外 部 系統(tǒng)提供，以配合外 部 系統(tǒng)支撐統(tǒng)一用戶視圖查詢、用戶服務流程等功能。 實現(xiàn) 數(shù)據(jù)應用 數(shù)據(jù)集成中心 利用 自身 系統(tǒng)的數(shù)據(jù)提供以下幾類功能： 1. 查詢應用 實現(xiàn)查詢條件不固定的按需查詢功能。用戶可以根據(jù)關心的維度查詢 數(shù)據(jù)集成中心 內 整合好的360 度業(yè)務全貌數(shù)據(jù)， 如 ， 為渠道經(jīng)理提供完整 用戶視圖 信息的查詢，為 用戶提供完整用戶視圖查詢、用戶 賬 單查詢 等。 2. 固定報表應用 固定報表是維度和指標固定的統(tǒng)計結果的展示，在 數(shù)據(jù)集成中心 內 對于實時性要求高的報表采用即時生成的模式，而對于實時性要求不高的報表，基于性能影響和資源開銷兩方面的考慮，應采用后臺通過作業(yè)的方式先自動生成，在需要時可以立即展現(xiàn)結果。 報表展現(xiàn)應支持多種圖表方式，如餅圖、柱圖、線圖等；支持報表數(shù)據(jù)導出為其他文件類型，如EXCEL、 CSV、 XML、 PDF、 WEB 存檔文件等；支持報表精確打印控制。 3. 動態(tài)報表應用 基于 數(shù)據(jù)集成中心 整合好的數(shù)據(jù)，可以利用報表工具 ， 按關心的維度和指標對數(shù)據(jù)進行主題性的統(tǒng)計，動態(tài)報表應用中 ， 維度和指標不固定，可在數(shù)據(jù)模型支持的范圍內變換。在 數(shù)據(jù)集成中心 上可實現(xiàn)多種 動態(tài)報表。 4 4. 計算應用 數(shù)據(jù)集成中心 可基于整合好的數(shù)據(jù)按照設定好的業(yè)務規(guī)則進行部分屬性數(shù)據(jù)計算，計算結果并不在 數(shù)據(jù)集成中心 內 直接更新，而是由 數(shù)據(jù)集成中心 返回到該屬性數(shù)據(jù)的屬主生產(chǎn)系統(tǒng)，由屬主生產(chǎn)系統(tǒng)完成該屬性數(shù)據(jù)的更新后 ， 再通過數(shù)據(jù)抽取、加載過程進入 數(shù)據(jù)集成中心 之后更新。 實現(xiàn) 數(shù)據(jù)質量管控 數(shù)據(jù)集成中心 在數(shù)據(jù)收斂的過程中，能完成以下數(shù)據(jù)質量管控工作： 根據(jù)規(guī)則對 數(shù)據(jù)集成中心 所存儲的數(shù)據(jù)進行一致性、完整性、正確性的校驗，形成數(shù)據(jù)校驗結果并交付源業(yè)務系統(tǒng)進行修正。 據(jù)質量管控 通過建立企業(yè)數(shù)據(jù)的質量標準、數(shù)據(jù)管控的組織、數(shù)據(jù)管控的流程，對數(shù)據(jù)質量進行統(tǒng)一管控，達到數(shù)據(jù)質量逐步完善。 3. 數(shù)據(jù)集成目標 通過數(shù)據(jù)集成， 數(shù)據(jù)集成中心 應該能達到 以 下幾個目標： 建立規(guī)范統(tǒng)一的指標體系 根據(jù) 企業(yè)的業(yè)務實際情況，建立面向企業(yè)指標體系的數(shù)據(jù)接口，用于收集企業(yè) 各系統(tǒng)間的指標數(shù)據(jù)，同時為 企業(yè) 各系統(tǒng)提供所需的指標數(shù)據(jù)，成為溝通 企業(yè) 現(xiàn)有系統(tǒng)和未來系統(tǒng)之間各種關鍵業(yè)務指標數(shù)據(jù)的信息橋梁。 統(tǒng)一的數(shù)據(jù)采集接口 建立統(tǒng)一的數(shù)據(jù)采集接口，根據(jù) 企業(yè) 實際業(yè)務需要，定義符合企業(yè) 需要的數(shù)據(jù)采集指標，通過 企業(yè) 數(shù)據(jù)業(yè)務平臺統(tǒng)一的進行數(shù)據(jù)采集，改變原有 層層下達參數(shù)，再層層匯總、層層過濾，時效性和準確性亦難以保證 的問題 。 統(tǒng)一的數(shù)據(jù)存儲中心 通過 企業(yè) 規(guī)范的指標體系，收集和整合相應指標數(shù)據(jù)，存儲到 數(shù)據(jù)集成中心 。按照統(tǒng)一指標、統(tǒng)一統(tǒng)計口徑和統(tǒng)一數(shù)據(jù)概念的要求，存儲指標數(shù)據(jù)和建立數(shù)據(jù)存儲中心，滿足不同系統(tǒng)之間相互獲取數(shù)據(jù)的要求，同時為數(shù)據(jù)的綜合分析和歷史回溯奠定數(shù)據(jù)基礎。 歷史數(shù)據(jù)的回溯分析 基于規(guī)范性與靈活性相結合的原則，通過對數(shù)據(jù)存儲中心的歷史數(shù)據(jù)進行提取和加工整理，采取 5 分級用戶具有分級權限，在權限范圍內靈活使用數(shù)據(jù)， 進行分析和查詢，可以為管理決策者在生產(chǎn)管理和經(jīng)營決策上提供科學有效的歷史數(shù)據(jù)依據(jù)。 建立 數(shù)據(jù)應用接口 企業(yè) 在生產(chǎn)經(jīng)營決策過程中，通常迫切需要了解 企業(yè)外部 的實際情況，所以需要打通 企業(yè) 與 外部的數(shù)據(jù)壁壘，實現(xiàn)彼此之間數(shù)據(jù)共享。 這種需求通過建立 企業(yè) 與 外部 之間特定的數(shù)據(jù)應用接口，一方面，從 外部 抽取 企業(yè) 需要的特定商業(yè)指標數(shù)據(jù)，另一方面，提供 外部 所需的 企業(yè) 指標數(shù)據(jù)。通過二者 數(shù)據(jù)之間的充分對比分析，實現(xiàn) 數(shù)據(jù)之間的數(shù)據(jù)共享，提高現(xiàn)有系統(tǒng)的數(shù)據(jù)使用率和有效地提高數(shù)據(jù)支撐能力，為管理層的經(jīng)營決策提供堅實可靠的依據(jù)。 建立統(tǒng)一的 決策分析管理平臺 通過對采集 的基礎數(shù)據(jù)信息的提取和加工整理，本著規(guī)范化與靈活性相結合的原則，設定不同的使用權限（組織和人員），靈活使用數(shù)據(jù)，進行分析和查詢。系統(tǒng)統(tǒng)一下發(fā)固定報表模板，同時用戶可根據(jù)個性化需求靈活定制報表，提供決策支持。 4. 數(shù)據(jù)集成思路 通過前面的需求分析，我們可以整理出我們的數(shù)據(jù)集成思路 ，從而 設計 合理的數(shù)據(jù)集成方案。 數(shù)據(jù)集成 系統(tǒng) 對于企事業(yè)的長遠發(fā)展來說，應該是處于企 業(yè) 應用系統(tǒng)與企業(yè)數(shù)據(jù)倉庫 系統(tǒng) 之間的 。 企業(yè)的一系列數(shù)據(jù)中，一部分是實時性要求非常高的，必須要求能實時的更改存放在多處的同一份數(shù)據(jù)；而有一些數(shù)據(jù)則實時性的要求不高，不需要 實時地進行修改而是定時進行相應的同步即可。 ODS 的思想 結合 ETL 與 ESB 等相關技術， 實現(xiàn) 這一套數(shù)據(jù)集成系統(tǒng)是比較合適的。 通用 ODS 架構分析 ODS（ Operational Data Store）， 運營數(shù)據(jù)存儲或者操作型數(shù)據(jù)存儲 ， 存儲了運營系統(tǒng) （ OLTP，聯(lián)機事務處理系統(tǒng) ） 近實時的詳細數(shù)據(jù)。 ODS 是企業(yè)數(shù)據(jù)架構中最為復雜的一種形態(tài)， 它 既要滿足數(shù)據(jù)事務操作要求，又要滿足數(shù)據(jù)分析要求 。它 是 “ 一個面向主題的、集成的、可變的、當前的細節(jié)數(shù)據(jù)集合，用于支持企業(yè)對于即時性的、操作性的、集成的全體信息的需求 ”， 常常被作為數(shù)據(jù)倉庫的過渡，也是數(shù)據(jù)倉庫項目的可選項之一。 ODS 的引入是為了尋找能滿足快速加載和數(shù)據(jù)整合的性能要求，并且減少面向分析的需求的變更和擴充對業(yè)務系統(tǒng)的影響的解決方案。這一解決方案是在業(yè)務系統(tǒng)和 EDW 中的按主題存儲的歷史數(shù)據(jù)存儲層之間增加一個數(shù)據(jù)整合層 （ 也叫做數(shù)據(jù)緩沖層 ） 。數(shù)據(jù)整合層的作用主要體現(xiàn)在以下兩個方面： 6 ? 數(shù)據(jù)結構和處理流程是以快速從業(yè)務系統(tǒng)中加載和整合數(shù)據(jù)為目的設計實現(xiàn) 的，因此盡量減少復雜的數(shù)據(jù)轉換，只對原始數(shù)據(jù)進行清理和整合，這樣，可以滿足快速加載和數(shù)據(jù)整合的性能要求。 ? 另一方面，當面向分析的業(yè)務需求變更和擴充需要對數(shù)據(jù)倉庫中的歷史數(shù)據(jù)進行主題重組或增加新的數(shù)據(jù)時，所需數(shù)據(jù)將會先從數(shù)據(jù)整合層中提取，只有數(shù)據(jù)整合層也不能滿足其數(shù)據(jù)需求時，才會從業(yè)務系統(tǒng)中提取數(shù)據(jù)，這樣就減少了分析需求變更和擴充對業(yè)務系統(tǒng)的影響，數(shù)據(jù)整合層起到了一個數(shù)據(jù)緩沖的作用，同時提高了數(shù)據(jù)倉庫系統(tǒng)對于需求廣度和深度擴展的適應性。 我們認為， ODS（ Operational Data Store）是數(shù)據(jù)倉庫體系結構中的一個可選部分， ODS 具備數(shù)據(jù)倉庫的部分特征和 OLTP 系統(tǒng)的部分特征，它是 “ 面向主題的、集成的、當前或接近當前的、不斷變化的 ” 數(shù)據(jù)。 一般在帶有 ODS 的系統(tǒng)體系結構中， ODS 都設計為如下幾個作用： 1） 在業(yè)務系統(tǒng)和數(shù)據(jù)倉庫之間形成一個隔離層。 一般的數(shù)據(jù)倉庫應用系統(tǒng)都具有非常復雜的數(shù)據(jù)來源，這些數(shù)據(jù)存放在不同的地理位置、不同的數(shù)據(jù)庫、不同的應用之中，從這些業(yè)務系統(tǒng)對數(shù)據(jù)進行抽取并不是一件容易的事。因此， ODS用于存放從業(yè)務系統(tǒng)直接抽取出來的數(shù)據(jù)，這些數(shù)據(jù)從數(shù)據(jù)結構、數(shù)據(jù)之間的邏輯 關系上都與業(yè)務系統(tǒng)基本保持一致，因此在抽取過程中極大降低了數(shù)據(jù)轉化的復雜性，而主要關注數(shù)據(jù)抽取的接口、數(shù)據(jù)量大小、抽取方式等方面的問題。 2） 轉移一部分業(yè)務系統(tǒng)細節(jié)查詢的功能 在數(shù)據(jù)倉庫建立之前，大量的報表、分析是由業(yè)務系統(tǒng)直接支持的，在一些比較復雜的報表生成過程中，對業(yè)務系統(tǒng)的運行產(chǎn)生相當大的壓力。 ODS 的數(shù)據(jù)從粒度、組織方式等各個方面都保持了與業(yè)務系統(tǒng)的一致，那么原來由業(yè)務系統(tǒng)產(chǎn)生的報表、細節(jié)數(shù)據(jù)的查詢自然能夠從 ODS 中進行，從而降低業(yè)務系統(tǒng)的查詢壓力。 3） 完成數(shù)據(jù)倉庫中不能完成的一些功能。 一般來說，帶有 ODS 的數(shù)據(jù)倉庫體系結構中， DW 層所存儲的數(shù)據(jù)都是進行匯總過的數(shù)據(jù)，并不存儲每筆交易產(chǎn)生的細節(jié)數(shù)據(jù)，但是在某些特殊的應用中，可能需要對交易細節(jié)數(shù)據(jù)進行查詢，這時就需要把細節(jié)數(shù)據(jù)查詢的功能轉移到 ODS 來完成，而且 ODS 的