【導讀】第五章方案的特點、優(yōu)勢。

　　

【正文】 表系統(tǒng)的客戶化功能，風險指標系統(tǒng)的報表報告應用，多維分析應用，績效管理應用，以及風險指標相關(guān)的 客戶化功能。門戶提供整個系統(tǒng)應用的相關(guān)用戶管理，服務器管理等各種相關(guān)管理功能 。 服務器部署示意圖： 各業(yè)務系統(tǒng)數(shù)據(jù)以及文本文件通過抽取加載到集中數(shù)據(jù)庫中，用戶請求通過網(wǎng)絡(luò)防火墻，提交到應用服務器負載環(huán)境，應用服務器訪問集中數(shù)據(jù)庫以及各業(yè)務系統(tǒng)數(shù)據(jù)。 下面我們對系統(tǒng)結(jié)構(gòu)的各個部分進行說明： 數(shù)據(jù)源 數(shù)據(jù)源包括了 XXXXX 集團根據(jù)綜合數(shù) BI 系統(tǒng)需求可能涉及現(xiàn)有業(yè)務系統(tǒng)中的數(shù)據(jù)資源。包括：財務系統(tǒng)、人力資源系統(tǒng)、基建系統(tǒng)、 OA 系統(tǒng)等，還涉及東風集團內(nèi)部和外部三產(chǎn)公司等多家單位的生產(chǎn)和經(jīng)營管理性數(shù)據(jù) 在數(shù)據(jù)源方面， XXXXX 集團有其自身獨特的特點，包括： 業(yè)務種類繁多，數(shù)據(jù)結(jié)構(gòu)復雜 數(shù)據(jù)源多，存在多個業(yè)務系統(tǒng)， 在 Cognos 技術(shù)方案中采用了 Cognos 企業(yè)級的 OLAP Server，能夠同時連接多數(shù)據(jù)源，按照業(yè)務的分析模型生成 OLAP 數(shù)據(jù)立方體，構(gòu)建高效率的數(shù)據(jù)立方體。如果系統(tǒng)的數(shù)據(jù)沒有經(jīng)過清洗，那么 Cognos 在 Cognos 多維立方體中可對來自多數(shù)據(jù)源的數(shù)據(jù)進行一定程度的清洗和整理，同時也可以使用 Cognos ETL 工具直接在數(shù)據(jù)庫層次對數(shù)據(jù)進行清洗，整合處理，形成企業(yè)數(shù)據(jù)倉庫。 Cognos 技術(shù)方 案在處理異構(gòu)數(shù)據(jù)源和海量規(guī)模數(shù)據(jù)方面有突出的優(yōu)勢，并具有強大的數(shù)據(jù)清洗轉(zhuǎn)換功能，能夠滿足 XXXXX 集團在數(shù)據(jù)源處理方面的特殊要求。 在 Cognos 技術(shù)方案中， OLAP Server 為 Cognos OLAP Modeling,他提供了一個十分直觀的 OLAP 模型設(shè)計界面，設(shè)計人員可以通過直觀的鼠標拖拽操作定義數(shù)據(jù)集市模型的維度、度量、層次等屬性，并立刻生成 Cube。 Cognos Cube 由于采用了先進的存儲技術(shù)，支持虛擬 Cube 技術(shù)，能夠?qū)?Cube 進行分區(qū)存儲。 Cognos 能將數(shù)據(jù)占用空間壓縮到源數(shù)據(jù)占用空間 的十分之一至十五分之一，同時能提供大用戶數(shù)大數(shù)據(jù)量下秒級響應。 在 Cognos 技術(shù)方案中，如果業(yè)務數(shù)據(jù)沒有整合，可選擇使用 Cognos ETL 工具為Cognos Data Manager， Cognos DataManager 提供了直觀的可視化設(shè)計界面，設(shè)計人員通過鼠標拖拽，屬性設(shè)置等操作就可以完成各種復雜的數(shù)據(jù)整合，清洗，加載等工作。同時Cognos DataManager 和 Cognos OLAP Modeling 以及 Cognos 的其他各個服務都使用統(tǒng)一的元數(shù)據(jù)模型。 Cognos DataManger 不僅是 一個全功能的 ETL 工具，還擁有強大的調(diào)度管理和流程控制功能，可以作為 Cognos 解決方案其他模塊的調(diào)度器和流程管理器。使系統(tǒng)的數(shù)據(jù)處理，發(fā)布等各個環(huán)節(jié)能夠形成自動的工作流。 Cognos 技術(shù)方案在數(shù)據(jù)源處理方面的優(yōu)勢 對大數(shù)據(jù)量的支持 由于 Cognos 技術(shù)方案中采用了企業(yè)級的 OLAP Server，能夠生成文件型的 Cube,同時Cognos Cube 支持虛擬 Cube 技術(shù)，可將 Cube 數(shù)據(jù)進行分區(qū)的存儲，能夠支持 TB 級的超大數(shù)據(jù)量。 降低了對數(shù)據(jù)源粒度整合的要求 由于 Cognos 技術(shù)方案中采用了企業(yè)級的 OLAP Server,能夠連接多數(shù)據(jù)源，可直接在 Cube中對數(shù)據(jù)進行粒度整合，同時結(jié)合數(shù)據(jù)庫中數(shù)據(jù)的整合，從而降低了對關(guān)系型數(shù)據(jù)源中數(shù)據(jù)的粒度整合的要求。也就是在數(shù)據(jù)庫中對數(shù)據(jù)進行輕度的整合之后， Cognos 可以直接在生成 Cube 的時候?qū)?shù)據(jù)進行粒度整合，不需要在數(shù)據(jù)庫中間大量的不同粒度的中間表，同時Cognos 可按主題生成多維立方體，從多維立方體中按照維度指標等的組合就可以生成各種報表，從而也不需要在數(shù)據(jù)庫中為用戶的報表需求生成結(jié)果表。這樣就大大降低了 IT 人員的維護工作量和難度。通常的 BI 工具，如 BO,等沒有 企業(yè)級的 OLAP Server,都需要在數(shù)據(jù)庫中對數(shù)據(jù)進行大量的粒度整合工作，如將用戶可能訪問的各種匯總組合的結(jié)果生成中間表存放在數(shù)據(jù)庫中，甚至需要按照用戶的報表要求，將報表結(jié)果直接整合好存放在數(shù)據(jù)庫中間表中，對數(shù)據(jù)粒度整合的要求高。同時導致數(shù)據(jù)庫中中間表數(shù)量急劇增加。由于數(shù)據(jù)庫生成匯總結(jié)果的方式采用的是 SQL 的方式，其效率也受到數(shù)據(jù)庫結(jié)構(gòu)的嚴重影響，也大大增加了 IT 人員的維護工作量和難度。 提高了系統(tǒng)整體訪問效率 在 Cognos 技術(shù)方案中數(shù)據(jù)源采用企業(yè)級 OLAP Server,和關(guān)系型數(shù)據(jù)庫相結(jié)合的方式， 一方面 Cognos OLAP Server 同時支持 MOLAP 和 ROLAP,通過 MOLAP，生成 Cube，能夠為前端的報表，查詢等各種應用提供高效的秒級訪問，同時通過 ROLAP 和關(guān)系型數(shù)據(jù)庫，能夠?qū)γ骷殧?shù)據(jù)進行查詢。 Cognos 的技術(shù)解決方案實際上是非常好地將 OLAP 的高效率的優(yōu)點和關(guān)系型數(shù)據(jù)庫對明細信息的存儲和查詢結(jié)合起來能夠確保整個系統(tǒng)的數(shù)據(jù)訪問的高效率。而像 BO 等產(chǎn)品本身沒有企業(yè)級的 OLAP Server,采用 ROLAP 的方式，該方式是將用戶的匯總請求提交到數(shù)據(jù)庫中，通過數(shù)據(jù)庫以 SQL 方式得到匯總信息， 而數(shù)據(jù)庫通過表關(guān)聯(lián)， Group,SUM 等操作得到結(jié)果。這樣使系統(tǒng)的整體效率非常低，難以支持大數(shù)據(jù)量和大用戶并發(fā)。如果 BO 等工具選擇連接第三方 OLAP Server，又存在集成性的問題，不同產(chǎn)品都具有各自的元數(shù)據(jù)，安全性控制，用戶管理，給應用帶來龐大的集成工作量。 集中數(shù) BI 系統(tǒng) 數(shù)據(jù)庫在整體解決方案為展現(xiàn)提供數(shù)據(jù)基礎(chǔ)，它是系統(tǒng)存儲、管理數(shù)據(jù)和信息的地方。數(shù)據(jù)倉庫系統(tǒng)由可分為以下幾個部分： 數(shù)據(jù)抽取、轉(zhuǎn)換和裝載（ ETL，即 Extract, Transform, Load）： ETL 負責將從業(yè)務系統(tǒng)或外部系統(tǒng)中獲得的數(shù)據(jù)，轉(zhuǎn)換和清洗成數(shù)據(jù)倉庫需要的格式和形態(tài)，并在規(guī)定的時間裝入到集中數(shù)據(jù)庫中去。通常我們把這幾個具體的步驟統(tǒng)稱為 ETL。 在 Cognos 解決方案中，此部分采用 Cognos ETL 工具 Cognos DataManager 來實現(xiàn)，Cognos DataManager 不僅是一個全功能的 ETL 工具，還擁有強大的調(diào)度管理和流程控制功能，可以作為 Cognos 解決方案其他模塊的調(diào)度器和流程管理器。由于Cognos DataManager 也提供數(shù)據(jù)清洗功能，因此 Cognos ETL 也等價 于 Cognos ETCL（ Extract, Transform, Clean,Load）。 同時，在數(shù)據(jù)源方面，目前的多數(shù)大數(shù)據(jù)量的集中數(shù) BI 系統(tǒng)中，抽?。?Extract）部分往往采用 ―推送 ‖，即 ―Push‖的方式，由數(shù)據(jù)庫監(jiān)視器或觸發(fā)器通知 Cognos DataManager 啟動數(shù)據(jù)抽取任務或其他任務。在這種情況下， Cognos DataManager 可以充當事件觸發(fā)的接收器和中轉(zhuǎn)器，在收到事件觸發(fā)時調(diào)度其他 Cognos 工具或外部過程實現(xiàn)特定功能。 從技術(shù)發(fā)展看，在 ETL 環(huán)節(jié)，數(shù)據(jù)抽取工具已經(jīng)得到廣泛的使 用，以應用編碼實現(xiàn)的數(shù)據(jù)抽取逐漸減少。對多種數(shù)據(jù)源的訪問，包括非關(guān)系型數(shù)據(jù)庫和大型主機，成為基本的技術(shù)指標。復雜的數(shù)據(jù)清洗、裝載作業(yè)的調(diào)度和管理也成為產(chǎn)品的基本組成部分。 集中數(shù)據(jù)庫： 集中數(shù)據(jù)庫是數(shù)據(jù)存儲核心。集中數(shù)據(jù)庫的關(guān)鍵技術(shù)難點在于數(shù)據(jù)量的龐大和查詢的復雜，有效的存儲與快速的查詢是一對矛盾，要解決這個問題，我們建議在集中數(shù)據(jù)庫的中存儲以下兩部分數(shù)據(jù)： 關(guān)系型數(shù)據(jù)：此部分著眼于存儲盡量詳細全面的（具體粒度取決于業(yè)務需求）、低冗余度的源系統(tǒng)數(shù)據(jù)，這一方面為本次項目的查詢、報表和多維分析提供數(shù)據(jù)，另一方面為后續(xù)項目的查詢分析及數(shù)據(jù)挖掘工作打下數(shù)據(jù)基礎(chǔ)。 多維模型數(shù)據(jù)：多維模型是一種不同于 OLTP 數(shù)據(jù)庫的、專為滿足多維分析需求而建立的數(shù)據(jù)結(jié)構(gòu)，由維表和事實表組成。此部分數(shù)據(jù)著眼于提供快速的分析查詢，并作為 OLAP應用的數(shù)據(jù)源。 在 Cognos 解決方案中，集中數(shù)據(jù)庫的存儲和管理可以采用包括Oracle ,DB2,Tera Data,Sybase IQ 等在內(nèi)的各種主 流數(shù) BI 系統(tǒng)。 數(shù)據(jù)歸整（ Data Refinement）： 數(shù)據(jù)歸整指數(shù)據(jù)從集中數(shù)據(jù)庫到數(shù)據(jù)集市的過程，它是集中數(shù) BI 系統(tǒng)內(nèi)部數(shù)據(jù)的處理和轉(zhuǎn)換的過程，主要的任務是制作數(shù)據(jù)集市模型，并進行數(shù)據(jù)結(jié)構(gòu)轉(zhuǎn)換、數(shù)據(jù)的匯總和數(shù)據(jù)立方體的生成。 在 Cognos 解決方案中，此部分操作由 ETL 工具 Cognos DataManager 具有強大的數(shù)據(jù)規(guī)整功能，同時它也可以通過調(diào)用數(shù)據(jù)庫中的各種規(guī)整函數(shù)來完成來完成。 數(shù)據(jù)采集 在 XXXXX 集團公司的綜合數(shù) BI 系統(tǒng)中涉及到數(shù)據(jù)包括了集團公司的各個應用系統(tǒng)，下屬產(chǎn)業(yè)公司的數(shù)據(jù)；以及 需要填報的數(shù)據(jù)。 在應用 Cognos DataManger 時主要有四種方案，其特點以及對源系統(tǒng)的要求如下表所示： 方案描述 特點 對源系統(tǒng)的要求 方案一 使用 ETCL 工具直接到源系統(tǒng)的數(shù)據(jù)庫中抽取數(shù)據(jù) 時間最長， ETCL 流程復雜，但不需要源系統(tǒng)導出數(shù)據(jù) 源系統(tǒng)在安全性上必須允許數(shù)據(jù)倉庫系統(tǒng)抽取數(shù)據(jù) 方案二 增量數(shù)據(jù) 源系統(tǒng)導出增量數(shù)據(jù)文件，臨時存放在 ODS，再通過 ETCL 工具導入數(shù)據(jù)倉庫中 ETCL 的數(shù)據(jù)量較少，系統(tǒng)消耗時間較短 源系統(tǒng)能夠?qū)С鲈隽繑?shù)據(jù)文件 全部數(shù)據(jù) 源系統(tǒng)導出全部數(shù)據(jù)文件，臨時存放在 ODS，再通過 ETCL 工具導入數(shù)據(jù)倉庫中 ETCL 的數(shù)據(jù)量較大，系統(tǒng)消耗時間較長 源系統(tǒng)能夠?qū)С鋈繑?shù)據(jù)文件 方案三 源系統(tǒng)根據(jù)數(shù)據(jù)倉庫的要求對數(shù)據(jù)進行轉(zhuǎn)換清洗后，數(shù)據(jù)倉庫直接對轉(zhuǎn)換清洗過的數(shù)據(jù)進行抽取 時間最短，但對源系統(tǒng)的要求較高，因此該方案很少使用 源系統(tǒng)能夠根據(jù)數(shù)據(jù)倉庫的要求轉(zhuǎn)換清洗數(shù)據(jù) 方案四 對于無法進行抽取的數(shù)據(jù)，要人工補錄 時間長短取決于補錄數(shù)據(jù)量大小 對于一些只有紙質(zhì)記錄的數(shù)據(jù)經(jīng)常會采用此方案 實際環(huán)境中根據(jù)業(yè)務系統(tǒng)情況，靈活選擇抽取方案。 對于集團公司的各個應用系統(tǒng)的數(shù)據(jù)進行采集時，可以采用 ETL 工具直接連接各個應用系統(tǒng)數(shù)據(jù)將數(shù)據(jù)抽取到集中數(shù)據(jù)庫中進行處理。 對于下屬產(chǎn)業(yè)公司的數(shù)據(jù)，由于涉及到實時數(shù)據(jù)抽取，可根據(jù)情況選擇如下方案： 方案一 將實時和歷史數(shù)據(jù)分開處理 周期性的將各下屬產(chǎn)業(yè)公司的歷史數(shù)據(jù)抽取到集中數(shù)據(jù)庫中，實時數(shù)據(jù)通過應用服務器的跨數(shù)據(jù)源訪問功能直接通過應用服務進行訪問。使用穿透鉆取技術(shù)從多維分析鉆取到實時應用數(shù)據(jù)庫，得到真正實時的數(shù)據(jù)，幫助用戶找到問題發(fā)生的根本原應。 方案一使用數(shù) 據(jù)同步工具 使用數(shù)據(jù)同步工具對數(shù)據(jù)庫進行實時同步 對于手工填報數(shù)據(jù)，建議采用 EXCEL 文件上傳填報或者基于頁面的填報界面填報。 Excel 文件填報：對于需要手工填報的數(shù)據(jù)，用戶從門戶下載填報模版，進行填報，然后在門戶上講 Excel 文件上傳到服務器上，通過 ETL 工具將數(shù)據(jù)抽取到集中數(shù)據(jù)庫中。 頁面填報，用戶通過在門戶上打開填報報表頁面進行填報，填報好之后，系統(tǒng)將用戶填報的數(shù)據(jù)生成數(shù)據(jù)文本，通過 ETL 工具導入數(shù)據(jù)庫中。 元數(shù)據(jù)模型 建議采用統(tǒng)一的元數(shù)據(jù)模型。在 Cognos 技術(shù)方案中采用 Cognos FrameWork Manager 作為統(tǒng)一的元數(shù)據(jù)模型設(shè)計和管理工具，開發(fā)人員通過圖形化的界面，就可以對多數(shù)據(jù)源進行描述，并且能夠同時描述 DB， MOLAP, ROLAP 等各種數(shù)據(jù)源。為應用提供統(tǒng)一一致的數(shù)據(jù)訪問。同時 Cognos FrameWork Manager 支持通用的 CWM 標準能夠和各種第三方的工具實現(xiàn)元數(shù)據(jù)交換?？芍苯邮褂玫谌焦ぞ呱傻脑獢?shù)據(jù)模型。 Cognos 技術(shù)方案在元數(shù)據(jù)方面的優(yōu)點 減小了開發(fā)工作量 減小了系統(tǒng)維護和修改工作量 提高了應用開發(fā)效率 具有良好的元數(shù)據(jù)的層狀擴展性 前端應用 Cognos 完善的功能能夠滿足 XXXXX 集團綜合數(shù) BI 系統(tǒng)的對 BI 應用的要求。 報表應用 對于 BI 報表應用， Cognos 技術(shù)方案中主要由 Cognos Report Studio 和 Query Studio 來實現(xiàn)。通過 Report Studio 可以制作各種固定格式的報表報告等，通過 Query Studio 用戶可以方便的進行自助式報表的制作。 Cognos 提供了一個完全基于 Web 方式的交互式數(shù)據(jù)查詢、報表定制和報表瀏覽界面，能夠?qū)崿F(xiàn)各種復雜的企業(yè)級報表，并提供定時運行、報表數(shù)據(jù)監(jiān)視預警、多渠道報表分發(fā)（如通過 Email）等功能。 Cognos Report Studio 還提供了強大的儀表盤，多媒體報表，地圖報表等各種報表報告功能。 Cognos 技術(shù)方案支持用戶直接在沒有插件，沒有 Applet 的純?yōu)g覽器界面中通過鼠標拖拽的方式進行報表的制作，同時報標志制作完成后，直接通過點擊鼠標，就能夠?qū)蟊磉M行發(fā)布，實現(xiàn)信息的共享。 Cognos 技術(shù)方案在報表系統(tǒng)應用方面的優(yōu)勢 多數(shù)據(jù)源支持 由于 Cognos 整個系統(tǒng)采用統(tǒng)一的元數(shù)據(jù)，能夠同時訪問 XXXXX 集團公司的各個數(shù)據(jù)源，所以用戶在進行報表制作的過程中不需要了解數(shù)據(jù)