【導(dǎo)讀】第五章方案的特點(diǎn)、優(yōu)勢。

　　

【正文】 表系統(tǒng)的客戶化功能，風(fēng)險(xiǎn)指標(biāo)系統(tǒng)的報(bào)表報(bào)告應(yīng)用，多維分析應(yīng)用，績效管理應(yīng)用，以及風(fēng)險(xiǎn)指標(biāo)相關(guān)的 客戶化功能。門戶提供整個(gè)系統(tǒng)應(yīng)用的相關(guān)用戶管理，服務(wù)器管理等各種相關(guān)管理功能 。 服務(wù)器部署示意圖： 各業(yè)務(wù)系統(tǒng)數(shù)據(jù)以及文本文件通過抽取加載到集中數(shù)據(jù)庫中，用戶請(qǐng)求通過網(wǎng)絡(luò)防火墻，提交到應(yīng)用服務(wù)器負(fù)載環(huán)境，應(yīng)用服務(wù)器訪問集中數(shù)據(jù)庫以及各業(yè)務(wù)系統(tǒng)數(shù)據(jù)。 下面我們對(duì)系統(tǒng)結(jié)構(gòu)的各個(gè)部分進(jìn)行說明： 數(shù)據(jù)源 數(shù)據(jù)源包括了 XXXXX 集團(tuán)根據(jù)綜合數(shù) BI 系統(tǒng)需求可能涉及現(xiàn)有業(yè)務(wù)系統(tǒng)中的數(shù)據(jù)資源。包括：財(cái)務(wù)系統(tǒng)、人力資源系統(tǒng)、基建系統(tǒng)、 OA 系統(tǒng)等，還涉及東風(fēng)集團(tuán)內(nèi)部和外部三產(chǎn)公司等多家單位的生產(chǎn)和經(jīng)營管理性數(shù)據(jù) 在數(shù)據(jù)源方面， XXXXX 集團(tuán)有其自身獨(dú)特的特點(diǎn)，包括： 業(yè)務(wù)種類繁多，數(shù)據(jù)結(jié)構(gòu)復(fù)雜 數(shù)據(jù)源多，存在多個(gè)業(yè)務(wù)系統(tǒng)， 在 Cognos 技術(shù)方案中采用了 Cognos 企業(yè)級(jí)的 OLAP Server，能夠同時(shí)連接多數(shù)據(jù)源，按照業(yè)務(wù)的分析模型生成 OLAP 數(shù)據(jù)立方體，構(gòu)建高效率的數(shù)據(jù)立方體。如果系統(tǒng)的數(shù)據(jù)沒有經(jīng)過清洗，那么 Cognos 在 Cognos 多維立方體中可對(duì)來自多數(shù)據(jù)源的數(shù)據(jù)進(jìn)行一定程度的清洗和整理，同時(shí)也可以使用 Cognos ETL 工具直接在數(shù)據(jù)庫層次對(duì)數(shù)據(jù)進(jìn)行清洗，整合處理，形成企業(yè)數(shù)據(jù)倉庫。 Cognos 技術(shù)方 案在處理異構(gòu)數(shù)據(jù)源和海量規(guī)模數(shù)據(jù)方面有突出的優(yōu)勢，并具有強(qiáng)大的數(shù)據(jù)清洗轉(zhuǎn)換功能，能夠滿足 XXXXX 集團(tuán)在數(shù)據(jù)源處理方面的特殊要求。 在 Cognos 技術(shù)方案中， OLAP Server 為 Cognos OLAP Modeling,他提供了一個(gè)十分直觀的 OLAP 模型設(shè)計(jì)界面，設(shè)計(jì)人員可以通過直觀的鼠標(biāo)拖拽操作定義數(shù)據(jù)集市模型的維度、度量、層次等屬性，并立刻生成 Cube。 Cognos Cube 由于采用了先進(jìn)的存儲(chǔ)技術(shù)，支持虛擬 Cube 技術(shù)，能夠?qū)?Cube 進(jìn)行分區(qū)存儲(chǔ)。 Cognos 能將數(shù)據(jù)占用空間壓縮到源數(shù)據(jù)占用空間 的十分之一至十五分之一，同時(shí)能提供大用戶數(shù)大數(shù)據(jù)量下秒級(jí)響應(yīng)。 在 Cognos 技術(shù)方案中，如果業(yè)務(wù)數(shù)據(jù)沒有整合，可選擇使用 Cognos ETL 工具為Cognos Data Manager， Cognos DataManager 提供了直觀的可視化設(shè)計(jì)界面，設(shè)計(jì)人員通過鼠標(biāo)拖拽，屬性設(shè)置等操作就可以完成各種復(fù)雜的數(shù)據(jù)整合，清洗，加載等工作。同時(shí)Cognos DataManager 和 Cognos OLAP Modeling 以及 Cognos 的其他各個(gè)服務(wù)都使用統(tǒng)一的元數(shù)據(jù)模型。 Cognos DataManger 不僅是 一個(gè)全功能的 ETL 工具，還擁有強(qiáng)大的調(diào)度管理和流程控制功能，可以作為 Cognos 解決方案其他模塊的調(diào)度器和流程管理器。使系統(tǒng)的數(shù)據(jù)處理，發(fā)布等各個(gè)環(huán)節(jié)能夠形成自動(dòng)的工作流。 Cognos 技術(shù)方案在數(shù)據(jù)源處理方面的優(yōu)勢 對(duì)大數(shù)據(jù)量的支持 由于 Cognos 技術(shù)方案中采用了企業(yè)級(jí)的 OLAP Server，能夠生成文件型的 Cube,同時(shí)Cognos Cube 支持虛擬 Cube 技術(shù)，可將 Cube 數(shù)據(jù)進(jìn)行分區(qū)的存儲(chǔ)，能夠支持 TB 級(jí)的超大數(shù)據(jù)量。 降低了對(duì)數(shù)據(jù)源粒度整合的要求 由于 Cognos 技術(shù)方案中采用了企業(yè)級(jí)的 OLAP Server,能夠連接多數(shù)據(jù)源，可直接在 Cube中對(duì)數(shù)據(jù)進(jìn)行粒度整合，同時(shí)結(jié)合數(shù)據(jù)庫中數(shù)據(jù)的整合，從而降低了對(duì)關(guān)系型數(shù)據(jù)源中數(shù)據(jù)的粒度整合的要求。也就是在數(shù)據(jù)庫中對(duì)數(shù)據(jù)進(jìn)行輕度的整合之后， Cognos 可以直接在生成 Cube 的時(shí)候?qū)?shù)據(jù)進(jìn)行粒度整合，不需要在數(shù)據(jù)庫中間大量的不同粒度的中間表，同時(shí)Cognos 可按主題生成多維立方體，從多維立方體中按照維度指標(biāo)等的組合就可以生成各種報(bào)表，從而也不需要在數(shù)據(jù)庫中為用戶的報(bào)表需求生成結(jié)果表。這樣就大大降低了 IT 人員的維護(hù)工作量和難度。通常的 BI 工具，如 BO,等沒有 企業(yè)級(jí)的 OLAP Server,都需要在數(shù)據(jù)庫中對(duì)數(shù)據(jù)進(jìn)行大量的粒度整合工作，如將用戶可能訪問的各種匯總組合的結(jié)果生成中間表存放在數(shù)據(jù)庫中，甚至需要按照用戶的報(bào)表要求，將報(bào)表結(jié)果直接整合好存放在數(shù)據(jù)庫中間表中，對(duì)數(shù)據(jù)粒度整合的要求高。同時(shí)導(dǎo)致數(shù)據(jù)庫中中間表數(shù)量急劇增加。由于數(shù)據(jù)庫生成匯總結(jié)果的方式采用的是 SQL 的方式，其效率也受到數(shù)據(jù)庫結(jié)構(gòu)的嚴(yán)重影響，也大大增加了 IT 人員的維護(hù)工作量和難度。 提高了系統(tǒng)整體訪問效率 在 Cognos 技術(shù)方案中數(shù)據(jù)源采用企業(yè)級(jí) OLAP Server,和關(guān)系型數(shù)據(jù)庫相結(jié)合的方式， 一方面 Cognos OLAP Server 同時(shí)支持 MOLAP 和 ROLAP,通過 MOLAP，生成 Cube，能夠?yàn)榍岸说膱?bào)表，查詢等各種應(yīng)用提供高效的秒級(jí)訪問，同時(shí)通過 ROLAP 和關(guān)系型數(shù)據(jù)庫，能夠?qū)γ骷?xì)數(shù)據(jù)進(jìn)行查詢。 Cognos 的技術(shù)解決方案實(shí)際上是非常好地將 OLAP 的高效率的優(yōu)點(diǎn)和關(guān)系型數(shù)據(jù)庫對(duì)明細(xì)信息的存儲(chǔ)和查詢結(jié)合起來能夠確保整個(gè)系統(tǒng)的數(shù)據(jù)訪問的高效率。而像 BO 等產(chǎn)品本身沒有企業(yè)級(jí)的 OLAP Server,采用 ROLAP 的方式，該方式是將用戶的匯總請(qǐng)求提交到數(shù)據(jù)庫中，通過數(shù)據(jù)庫以 SQL 方式得到匯總信息， 而數(shù)據(jù)庫通過表關(guān)聯(lián)， Group,SUM 等操作得到結(jié)果。這樣使系統(tǒng)的整體效率非常低，難以支持大數(shù)據(jù)量和大用戶并發(fā)。如果 BO 等工具選擇連接第三方 OLAP Server，又存在集成性的問題，不同產(chǎn)品都具有各自的元數(shù)據(jù)，安全性控制，用戶管理，給應(yīng)用帶來龐大的集成工作量。 集中數(shù) BI 系統(tǒng) 數(shù)據(jù)庫在整體解決方案為展現(xiàn)提供數(shù)據(jù)基礎(chǔ)，它是系統(tǒng)存儲(chǔ)、管理數(shù)據(jù)和信息的地方。數(shù)據(jù)倉庫系統(tǒng)由可分為以下幾個(gè)部分： 數(shù)據(jù)抽取、轉(zhuǎn)換和裝載（ ETL，即 Extract, Transform, Load）： ETL 負(fù)責(zé)將從業(yè)務(wù)系統(tǒng)或外部系統(tǒng)中獲得的數(shù)據(jù)，轉(zhuǎn)換和清洗成數(shù)據(jù)倉庫需要的格式和形態(tài)，并在規(guī)定的時(shí)間裝入到集中數(shù)據(jù)庫中去。通常我們把這幾個(gè)具體的步驟統(tǒng)稱為 ETL。 在 Cognos 解決方案中，此部分采用 Cognos ETL 工具 Cognos DataManager 來實(shí)現(xiàn)，Cognos DataManager 不僅是一個(gè)全功能的 ETL 工具，還擁有強(qiáng)大的調(diào)度管理和流程控制功能，可以作為 Cognos 解決方案其他模塊的調(diào)度器和流程管理器。由于Cognos DataManager 也提供數(shù)據(jù)清洗功能，因此 Cognos ETL 也等價(jià) 于 Cognos ETCL（ Extract, Transform, Clean,Load）。 同時(shí)，在數(shù)據(jù)源方面，目前的多數(shù)大數(shù)據(jù)量的集中數(shù) BI 系統(tǒng)中，抽?。?Extract）部分往往采用 ―推送 ‖，即 ―Push‖的方式，由數(shù)據(jù)庫監(jiān)視器或觸發(fā)器通知 Cognos DataManager 啟動(dòng)數(shù)據(jù)抽取任務(wù)或其他任務(wù)。在這種情況下， Cognos DataManager 可以充當(dāng)事件觸發(fā)的接收器和中轉(zhuǎn)器，在收到事件觸發(fā)時(shí)調(diào)度其他 Cognos 工具或外部過程實(shí)現(xiàn)特定功能。 從技術(shù)發(fā)展看，在 ETL 環(huán)節(jié)，數(shù)據(jù)抽取工具已經(jīng)得到廣泛的使 用，以應(yīng)用編碼實(shí)現(xiàn)的數(shù)據(jù)抽取逐漸減少。對(duì)多種數(shù)據(jù)源的訪問，包括非關(guān)系型數(shù)據(jù)庫和大型主機(jī)，成為基本的技術(shù)指標(biāo)。復(fù)雜的數(shù)據(jù)清洗、裝載作業(yè)的調(diào)度和管理也成為產(chǎn)品的基本組成部分。 集中數(shù)據(jù)庫： 集中數(shù)據(jù)庫是數(shù)據(jù)存儲(chǔ)核心。集中數(shù)據(jù)庫的關(guān)鍵技術(shù)難點(diǎn)在于數(shù)據(jù)量的龐大和查詢的復(fù)雜，有效的存儲(chǔ)與快速的查詢是一對(duì)矛盾，要解決這個(gè)問題，我們建議在集中數(shù)據(jù)庫的中存儲(chǔ)以下兩部分?jǐn)?shù)據(jù)： 關(guān)系型數(shù)據(jù)：此部分著眼于存儲(chǔ)盡量詳細(xì)全面的（具體粒度取決于業(yè)務(wù)需求）、低冗余度的源系統(tǒng)數(shù)據(jù)，這一方面為本次項(xiàng)目的查詢、報(bào)表和多維分析提供數(shù)據(jù)，另一方面為后續(xù)項(xiàng)目的查詢分析及數(shù)據(jù)挖掘工作打下數(shù)據(jù)基礎(chǔ)。 多維模型數(shù)據(jù)：多維模型是一種不同于 OLTP 數(shù)據(jù)庫的、專為滿足多維分析需求而建立的數(shù)據(jù)結(jié)構(gòu)，由維表和事實(shí)表組成。此部分?jǐn)?shù)據(jù)著眼于提供快速的分析查詢，并作為 OLAP應(yīng)用的數(shù)據(jù)源。 在 Cognos 解決方案中，集中數(shù)據(jù)庫的存儲(chǔ)和管理可以采用包括Oracle ,DB2,Tera Data,Sybase IQ 等在內(nèi)的各種主 流數(shù) BI 系統(tǒng)。 數(shù)據(jù)歸整（ Data Refinement）： 數(shù)據(jù)歸整指數(shù)據(jù)從集中數(shù)據(jù)庫到數(shù)據(jù)集市的過程，它是集中數(shù) BI 系統(tǒng)內(nèi)部數(shù)據(jù)的處理和轉(zhuǎn)換的過程，主要的任務(wù)是制作數(shù)據(jù)集市模型，并進(jìn)行數(shù)據(jù)結(jié)構(gòu)轉(zhuǎn)換、數(shù)據(jù)的匯總和數(shù)據(jù)立方體的生成。 在 Cognos 解決方案中，此部分操作由 ETL 工具 Cognos DataManager 具有強(qiáng)大的數(shù)據(jù)規(guī)整功能，同時(shí)它也可以通過調(diào)用數(shù)據(jù)庫中的各種規(guī)整函數(shù)來完成來完成。 數(shù)據(jù)采集 在 XXXXX 集團(tuán)公司的綜合數(shù) BI 系統(tǒng)中涉及到數(shù)據(jù)包括了集團(tuán)公司的各個(gè)應(yīng)用系統(tǒng)，下屬產(chǎn)業(yè)公司的數(shù)據(jù)；以及 需要填報(bào)的數(shù)據(jù)。 在應(yīng)用 Cognos DataManger 時(shí)主要有四種方案，其特點(diǎn)以及對(duì)源系統(tǒng)的要求如下表所示： 方案描述 特點(diǎn) 對(duì)源系統(tǒng)的要求 方案一 使用 ETCL 工具直接到源系統(tǒng)的數(shù)據(jù)庫中抽取數(shù)據(jù) 時(shí)間最長， ETCL 流程復(fù)雜，但不需要源系統(tǒng)導(dǎo)出數(shù)據(jù) 源系統(tǒng)在安全性上必須允許數(shù)據(jù)倉庫系統(tǒng)抽取數(shù)據(jù) 方案二 增量數(shù)據(jù) 源系統(tǒng)導(dǎo)出增量數(shù)據(jù)文件，臨時(shí)存放在 ODS，再通過 ETCL 工具導(dǎo)入數(shù)據(jù)倉庫中 ETCL 的數(shù)據(jù)量較少，系統(tǒng)消耗時(shí)間較短 源系統(tǒng)能夠?qū)С鲈隽繑?shù)據(jù)文件 全部數(shù)據(jù) 源系統(tǒng)導(dǎo)出全部數(shù)據(jù)文件，臨時(shí)存放在 ODS，再通過 ETCL 工具導(dǎo)入數(shù)據(jù)倉庫中 ETCL 的數(shù)據(jù)量較大，系統(tǒng)消耗時(shí)間較長 源系統(tǒng)能夠?qū)С鋈繑?shù)據(jù)文件 方案三 源系統(tǒng)根據(jù)數(shù)據(jù)倉庫的要求對(duì)數(shù)據(jù)進(jìn)行轉(zhuǎn)換清洗后，數(shù)據(jù)倉庫直接對(duì)轉(zhuǎn)換清洗過的數(shù)據(jù)進(jìn)行抽取 時(shí)間最短，但對(duì)源系統(tǒng)的要求較高，因此該方案很少使用 源系統(tǒng)能夠根據(jù)數(shù)據(jù)倉庫的要求轉(zhuǎn)換清洗數(shù)據(jù) 方案四 對(duì)于無法進(jìn)行抽取的數(shù)據(jù)，要人工補(bǔ)錄 時(shí)間長短取決于補(bǔ)錄數(shù)據(jù)量大小 對(duì)于一些只有紙質(zhì)記錄的數(shù)據(jù)經(jīng)常會(huì)采用此方案 實(shí)際環(huán)境中根據(jù)業(yè)務(wù)系統(tǒng)情況，靈活選擇抽取方案。 對(duì)于集團(tuán)公司的各個(gè)應(yīng)用系統(tǒng)的數(shù)據(jù)進(jìn)行采集時(shí)，可以采用 ETL 工具直接連接各個(gè)應(yīng)用系統(tǒng)數(shù)據(jù)將數(shù)據(jù)抽取到集中數(shù)據(jù)庫中進(jìn)行處理。 對(duì)于下屬產(chǎn)業(yè)公司的數(shù)據(jù)，由于涉及到實(shí)時(shí)數(shù)據(jù)抽取，可根據(jù)情況選擇如下方案： 方案一 將實(shí)時(shí)和歷史數(shù)據(jù)分開處理 周期性的將各下屬產(chǎn)業(yè)公司的歷史數(shù)據(jù)抽取到集中數(shù)據(jù)庫中，實(shí)時(shí)數(shù)據(jù)通過應(yīng)用服務(wù)器的跨數(shù)據(jù)源訪問功能直接通過應(yīng)用服務(wù)進(jìn)行訪問。使用穿透鉆取技術(shù)從多維分析鉆取到實(shí)時(shí)應(yīng)用數(shù)據(jù)庫，得到真正實(shí)時(shí)的數(shù)據(jù)，幫助用戶找到問題發(fā)生的根本原應(yīng)。 方案一使用數(shù) 據(jù)同步工具 使用數(shù)據(jù)同步工具對(duì)數(shù)據(jù)庫進(jìn)行實(shí)時(shí)同步 對(duì)于手工填報(bào)數(shù)據(jù)，建議采用 EXCEL 文件上傳填報(bào)或者基于頁面的填報(bào)界面填報(bào)。 Excel 文件填報(bào)：對(duì)于需要手工填報(bào)的數(shù)據(jù)，用戶從門戶下載填報(bào)模版，進(jìn)行填報(bào)，然后在門戶上講 Excel 文件上傳到服務(wù)器上，通過 ETL 工具將數(shù)據(jù)抽取到集中數(shù)據(jù)庫中。 頁面填報(bào)，用戶通過在門戶上打開填報(bào)報(bào)表頁面進(jìn)行填報(bào)，填報(bào)好之后，系統(tǒng)將用戶填報(bào)的數(shù)據(jù)生成數(shù)據(jù)文本，通過 ETL 工具導(dǎo)入數(shù)據(jù)庫中。 元數(shù)據(jù)模型 建議采用統(tǒng)一的元數(shù)據(jù)模型。在 Cognos 技術(shù)方案中采用 Cognos FrameWork Manager 作為統(tǒng)一的元數(shù)據(jù)模型設(shè)計(jì)和管理工具，開發(fā)人員通過圖形化的界面，就可以對(duì)多數(shù)據(jù)源進(jìn)行描述，并且能夠同時(shí)描述 DB， MOLAP, ROLAP 等各種數(shù)據(jù)源。為應(yīng)用提供統(tǒng)一一致的數(shù)據(jù)訪問。同時(shí) Cognos FrameWork Manager 支持通用的 CWM 標(biāo)準(zhǔn)能夠和各種第三方的工具實(shí)現(xiàn)元數(shù)據(jù)交換。可直接使用第三方工具生成的元數(shù)據(jù)模型。 Cognos 技術(shù)方案在元數(shù)據(jù)方面的優(yōu)點(diǎn) 減小了開發(fā)工作量 減小了系統(tǒng)維護(hù)和修改工作量 提高了應(yīng)用開發(fā)效率 具有良好的元數(shù)據(jù)的層狀擴(kuò)展性 前端應(yīng)用 Cognos 完善的功能能夠滿足 XXXXX 集團(tuán)綜合數(shù) BI 系統(tǒng)的對(duì) BI 應(yīng)用的要求。 報(bào)表應(yīng)用 對(duì)于 BI 報(bào)表應(yīng)用， Cognos 技術(shù)方案中主要由 Cognos Report Studio 和 Query Studio 來實(shí)現(xiàn)。通過 Report Studio 可以制作各種固定格式的報(bào)表報(bào)告等，通過 Query Studio 用戶可以方便的進(jìn)行自助式報(bào)表的制作。 Cognos 提供了一個(gè)完全基于 Web 方式的交互式數(shù)據(jù)查詢、報(bào)表定制和報(bào)表瀏覽界面，能夠?qū)崿F(xiàn)各種復(fù)雜的企業(yè)級(jí)報(bào)表，并提供定時(shí)運(yùn)行、報(bào)表數(shù)據(jù)監(jiān)視預(yù)警、多渠道報(bào)表分發(fā)（如通過 Email）等功能。 Cognos Report Studio 還提供了強(qiáng)大的儀表盤，多媒體報(bào)表，地圖報(bào)表等各種報(bào)表報(bào)告功能。 Cognos 技術(shù)方案支持用戶直接在沒有插件，沒有 Applet 的純?yōu)g覽器界面中通過鼠標(biāo)拖拽的方式進(jìn)行報(bào)表的制作，同時(shí)報(bào)標(biāo)志制作完成后，直接通過點(diǎn)擊鼠標(biāo)，就能夠?qū)?bào)表進(jìn)行發(fā)布，實(shí)現(xiàn)信息的共享。 Cognos 技術(shù)方案在報(bào)表系統(tǒng)應(yīng)用方面的優(yōu)勢 多數(shù)據(jù)源支持 由于 Cognos 整個(gè)系統(tǒng)采用統(tǒng)一的元數(shù)據(jù)，能夠同時(shí)訪問 XXXXX 集團(tuán)公司的各個(gè)數(shù)據(jù)源，所以用戶在進(jìn)行報(bào)表制作的過程中不需要了解數(shù)據(jù)