【導(dǎo)讀】中國(guó)XXX服務(wù)股份有限公司第1頁(yè)

　　

【正文】 準(zhǔn)確性。經(jīng)過(guò)過(guò)濾處理后的處理才能保存到基礎(chǔ)數(shù)據(jù)庫(kù)中，至此數(shù)據(jù)倉(cāng)庫(kù)的直接來(lái)源數(shù)據(jù)處理完畢。 數(shù)據(jù)中心層次 數(shù)據(jù)中心將遵循數(shù)據(jù)倉(cāng)庫(kù)存儲(chǔ)模式的建模方式和設(shè)計(jì)方法來(lái)建立。 數(shù)據(jù)倉(cāng)庫(kù)是面向主題的、集成的、不可更新的 (穩(wěn)中國(guó) XXX 服務(wù)股份有限公司 第 15 頁(yè) 定性 )、隨時(shí)間不斷變化（不同時(shí)間）的數(shù)據(jù)集合，用以支持經(jīng)營(yíng)管理中的決策制定過(guò)程 。最終建立完成的數(shù)據(jù)中心具有以下的三個(gè)特點(diǎn)： 1．面向主題：所存放的 數(shù)據(jù)面向主題，與傳統(tǒng)數(shù)據(jù)庫(kù)面向應(yīng)用相對(duì)應(yīng)。主題是一個(gè)在較高層次上將數(shù)據(jù)歸類的標(biāo)準(zhǔn)，每一個(gè)主題對(duì)應(yīng)一個(gè)宏觀的分析領(lǐng)域 ； 2． 集成性 ：數(shù)據(jù)進(jìn)入 數(shù)據(jù) 中心 之前，必須經(jīng)過(guò)數(shù)據(jù)加工和集成，首先要統(tǒng)一原始數(shù)據(jù)中的矛盾之處，還要將原始數(shù)據(jù)結(jié)構(gòu)做一個(gè)從面向應(yīng)用向面向主題的轉(zhuǎn)變； 3． 穩(wěn)定性 ： 反映的是歷史數(shù)據(jù)，而不是日常事務(wù)處理產(chǎn)生的數(shù)據(jù)，數(shù)據(jù)經(jīng)加工和集成入庫(kù)后是極少或根本不修改的 。 數(shù)據(jù)中心的建立可以分為以下幾個(gè)步驟進(jìn)行： 一．確定主題： 主題是一個(gè)在較高層次上將數(shù)據(jù)歸類的標(biāo)準(zhǔn)，每一個(gè)主題對(duì)應(yīng)一個(gè)宏觀的分析領(lǐng)域 。首先必須要確定項(xiàng)目最終要處理的主題范圍，針對(duì)每個(gè)主題，確定該主題的名稱和含義、維度和指標(biāo)、事實(shí)表以及數(shù)據(jù)。 二．?dāng)?shù)據(jù)整理：根據(jù)確定的主題進(jìn)行數(shù)據(jù)整理工作 。具體分為以下幾個(gè)步驟： 基礎(chǔ)代碼的建立：對(duì)于該主題的數(shù)據(jù)所涉及到的所有基礎(chǔ)代碼進(jìn)行統(tǒng)一規(guī)范，建立一套統(tǒng)一標(biāo)準(zhǔn)的代碼體系。 數(shù)據(jù)粒度確定：數(shù)據(jù)粒度代表了數(shù)據(jù)的細(xì)節(jié)化程度，粒度越大 ,數(shù)據(jù)的匯總程度越高。粒度層次劃分適當(dāng)與否將直接影響到存儲(chǔ)的數(shù)據(jù)量以及數(shù)據(jù)所適合的查詢類型。綜合考慮OLAP Engine on Web LAP Engine on Web 中國(guó) XXX 服務(wù)股份有限公司 第 16 頁(yè) 數(shù)據(jù)庫(kù)的性能、數(shù)據(jù)量的大小以及各主題的查詢應(yīng)用的功能需求，來(lái)劃分粒度層次，確定時(shí)間頻率以及維度層次這兩個(gè)重要因素。 維度體系的建立：根據(jù)各主題所確定的維度層次，明確定義維度的名稱以及含義。 指標(biāo)體系的建立：確定各主題的指標(biāo)范圍，明確各 指標(biāo)的名稱和含義。 指標(biāo)計(jì)量單位體系的建立：統(tǒng)一各個(gè)指標(biāo)的計(jì)量單位，確定不同計(jì)量單位之間的轉(zhuǎn)換關(guān)系。 三．?dāng)?shù)據(jù)模型的建立： 參照于數(shù)據(jù)倉(cāng)庫(kù)的建模方法，通常大都采用星型模型（即包含一個(gè)存儲(chǔ)大批量數(shù)據(jù)的事實(shí)表和一系列的維表）或雪花模型（是星型模型的變種，區(qū)別在于某些維表將進(jìn)行規(guī)范化處理）。 四．元數(shù)據(jù)建立： 元數(shù)據(jù)是 關(guān)于數(shù)據(jù)的數(shù)據(jù) ，如在傳統(tǒng)數(shù)據(jù)庫(kù)中的數(shù)據(jù)字典就是一種元數(shù)據(jù)。在數(shù)據(jù)倉(cāng)庫(kù)環(huán)境下，主要有兩種元數(shù)據(jù)：第一種是為了從操作性環(huán)境向數(shù)據(jù)倉(cāng)庫(kù)轉(zhuǎn)化而建立的元數(shù)據(jù)，包含了所有源數(shù)據(jù)項(xiàng)名、屬性及其在數(shù)據(jù)倉(cāng)庫(kù)中的轉(zhuǎn)化 ；第二種元數(shù)據(jù)在數(shù)據(jù)倉(cāng)庫(kù)中是用來(lái)和終端用戶的多維商業(yè)模型 /前端工具之間建立映射，此種元數(shù)據(jù)稱之為 DSS 元數(shù)據(jù)，常用來(lái)開(kāi)發(fā)更先進(jìn)的決策支持工具。 元數(shù)據(jù)位于數(shù)據(jù)中心系統(tǒng)數(shù)據(jù)的上層，負(fù)責(zé)記錄系統(tǒng)中對(duì)象的位置。將 元數(shù)據(jù)存儲(chǔ) 起來(lái) ，不僅 可以作為系統(tǒng) 的文檔資料，供管理、維護(hù)人員使用，亦可供用戶查詢，使之更好地了解 系統(tǒng)的 結(jié)構(gòu)，提高 用戶 的使用水平。 中國(guó) XXX 服務(wù)股份有限公司 第 17 頁(yè) 五．?dāng)?shù)據(jù)整合（ ETL）：數(shù)據(jù)抽取（ Extract）、轉(zhuǎn)換（ Transform）、裝載（ Load）的過(guò)程。是構(gòu)建數(shù)據(jù)倉(cāng)庫(kù)的重要一環(huán)，將基礎(chǔ)數(shù)據(jù)庫(kù)中存儲(chǔ)的數(shù)據(jù)最終按照預(yù)先定義好的數(shù)據(jù) 倉(cāng)庫(kù)模型，將數(shù)據(jù)加載到數(shù)據(jù)倉(cāng)庫(kù)中去。 六． 數(shù)據(jù)的存儲(chǔ)和管理 數(shù)據(jù)倉(cāng)庫(kù)的組織管理方式?jīng)Q定了它有別于傳統(tǒng)數(shù)據(jù)庫(kù)的特性，同時(shí)也決定了其對(duì)外部數(shù)據(jù)表現(xiàn)形式。 數(shù)據(jù)倉(cāng)庫(kù)的存儲(chǔ)要保證數(shù)據(jù)的安全性、完整性、一致性，同時(shí)還要具有復(fù)雜的分析查詢的高效性。 數(shù)據(jù)倉(cāng)庫(kù) 的數(shù)據(jù)存儲(chǔ)有以下幾個(gè) 特點(diǎn) ： 1．實(shí)現(xiàn) 大量數(shù)據(jù)的存儲(chǔ)和管理。 數(shù)據(jù)中心所 涉及的數(shù)據(jù)量比傳統(tǒng)事務(wù)處理大得多， 并 且隨時(shí)間的推移而累積。 2． 并行處理 能力 。在數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)中，用戶訪問(wèn)系統(tǒng)的特點(diǎn)是龐大而稀疏，每一個(gè)查詢和統(tǒng)計(jì)都很復(fù)雜，但訪問(wèn)的頻率并不是很高。此時(shí)系統(tǒng)需要有能力將所有 的處理機(jī)調(diào)動(dòng)起來(lái)為這一個(gè)復(fù)雜的查詢請(qǐng)求服務(wù)，將該請(qǐng)求并行處理。 3． 針對(duì)決策支持查詢的優(yōu)化 。 在技術(shù)上，針對(duì)決策支持的優(yōu)化涉及數(shù)據(jù)庫(kù)系統(tǒng)的索引機(jī)制、查詢優(yōu)化器、連接策略、數(shù)據(jù)排序和采樣等諸多部分。 4． 支持多維分析的查詢模式 。 用戶在使用數(shù)據(jù)倉(cāng)庫(kù)時(shí)的訪問(wèn)方式與傳統(tǒng)的關(guān)系數(shù)據(jù)庫(kù)有很大的不同。對(duì)于數(shù)據(jù)倉(cāng)庫(kù)的訪問(wèn)往往不是簡(jiǎn)單的表和記錄的查詢，而是基于用戶業(yè)務(wù)的分析模式，即聯(lián)機(jī)分析。 中國(guó) XXX 服務(wù)股份有限公司 第 18 頁(yè) 數(shù)據(jù)應(yīng)用 數(shù)據(jù)中心系統(tǒng)建立完畢后，就可以根據(jù)業(yè)務(wù)需要開(kāi)發(fā)多種類型的應(yīng)用。如： 一 ． 建立數(shù)據(jù)集市 數(shù)據(jù)集市，或者叫做 小數(shù)據(jù)倉(cāng)庫(kù) 。如果 說(shuō)數(shù)據(jù)倉(cāng)庫(kù)是建立在企業(yè)級(jí)的數(shù)據(jù)模型之上的話。那么數(shù)據(jù)集市就是企業(yè)級(jí)數(shù)據(jù)倉(cāng)庫(kù)的一個(gè)子集，它主要面向部門級(jí)業(yè)務(wù)，并且只是面向某個(gè)特定的主題。數(shù)據(jù)集市可以在一定程度上緩解訪問(wèn)數(shù)據(jù)倉(cāng)庫(kù)的瓶頸。 二．查詢、報(bào)表分析功能 提供用戶完全自主的隨機(jī)查詢功能，可以按照用戶自己的需求查詢數(shù)據(jù)并以各種報(bào)表、圖形方式顯示。 采用多種分析手段，根據(jù)不同的需要，從各個(gè)角度來(lái)分析、觀察相同的數(shù)據(jù)。 三．?dāng)?shù)據(jù)挖掘 數(shù)據(jù)挖掘（ Data Mining）是數(shù)據(jù)分析的最高層次， 從大量的、不完全的、有噪聲的、模糊的、隨機(jī)的數(shù)據(jù)中，提取隱含在其中的、 人們事先不知道的、但又是潛在有用的信息和知識(shí)的過(guò)程。它不僅是面向特定數(shù)據(jù)庫(kù)的簡(jiǎn)單檢索查詢調(diào)用，而且要對(duì)這些數(shù)據(jù)進(jìn)行微觀、中觀乃至宏觀的統(tǒng)計(jì)、分析、綜合和推理，以指導(dǎo)實(shí)際問(wèn)題的求解，企圖發(fā)現(xiàn)事件間的相互關(guān)聯(lián)，甚至利用已有的數(shù)據(jù)對(duì)未來(lái)的活動(dòng)進(jìn)行預(yù)測(cè)。主要有關(guān)聯(lián)分析、聚類分析等方面的分析。 四．用戶界面設(shè)計(jì) 中國(guó) XXX 服務(wù)股份有限公司 第 19 頁(yè) 數(shù)據(jù)倉(cāng)庫(kù)的數(shù)據(jù)應(yīng)用可以給用戶提供兩種界面訪問(wèn)方式： 第一種是直接通過(guò) Client/Server 方式存取數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)數(shù)據(jù)的用戶，這些用戶包括管理員、開(kāi)發(fā)人員、研究人員、即席報(bào)表查詢用戶； 第二種用戶通過(guò) Inter/Intra 方式訪問(wèn)，訪問(wèn)內(nèi)容既可以是報(bào)表，也可以是多維分析，甚至是一些簡(jiǎn)單結(jié)果集，這部分用戶將會(huì)占最終使用者的大部分。 數(shù)據(jù)倉(cāng)庫(kù)的實(shí)施步驟 確定主題和指標(biāo)體系 具體分為以下幾個(gè)步驟： ? 基礎(chǔ)代碼的建立 ? 數(shù)據(jù)粒度確定 ? 維度體系的建立 ? 指標(biāo)體系的建立 ? 指標(biāo)計(jì)量單位體系的建立 ? 元數(shù)據(jù)的建立 數(shù)據(jù)倉(cāng)庫(kù)建模 設(shè)計(jì)數(shù)據(jù)倉(cāng)庫(kù)與設(shè)計(jì)聯(lián)機(jī)事務(wù)處理 (OLTP) 系統(tǒng)有很大的不同。數(shù)據(jù)倉(cāng)庫(kù) 的設(shè)計(jì) 目的是組織大量的穩(wěn)定數(shù)據(jù)以便于分析和檢索 ，實(shí)現(xiàn) 快速訪問(wèn)信息 ，便于 分析和創(chuàng)建報(bào)表 。維度建模用于數(shù)據(jù)倉(cāng)庫(kù)數(shù)據(jù)庫(kù)的設(shè)計(jì)中，目的 是 合理的 組織中國(guó) XXX 服務(wù)股份有限公司 第 20 頁(yè) 數(shù)據(jù) ， 提高在分析和匯總大量數(shù)據(jù)的查詢的效率。與使用實(shí)體關(guān)系建模設(shè)計(jì)的 OLTP 系統(tǒng)架構(gòu)相比，數(shù)據(jù)倉(cāng)庫(kù)架構(gòu) 存在很大的差異 而且 要 簡(jiǎn)單 許多 。 使用維度建模 數(shù)據(jù)倉(cāng)庫(kù)的 維度建模 需要 針對(duì)零散的業(yè)務(wù)進(jìn)程創(chuàng)建個(gè)別的模型 ，不需要復(fù)雜的模型 。例如， 可以針對(duì)外資企業(yè)類型可以創(chuàng)建為一個(gè)模型， 可以私營(yíng)企業(yè) 可以創(chuàng)建為另一個(gè)模型。每個(gè)模型捕獲事實(shí)數(shù)據(jù)表中的事實(shí)，以及那些事實(shí)在鏈接到事實(shí)數(shù)據(jù)表的維度表中的特性。由這些排列產(chǎn)生的架構(gòu)稱為星型架構(gòu)或雪花型架構(gòu)， 這些在 數(shù)據(jù)倉(cāng)庫(kù)設(shè)計(jì)中很有效。 維度建模將信息組織到結(jié)構(gòu)中，這些結(jié)構(gòu) 需 要 對(duì)應(yīng)于分析者希望對(duì)數(shù)據(jù)倉(cāng)庫(kù)數(shù)據(jù)使用的查詢方法。例如， 分析 2020年第三季度 上海地區(qū)生產(chǎn)情況。 表示使用 二 個(gè)維度（時(shí)間 、地理）指定要匯總的信息。 數(shù)據(jù)倉(cāng)庫(kù)模型 根據(jù)煙草數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)的需求，在數(shù)據(jù)倉(cāng)庫(kù)模型的選擇上可以采用星型和雪花型兩種架構(gòu)，解決不同的分析的要求。 在星型架構(gòu)中，每個(gè)維度表都有一個(gè)主鍵 直接 鏈接到事實(shí)數(shù)據(jù)表中。在雪花型架構(gòu)中，一個(gè)維度表分解為多個(gè)表，每個(gè)表都有聯(lián)接到主維度表的相關(guān)性維度表。在 我們會(huì)在主要的 設(shè)計(jì)中， 選擇 星型架構(gòu)，因?yàn)樾切图軜?gòu)包含的用于信息檢索的聯(lián)接更少，并且更容易管理。 中國(guó) XXX 服務(wù)股份有限公司 第 21 頁(yè) 事實(shí)數(shù)據(jù)表 每個(gè)數(shù)據(jù)倉(cāng)庫(kù)或數(shù)據(jù)集市都包括一個(gè)或多個(gè)事實(shí)數(shù)據(jù)表。星型架構(gòu)或雪花型架構(gòu)的中心是一個(gè)事實(shí)數(shù)據(jù)表，用以捕獲衡量單位業(yè)務(wù)運(yùn)作的數(shù)據(jù)。 聚合表 聚合表是包含事實(shí)數(shù)據(jù)表的匯總信息的表。當(dāng) SQL 作為查詢機(jī)制使用時(shí)，這些表可用于提高查詢性能。 維度表 維度表包含描述事實(shí)數(shù)據(jù)表中的事實(shí)記錄的特性。有些特性提供描述性信息；有些特性則用于指定如何匯總事實(shí)數(shù)據(jù)表數(shù)據(jù)以便為分析者提供有用的信息。維度表包含幫助匯總數(shù)據(jù)的特性的層次結(jié)構(gòu)。 數(shù)據(jù)抽取 外匯反洗錢 數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)的數(shù)據(jù)來(lái)自于數(shù)據(jù)中心的 采集的大額可疑外匯交易速據(jù) ，因此在選 擇抽取方案是，需要考慮如下一些問(wèn)題：（ 1）數(shù)據(jù)源類型、（ 2）數(shù)據(jù)量、（ 3）抽取頻率。 將要用于數(shù)據(jù)倉(cāng)庫(kù)的數(shù)據(jù)必須從包含數(shù)據(jù)源的可操作系統(tǒng)中抽取出來(lái)。數(shù)據(jù)最初在數(shù)據(jù)倉(cāng)庫(kù)創(chuàng)建過(guò)程中抽取，并且在更新數(shù)據(jù)倉(cāng)庫(kù)的過(guò)程中不斷地定期抽取。如果源數(shù)據(jù)駐留在單個(gè)關(guān)系數(shù)據(jù)庫(kù)中，則數(shù)據(jù)抽取是簡(jiǎn)單的操作，但如果源數(shù)據(jù)駐留在多個(gè)異類可操作系統(tǒng)中，則數(shù)據(jù)抽取是非常復(fù)雜的操作。 中國(guó) XXX 服務(wù)股份有限公司 第 22 頁(yè) 數(shù)據(jù)倉(cāng)庫(kù)展現(xiàn) 根據(jù) 外匯反洗錢 數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)需求，系統(tǒng)需要滿足領(lǐng)導(dǎo)、專業(yè)統(tǒng)計(jì)分析部門和普通用戶等不同的分析和查詢要求。因此在報(bào)表樣式設(shè)計(jì)和報(bào)表展現(xiàn)和使用方面，采用不 同的技術(shù)和形式。 ResourceOne BI 提供實(shí)現(xiàn)從報(bào)表制作、報(bào)表分發(fā)到用戶使用的完整步驟的功能， ResourceOne BI 完全基于 WEB開(kāi)發(fā)， 外匯反洗錢系統(tǒng) 的主要功能 —查詢、報(bào)表生成和分析完全集成到 WEB 應(yīng)用中，用戶只需通過(guò)瀏覽器進(jìn)行操作，不用在前后臺(tái)工具之間切換，在瀏覽器內(nèi)完成查詢 —— 分析—— 報(bào)表生成全過(guò)程的工作。 報(bào)表設(shè)計(jì)報(bào)表分發(fā)報(bào)表查看多維分析數(shù)據(jù)庫(kù)或數(shù)據(jù)倉(cāng)庫(kù) Resource BI 功能結(jié)構(gòu) 報(bào)表設(shè)計(jì)工具 采用 ResourceOne BI 靈活的報(bào)表設(shè)計(jì)工具，用戶可以方便的自定義報(bào)表格式。 用戶只需要靈活的拖拽和選擇，即可制作復(fù)雜的展現(xiàn)視圖。 可以制作多種樣式的報(bào)表。系統(tǒng)將提供報(bào)表、圖表、主從報(bào)表、交叉表、多維立方體等多種類型的報(bào)表樣式和報(bào)表風(fēng)格，無(wú)論 2D 方式還是 3D 方式，供用戶選擇使用。 中國(guó) XXX 服務(wù)股份有限公司 第 23 頁(yè) 系統(tǒng)提供方便的報(bào)表定制功能，用戶可以定制各種各樣的煙草方面的報(bào)表格式，同時(shí)用戶可以對(duì)定制的報(bào)表格式進(jìn)行存儲(chǔ)、編輯和刪除等操作。 另外系統(tǒng)可以根據(jù)報(bào)表模板定時(shí)（每天、每周、每月等）產(chǎn)生客戶所需的報(bào)表。這樣在系統(tǒng)實(shí)施時(shí)，實(shí)施人員可以根據(jù) 外匯反洗錢系統(tǒng)的 需要定制每月（季） 分析報(bào)告和其他報(bào)告，提供具有文字、表格、圖形并存的報(bào)表。 報(bào)表分發(fā)和查看 ResourceOne BI 提供完善的用戶權(quán)限管理機(jī)制，確保授權(quán)的用戶以授權(quán)的方式訪問(wèn)授權(quán)的信息。同時(shí) BI 系統(tǒng)提供基于權(quán)限的報(bào)表分發(fā)功能，用戶可以將制作好的報(bào)表通過(guò)選擇用戶組或者權(quán)限，發(fā)送給相應(yīng)查看報(bào)表人員。例如，領(lǐng)導(dǎo)的秘書可以將制作好的報(bào)表發(fā)送到領(lǐng)導(dǎo)的辦公界面上，這樣領(lǐng)導(dǎo)可以在辦公界面上使用報(bào)表進(jìn)行分析。 ResourceOne 基于 Web 的結(jié)構(gòu)，可以實(shí)現(xiàn)滿足國(guó)家局和地方辦公的需要，同時(shí)全部分析報(bào)表可以生成 Excel 文 檔，容易與煙草的辦公系統(tǒng)結(jié)合。 中國(guó) XXX 服務(wù)股份有限公司 第 24 頁(yè) 在線多維分析 ResourceOne BI 分析工具基于數(shù)據(jù)倉(cāng)庫(kù)的模型，具體實(shí)現(xiàn)在線分析功能，通過(guò)多角度分析問(wèn)題。包括鉆取、旋轉(zhuǎn)和切片（切塊）和計(jì)算等功能。系統(tǒng)可以使用旋轉(zhuǎn)和切片生成各種報(bào)表（主從表、交叉表、折疊報(bào)表等）和圖形（直方圖、面積圖、離散圖、曲線圖等），報(bào)表和圖形之間可以任意轉(zhuǎn)換。 鉆?。簭?