我國(guó)民族證券數(shù)據(jù)中心自主建設(shè)項(xiàng)目介紹doc(編輯修改稿)
2025-08-14 04:43 本頁面
【文章內(nèi)容簡(jiǎn)介】 可用性方面做了大量的測(cè)試，確保系統(tǒng)之間能夠無縫對(duì)接。(3) 采用高性能處理平臺(tái)我們選擇的數(shù)據(jù)倉(cāng)庫(kù)平臺(tái)（EDW）、數(shù)據(jù)整合平臺(tái)（ETL）和商業(yè)智能工具（BI）都能支持高性能處理的要求。數(shù)據(jù)倉(cāng)庫(kù)選用的是GreenPlum產(chǎn)品，它采用的是一種“海量數(shù)據(jù)并行處理（MPP）”技術(shù)，通過多節(jié)點(diǎn)并行處理機(jī)制完成對(duì)海量數(shù)據(jù)的高速運(yùn)算和處理，這在后續(xù)的系統(tǒng)運(yùn)行過程中得以證明。數(shù)據(jù)整合工具采用的是IBM DataStage產(chǎn)品，它也是采用了并行擴(kuò)展和并行處理的技術(shù)，可以根據(jù)處理數(shù)據(jù)量的大小方便地進(jìn)行平行擴(kuò)展，任務(wù)調(diào)度統(tǒng)一管理。商業(yè)智能工具采用的是IBM Cognos產(chǎn)品，它在商業(yè)智能應(yīng)用方面一種很優(yōu)秀的工具，不僅處理效率高，而且自帶多維處理和多維分析功能。(4) 采用合適的數(shù)據(jù)模型在數(shù)據(jù)倉(cāng)庫(kù)建設(shè)過程中，以往大家都為怎樣組織數(shù)據(jù)發(fā)愁，數(shù)據(jù)組織得好壞將直接影響后續(xù)平臺(tái)的運(yùn)算效率、數(shù)據(jù)一致性、統(tǒng)計(jì)正確性、業(yè)務(wù)擴(kuò)展能力等。在項(xiàng)目實(shí)施過程中，我們首先借鑒金融行業(yè)普適用的金融數(shù)據(jù)模型，在這基礎(chǔ)上結(jié)合證券業(yè)務(wù)的特點(diǎn)重新梳理這個(gè)模型，并進(jìn)行了改進(jìn)。當(dāng)然，隨著業(yè)務(wù)的不斷發(fā)展和變化，這個(gè)模型需要不斷豐富和優(yōu)化。(5) 注重?cái)?shù)據(jù)質(zhì)量的管控?cái)?shù)據(jù)中心是數(shù)據(jù)加工廠、數(shù)據(jù)服務(wù)者、數(shù)據(jù)發(fā)布者、業(yè)務(wù)發(fā)動(dòng)機(jī)和價(jià)值發(fā)現(xiàn)者，如果數(shù)據(jù)質(zhì)量出現(xiàn)問題，一切皆無從談起。所以，加強(qiáng)數(shù)據(jù)質(zhì)量的管理和保障數(shù)據(jù)處理的每個(gè)環(huán)節(jié)無誤才能真正樹立數(shù)據(jù)中心數(shù)據(jù)的權(quán)威性。在這方面，我們主要采用了技術(shù)元數(shù)據(jù)的管理、業(yè)務(wù)源數(shù)據(jù)業(yè)務(wù)規(guī)則監(jiān)控、數(shù)據(jù)處理監(jiān)控和核對(duì)等技術(shù)手段。(6) 充分發(fā)揮平臺(tái)服務(wù)效能數(shù)據(jù)中心最終是要把數(shù)據(jù)處理的結(jié)果服務(wù)給其他系統(tǒng)或數(shù)據(jù)消費(fèi)者，所以提高數(shù)據(jù)中心的數(shù)據(jù)服務(wù)能力也是本項(xiàng)目的一大技術(shù)特點(diǎn)。數(shù)據(jù)中心的數(shù)據(jù)除了有大量的結(jié)構(gòu)化的數(shù)據(jù)外，還有大量的如網(wǎng)頁、圖片、視頻等非結(jié)構(gòu)化的數(shù)據(jù)，所以提供的數(shù)據(jù)服務(wù)的技術(shù)手段和方式也是多樣的。數(shù)據(jù)服務(wù)方式，從調(diào)用方式可以是主動(dòng)推送，也可以被動(dòng)調(diào)用；從接口方式可以是接口表、協(xié)議接口和消息機(jī)制等。我們的思路是要建立統(tǒng)一的數(shù)據(jù)服務(wù)平臺(tái)，并以SOA的形式為數(shù)據(jù)消費(fèi)者服務(wù)。目前數(shù)據(jù)服務(wù)平臺(tái)的功能還在不斷擴(kuò)展和完善中。下圖是數(shù)據(jù)服務(wù)示意圖：業(yè)務(wù)及其他數(shù)據(jù)源實(shí)時(shí)數(shù)據(jù) (Oracle)數(shù)據(jù)倉(cāng)庫(kù) (EDW)數(shù)據(jù)集市 (EDM )操作數(shù)據(jù) (ODS)同步抽取抽取裝載轉(zhuǎn)換裝載轉(zhuǎn)換轉(zhuǎn)換抽取轉(zhuǎn)換分析、服務(wù)平臺(tái)調(diào)用調(diào)用推送調(diào)用業(yè)務(wù)系統(tǒng)調(diào)用二、項(xiàng)目創(chuàng)新點(diǎn)介紹我公司建設(shè)數(shù)據(jù)中心不同于以往的做法。早期，數(shù)據(jù)中心基本上是以風(fēng)險(xiǎn)控制系統(tǒng)或其他業(yè)務(wù)系統(tǒng)為基礎(chǔ)慢慢發(fā)展演變成一個(gè)數(shù)據(jù)中心，而且大部分是由開發(fā)商開發(fā)和實(shí)施。從技術(shù)層面看，大部分使用傳統(tǒng)的事務(wù)型數(shù)據(jù)庫(kù)技術(shù)和數(shù)據(jù)處理、展示手段，很難滿足高效、靈活以及可擴(kuò)展性的要求。我公司在建設(shè)數(shù)據(jù)中心的過程中，不僅實(shí)現(xiàn)了模式創(chuàng)新，同時(shí)在金融行業(yè)首次采用開放式海量數(shù)據(jù)平行處理（MPP）數(shù)據(jù)倉(cāng)庫(kù)、元數(shù)據(jù)管理、快速開發(fā)平臺(tái)、數(shù)據(jù)處理流程化和智能化等先進(jìn)技術(shù)和理念。數(shù)據(jù)倉(cāng)庫(kù)是數(shù)據(jù)中心的核心平臺(tái)，數(shù)據(jù)倉(cāng)庫(kù)的效率直接影響數(shù)據(jù)中心的可用性，為此我們選用了GreenPlum產(chǎn)品。它采用了一種“海
法律信息相關(guān)推薦
鄂ICP備17016276號(hào)-1