構(gòu)建新一代企業(yè)大數(shù)據(jù)平臺(tái)-展示頁(yè)
2025-01-28 03:47本頁(yè)面
【正文】 大數(shù)據(jù)平臺(tái)架構(gòu)原則 平臺(tái) 8 ?技術(shù) 跨平臺(tái)數(shù)據(jù)交換 批量和實(shí)時(shí)數(shù)據(jù)采用不同的技術(shù)手段和工具，遵循統(tǒng)一的文件接口標(biāo)準(zhǔn) ?技術(shù) 平臺(tái)內(nèi)數(shù)據(jù)復(fù)制 跨同構(gòu) /異構(gòu)數(shù)據(jù)庫(kù)（物理系統(tǒng)），基于文本、數(shù)據(jù)庫(kù)的數(shù)據(jù)抽取和加載，數(shù)據(jù)的形式不發(fā)生變化，不涉及數(shù)據(jù)轉(zhuǎn)換。 ?數(shù)據(jù)區(qū)，適合 X86MPP數(shù)據(jù)庫(kù)集群 范式化模型數(shù)據(jù) ?面向分析類應(yīng)用。是挖掘數(shù)據(jù)價(jià)值的主要對(duì)象。 ?方便用數(shù)據(jù)庫(kù)的二維表結(jié)構(gòu)來(lái)邏輯表達(dá)實(shí)現(xiàn)的數(shù)據(jù)，數(shù)據(jù)結(jié)構(gòu)字段含義確定，清晰。 Copyright 2023 EMC Corporation. All rights reserved. 企業(yè)大數(shù)據(jù)平臺(tái)數(shù)據(jù)內(nèi)容及實(shí)現(xiàn)技術(shù) Page 7 ?應(yīng)用平臺(tái)提交請(qǐng)求訪問(wèn)的數(shù)據(jù)，包括結(jié)構(gòu)化和非結(jié)構(gòu)化兩類 ?在線存儲(chǔ)周期超過(guò)數(shù)據(jù)生命周期規(guī)劃的數(shù)據(jù) ?適合 Hadoop分布式架構(gòu)管理 ?無(wú)法用二維表結(jié)構(gòu)來(lái)邏輯表達(dá)的無(wú)結(jié)構(gòu)性的數(shù)據(jù)。 Copyright 2023 EMC Corporation. All rights reserved. 更豐富、更細(xì)致的客戶管理 大數(shù)據(jù)分 析在 企 業(yè)的應(yīng)用 更準(zhǔn)確、更及時(shí)的營(yíng)銷管 理 更高效 、更全 面的風(fēng)險(xiǎn)管理 Customer 360o Single View Key Life Events Next Best Action Stress Test Credit Assessments 6 169。 Copyright 2023 EMC Corporation. All rights reserved. Agenda ? 企 業(yè)新一代數(shù)據(jù)平臺(tái)的技術(shù)需求 ? 創(chuàng)新的技術(shù)平臺(tái)建設(shè)思路 4 169。2 169。 Copyright 2023 EMC Corporation. All rights reserved. 建立在 PAAS平臺(tái)上的新 一代 數(shù)據(jù)平臺(tái) 解決方案 3 169。 Copyright 2023 EMC Corporation. All rights reserved. 面向大數(shù)據(jù)的分析 Now What? So What? What? 大數(shù)據(jù)分析 ? 企業(yè)內(nèi)、外部的結(jié)構(gòu)化和非 結(jié)構(gòu)化數(shù) 據(jù) ? 數(shù)據(jù)量 在 TB級(jí)以上 ? 以數(shù)據(jù)挖掘、預(yù)測(cè)和實(shí)時(shí)分析為主，強(qiáng)調(diào)對(duì)業(yè)務(wù)驅(qū)動(dòng) 傳統(tǒng) BI 分 析 ? 企業(yè)內(nèi)部的結(jié) 構(gòu) 化數(shù)據(jù)， ? 數(shù)據(jù)量在 GB~TB級(jí) ? 以報(bào)表、查詢和分析為主，反應(yīng)當(dāng)前業(yè)務(wù)現(xiàn)狀 5 169。 Copyright 2023 EMC Corporation. All rights reserved. 通 用銀行業(yè)大數(shù)據(jù)分析平臺(tái) 管理分析類應(yīng)用 數(shù)據(jù)交換平臺(tái) 應(yīng)用集 市數(shù)據(jù)區(qū) 核心 系統(tǒng) 總賬 系統(tǒng) 國(guó)結(jié) 系統(tǒng) 網(wǎng)銀 系統(tǒng) ……系統(tǒng) 企業(yè) 內(nèi) 外部 半結(jié)構(gòu) 化、非結(jié)構(gòu)化數(shù)據(jù) 數(shù)據(jù) 產(chǎn)生層 數(shù)據(jù) 交換 層 數(shù)據(jù)傳輸 數(shù)據(jù)稽核 數(shù)據(jù)處理 流程調(diào)度 監(jiān)控告警 …… 數(shù)據(jù) 服務(wù) 層 非結(jié)構(gòu)化數(shù)據(jù)區(qū) 沙盤演練數(shù)據(jù)區(qū) 用戶評(píng)價(jià)信息 移動(dòng)互聯(lián)信息 …… 元數(shù)據(jù) 數(shù)據(jù) 應(yīng)用層 歷史歸檔數(shù)據(jù)區(qū) HDS 客戶主題 協(xié)議主 題 產(chǎn)品 主 題 事件 沙盤演練應(yīng)用 實(shí)時(shí)分析應(yīng)用 數(shù)據(jù) 管控層 POS增量 財(cái)務(wù)增量 庫(kù)存增量 采購(gòu)增量 ……增量 臨時(shí) 數(shù) 據(jù)區(qū) 實(shí)時(shí)數(shù)據(jù)區(qū) 核心數(shù)據(jù) 總賬數(shù)據(jù) 國(guó)結(jié)數(shù)據(jù) ……數(shù)據(jù) 主題數(shù)據(jù)區(qū) 社交媒體信息 網(wǎng)銀數(shù)據(jù) … … 客戶管理 財(cái)務(wù)管理 風(fēng)險(xiǎn) 管理 ……管理 客戶管理 財(cái)務(wù)管理 風(fēng)險(xiǎn)管理 ……管理 運(yùn)營(yíng)管理 用戶訪問(wèn)層 決策人員 管理人員 數(shù)據(jù)科學(xué)家 業(yè)務(wù)人員 客 戶 匯總 賬戶匯總 機(jī)構(gòu)匯總 產(chǎn)品匯總 … … 7 169。例如文本、音頻數(shù)據(jù)等。例如：客戶信息、用電記錄等。 ?支持分析型應(yīng)用，時(shí)效性較低 ?支持前臺(tái)交易系統(tǒng)查詢需求，具有可靠性高、并發(fā)度大、采集頻率短的特點(diǎn) 按數(shù)據(jù)格式類別劃分 按數(shù)據(jù)格式類別劃分 按數(shù)據(jù)采集頻度劃分 大數(shù)據(jù) 平臺(tái) 在線數(shù)據(jù) 歸檔數(shù)據(jù) 非結(jié)構(gòu)化數(shù)據(jù) 結(jié)構(gòu)化數(shù)據(jù) 準(zhǔn)實(shí)時(shí)數(shù)據(jù) 非實(shí)時(shí)數(shù)據(jù) ?面向貼源數(shù)據(jù)查詢和主題數(shù)據(jù)整合。 ?對(duì)應(yīng) ADW和 CM數(shù)據(jù)區(qū)，適合 MPP數(shù)據(jù)庫(kù)集群 維度模型數(shù)據(jù) 按數(shù)據(jù)模型劃分 8 169。 數(shù)據(jù)復(fù)制后產(chǎn)生的數(shù)據(jù)副本主要是為了便于數(shù)據(jù)引用，需要制定數(shù)據(jù)副本的生命周期管理策略以及保證數(shù)據(jù)副本的只讀屬性 。通過(guò)全行指標(biāo)口徑和維度、度量信息，使業(yè)務(wù)人員可以較容易、較快地定位和了解數(shù)據(jù)的內(nèi)容。 9 169。歸檔數(shù)據(jù)以廉價(jià)大容量磁盤方式存儲(chǔ)，存儲(chǔ)形式會(huì)根據(jù)數(shù)據(jù)環(huán)境和未來(lái)應(yīng)用的差異，采用不同于源結(jié)構(gòu)的存儲(chǔ)形式。 ?數(shù)據(jù) 非結(jié)構(gòu)化數(shù)據(jù)管理 對(duì)于交易和處理過(guò)程中形態(tài)尚不穩(wěn)定的非結(jié)構(gòu)化數(shù)據(jù)，可由各平臺(tái)根據(jù)時(shí)效性、一致性控制和完整性控制等要求考慮自行處理 ?安全 數(shù)據(jù)訪問(wèn)安全 對(duì)于普通的查詢?cè)L問(wèn)應(yīng)用，應(yīng)該具備屏蔽敏感信息的展現(xiàn)的能力。 ?運(yùn)維 系統(tǒng)日常運(yùn)行性能管理 在數(shù)據(jù)量不斷增加、訪問(wèn)用戶數(shù)量的增長(zhǎng)、用戶數(shù)據(jù)使用成熟度的變化、數(shù)據(jù) ETL持續(xù)滾
研究報(bào)告相關(guān)推薦
鄂ICP備17016276號(hào)-1