大數(shù)據(jù)處理技術(shù)參考架構(gòu)-閱讀頁(yè)
2025-07-28 22:22本頁(yè)面
【正文】 此基礎(chǔ)之上研發(fā)了交互式 SQL 分析引擎 Inceptor、實(shí)時(shí) NoSQL 數(shù)據(jù)庫(kù)Hyperbase 和 Transwarp Manager 等引擎。整體架構(gòu)如下圖所示：精選資料可修改編輯. 行業(yè) 大數(shù)據(jù)應(yīng) 用場(chǎng)景對(duì)比分析 基于 MPP 的數(shù)據(jù) 倉(cāng)庫(kù) Hadoop amp。Spark 開(kāi)源框架中，分布式文件系統(tǒng) HDFS、資源調(diào)度引擎 YARN、內(nèi)存計(jì)算引擎 Spark、挖掘分析引擎 SparkR、分布式遷移引擎 Sqoop 等較為符合統(tǒng)計(jì)類(lèi)應(yīng)用場(chǎng)景。 資源調(diào)度引擎 YARN，是通用資 源管理系統(tǒng)，可以 為上層應(yīng)用提供統(tǒng)一的資源管理和調(diào)度。Hadoop 的 MapReduce 與Common、HDFS 一起，構(gòu)成了 Hadoop 發(fā)展初期的三個(gè) 組件。分布式協(xié)作服務(wù) ZooKeeper，提供了統(tǒng)一命名服務(wù)、狀態(tài)同步服務(wù)、集群管理、分布式應(yīng)用配置項(xiàng)的管理等。分布式遷移引擎 Sqoop 主要作用是在結(jié)構(gòu)化數(shù)據(jù)存儲(chǔ)與 Hadoop 之間進(jìn)行數(shù)據(jù)交換。內(nèi)存計(jì)算引擎 Spark 是與 Hadoop相似的開(kāi)源集群計(jì)算環(huán)境， Spark 啟用了內(nèi)存分布數(shù)據(jù)集，基于內(nèi)存進(jìn)行分布式計(jì)算，除了能夠提供交互式 查詢(xún)外， 還可以?xún)?yōu)化迭代工作負(fù)載。Ambari 還提供了集群狀況儀表盤(pán)，以及查看 MapReduce、Hive 應(yīng)用程序的能力，以友好的用 戶(hù)界面對(duì)它們的性能進(jìn)行診斷。精選資料可修改編輯統(tǒng)計(jì)類(lèi)系統(tǒng)數(shù)據(jù)處理流程主要包括以下步驟：采集（解壓報(bào)文等文件操作）校驗(yàn)（每筆數(shù)據(jù)各字段的格式校驗(yàn)、各筆數(shù)據(jù)之間的邏輯關(guān)系校驗(yàn)等）審核（與歷史數(shù)據(jù)的比對(duì)，同期/上期；或 執(zhí)行自定義審核 SQL、算法等）匯總計(jì)算（指標(biāo)計(jì)算、數(shù)據(jù)匯總等） 查詢(xún) 數(shù)據(jù)分析 報(bào)表 信息發(fā)布。對(duì)于采集數(shù)據(jù)的校驗(yàn)審 核、 匯總計(jì)算等應(yīng)用功能，可以通過(guò)分布式數(shù)據(jù)倉(cāng)庫(kù) Hive 或直接內(nèi)存計(jì)算引擎 Spark 進(jìn)行異步計(jì)算和處理。. 與 JavaEE 體系對(duì)比通過(guò)下圖的對(duì)比不難看出，大數(shù)據(jù)處理參考架構(gòu)中的各類(lèi)引擎主要是拓展JavaEE 體系中 業(yè)務(wù)邏輯層 與數(shù)據(jù)持久層對(duì)大數(shù)據(jù)的支撐。Spark 引擎中的進(jìn)程分為 Master 和Worker，當(dāng)節(jié)點(diǎn)故障時(shí)，由 協(xié)作服務(wù) ZooKeeper 進(jìn) 行 Master 切換，保障 Spark 的精選資料可修改編輯持續(xù)可用。大數(shù)據(jù)的主要特點(diǎn)包括：海量的、高增長(zhǎng)率的（Volume），數(shù)據(jù)處理模式的高效性（Velocity），數(shù)據(jù)來(lái)源、種類(lèi)的多樣化（Variety），待探勘的數(shù)據(jù)價(jià) 值（Value）。大數(shù)據(jù)應(yīng)用的核心是挖掘數(shù)據(jù)價(jià) 值，而挖掘數(shù)據(jù)價(jià) 值的前提是數(shù)據(jù)來(lái)源的準(zhǔn)確性。2. 數(shù)據(jù)質(zhì)量的持久。高 質(zhì)量的數(shù)據(jù)不 僅僅體現(xiàn)在質(zhì)量管控，更要有持續(xù)的治理。3. 數(shù)據(jù)標(biāo)準(zhǔn)的一致。單 個(gè)業(yè)務(wù)系統(tǒng)內(nèi)部的數(shù)據(jù)標(biāo)準(zhǔn)化主要體現(xiàn)在數(shù)據(jù)無(wú)量綱化處理，即：解決數(shù)據(jù)的可比性（如：指標(biāo)數(shù)據(jù)的定性轉(zhuǎn)定量處理）。業(yè)務(wù)系統(tǒng)在規(guī)劃階段，必須充分使用人民 銀行公共代碼規(guī)范，將業(yè)務(wù)數(shù)據(jù)的公共維度與規(guī)范統(tǒng)一，并遵循人民銀 行信息技術(shù)標(biāo)準(zhǔn)體系。在大數(shù)據(jù)時(shí)代中業(yè)務(wù)系統(tǒng)已經(jīng) 逐漸由功能是價(jià)值轉(zhuǎn)變?yōu)閿?shù)據(jù)是價(jià)值，對(duì)大數(shù)據(jù)價(jià) 值的挖掘是探索性的。從而能夠更加有效的 進(jìn)行預(yù)測(cè)分析、 輔助決策，為央行履職提供更強(qiáng)有力的支撐。結(jié)合統(tǒng)計(jì)分析類(lèi)業(yè)務(wù)在數(shù)據(jù)處理和數(shù)據(jù)展現(xiàn)環(huán)節(jié)的特點(diǎn)進(jìn)行分析以及對(duì)原型系統(tǒng)的測(cè)試情況，數(shù)據(jù)處 理環(huán)節(jié)采用 Hadoopamp。數(shù)據(jù)展現(xiàn)環(huán)節(jié)采用關(guān)系型數(shù)據(jù)庫(kù)集群技術(shù)較為適宜，主要包括：報(bào)表、綜合查詢(xún)（具有實(shí)時(shí)、多表關(guān)聯(lián)、自定義條件或表樣的特點(diǎn)）、多維分析（如：維度表、事實(shí)表）。Spark 技術(shù)方面的技能和經(jīng)驗(yàn)比較欠缺，特別是大數(shù)據(jù)相關(guān)的技術(shù)正處于成長(zhǎng)階段，技術(shù)團(tuán)隊(duì)豐富的實(shí)踐經(jīng)驗(yàn)尤為重要，否則難以快速響 應(yīng)和處理突發(fā)問(wèn)題。一方面，能夠通過(guò) 借鑒外界成熟的實(shí)踐經(jīng)驗(yàn)，來(lái)應(yīng)對(duì)研發(fā)能力不足所帶來(lái)的風(fēng)險(xiǎn)；另一方面，能夠引入外界技術(shù)力量對(duì)系統(tǒng)研發(fā)過(guò)程進(jìn)行指導(dǎo)，促進(jìn)大數(shù)據(jù)技術(shù)團(tuán)隊(duì)的組建。邁爾 舍恩伯格和肯尼斯全球最具權(quán)威的 IT 研究與顧問(wèn)咨詢(xún)機(jī)構(gòu) Gartner 將大數(shù)據(jù)定義為，需要新處理模式才能具有更強(qiáng)的決策力、洞察發(fā)現(xiàn)力和流程優(yōu)化能力的海量、高增長(zhǎng)率和多樣化的信息資產(chǎn)。 2022 年 8 月國(guó)務(wù)院在《促進(jìn)大數(shù)據(jù)發(fā)展行動(dòng)綱要》中指出，大數(shù)據(jù)是以容量大、類(lèi) 型多、存取速度快、 應(yīng)用價(jià)值高為主要特征的數(shù)據(jù)集合，正快速發(fā)展為對(duì)數(shù)量巨大、來(lái)源分散、格式多 樣的數(shù)據(jù)進(jìn)行采集、存儲(chǔ)和關(guān)聯(lián)分析，從中發(fā)現(xiàn)新知識(shí)、創(chuàng) 造新價(jià)值、提升新能力的新一代信息技術(shù)和服務(wù)業(yè)態(tài)。IOE：指服務(wù) 器提供商 IBM，數(shù)據(jù) 庫(kù)提供商 Oracle，存儲(chǔ)設(shè)備提供商 EMC 的簡(jiǎn)稱(chēng)。P2P 借貸：peer to peer 網(wǎng)絡(luò)借貸的一種模式，包括個(gè)體網(wǎng)絡(luò)借貸（即 P2P 網(wǎng)絡(luò)借貸）和網(wǎng)絡(luò)小額貸款。眾籌：股權(quán)眾籌融資，主要是指通過(guò)互聯(lián)網(wǎng)形式進(jìn)行公開(kāi)小額股權(quán)融資的活動(dòng)。第三方支付平臺(tái)：指一些和產(chǎn)品所在國(guó)家以及國(guó)內(nèi)外各大銀行簽約、并具備一定實(shí)力和信譽(yù)保障的第三方獨(dú)立機(jī)構(gòu)提供的交易支持平臺(tái)。x86架構(gòu)于 1978 年推出的 Intel 8086 中央處理器中首度出 現(xiàn)。它是一個(gè)高度容錯(cuò)的系統(tǒng)，能檢測(cè)和應(yīng)對(duì)硬件故障，用于在低成本的通用硬件上運(yùn)行。MapReduce：Hadoop 的計(jì) 算框架，用以進(jìn)行大數(shù)據(jù)量的計(jì)算。Hive：建立在 Hadoop 基礎(chǔ)上的數(shù)據(jù)倉(cāng)庫(kù)架構(gòu)，它 為 數(shù)據(jù)倉(cāng)庫(kù)的管理提供的主要功能包括：數(shù)據(jù) ETL 工具、數(shù)據(jù)存 儲(chǔ)管理和大型數(shù)據(jù)集的 查詢(xún)和分析能力。ZooKeeper 的目標(biāo)是封裝好復(fù)雜、易出錯(cuò)的關(guān)鍵服 務(wù)，將 簡(jiǎn)單易用的接口和性能高效、功能 穩(wěn)定的服務(wù)提供給用戶(hù)。Sqoop 可以將一個(gè)關(guān)系型數(shù)據(jù)庫(kù)（如：MySQL、Oracle 等）中的數(shù)據(jù)導(dǎo)入 Hadoop 的 HDFS、Hive 中，也可以將 HDFS、Hive 中的數(shù)據(jù)導(dǎo)入關(guān)系型數(shù)據(jù)庫(kù)中。Ambari 還提供了集群狀況儀表盤(pán)，以及查 看 MapReduce、Hive 應(yīng) 用程序的能力，以友好的用戶(hù)界面對(duì)它們的性能進(jìn)行診斷。MPP：Massively Parallel Processing 大規(guī)模并行處理技 術(shù)，大多用于數(shù)據(jù) 倉(cāng)庫(kù)領(lǐng)域，能 夠?qū)⑷蝿?wù)并行的分散到多個(gè)服務(wù)器節(jié)點(diǎn)上運(yùn)行，并將結(jié)果匯總的一項(xiàng)技術(shù)。精選資料可修改編輯整理范文，僅供參考?xì)g迎您下載我們的文檔資料可以編輯修改使用精選資料可修改編輯THANKS !!!致力為企業(yè)和個(gè)人提供合同協(xié)議，策劃案計(jì)劃書(shū)，學(xué)習(xí)課件等等打造全網(wǎng)一站式需求歡迎您的下載，資料僅供參
物理相關(guān)推薦
鄂ICP備17016276號(hào)-1