大數(shù)據(jù)處理技術(shù)參考架構(gòu)-資料下載頁
2025-07-13 22:22本頁面
【正文】 在技術(shù)上我們需要引入新的處理模式以具有更強(qiáng)的決策力、洞察發(fā)現(xiàn)力和流程優(yōu)化能力。結(jié)合統(tǒng)計(jì)分析類業(yè)務(wù)在數(shù)據(jù)處理和數(shù)據(jù)展現(xiàn)環(huán)節(jié)的特點(diǎn)進(jìn)行分析以及對原型系統(tǒng)的測試情況，數(shù)據(jù)處 理環(huán)節(jié)采用 Hadoopamp。Spark 技術(shù)較為適宜，主要包括：采集（解壓報(bào)文、每筆數(shù)據(jù)各字段的格式校驗(yàn)等文件操作）、校驗(yàn)（各字段的合規(guī)精選資料可修改編輯校驗(yàn)、數(shù)據(jù)之間的邏輯關(guān)系校驗(yàn)等）、 審核（與歷史數(shù)據(jù)比對，同期 /上期；或執(zhí)行審核 SQL、算法等）、匯總計(jì)算（指標(biāo)計(jì)算、數(shù)據(jù)匯總等） 各環(huán)節(jié)處理情況監(jiān)控、以及挖掘分析（基于全量數(shù)據(jù)）、數(shù)據(jù)存儲(chǔ)（TB~PB ）、數(shù)據(jù)整合加工和數(shù)據(jù)分 發(fā)。數(shù)據(jù)展現(xiàn)環(huán)節(jié)采用關(guān)系型數(shù)據(jù)庫集群技術(shù)較為適宜，主要包括：報(bào)表、綜合查詢（具有實(shí)時(shí)、多表關(guān)聯(lián)、自定義條件或表樣的特點(diǎn)）、多維分析（如：維度表、事實(shí)表）。在研發(fā)能力方面，現(xiàn)有的技術(shù)團(tuán)隊(duì)在 Hadoopamp。Spark 技術(shù)方面的技能和經(jīng)驗(yàn)比較欠缺，特別是大數(shù)據(jù)相關(guān)的技術(shù)正處于成長階段，技術(shù)團(tuán)隊(duì)豐富的實(shí)踐經(jīng)驗(yàn)尤為重要，否則難以快速響 應(yīng)和處理突發(fā)問題。具有大數(shù)據(jù)處理需求的系統(tǒng)在建設(shè)過程中，可以考慮通過與 實(shí)施經(jīng)驗(yàn)豐富的、有 較強(qiáng) 的自主研發(fā)能力的大數(shù)據(jù)技術(shù)平臺(tái)廠商或技術(shù)團(tuán)隊(duì)進(jìn)行合作。一方面，能夠通過 借鑒外界成熟的實(shí)踐經(jīng)驗(yàn)，來應(yīng)對研發(fā)能力不足所帶來的風(fēng)險(xiǎn)；另一方面，能夠引入外界技術(shù)力量對系統(tǒng)研發(fā)過程進(jìn)行指導(dǎo)，促進(jìn)大數(shù)據(jù)技術(shù)團(tuán)隊(duì)的組建。精選資料可修改編輯附錄：名詞解釋大數(shù)據(jù)：由維克托邁爾 舍恩伯格和肯尼斯庫克耶在 2022 年 8 月提出，大數(shù)據(jù)指不用隨機(jī)分析法（如：抽樣調(diào)查）這樣的捷徑，而采用所有數(shù)據(jù)進(jìn)行分析處理。全球最具權(quán)威的 IT 研究與顧問咨詢機(jī)構(gòu) Gartner 將大數(shù)據(jù)定義為，需要新處理模式才能具有更強(qiáng)的決策力、洞察發(fā)現(xiàn)力和流程優(yōu)化能力的海量、高增長率和多樣化的信息資產(chǎn)。IBM 提出大數(shù)據(jù)的 5V 特點(diǎn)， Volume（大量）、 Velocity（高速）、Variety（多樣 ）、Value（價(jià)值）和 Veracity（真實(shí)性）。 2022 年 8 月國務(wù)院在《促進(jìn)大數(shù)據(jù)發(fā)展行動(dòng)綱要》中指出，大數(shù)據(jù)是以容量大、類 型多、存取速度快、 應(yīng)用價(jià)值高為主要特征的數(shù)據(jù)集合，正快速發(fā)展為對數(shù)量巨大、來源分散、格式多 樣的數(shù)據(jù)進(jìn)行采集、存儲(chǔ)和關(guān)聯(lián)分析，從中發(fā)現(xiàn)新知識(shí)、創(chuàng) 造新價(jià)值、提升新能力的新一代信息技術(shù)和服務(wù)業(yè)態(tài)?；ヂ?lián)網(wǎng)+：“互聯(lián)網(wǎng)+”是把互聯(lián)網(wǎng)的創(chuàng)新成果與經(jīng)濟(jì)社會(huì)各領(lǐng)域深度融合，推動(dòng)技術(shù)進(jìn)步、效率提升和組織變革，提升 實(shí)體經(jīng)濟(jì)創(chuàng) 新力和生產(chǎn)力，形成更廣泛的以互聯(lián)網(wǎng)為基礎(chǔ)設(shè)施和創(chuàng)新要素的經(jīng)濟(jì)社會(huì)發(fā)展新形態(tài)。IOE：指服務(wù) 器提供商 IBM，數(shù)據(jù) 庫提供商 Oracle，存儲(chǔ)設(shè)備提供商 EMC 的簡稱。互聯(lián)網(wǎng)金融：是傳統(tǒng)金融機(jī)構(gòu)與互聯(lián)網(wǎng)企業(yè)利用互聯(lián)網(wǎng)技術(shù)和信息通信技術(shù)實(shí)現(xiàn)資金融通、支付、投資和信息中介服務(wù)的新型金融 業(yè)務(wù)模式。P2P 借貸：peer to peer 網(wǎng)絡(luò)借貸的一種模式，包括個(gè)體網(wǎng)絡(luò)借貸（即 P2P 網(wǎng)絡(luò)借貸）和網(wǎng)絡(luò)小額貸款。個(gè)體網(wǎng)絡(luò)借貸是指個(gè)體和個(gè)體之間通過互聯(lián)網(wǎng)平臺(tái)實(shí)現(xiàn)的直接借貸。眾籌：股權(quán)眾籌融資，主要是指通過互聯(lián)網(wǎng)形式進(jìn)行公開小額股權(quán)融資的活動(dòng)。股權(quán) 眾籌融資必須通過 股權(quán)眾籌融資中介機(jī)構(gòu)平臺(tái)（互聯(lián)網(wǎng)網(wǎng)站或其他類似的電子媒介）進(jìn)行。第三方支付平臺(tái)：指一些和產(chǎn)品所在國家以及國內(nèi)外各大銀行簽約、并具備一定實(shí)力和信譽(yù)保障的第三方獨(dú)立機(jī)構(gòu)提供的交易支持平臺(tái)。x86 架構(gòu)：由 Intel 推出的一種復(fù) 雜指令集，用于控制芯片的運(yùn)行的程序。x86架構(gòu)于 1978 年推出的 Intel 8086 中央處理器中首度出 現(xiàn)。HDFS：Hadoop Distributed File System，Hadoop 分布式文件系統(tǒng)，是 Hadoop精選資料可修改編輯體系中數(shù)據(jù)存儲(chǔ)管理的基礎(chǔ)。它是一個(gè)高度容錯(cuò)的系統(tǒng)，能檢測和應(yīng)對硬件故障，用于在低成本的通用硬件上運(yùn)行。YARN：Hadoop Distributed File System，YARN 是 Hadoop 的資源管理器，它是一個(gè)通用資源管理系統(tǒng)，可以為上層應(yīng)用提供統(tǒng)一的資源管理和調(diào)度。MapReduce：Hadoop 的計(jì) 算框架，用以進(jìn)行大數(shù)據(jù)量的計(jì)算。Hadoop 的MapReduce 與 Common、HDFS 一起，構(gòu)成了 Hadoop 發(fā)展初期的三個(gè)組件。Hive：建立在 Hadoop 基礎(chǔ)上的數(shù)據(jù)倉庫架構(gòu)，它 為 數(shù)據(jù)倉庫的管理提供的主要功能包括：數(shù)據(jù) ETL 工具、數(shù)據(jù)存 儲(chǔ)管理和大型數(shù)據(jù)集的 查詢和分析能力。ZooKeeper：分布式系統(tǒng)的可靠 協(xié)調(diào)服務(wù)，提供的功能包括：統(tǒng)一命名服務(wù)、狀態(tài)同步服務(wù)、集群管理、分布式應(yīng)用配置項(xiàng)的管理等。ZooKeeper 的目標(biāo)是封裝好復(fù)雜、易出錯(cuò)的關(guān)鍵服 務(wù)，將 簡單易用的接口和性能高效、功能 穩(wěn)定的服務(wù)提供給用戶。Sqoop：SQLtoHadoop，Sqoop 主要作用是在結(jié)構(gòu)化數(shù)據(jù)存 儲(chǔ)與 Hadoop 之間進(jìn)行數(shù)據(jù)交換。Sqoop 可以將一個(gè)關(guān)系型數(shù)據(jù)庫（如：MySQL、Oracle 等）中的數(shù)據(jù)導(dǎo)入 Hadoop 的 HDFS、Hive 中，也可以將 HDFS、Hive 中的數(shù)據(jù)導(dǎo)入關(guān)系型數(shù)據(jù)庫中。Ambari：Ambari 是一個(gè)基于 Web 的工具，用于配置、管理和監(jiān)視 Hadoop 集群，并支持 HDFS、MapReduce、Hive、ZooKeeper、Sqoop 等框架。Ambari 還提供了集群狀況儀表盤，以及查 看 MapReduce、Hive 應(yīng) 用程序的能力，以友好的用戶界面對它們的性能進(jìn)行診斷。Spark：Spark 是與 Hadoop 相似的開源集群計(jì)算環(huán)境，Spark 啟用了內(nèi)存分布數(shù)據(jù)集，基于內(nèi)存進(jìn)行分布式計(jì)算，除了能 夠提供交互式查詢外，它 還可以優(yōu)化迭代工作負(fù)載。MPP：Massively Parallel Processing 大規(guī)模并行處理技 術(shù)，大多用于數(shù)據(jù) 倉庫領(lǐng)域，能 夠?qū)⑷蝿?wù)并行的分散到多個(gè)服務(wù)器節(jié)點(diǎn)上運(yùn)行，并將結(jié)果匯總的一項(xiàng)技術(shù)。例如：Teradata ，HPVertica，EMC Greenplum，GBase，OracleExadata 等。精選資料可修改編輯整理范文，僅供參考?xì)g迎您下載我們的文檔資料可以編輯修改使用精選資料可修改編輯THANKS !!!致力為企業(yè)和個(gè)人提供合同協(xié)議，策劃案計(jì)劃書，學(xué)習(xí)課件等等打造全網(wǎng)一站式需求歡迎您的下載，資料僅供參考
物理相關(guān)推薦
鄂ICP備17016276號(hào)-1