大數(shù)據(jù)處理技術(shù)參考架構(gòu)-在線瀏覽
2024-08-23 22:22本頁(yè)面
【正文】 ..............................................35. 大數(shù)據(jù)處理技術(shù)對(duì)比 .....................................................................................................4. MPP 與 HADOOPamp。SPARK 技術(shù)對(duì)比 .....................................................................4. HADOOPamp。以 IOE 體系為核心的數(shù)據(jù)計(jì)算和存儲(chǔ)方式越來(lái)越不能滿足目前大數(shù)據(jù)處理在性能和成本上的綜合要求。在核心應(yīng)用自主研發(fā)、核心知識(shí)自主掌控的氛圍下，保障大數(shù)據(jù)技術(shù)達(dá)到靈活可用的目標(biāo)，確保數(shù)據(jù)和信息的有效、及時(shí)，確保信息系統(tǒng)的可靠、靈活。在“互聯(lián)網(wǎng)+”的戰(zhàn)略布局下，當(dāng)利用信息通信技 術(shù)把互聯(lián)網(wǎng)和包括金融行業(yè)在內(nèi)的相關(guān)行業(yè)結(jié)合起來(lái)時(shí)，能夠更加合理和充分的利用大數(shù)據(jù)技術(shù)促進(jìn)互聯(lián)網(wǎng)金融的健康發(fā)展。傳統(tǒng) 金融機(jī)構(gòu)的發(fā)展方向主要為傳統(tǒng)金融業(yè)務(wù)的互聯(lián)網(wǎng)創(chuàng)新以及電商化創(chuàng)新、手機(jī) APP 服務(wù)等；非金融機(jī)構(gòu)的發(fā)展方向則主要是指利用互聯(lián)網(wǎng)技術(shù)進(jìn)行金融運(yùn)作的電子商務(wù)企業(yè)、P2P 模式的網(wǎng)絡(luò)借貸平臺(tái)，眾籌模式的網(wǎng)絡(luò)投資平臺(tái)或掌上理財(cái)服務(wù)，以及第三方支付平臺(tái)等。在金融領(lǐng)域，新生業(yè)態(tài)層出不窮，金融機(jī)構(gòu)日益多 樣化，金融 資產(chǎn)的流動(dòng)性快速上升，金融體系的關(guān)聯(lián) 度、復(fù) 雜度大幅提高。在數(shù)據(jù)的處理分析上， 對(duì)原有的宏觀審慎分析框架及其有效性、準(zhǔn)確性提出了挑戰(zhàn)。? 充分利用開源產(chǎn)品，做到對(duì)技術(shù)細(xì)節(jié)的掌控和驗(yàn)證 ，以保障大數(shù)據(jù)技 術(shù)達(dá)到靈活可用。? 有效提供技術(shù)支撐，適應(yīng)金融行業(yè)新興業(yè)態(tài)下對(duì) 大數(shù)據(jù)技術(shù)的需要。采用的大數(shù)據(jù)技術(shù)架構(gòu)能夠支持水平擴(kuò)展（Scaleout），適應(yīng)未來(lái)五年對(duì)大數(shù)據(jù)存儲(chǔ)和處理的需要。在滿足大數(shù)據(jù)業(yè)務(wù)場(chǎng)景性能要求的同時(shí)，采用更加經(jīng)濟(jì)的大數(shù)據(jù)技術(shù)解決方案。 統(tǒng)計(jì)分析類大數(shù)據(jù) 處理、 報(bào)表展現(xiàn)和信息發(fā) 布的典型流程如下圖所示：統(tǒng)計(jì)分析類業(yè)務(wù)的特點(diǎn)主要包括：? 在每個(gè)處理環(huán)節(jié)中，均能夠?yàn)闃I(yè)務(wù)操作員提供實(shí)時(shí)的業(yè)務(wù)處理情況或處理結(jié)果的查詢。? 在報(bào)表數(shù)據(jù)生成或信息發(fā)布環(huán)節(jié)，能夠提供逐筆數(shù)據(jù)、指標(biāo)數(shù)據(jù)、 匯總數(shù)據(jù)和報(bào)表數(shù)據(jù)的實(shí)時(shí)查詢，并能夠通過 BI 工具訪問以上數(shù)據(jù)。? 能夠靈活的通過數(shù)據(jù)挖掘技術(shù)對(duì)數(shù)據(jù)進(jìn)行價(jià)值分析，例如：R 語(yǔ)言。統(tǒng)計(jì)系統(tǒng)業(yè)務(wù)量以每月增量 40 億筆進(jìn)行估算（以每筆 1KB 估算，約 4TB/月增量數(shù)據(jù)；每筆數(shù)據(jù)平均包含 20 個(gè)字段），現(xiàn)有存量數(shù)據(jù)大約在 20TB。實(shí)時(shí)查詢業(yè)務(wù)為用戶隨機(jī)進(jìn)行。比較復(fù)雜場(chǎng) 景之一是邏輯校驗(yàn)部分的算法，按不同的規(guī)則，有的規(guī)則會(huì)使用到當(dāng)月的全部增量數(shù)據(jù)參與校驗(yàn)，有的規(guī)則會(huì)按金融機(jī)構(gòu)維度使用當(dāng)前機(jī)構(gòu)的歷史數(shù)據(jù)參與校驗(yàn)。? Apache Hadoop、Spark 技術(shù)。Spark 是由 Apache 基金會(huì)所開發(fā)的分布式系 統(tǒng)基礎(chǔ)架構(gòu)，它所解決的核心問題是，通過部署在低廉的硬件上的、可以協(xié)同工作的軟件組件，來(lái)完成分布式數(shù)據(jù)存儲(chǔ)、高吞吐量數(shù)據(jù)訪問、以及高 負(fù)載 的分布式計(jì)算。. MPP 與 Hadoopamp。Hadoopamp。擴(kuò)容影響上，MPP 技術(shù)擴(kuò)容通常導(dǎo)致停機(jī)、服務(wù)中斷；數(shù)據(jù)需要重新分布，性能嚴(yán)重下降。Spark 技術(shù)擴(kuò)容無(wú)需停機(jī)、服務(wù)不中斷；數(shù)據(jù)無(wú)需重新分布，新數(shù)據(jù)自動(dòng)被分配到新的 節(jié)點(diǎn)中，性能沒有影響。Hadoopamp。處理數(shù)據(jù)量上，MPP 技術(shù)在數(shù)十 TB 級(jí)別。Spark 技術(shù)在 PB 級(jí)別。Hadoopamp。 Hadoopamp。數(shù)據(jù)存儲(chǔ)對(duì)象，MPP 技術(shù)支持結(jié)構(gòu)化數(shù)據(jù)，Hadoopamp。精選資料可修改編輯應(yīng)用運(yùn)算邏輯實(shí)現(xiàn)方式上，MPP 技術(shù) SQL 語(yǔ)言， Hadoopamp。數(shù)據(jù)訪問接口，MPP 技術(shù)支持 JDBC、ODBC，Hadoopamp。MPP Hadoopamp。擴(kuò)容無(wú)需停機(jī)、服務(wù)不中斷；擴(kuò)容時(shí)數(shù)據(jù)無(wú)需重新分布，新數(shù)據(jù)自動(dòng)被分配到新的節(jié)點(diǎn)中，性能沒有影響。數(shù)據(jù)以預(yù)定義的塊大小自動(dòng)均勻分布，通過 blockmap 映射表查詢數(shù)據(jù)位置；數(shù)據(jù)分布均勻、擴(kuò)容無(wú)需停機(jī)。數(shù)據(jù)裝載快，采用公平調(diào)度/配額調(diào)度；可支持上億用戶并發(fā)數(shù)據(jù)插入、查詢、檢索。Spark數(shù)據(jù)訪問接口JDBC、ODBC JDBC、ODBC、R 語(yǔ)言接口等索引 支持 支持（rowkey 索引、二維索引、全文關(guān)鍵字索引）. Hadoopamp。低成本運(yùn)算能力，使用低成本的存儲(chǔ)和服務(wù)器構(gòu)建，僅花費(fèi) 40%左右價(jià)格，便可以達(dá)到甚至超越 IOE 架構(gòu)的性能。高擴(kuò)展能力，集群規(guī)?？蓴U(kuò)展至幾千個(gè)節(jié)點(diǎn) 。應(yīng)用運(yùn)算邏輯，支持 Java、R 語(yǔ)言、Scala 、SQL2022 等。通過添加專有代碼實(shí)現(xiàn)的 Cloudera Manager 完成集群的部署和管理，并對(duì)集群的節(jié)點(diǎn)及服務(wù)進(jìn)行實(shí)時(shí)監(jiān)控。避免隨著擴(kuò)展而背離主干，以及隨之而來(lái)的兼容性問題。精選資料可修改編輯. Hadoop 血緣關(guān)系IBM BigInsights 是基于 Apache Hadoop 框架的存儲(chǔ)，管理和分析 Inter 級(jí)別數(shù)據(jù)量的半結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)的方案，具備企業(yè)級(jí)管理、工作流管理、安全管理、可視化挖掘與展現(xiàn) 等能力，能與 現(xiàn)有基礎(chǔ)設(shè) 施和大數(shù)據(jù)流計(jì)算技術(shù)集成。整體架構(gòu)如下圖所示：精選資料可修改編輯EMC Pivotal HD 是 EMC 公司進(jìn)行自主研發(fā)的 Hadoop 商業(yè)化產(chǎn)品，在2022 年 2 月獨(dú)立推出的商業(yè)發(fā)行版（2022 年以前 EMC 和 MapR 公司在 Hadoop領(lǐng)域?yàn)楹献骰锇椋?。還包括 Hardware Virtual Extensions（HVE）組件，它可以讓Hadoop 集群知道自己是建立在虛擬機(jī)還是物理服務(wù)器上。它將極大的擴(kuò)大了 Hadoop 的使用范圍和方式。它還 100%與 Apache Hadoop 的 API 兼容。整體架構(gòu)如下圖所示：精選資料可修改編輯天云趨勢(shì)科技 Hadoop 解決方案主要基于 Hortonworks 發(fā)行版，同時(shí)也提供了對(duì) Cloudera Hadoop 發(fā)行版的支持。整體架構(gòu)如下圖所示：浪潮 Hadoop 解決方案基于 Intel Hadoop 發(fā)行版。整體架構(gòu)如下圖 所示：星環(huán)科技 Transwarp Data Hub（TDH）基于 Apache Hadoop 組件構(gòu)建，并在
物理相關(guān)推薦
鄂ICP備17016276號(hào)-1