大數(shù)據(jù)處理技術(shù)參考架構(gòu)-文庫(kù)吧資料
2024-07-26 22:22本頁(yè)面
【正文】 ase的星環(huán) Hyperbase 北京銀行 歷 史明細(xì)數(shù)據(jù)查詢(xún)、司法查詢(xún)（東方國(guó)信） 上海銀行 核心系統(tǒng)及數(shù)據(jù)分析天弘基金 核心系統(tǒng)及數(shù)據(jù)分析眾安保險(xiǎn) 核心系統(tǒng)及數(shù)據(jù)分析新華保險(xiǎn) 精準(zhǔn)營(yíng)銷(xiāo)分析（ Cloudera） 中國(guó)聯(lián)通通話(huà)及短信息記錄輿情分析（東方國(guó)信） 美團(tuán)網(wǎng)大數(shù)據(jù)分析平臺(tái)（Apache ）實(shí)時(shí)查詢(xún) 采用 HadoopHBase和 MySQL 精選資料可修改編輯6. 大數(shù)據(jù)處理參考架構(gòu). 參考架構(gòu)結(jié)合統(tǒng)計(jì)分析 Web 應(yīng)用的數(shù)據(jù) 處理典型場(chǎng)景，在 Hadoopamp。同時(shí)支持 R 語(yǔ)言數(shù)據(jù)挖掘、機(jī)器學(xué) 習(xí)、實(shí)時(shí)流處理、全文搜索和圖計(jì) 算和系統(tǒng)安裝及集群配置功能。整體架構(gòu)如下圖所示：精選資料可修改編輯華為 FusionInsight Hadoop 是完全基于 Apache Hadoop 組件構(gòu)建的 Hadoop產(chǎn)品，在 Apache Hadoop 版本的基礎(chǔ)上對(duì) HBase、HDFS 和 MapReduce 等組件增加了 HA、查詢(xún) 和分析功能，進(jìn)行了性能優(yōu)化，并及時(shí)回饋 Hadoop 社區(qū)，保持版本同步，接口與社區(qū)版本完全一致。整體架構(gòu)如下圖所示：音智達(dá) Hadoop 解決方案基于 Cloudera Hadoop 發(fā)行版。目前有 M3（免費(fèi)版）和 M5（收費(fèi)版）兩個(gè)版本。它包含了開(kāi)源社區(qū)許多流行的工具和功能，例如 Hbase、Hive。整體架構(gòu)如下圖所示：MapR Hadoop 是 MapR Technologies 公司于 2022 年正式發(fā)布的產(chǎn)品，目 標(biāo)是使 Hadoop 變?yōu)橐粋€(gè)速度更快、可靠性更高、更易于管理、使用更加方便的分布式計(jì)算服務(wù)和存儲(chǔ)平臺(tái)，同 時(shí)性能也不斷提高。Pivotal HD 產(chǎn)品包括 Hadoop 的 MapReduce 和 HDFS，可以利用 Hive、HBase、Pig 開(kāi)發(fā)語(yǔ)言、Yarn 資源管理、Mahout 分析工具和Zookeeper 工具等。產(chǎn)品設(shè)計(jì)思路是基于 Apache Hadoop 框架，在保持完全 100% Apache Hadoop兼容的情況下，加入 IBM 的項(xiàng)目和研究開(kāi)發(fā)的分析能力。. Hadoop 使用情況根據(jù)咨詢(xún)機(jī)構(gòu) Wikibon 在 2022 年進(jìn)行的一項(xiàng)調(diào)查 ，部署 Hadoop 的機(jī)構(gòu)中，僅有 25%是付 費(fèi)用戶(hù)，而有 51%是基于 Hadoop 的開(kāi)源版本自行開(kāi)發(fā)，還有 24%的用戶(hù)則是使用 Cloudera、Hortonworks 等 Hadoop 開(kāi)發(fā)商推出的免費(fèi)版本。所有解決方案都通過(guò) Apache Software Foundation以項(xiàng)目形式開(kāi)發(fā)，HDP 內(nèi)無(wú)需專(zhuān)用擴(kuò)展。. Hadoop 框架對(duì) 比Apache Hadoop Cloudera CDH Hortonworks HDP開(kāi)源程度 完全開(kāi)源 部分開(kāi)源（包含免費(fèi)版/企業(yè)版）完全開(kāi)源（包含免費(fèi)版/企業(yè)版）技術(shù)支持 無(wú) 每年按節(jié)點(diǎn)數(shù)量收費(fèi) 每年按節(jié)點(diǎn)數(shù)量收費(fèi)集群部署 復(fù)雜 容易 容易精選資料可修改編輯51%24%25%開(kāi) 源 版 本 發(fā) 行 版 （ 免 費(fèi) ） 發(fā) 行 版 （ 付 費(fèi) ）Apache Hadoop Cloudera CDH Hortonworks HDP集群監(jiān)控 較易 容易 容易集群管理 較易 容易 容易專(zhuān)有代碼依賴(lài) 無(wú) 有（如：管理工具）無(wú)主要特點(diǎn) Apache Hadoop已經(jīng)形成生態(tài)系統(tǒng)，除了包含HDFS、YARN、MapReduce，還包含了很多其他 Apache 項(xiàng)目，如：HBase、Hive、ZooKeeper、Ambari、Sqoop等等，使用者可以根據(jù)需要自由組合。高容錯(cuò)能力，數(shù)據(jù)處理過(guò)程中存放中間結(jié)果，出 錯(cuò)時(shí)只需要重新運(yùn)行出錯(cuò)的子任務(wù)。動(dòng)態(tài)擴(kuò)展運(yùn)算能力，擴(kuò)容無(wú)需停機(jī)、服務(wù)不中斷，數(shù)據(jù)無(wú)需重新分布，新數(shù)據(jù)自動(dòng)被分配到新的節(jié)點(diǎn)中，性能沒(méi)有影響。Spark 技術(shù)優(yōu)勢(shì)存儲(chǔ)、處理、分析 PB 級(jí)別的結(jié)構(gòu)化、半 結(jié)構(gòu)化、非 結(jié)構(gòu)化數(shù)據(jù)。數(shù)據(jù)存儲(chǔ)對(duì)象結(jié)構(gòu)化數(shù)據(jù) 結(jié)構(gòu)化、半結(jié)構(gòu)化、非結(jié)構(gòu)化數(shù)據(jù)應(yīng)用運(yùn)算邏輯實(shí)現(xiàn)方式SQL 語(yǔ)言 SQL202部分 PL/SQL、 R、Java、Scala 等精選資料可修改編輯MPP Hadoopamp。處理數(shù)據(jù)量數(shù)十 TB PB容錯(cuò)能力 不存放中間結(jié)果，出錯(cuò)時(shí)需要重新執(zhí)行整個(gè)任務(wù)存放中間結(jié)果，出錯(cuò)時(shí)只需要重新運(yùn)行出錯(cuò)的子任務(wù)并發(fā)能力 用于分析型應(yīng)用場(chǎng)景，數(shù)據(jù)裝載時(shí)建立索引較慢；通常不超過(guò)數(shù)百個(gè)并發(fā)。數(shù)據(jù)分布方式數(shù)據(jù)以預(yù)定義的分布策略，按列進(jìn)行散列或輪詢(xún)分布；真實(shí)數(shù)據(jù)通常有傾斜，將導(dǎo)致數(shù)據(jù)不均勻分布，對(duì)計(jì)算效率影響較大。Spark集群規(guī)模 近百個(gè)節(jié)點(diǎn)（中國(guó)大陸很少有 100+節(jié)點(diǎn)的案例）幾千個(gè)節(jié)點(diǎn)動(dòng)態(tài)擴(kuò)展運(yùn)算能力擴(kuò)容通常導(dǎo)致停機(jī)、服務(wù)中斷；數(shù)據(jù)需要重新分布，性能?chē)?yán)重下降。Spark 技術(shù)支持JDBC、ODBC、R 語(yǔ)言接口等。Spark 技術(shù)支持SQL202部分 PL/SQL、R、Java、Scala 等。Spark 技術(shù)支持結(jié)構(gòu)化、半結(jié)構(gòu)化、非結(jié)構(gòu)化數(shù)據(jù)。Spark 技術(shù)數(shù)據(jù)裝 載快，采用公平調(diào)度/配額調(diào)度；可支持上億用戶(hù)并發(fā)數(shù)據(jù)插入、查詢(xún)、 檢索。Spark 技術(shù)存放中 間結(jié)果，出錯(cuò)時(shí)只需要重新運(yùn)行出 錯(cuò)的子任務(wù)并發(fā)能力上，MPP 技術(shù)多用于分析型應(yīng)用場(chǎng)景，數(shù)據(jù)裝載時(shí)建立索引較慢；通常不超過(guò)數(shù)百個(gè)并發(fā)。容錯(cuò)能力上，MPP 技術(shù)不存放中間結(jié)果，出錯(cuò)時(shí)需要重新執(zhí)行整個(gè)任務(wù)。Hadoopamp。Spark 技術(shù)中，數(shù)據(jù)按預(yù)配置的塊大小自動(dòng) 均勻分布，通 過(guò) blockmap 映射表查詢(xún)數(shù)據(jù)位置；數(shù)據(jù)分布均勻、擴(kuò)容無(wú)需停機(jī)。數(shù)據(jù)分布方式上，MPP 技術(shù)以預(yù)定義數(shù)據(jù)分布策略，按列進(jìn)行散列或輪詢(xún)分布；真實(shí)數(shù)據(jù)通常有傾斜，將 導(dǎo)致數(shù)據(jù)不均勻分布，對(duì)計(jì)算效率影響較大。Hadoopamp。Spark 技術(shù)支持幾千個(gè) 節(jié)點(diǎn)。Spark 技術(shù)對(duì)比集群規(guī)模上，MPP 技術(shù)支持近百個(gè)節(jié)點(diǎn)（中國(guó)大陸很少有 100+節(jié)點(diǎn)的案例）。近些年在眾多行業(yè)都得到廣泛應(yīng)用。Hadoopamp。精選資料可修改編輯5. 大數(shù)據(jù)處理技術(shù)對(duì)比目前對(duì)海量數(shù)據(jù)進(jìn)行分布式處理的技術(shù)主要分為兩類(lèi)：? MPP（Massively Parallel Processing）大規(guī)模并行處 理技術(shù)；MPP
物理相關(guān)推薦
鄂ICP備17016276號(hào)-1