大數(shù)據(jù)處理技術(shù)參考架構(gòu)(編輯修改稿)
2025-08-09 22:22 本頁(yè)面
【文章內(nèi)容簡(jiǎn)介】 應(yīng)用運(yùn)算邏輯實(shí)現(xiàn)方式SQL 語(yǔ)言 SQL202部分 PL/SQL、 R、Java、Scala 等精選資料可修改編輯MPP Hadoopamp。Spark數(shù)據(jù)訪問(wèn)接口JDBC、ODBC JDBC、ODBC、R 語(yǔ)言接口等索引 支持 支持（rowkey 索引、二維索引、全文關(guān)鍵字索引）. Hadoopamp。Spark 技術(shù)優(yōu)勢(shì)存儲(chǔ)、處理、分析 PB 級(jí)別的結(jié)構(gòu)化、半 結(jié)構(gòu)化、非 結(jié)構(gòu)化數(shù)據(jù)。低成本運(yùn)算能力，使用低成本的存儲(chǔ)和服務(wù)器構(gòu)建，僅花費(fèi) 40%左右價(jià)格，便可以達(dá)到甚至超越 IOE 架構(gòu)的性能。動(dòng)態(tài)擴(kuò)展運(yùn)算能力，擴(kuò)容無(wú)需停機(jī)、服務(wù)不中斷，數(shù)據(jù)無(wú)需重新分布，新數(shù)據(jù)自動(dòng)被分配到新的節(jié)點(diǎn)中，性能沒(méi)有影響。高擴(kuò)展能力，集群規(guī)模可擴(kuò)展至幾千個(gè)節(jié)點(diǎn) 。高容錯(cuò)能力，數(shù)據(jù)處理過(guò)程中存放中間結(jié)果，出 錯(cuò)時(shí)只需要重新運(yùn)行出錯(cuò)的子任務(wù)。應(yīng)用運(yùn)算邏輯，支持 Java、R 語(yǔ)言、Scala 、SQL2022 等。. Hadoop 框架對(duì) 比Apache Hadoop Cloudera CDH Hortonworks HDP開(kāi)源程度 完全開(kāi)源 部分開(kāi)源（包含免費(fèi)版/企業(yè)版）完全開(kāi)源（包含免費(fèi)版/企業(yè)版）技術(shù)支持 無(wú) 每年按節(jié)點(diǎn)數(shù)量收費(fèi) 每年按節(jié)點(diǎn)數(shù)量收費(fèi)集群部署 復(fù)雜 容易 容易精選資料可修改編輯51%24%25%開(kāi) 源 版 本 發(fā) 行 版 （ 免 費(fèi) ） 發(fā) 行 版 （ 付 費(fèi) ）Apache Hadoop Cloudera CDH Hortonworks HDP集群監(jiān)控 較易 容易 容易集群管理 較易 容易 容易專(zhuān)有代碼依賴(lài) 無(wú) 有（如：管理工具）無(wú)主要特點(diǎn) Apache Hadoop已經(jīng)形成生態(tài)系統(tǒng)，除了包含HDFS、YARN、MapReduce，還包含了很多其他 Apache 項(xiàng)目，如：HBase、Hive、ZooKeeper、Ambari、Sqoop等等，使用者可以根據(jù)需要自由組合。通過(guò)添加專(zhuān)有代碼實(shí)現(xiàn)的 Cloudera Manager 完成集群的部署和管理，并對(duì)集群的節(jié)點(diǎn)及服務(wù)進(jìn)行實(shí)時(shí)監(jiān)控。所有解決方案都通過(guò) Apache Software Foundation以項(xiàng)目形式開(kāi)發(fā)，HDP 內(nèi)無(wú)需專(zhuān)用擴(kuò)展。避免隨著擴(kuò)展而背離主干，以及隨之而來(lái)的兼容性問(wèn)題。. Hadoop 使用情況根據(jù)咨詢(xún)機(jī)構(gòu) Wikibon 在 2022 年進(jìn)行的一項(xiàng)調(diào)查 ，部署 Hadoop 的機(jī)構(gòu)中，僅有 25%是付 費(fèi)用戶(hù)，而有 51%是基于 Hadoop 的開(kāi)源版本自行開(kāi)發(fā)，還有 24%的用戶(hù)則是使用 Cloudera、Hortonworks 等 Hadoop 開(kāi)發(fā)商推出的免費(fèi)版本。精選資料可修改編輯. Hadoop 血緣關(guān)系IBM BigInsights 是基于 Apache Hadoop 框架的存儲(chǔ)，管理和分析 Inter 級(jí)別數(shù)據(jù)量的半結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)的方案，具備企業(yè)級(jí)管理、工作流管理、安全管理、可視化挖掘與展現(xiàn) 等能力，能與 現(xiàn)有基礎(chǔ)設(shè) 施和大數(shù)據(jù)流計(jì)算技術(shù)集成。產(chǎn)品設(shè)計(jì)思路是基于 Apache Hadoop 框架，在保持完全 100% Apache Hadoop兼容的情況下，加入 IBM 的項(xiàng)目和研究開(kāi)發(fā)的分析能力。整體架構(gòu)如下圖所示：精選資料可修改編輯EMC Pivotal HD 是 EMC 公司進(jìn)行自主研發(fā)的 Hadoop 商業(yè)化產(chǎn)品，在2022 年 2 月獨(dú)立推出的商業(yè)發(fā)行版（2022 年以前 EMC 和 MapR 公司在 Hadoop領(lǐng)域?yàn)楹献骰锇椋?。Pivotal HD 產(chǎn)品包括 Hadoop 的 MapReduce 和 HDFS，可以利用 Hive、HBase、Pig 開(kāi)發(fā)語(yǔ)言、Yarn 資源管理、Mahout 分析工具和Zookeeper 工具等。還包括 Hardware Virtual Extensions（HVE）組件，它可以讓Hadoop 集群知道自己是建立在虛擬機(jī)還是物理服務(wù)器上。整體架構(gòu)如下圖所示：MapR Hadoop 是 MapR Technologies 公司于 2022 年正式發(fā)布的產(chǎn)品，目 標(biāo)是使 Hadoop 變?yōu)橐粋€(gè)速度更快、可靠性更高、更易于管理、使用更加方便的分布式計(jì)算服務(wù)和存儲(chǔ)平臺(tái)，同 時(shí)性能也不斷提高。它將極大的擴(kuò)大了 Hadoop 的使用范圍和方式。它包含了開(kāi)源社區(qū)許多流行的工具和功能，例如 Hbase、Hive。它還 100%與 Apache Hadoop 的 API 兼容。目前有 M3（免費(fèi)版）和 M5（收費(fèi)版）兩個(gè)版本。整體架構(gòu)如下圖所示：精選資料可修改編輯天云趨勢(shì)科技 Hadoop 解決方案主要基于 Hortonworks 發(fā)行版，同時(shí)也提供了對(duì) Cloudera Hadoop 發(fā)行版的支持。整體架構(gòu)如下圖所示：音智達(dá) Hadoop 解決方案基于 Cloudera Hadoop 發(fā)行版。整體架構(gòu)如下圖所示：浪潮 Hadoop 解決方案基于 Intel Hadoop 發(fā)行版。整體架構(gòu)如下圖所示：精選資料可修改編輯華為 FusionInsight Hadoop 是完全基于 Apache Hadoop 組件構(gòu)建的 Hadoop產(chǎn)品，在 Apache Hadoop 版本的基礎(chǔ)上對(duì) HBase、HDFS 和 MapReduce 等組件增加了 HA、查詢(xún) 和分析功能，進(jìn)行了性能優(yōu)化，并及時(shí)回饋 Hadoop 社區(qū)，保持版本同步，接口與社區(qū)版本完全一致。整體架構(gòu)如下圖 所示：星環(huán)科技 Transwarp Data Hub（TDH）基于 Apache Hadoop 組件構(gòu)建，并在此基礎(chǔ)之上研發(fā)了交互式 SQL 分析引擎 Inceptor、實(shí)時(shí) NoSQL 數(shù)據(jù)庫(kù)Hyperbase 和 Transwarp Manager 等引擎。同時(shí)支持 R 語(yǔ)言數(shù)據(jù)挖掘、機(jī)器學(xué) 習(xí)、實(shí)時(shí)流處理、全文搜索和圖計(jì) 算和系統(tǒng)安裝及集群配置功能。整體架構(gòu)如下圖所示：精選資料可修改編輯. 行業(yè) 大數(shù)據(jù)應(yīng) 用場(chǎng)景對(duì)比分析 基于 MPP 的數(shù)據(jù) 倉(cāng)庫(kù) Hadoop amp。 Spark 阿里云工商銀行 Teradata 信息庫(kù) 建設(shè)銀行 Teradata 交通銀行 Teradata 廣發(fā)銀行 Oracle 中國(guó)銀聯(lián) 風(fēng)險(xiǎn)控制與交易查詢(xún)（Cloudera）實(shí)時(shí)查詢(xún) 采用 HadoopHBase 民生銀行 大數(shù)據(jù)分析
物理相關(guān)推薦
鄂ICP備17016276號(hào)-1