大數(shù)據(jù)處理技術(shù)參考架構(gòu)(編輯修改稿)
2024-08-09 22:22 本頁面
【文章內(nèi)容簡介】 應(yīng)用運(yùn)算邏輯實(shí)現(xiàn)方式SQL 語言 SQL202部分 PL/SQL、 R、Java、Scala 等精選資料可修改編輯MPP Hadoopamp。Spark數(shù)據(jù)訪問接口JDBC、ODBC JDBC、ODBC、R 語言接口等索引 支持 支持（rowkey 索引、二維索引、全文關(guān)鍵字索引）. Hadoopamp。Spark 技術(shù)優(yōu)勢存儲、處理、分析 PB 級別的結(jié)構(gòu)化、半 結(jié)構(gòu)化、非 結(jié)構(gòu)化數(shù)據(jù)。低成本運(yùn)算能力，使用低成本的存儲和服務(wù)器構(gòu)建，僅花費(fèi) 40%左右價格，便可以達(dá)到甚至超越 IOE 架構(gòu)的性能。動態(tài)擴(kuò)展運(yùn)算能力，擴(kuò)容無需停機(jī)、服務(wù)不中斷，數(shù)據(jù)無需重新分布，新數(shù)據(jù)自動被分配到新的節(jié)點(diǎn)中，性能沒有影響。高擴(kuò)展能力，集群規(guī)?？蓴U(kuò)展至幾千個節(jié)點(diǎn) 。高容錯能力，數(shù)據(jù)處理過程中存放中間結(jié)果，出 錯時只需要重新運(yùn)行出錯的子任務(wù)。應(yīng)用運(yùn)算邏輯，支持 Java、R 語言、Scala 、SQL2022 等。. Hadoop 框架對 比Apache Hadoop Cloudera CDH Hortonworks HDP開源程度 完全開源 部分開源（包含免費(fèi)版/企業(yè)版）完全開源（包含免費(fèi)版/企業(yè)版）技術(shù)支持 無 每年按節(jié)點(diǎn)數(shù)量收費(fèi) 每年按節(jié)點(diǎn)數(shù)量收費(fèi)集群部署 復(fù)雜 容易 容易精選資料可修改編輯51%24%25%開 源 版 本 發(fā) 行 版 （ 免 費(fèi) ） 發(fā) 行 版 （ 付 費(fèi) ）Apache Hadoop Cloudera CDH Hortonworks HDP集群監(jiān)控 較易 容易 容易集群管理 較易 容易 容易專有代碼依賴 無 有（如：管理工具）無主要特點(diǎn) Apache Hadoop已經(jīng)形成生態(tài)系統(tǒng)，除了包含HDFS、YARN、MapReduce，還包含了很多其他 Apache 項(xiàng)目，如：HBase、Hive、ZooKeeper、Ambari、Sqoop等等，使用者可以根據(jù)需要自由組合。通過添加專有代碼實(shí)現(xiàn)的 Cloudera Manager 完成集群的部署和管理，并對集群的節(jié)點(diǎn)及服務(wù)進(jìn)行實(shí)時監(jiān)控。所有解決方案都通過 Apache Software Foundation以項(xiàng)目形式開發(fā)，HDP 內(nèi)無需專用擴(kuò)展。避免隨著擴(kuò)展而背離主干，以及隨之而來的兼容性問題。. Hadoop 使用情況根據(jù)咨詢機(jī)構(gòu) Wikibon 在 2022 年進(jìn)行的一項(xiàng)調(diào)查 ，部署 Hadoop 的機(jī)構(gòu)中，僅有 25%是付 費(fèi)用戶，而有 51%是基于 Hadoop 的開源版本自行開發(fā)，還有 24%的用戶則是使用 Cloudera、Hortonworks 等 Hadoop 開發(fā)商推出的免費(fèi)版本。精選資料可修改編輯. Hadoop 血緣關(guān)系IBM BigInsights 是基于 Apache Hadoop 框架的存儲，管理和分析 Inter 級別數(shù)據(jù)量的半結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)的方案，具備企業(yè)級管理、工作流管理、安全管理、可視化挖掘與展現(xiàn) 等能力，能與 現(xiàn)有基礎(chǔ)設(shè) 施和大數(shù)據(jù)流計算技術(shù)集成。產(chǎn)品設(shè)計思路是基于 Apache Hadoop 框架，在保持完全 100% Apache Hadoop兼容的情況下，加入 IBM 的項(xiàng)目和研究開發(fā)的分析能力。整體架構(gòu)如下圖所示：精選資料可修改編輯EMC Pivotal HD 是 EMC 公司進(jìn)行自主研發(fā)的 Hadoop 商業(yè)化產(chǎn)品，在2022 年 2 月獨(dú)立推出的商業(yè)發(fā)行版（2022 年以前 EMC 和 MapR 公司在 Hadoop領(lǐng)域?yàn)楹献骰锇椋ivotal HD 產(chǎn)品包括 Hadoop 的 MapReduce 和 HDFS，可以利用 Hive、HBase、Pig 開發(fā)語言、Yarn 資源管理、Mahout 分析工具和Zookeeper 工具等。還包括 Hardware Virtual Extensions（HVE）組件，它可以讓Hadoop 集群知道自己是建立在虛擬機(jī)還是物理服務(wù)器上。整體架構(gòu)如下圖所示：MapR Hadoop 是 MapR Technologies 公司于 2022 年正式發(fā)布的產(chǎn)品，目 標(biāo)是使 Hadoop 變?yōu)橐粋€速度更快、可靠性更高、更易于管理、使用更加方便的分布式計算服務(wù)和存儲平臺，同 時性能也不斷提高。它將極大的擴(kuò)大了 Hadoop 的使用范圍和方式。它包含了開源社區(qū)許多流行的工具和功能，例如 Hbase、Hive。它還 100%與 Apache Hadoop 的 API 兼容。目前有 M3（免費(fèi)版）和 M5（收費(fèi)版）兩個版本。整體架構(gòu)如下圖所示：精選資料可修改編輯天云趨勢科技 Hadoop 解決方案主要基于 Hortonworks 發(fā)行版，同時也提供了對 Cloudera Hadoop 發(fā)行版的支持。整體架構(gòu)如下圖所示：音智達(dá) Hadoop 解決方案基于 Cloudera Hadoop 發(fā)行版。整體架構(gòu)如下圖所示：浪潮 Hadoop 解決方案基于 Intel Hadoop 發(fā)行版。整體架構(gòu)如下圖所示：精選資料可修改編輯華為 FusionInsight Hadoop 是完全基于 Apache Hadoop 組件構(gòu)建的 Hadoop產(chǎn)品，在 Apache Hadoop 版本的基礎(chǔ)上對 HBase、HDFS 和 MapReduce 等組件增加了 HA、查詢 和分析功能，進(jìn)行了性能優(yōu)化，并及時回饋 Hadoop 社區(qū)，保持版本同步，接口與社區(qū)版本完全一致。整體架構(gòu)如下圖 所示：星環(huán)科技 Transwarp Data Hub（TDH）基于 Apache Hadoop 組件構(gòu)建，并在此基礎(chǔ)之上研發(fā)了交互式 SQL 分析引擎 Inceptor、實(shí)時 NoSQL 數(shù)據(jù)庫Hyperbase 和 Transwarp Manager 等引擎。同時支持 R 語言數(shù)據(jù)挖掘、機(jī)器學(xué) 習(xí)、實(shí)時流處理、全文搜索和圖計 算和系統(tǒng)安裝及集群配置功能。整體架構(gòu)如下圖所示：精選資料可修改編輯. 行業(yè) 大數(shù)據(jù)應(yīng) 用場景對比分析 基于 MPP 的數(shù)據(jù) 倉庫 Hadoop amp。 Spark 阿里云工商銀行 Teradata 信息庫 建設(shè)銀行 Teradata 交通銀行 Teradata 廣發(fā)銀行 Oracle 中國銀聯(lián) 風(fēng)險控制與交易查詢（Cloudera）實(shí)時查詢 采用 HadoopHBase 民生銀行 大數(shù)據(jù)分析
物理相關(guān)推薦
鄂ICP備17016276號-1