企業(yè)大數(shù)據(jù)分析挖掘指南(編輯修改稿)
2025-07-13 22:20 本頁(yè)面
【文章內(nèi)容簡(jiǎn)介】 產(chǎn)品架構(gòu)，稱之為SharedALLDISK架構(gòu)。SharedALLDISK架構(gòu)的優(yōu)點(diǎn)明顯，賦予用戶業(yè)務(wù)自由遷徙的能力，不被某個(gè)云平臺(tái)綁架，同時(shí)能夠連接上下游的軟硬件廠商，共建Exodus數(shù)據(jù)庫(kù)生態(tài)。更為重要的是，Exodus將最終將開(kāi)源，UCloud會(huì)將核心系統(tǒng)的每一行源碼開(kāi)放，賦予用戶深入了解和優(yōu)化Exodus的能力。并建設(shè)開(kāi)源社區(qū)，吸收全行業(yè)的優(yōu)化成果，共同改進(jìn)和完善Exodus?；贗mpala平臺(tái)打造交互查詢系統(tǒng)在數(shù)據(jù)分析當(dāng)中，因?yàn)閿?shù)據(jù)基數(shù)龐大、關(guān)系模型復(fù)雜、響應(yīng)時(shí)間要求高等特性，數(shù)據(jù)之間的交互查詢就顯得尤為重要。來(lái)自網(wǎng)易的大數(shù)據(jù)技術(shù)專家蔣鴻翔現(xiàn)場(chǎng)從交互式查詢特點(diǎn)著手，深入淺出講解了Impala架構(gòu)、原理，以及網(wǎng)易對(duì)Impala的改進(jìn)思路和使用場(chǎng)景。Impala是Cloudera公司主導(dǎo)開(kāi)發(fā)的新型查詢系統(tǒng)，它提供SQL語(yǔ)義，能查詢存儲(chǔ)在Hadoop的HDFS和HBase中的PB級(jí)大數(shù)據(jù)。已有的Hive系統(tǒng)雖然也提供了SQL語(yǔ)義，但由于Hive底層執(zhí)行使用的是MapReduce引擎，仍然是一個(gè)批處理過(guò)程，難以滿足查詢的交互性。相比之下，Impala能夠很快速的實(shí)現(xiàn)數(shù)據(jù)查詢。下圖是一個(gè)Impala的架構(gòu)圖。Impala擁有元數(shù)據(jù)緩存、MPP并行計(jì)算、支持LLVM與JIT以及支持HDFS本地讀、算子下推等特性。但它也有一些缺陷，如服務(wù)單點(diǎn)、Web信息無(wú)法持久化、資源隔離并不精確、負(fù)載均衡需要外部支持等。網(wǎng)易針對(duì)上述不足之處，在原有的Impala查詢系統(tǒng)下，進(jìn)行了系列改進(jìn)優(yōu)化： 基于ZK的Loadbalance。原始的Impala負(fù)載均衡需要外部支持，為此網(wǎng)易基于ZK做了一個(gè)Loadbalance方案； 管理服務(wù)器。主要為了解決當(dāng)某一個(gè)節(jié)點(diǎn)掛掉時(shí)數(shù)據(jù)丟失的問(wèn)題，管理服務(wù)器會(huì)將所有的狀態(tài)信息搜集進(jìn)來(lái)，后續(xù)如果做分析都可以通過(guò)關(guān)聯(lián)的服務(wù)器查詢； 細(xì)粒度權(quán)限和代理； Json格式； 兼容Ranger權(quán)限管理； 批量元數(shù)據(jù)刷新； 元數(shù)據(jù)同步； 元數(shù)據(jù)過(guò)濾； 對(duì)接ElasticSearch查詢。據(jù)蔣鴻翔介紹，改造后的交互查詢系統(tǒng)，已經(jīng)
高考資料相關(guān)推薦
鄂ICP備17016276號(hào)-1