大數(shù)據(jù)中臺(tái)架構(gòu)棧(更新版)
【正文】 . Kylin：Cube 預(yù)計(jì)算技術(shù)是其核心，基本思路是預(yù)先對(duì)數(shù)據(jù)作多維索引，查詢時(shí)只掃描索引而不訪問(wèn)原始數(shù)據(jù)從而提速。不過(guò)一個(gè)框架的應(yīng)用，特別是開(kāi)源框架，需要足夠長(zhǎng)的時(shí)間進(jìn)行運(yùn)行，測(cè)試和優(yōu)化。批處理模式下，Spark 與 MapReduce 不同，它將數(shù)據(jù)處理工作全部在內(nèi)存中進(jìn)行，計(jì)算性能大幅改善。你一個(gè)人（單機(jī)）去買估計(jì)得花十天。HBaseHBase 是 Hadoop 數(shù)據(jù)庫(kù)，作為基于列的非關(guān)系型數(shù)據(jù)庫(kù)運(yùn)行在 HDFS 上。該項(xiàng)目的目標(biāo)是為處理實(shí)時(shí)數(shù)據(jù)提供一個(gè)統(tǒng)一、高吞吐、低延遲的平臺(tái)。 日志采集如何工作我們以 Flume 為例子講些日志采集 Agent 是怎么工作的。Flume 是一款由 Cloudera 開(kāi)發(fā)的實(shí)時(shí)采集日志引擎，主打高并發(fā)，高速度，分布式海量日志采集。了解這些架構(gòu)里每個(gè)部分的位置，功能和含義，不僅能讓我們更好了解數(shù)據(jù)產(chǎn)品的范圍和邊界，知道技術(shù)能幫我們實(shí)現(xiàn)什么，能怎么實(shí)現(xiàn)得更好，另一方面，很多技術(shù)的設(shè)計(jì)理念對(duì)我們認(rèn)知世界，了解復(fù)雜系統(tǒng)也會(huì)有所裨益。查詢，到后續(xù)的數(shù)據(jù)可視化及分析。目前有兩個(gè)版本，OG和NG，特點(diǎn)主要是：1. 側(cè)重?cái)?shù)據(jù)傳輸，有內(nèi)部機(jī)制確保不會(huì)丟數(shù)據(jù)，用于重要日志場(chǎng)景2. 由java開(kāi)發(fā)，沒(méi)有豐富的插件，主要靠二次開(kāi)發(fā)3. 配置繁瑣，對(duì)外暴露監(jiān)控端口有數(shù)據(jù)Logstash 是 旗下的一個(gè)開(kāi)源數(shù)據(jù)收集引擎，可動(dòng)態(tài)的統(tǒng)一不同的數(shù)據(jù)源的數(shù)據(jù)至目的地，搭配 ElasticSearch 進(jìn)行分析，Kibana 進(jìn)行頁(yè)面展示，是著名的 ELK 技術(shù)棧中的「L」部分。Channel 組件用來(lái)緩存數(shù)據(jù)，有 memory channel，JDBC channel和 kafka channel 三種。在數(shù)據(jù)量較小的情況下，一般采取單機(jī)數(shù)據(jù)庫(kù)，如應(yīng)用非常廣泛，技術(shù)成熟的 MySQL。Hive 和 PigHive 和 Pig 都是集成在 Hadoop 頂層的查詢語(yǔ)言，提供靜態(tài)數(shù)據(jù)的動(dòng)態(tài)查詢，支持類 SQL 語(yǔ)言，底層經(jīng)過(guò)編譯轉(zhuǎn)為 MapReduce 程序，省去了自己編寫(xiě) MR 程序的繁瑣。值得一提的是，Hadoop 生態(tài)其實(shí)是建立在 Google 2003 年發(fā)表的三大論文的基礎(chǔ)之上。這種方式的實(shí)際效果非常好，但相比真正的流處理框架在性能方面依然存在不足。 數(shù)據(jù)查詢經(jīng)過(guò)處理后的數(shù)據(jù)，還需要有高效的查詢引擎才能被用戶接觸和使用。這里為了方便闡述分成了兩個(gè)部分。 圖表庫(kù)理解整個(gè)圖表開(kāi)源生態(tài)，我們得先了解下SVG 和 Canvas 這兩個(gè)瀏覽器提供的原生能力。阿里后續(xù)基于 G2 又往上封裝了一套基于 React 的圖表庫(kù) Bizcharts，主打電商業(yè)務(wù)圖表可視化，沉淀電商業(yè)務(wù)線的可視化規(guī)范。且不提供圖表下鉆及聯(lián)動(dòng)功能，權(quán)限管理也不夠友好
環(huán)評(píng)公示相關(guān)推薦
鄂ICP備17016276號(hào)-1