大數(shù)據(jù)中臺(tái)架構(gòu)棧-免費(fèi)閱讀
【正文】 劣勢(shì)在時(shí)間序列分析上不支持不同日期對(duì)比，還需要自定義SQL 實(shí)現(xiàn)。前者的方案更加完善，支持集合不同數(shù)據(jù)源形成對(duì)應(yīng)的指標(biāo)，再通過豐富的圖表類型進(jìn)行可視化。相對(duì)于其他產(chǎn)品，它更偏底層，并沒有對(duì)圖表進(jìn)行歸類。往上一層是各個(gè)知名公司開源的可視化框架，如 Airbnb 的 Superset，Redash，Metabase 等等。因其所有的處理都在內(nèi)存中完成（與上文的 Spark 類似），大部分場(chǎng)景下要比 Hive 快一個(gè)數(shù)量級(jí)2. Druid：由 MetaMarket 開源，是一個(gè)分布式、面向列式存儲(chǔ)的準(zhǔn)實(shí)時(shí)分析數(shù)據(jù)存儲(chǔ)系統(tǒng)，延遲性最細(xì)顆粒度可到 5 分鐘。而 Flink 作為更新一代的處理框架，擁有更快的計(jì)算能力，更低的延遲，已經(jīng)慢慢嶄露頭角。常見框架分類有：1. 僅批處理框架：Hadoop MapReduce2. 僅流處理框架：Storm，Samza3. 混合框架：Spark，F(xiàn)link篇幅所限，除了上文已經(jīng)提到的 Hadoop 生態(tài)外，我們?cè)俸?jiǎn)單科普下 Spark： Spark 和 FlinkApache Spark 是一種包含流處理能力的下一代批處理框架。舉例來講，如果你新家需要裝修，要在不同地方購(gòu)置很多東西。一般也會(huì)用于一些批次分析的場(chǎng)景。 數(shù)據(jù)傳輸 KafkaKafka 最初是由領(lǐng)英開發(fā)，并隨后于 2011 年初開源, 并于 2012 年 10 月 23 日由Apache Incubato 孵化出站。它搭配 ELK 技術(shù)棧使用起來比較簡(jiǎn)單，更像是為你準(zhǔn)備好的便當(dāng)，開盒即食。目前市面針對(duì)日志采集的有 Flume，Logstash，F(xiàn)ilebeat，F(xiàn)luentd ，rsyslog 幾種常見的框架，我們挑應(yīng)用較廣泛的前兩者介紹下： Flume 和 Logstash但無論怎么定義，一個(gè)完善的數(shù)據(jù)技術(shù)架構(gòu)必不可少。框架圖如下：1. 數(shù)據(jù)采集傳輸這個(gè)一般對(duì)應(yīng)于公司的日志平臺(tái)，任務(wù)是將數(shù)據(jù)采集后緩存在某個(gè)地方，供后續(xù)的計(jì)算流程進(jìn)行消費(fèi)使用。特點(diǎn)主要是：1. 內(nèi)部沒有一個(gè)persist queue，異常情況可能會(huì)丟失部分?jǐn)?shù)據(jù)2. 由ruby編寫，需要ruby環(huán)境，插件很多3. 配置簡(jiǎn)單，偏重?cái)?shù)據(jù)前期處理，分析方便從兩者的設(shè)計(jì)思想來看，F(xiàn)lume 最初并不是為了采集日志而設(shè)計(jì)，而是定位在把數(shù)據(jù)傳入 HDFS 中，這和 Logstash 有根本的區(qū)別。最后再通過 Sink 組件進(jìn)行保存，分別支持 HDFS，HBase，Hive 和 Kafka 四種存儲(chǔ)方式。數(shù)據(jù)量大到一定程度后，就必須采取分布式系統(tǒng)了。區(qū)別是 Hive SQL 是類 SQL 的查詢語(yǔ)言，要求數(shù)據(jù)存儲(chǔ)于表中，而 Pig 是面向數(shù)據(jù)流的一個(gè)程序語(yǔ)言，常用于開發(fā)簡(jiǎn)潔的腳本來轉(zhuǎn)換數(shù)據(jù)流從而嵌入
環(huán)評(píng)公示相關(guān)推薦
鄂ICP備17016276號(hào)-1