大數(shù)據(jù)中臺架構(gòu)棧-全文預(yù)覽
【正文】 選擇。批處理模式下，Spark 與 MapReduce 不同，它將數(shù)據(jù)處理工作全部在內(nèi)存中進行，計算性能大幅改善?？赡苁钱敃r Google 有意改善業(yè)內(nèi)落后的現(xiàn)狀，讓大家稍微跟得上他的腳步才發(fā)布的論文…這么多年過去了，不知道 Google 內(nèi)部對數(shù)據(jù)的理解和使用又到了什么樣的高度。你一個人（單機）去買估計得花十天。區(qū)別是 Hive SQL 是類 SQL 的查詢語言，要求數(shù)據(jù)存儲于表中，而 Pig 是面向數(shù)據(jù)流的一個程序語言，常用于開發(fā)簡潔的腳本來轉(zhuǎn)換數(shù)據(jù)流從而嵌入到較大的應(yīng)用程序中。HBaseHBase 是 Hadoop 數(shù)據(jù)庫，作為基于列的非關(guān)系型數(shù)據(jù)庫運行在 HDFS 上。數(shù)據(jù)量大到一定程度后，就必須采取分布式系統(tǒng)了。該項目的目標是為處理實時數(shù)據(jù)提供一個統(tǒng)一、高吞吐、低延遲的平臺。最后再通過 Sink 組件進行保存，分別支持 HDFS，HBase，Hive 和 Kafka 四種存儲方式。 日志采集如何工作我們以 Flume 為例子講些日志采集 Agent 是怎么工作的。特點主要是：1. 內(nèi)部沒有一個persist queue，異常情況可能會丟失部分數(shù)據(jù)2. 由ruby編寫，需要ruby環(huán)境，插件很多3. 配置簡單，偏重數(shù)據(jù)前期處理，分析方便從兩者的設(shè)計思想來看，F(xiàn)lume 最初并不是為了采集日志而設(shè)計，而是定位在把數(shù)據(jù)傳入 HDFS 中，這和 Logstash 有根本的區(qū)別。Flume 是一款由 Cloudera 開發(fā)的實時采集日志引擎，主打高并發(fā)，高速度，分布式海量日志采集。框架圖如下：1. 數(shù)據(jù)采集傳輸這個一般對應(yīng)于公司的日志平臺，任務(wù)是將數(shù)據(jù)采集后緩存在某個地方，供后續(xù)的計算流程進行消費使用。了解這些架構(gòu)里每個部分的位置，功能和含義，不僅能讓我們更好了解數(shù)據(jù)產(chǎn)品的范圍和邊界，知道技術(shù)能幫我們實現(xiàn)什么，能怎么實現(xiàn)得更好，另一方面，很多技術(shù)的設(shè)計理念對我們認知世界，了解復(fù)雜系統(tǒng)也會有所裨益。但無論怎么定義，一個完善的數(shù)據(jù)技術(shù)架構(gòu)必不可少。查詢，到后續(xù)的數(shù)據(jù)可視化及分析。目前市面針對日志采集的有 Flume，Logstash，F(xiàn)ilebeat，F(xiàn)luentd ，rsyslog 幾種常見的框架，我們挑應(yīng)用較廣泛的前兩者介紹下： Flume 和 Logstash目前有兩個版本，OG和NG，特點主要是：1. 側(cè)重數(shù)據(jù)傳輸，有內(nèi)部機制確保不會丟數(shù)據(jù)，用于重要日志場景2. 由java開發(fā)，沒有豐富的插件，主要靠二次開發(fā)3. 配置繁瑣，對外暴露監(jiān)控端口有數(shù)據(jù)Logstash 是 旗下的一個開源數(shù)據(jù)收集引擎，可動態(tài)的統(tǒng)一不同的數(shù)據(jù)源的數(shù)據(jù)至目的地，搭配 ElasticSearch 進行分析，Kibana 進行頁面展示，是著名的 ELK 技術(shù)棧中的「
環(huán)評公示相關(guān)推薦
鄂ICP備17016276號-1