日志分析系統(tǒng)調(diào)研分析elkefk-wenkub
2023-07-12 10:40:00 本頁面
【正文】 。更重要的是，對(duì)于大部分日志系統(tǒng)而言，consumer已經(jīng)獲取的數(shù)據(jù)信息都由broker保存，而在kafka中，由consumer自己維護(hù)所取數(shù)據(jù)信息。(2) BrokerBroker采取了多種策略提高數(shù)據(jù)處理效率，包括sendfile和zero copy等技術(shù)。(1) ProducerProducer的任務(wù)是向broker發(fā)送數(shù)據(jù)。producer向某個(gè)topic發(fā)布消息，而consumer訂閱某個(gè)topic的消息，進(jìn)而一旦有新的關(guān)于某個(gè)topic的消息，broker會(huì)傳遞給訂閱它的所有consumer。它內(nèi)置了兩個(gè)mapreduce作業(yè)，分別用于獲取data和將data轉(zhuǎn)化為結(jié)構(gòu)化的log。(3) Collector和Agent為了克服(2)中的問題，增加了agent和collector階段。(1) Adaptor 數(shù)據(jù)源可封裝其他數(shù)據(jù)源，如file，unix命令行工具等目前可用的數(shù)據(jù)源有：hadoop logs，應(yīng)用程序度量數(shù)據(jù)，系統(tǒng)參數(shù)數(shù)據(jù)（如linux cpu使用流率）。scribe提供了各種各樣的store，如 file， HDFS等，scribe可將數(shù)據(jù)加載到這些store中。架構(gòu)：scribe的架構(gòu)比較簡(jiǎn)單，主要包括三部分，分別為scribe agent， scribe和存儲(chǔ)系統(tǒng)。它能夠從各種日志源上收集日志，存儲(chǔ)到一個(gè)中央存儲(chǔ)系統(tǒng) （可以是NFS，分布式文件系統(tǒng)等）上，以便于進(jìn)行集中統(tǒng)計(jì)分析處理。日志分析系統(tǒng)目錄一. 背景介紹 2二．日志系統(tǒng)比較 21．怎樣收集系統(tǒng)日志并進(jìn)行分析 2： 2 2 3A. FaceBook的Scribe 3B. Apache的Chukwa 3C. LinkedIn的Kafka 4E. 總結(jié) 8三．較為成熟的日志監(jiān)控分析工具 8 9 簡(jiǎn)介 9 10 10： 11 113. Logstash 于FluentD(Fluentd)對(duì)比 11一. 背景介紹許多公司的平臺(tái)每天會(huì)產(chǎn)生大量的日志（一般為流式數(shù)據(jù)，如，搜索引擎的pv，查詢等），處理這些日志需要特定的日志系統(tǒng)，一般而言，這些系統(tǒng)需要具有以下特征：（1） 構(gòu)建應(yīng)用系統(tǒng)和分析系統(tǒng)的橋梁，并將它們之間的關(guān)聯(lián)解耦；（2） 支持近實(shí)時(shí)的在線分析系統(tǒng)和類似于Hadoop之類的離線分析系統(tǒng)；（3） 具有高可擴(kuò)展性。它為日志的“分布式收集，統(tǒng)一處理”提供了一個(gè)可擴(kuò)展的，高容錯(cuò)的方案。(1) scribe agentscribe agent實(shí)際上是一個(gè)thrift client。(3) 存儲(chǔ)系統(tǒng)存儲(chǔ)系統(tǒng)實(shí)際上就是scribe中的store，當(dāng)前scribe支持非常多的store，包括file（文件），buffer（雙層存儲(chǔ)，一個(gè)主儲(chǔ)存，一個(gè)副存儲(chǔ)），network（另一個(gè)scribe服務(wù)器），bucket（包含多個(gè) store，通過hash的將數(shù)據(jù)存到不同store中），null(忽略數(shù)據(jù))，thriftfile（寫到一個(gè)Thrift TFileTransport文件中）和multi（把數(shù)據(jù)同時(shí)存放到不同store中）。(2) HDFS 存儲(chǔ)系統(tǒng)Chukwa采用了HDFS作為存儲(chǔ)系統(tǒng)。Agent的作用：給adaptor提供各種服務(wù)，包括：?jiǎn)?dòng)和關(guān)閉adaptor，將數(shù)據(jù)通過HTTP傳遞給Collector；定期記錄adaptor狀態(tài)，以便crash后恢復(fù)。存儲(chǔ)到data store（可以是數(shù)據(jù)庫或者HDFS等）中。 在kafka中，消息是按topic組織的，而每個(gè)topic又會(huì)分為多個(gè)partition，這樣便于管理數(shù)據(jù)和進(jìn)行負(fù)載均衡。Kafka提供了兩種producer接口，一種是low_level接口，使用該接口會(huì)向特定的broker的某個(gè)topic下的某個(gè)partition發(fā)送數(shù)據(jù)；另一種那個(gè)是high level接口，該接口支持同步/異步發(fā)送數(shù)據(jù)，基于zookeeper的broker自動(dòng)識(shí)別和負(fù)載均衡（基于Partitioner）。(3) Consumerconsumer的作用是將日志信息加載到中央存儲(chǔ)系統(tǒng)上。D. Cloudera的FlumeFlume是clo
數(shù)學(xué)相關(guān)推薦
鄂ICP備17016276號(hào)-1