freepeople性欧美熟妇, 色戒完整版无删减158分钟hd, 无码精品国产vα在线观看DVD, 丰满少妇伦精品无码专区在线观看,艾栗栗与纹身男宾馆3p50分钟,国产AV片在线观看,黑人与美女高潮,18岁女RAPPERDISSSUBS,国产手机在机看影片

正文內(nèi)容

日志分析系統(tǒng)調(diào)研分析elkefk-wenkub

2023-07-12 10:40:00 本頁面
 

【正文】 。更重要的是,對(duì)于大部分日志系統(tǒng)而言,consumer已經(jīng)獲取的數(shù)據(jù)信息都由broker保存,而在kafka中,由consumer自己維護(hù)所取數(shù)據(jù)信息。(2) BrokerBroker采取了多種策略提高數(shù)據(jù)處理效率,包括sendfile和zero copy等技術(shù)。(1) ProducerProducer的任務(wù)是向broker發(fā)送數(shù)據(jù)。producer向某個(gè)topic發(fā)布消息,而consumer訂閱某個(gè)topic的消息,進(jìn)而一旦有新的關(guān)于某個(gè)topic的消息,broker會(huì)傳遞給訂閱它的所有consumer。它內(nèi)置了兩個(gè)mapreduce作業(yè),分別用于獲取data和將data轉(zhuǎn)化為結(jié)構(gòu)化的log。(3) Collector和Agent為了克服(2)中的問題,增加了agent和collector階段。(1) Adaptor 數(shù)據(jù)源可封裝其他數(shù)據(jù)源,如file,unix命令行工具等目前可用的數(shù)據(jù)源有:hadoop logs,應(yīng)用程序度量數(shù)據(jù),系統(tǒng)參數(shù)數(shù)據(jù)(如linux cpu使用流率)。scribe提供了各種各樣的store,如 file, HDFS等,scribe可將數(shù)據(jù)加載到這些store中。架構(gòu):scribe的架構(gòu)比較簡(jiǎn)單,主要包括三部分,分別為scribe agent, scribe和存儲(chǔ)系統(tǒng)。它能夠從各種日志源上收集日志,存儲(chǔ)到一個(gè)中央存儲(chǔ)系統(tǒng) (可以是NFS,分布式文件系統(tǒng)等)上,以便于進(jìn)行集中統(tǒng)計(jì)分析處理。日志分析系統(tǒng)目錄一. 背景介紹 2二.日志系統(tǒng)比較 21.怎樣收集系統(tǒng)日志并進(jìn)行分析 2: 2 2 3A. FaceBook的Scribe 3B. Apache的Chukwa 3C. LinkedIn的Kafka 4E. 總結(jié) 8三.較為成熟的日志監(jiān)控分析工具 8 9 簡(jiǎn)介 9 10 10: 11 113. Logstash 于FluentD(Fluentd)對(duì)比 11一. 背景介紹許多公司的平臺(tái)每天會(huì)產(chǎn)生大量的日志(一般為流式數(shù)據(jù),如,搜索引擎的pv,查詢等),處理這些日志需要特定的日志系統(tǒng),一般而言,這些系統(tǒng)需要具有以下特征:(1) 構(gòu)建應(yīng)用系統(tǒng)和分析系統(tǒng)的橋梁,并將它們之間的關(guān)聯(lián)解耦;(2) 支持近實(shí)時(shí)的在線分析系統(tǒng)和類似于Hadoop之類的離線分析系統(tǒng);(3) 具有高可擴(kuò)展性。它為日志的“分布式收集,統(tǒng)一處理”提供了一個(gè)可擴(kuò)展的,高容錯(cuò)的方案。(1) scribe agentscribe agent實(shí)際上是一個(gè)thrift client。(3) 存儲(chǔ)系統(tǒng)存儲(chǔ)系統(tǒng)實(shí)際上就是scribe中的store,當(dāng)前scribe支持非常多的store,包括file(文件),buffer(雙層存儲(chǔ),一個(gè)主儲(chǔ)存,一個(gè)副存儲(chǔ)),network(另一個(gè)scribe服務(wù)器),bucket(包含多個(gè) store,通過hash的將數(shù)據(jù)存到不同store中),null(忽略數(shù)據(jù)),thriftfile(寫到一個(gè)Thrift TFileTransport文件中)和multi(把數(shù)據(jù)同時(shí)存放到不同store中)。(2) HDFS 存儲(chǔ)系統(tǒng)Chukwa采用了HDFS作為存儲(chǔ)系統(tǒng)。Agent的作用:給adaptor提供各種服務(wù),包括:?jiǎn)?dòng)和關(guān)閉adaptor,將數(shù)據(jù)通過HTTP傳遞給Collector;定期記錄adaptor狀態(tài),以便crash后恢復(fù)。存儲(chǔ)到data store(可以是數(shù)據(jù)庫或者HDFS等)中。 在kafka中,消息是按topic組織的,而每個(gè)topic又會(huì)分為多個(gè)partition,這樣便于管理數(shù)據(jù)和進(jìn)行負(fù)載均衡。Kafka提供了兩種producer接口,一種是low_level接口,使用該接口會(huì)向特定的broker的某個(gè)topic下的某個(gè)partition發(fā)送數(shù)據(jù);另一種那個(gè)是high level接口,該接口支持同步/異步發(fā)送數(shù)據(jù),基于zookeeper的broker自動(dòng)識(shí)別和負(fù)載均衡(基于Partitioner)。(3) Consumerconsumer的作用是將日志信息加載到中央存儲(chǔ)系統(tǒng)上。D. Cloudera的FlumeFlume是clo
點(diǎn)擊復(fù)制文檔內(nèi)容
數(shù)學(xué)相關(guān)推薦
文庫吧 www.dybbs8.com
備案圖片鄂ICP備17016276號(hào)-1