建設(shè)devops統(tǒng)一運(yùn)維監(jiān)控平臺(tái)-文庫(kù)吧
2025-06-10 22:46 本頁(yè)面
【正文】 日志監(jiān)控，有很多開(kāi)源軟件把數(shù)據(jù)庫(kù)采集、數(shù)據(jù)存儲(chǔ)、數(shù)據(jù)展現(xiàn)、事件告警的任務(wù)都完成了，所以對(duì)于系統(tǒng)監(jiān)控的技術(shù)棧中，將這些開(kāi)源軟件暫且排除，待后面章節(jié)再進(jìn)行講解。此處主要關(guān)注于如何自建一個(gè)統(tǒng)一系統(tǒng)監(jiān)控平臺(tái)。 數(shù)據(jù)采集： 系統(tǒng)監(jiān)控?cái)?shù)據(jù)采集一般分為兩種方式：主動(dòng)采集、客戶(hù)端采集。主動(dòng)采集一般是通過(guò)SNMP、SSH、Telnet、IPMI、JMX等手段進(jìn)行遠(yuǎn)程采集，客戶(hù)端采集則是需要在每一個(gè)要監(jiān)控的主機(jī)中部署一個(gè)客戶(hù)端進(jìn)行數(shù)據(jù)采集并發(fā)送到遠(yuǎn)程服務(wù)端進(jìn)行接收。 數(shù)據(jù)緩沖： 和日志監(jiān)控一樣，在面臨海量監(jiān)控時(shí)，考慮到網(wǎng)絡(luò)的壓力和數(shù)據(jù)處理的瓶頸，可以在數(shù)據(jù)存儲(chǔ)前先經(jīng)過(guò)一層數(shù)據(jù)緩沖，將采集到的數(shù)據(jù)先放置到消息隊(duì)列中，然后再?gòu)姆植际疥?duì)列中讀取數(shù)據(jù)并存儲(chǔ)。如果數(shù)據(jù)量不大的話，則可以不考慮此層。 數(shù)據(jù)存儲(chǔ)： 對(duì)于系統(tǒng)監(jiān)控?cái)?shù)據(jù)，通常采用時(shí)序數(shù)據(jù)庫(kù)來(lái)存儲(chǔ)，時(shí)序數(shù)據(jù)庫(kù)全稱(chēng)為時(shí)間序列數(shù)據(jù)庫(kù)。時(shí)間序列數(shù)據(jù)庫(kù)主要用于指處理帶時(shí)間標(biāo)簽（按照時(shí)間的順序變化，即時(shí)間序列化）的數(shù)據(jù)，帶時(shí)間標(biāo)簽的數(shù)據(jù)也稱(chēng)為時(shí)間序列數(shù)據(jù)。如influxdb和opentsdb，是其中翹楚。 OpenTSDB是用hbase存儲(chǔ)所有的時(shí)序（無(wú)須采樣）來(lái)構(gòu)建的一個(gè)分布式、可伸縮的時(shí)間序列數(shù)據(jù)庫(kù)，可以從大規(guī)模的集群（包括集群中的網(wǎng)絡(luò)設(shè)備、操作系統(tǒng)、應(yīng)用程序）中獲取相應(yīng)的metrics并進(jìn)行存儲(chǔ)、索引以及服務(wù)，從而使得這些數(shù)據(jù)更容易讓人理解，如web化，圖形化等。用JAVA語(yǔ)言實(shí)現(xiàn)，對(duì)于JAVA系的同學(xué)們是一個(gè)福音,不過(guò)其依賴(lài)hbase也許會(huì)讓一部分同學(xué)望而卻步，畢竟還要先去維護(hù)hbase。 Influxdb是新興的一個(gè)時(shí)序數(shù)據(jù)庫(kù)，用go語(yǔ)言編寫(xiě)，無(wú)需外部依賴(lài)，發(fā)展很快。提供類(lèi)sql的查詢(xún)語(yǔ)法，安裝方便，單點(diǎn)即可使用，雖然有集群的能力，不過(guò)該特性是非開(kāi)源的（不過(guò)單點(diǎn)性能基本也都能滿足企業(yè)需求了）。提供Http API，便于調(diào)用和封裝。對(duì)于想基于influxdb自行進(jìn)行數(shù)據(jù)處理和展現(xiàn)的同學(xué)們而言很是友好。 數(shù)據(jù)展現(xiàn)： 說(shuō)到時(shí)序數(shù)據(jù)的圖形化展現(xiàn)，Grafana是一個(gè)不得不提的利器。Grafana是一個(gè)開(kāi)源的時(shí)序數(shù)據(jù)的查詢(xún)和展現(xiàn)軟件，提供了靈活豐富的圖形化選項(xiàng)；可以混合多種風(fēng)格，有著功能齊全的度量?jī)x表盤(pán)和圖形編輯器。支持與Graphite、Elasticsearch、CloudWatch、Prometheus、InfluxdbDB等眾多數(shù)據(jù)存儲(chǔ)對(duì)接，進(jìn)行數(shù)據(jù)的查詢(xún)和圖表展現(xiàn)。一些開(kāi)源的監(jiān)控軟件如zabbix、Graphite、Prometheus也都有著自己的數(shù)據(jù)圖形化展現(xiàn)能力，但是一般也都是建議使用 Grafana來(lái)代替它們的頁(yè)面?？上攵狦rafana的優(yōu)秀。 當(dāng)然，Grafana的數(shù)據(jù)源都是來(lái)自時(shí)序數(shù)據(jù)庫(kù)，在實(shí)際場(chǎng)景中，可能你想要查看的報(bào)表的一部分?jǐn)?shù)據(jù)還來(lái)自于業(yè)務(wù)系統(tǒng)，這就是Grafana或者其他的監(jiān)控軟件做不到的了，去擴(kuò)展是一種方式，另外一種方式就是結(jié)合自己的需求實(shí)現(xiàn)圖表展現(xiàn),通過(guò)對(duì)時(shí)序數(shù)據(jù)的計(jì)算分析以及結(jié)合業(yè)務(wù)數(shù)據(jù)，使用如echarts等開(kāi)源圖表前端框架進(jìn)行展現(xiàn)。這時(shí)候Influxdb的優(yōu)勢(shì)就體現(xiàn)出來(lái)了，對(duì)外提供 api非常適合自主封裝圖形化頁(yè)面。 告警： 在日志監(jiān)控的分享中，確實(shí)沒(méi)有對(duì)告警進(jìn)行說(shuō)明。像Zabbix、Nagios、OpenFalcon、Prometheus等開(kāi)源監(jiān)控軟件，都是有些自己的告警能力的。如果你采用了他們作為監(jiān)控平臺(tái)，實(shí)際上告警能力就已經(jīng)有了。如果是純自建統(tǒng)一監(jiān)控平臺(tái)的話，也可以自己實(shí)現(xiàn)告警中心。我們自己的做法是，在數(shù)據(jù)處理時(shí)，根據(jù)配置的事件觸發(fā)規(guī)則，生成相應(yīng)事件扔到kafka中，事件處理引擎監(jiān)聽(tīng)kafka中的事件數(shù)據(jù)，進(jìn)行解析并根據(jù)事件處理策略進(jìn)行告警通知等
環(huán)評(píng)公示相關(guān)推薦
鄂ICP備17016276號(hào)-1