【導讀】及時預警發(fā)現(xiàn)故障，事后提供翔實的數(shù)據用于追查定位問題。個成熟的運維產品，業(yè)界有很多開源的實現(xiàn)可供選擇。當公司剛剛起步，業(yè)務。時省力，效率最高的方案。之后，隨著業(yè)務規(guī)模的持續(xù)快速增長，監(jiān)控的對象。大為更多的DEVS，SRE。這時候，監(jiān)控系統(tǒng)的容量和用戶的“使用效率”成了。最為突出的問題。監(jiān)控系統(tǒng)業(yè)界有很多杰出的開源監(jiān)控系統(tǒng)。我們在早期，一直在用zabbix，控系統(tǒng)在性能、擴展性、和用戶的使用效率方面，已經無法支撐了。思考出發(fā)，設計開發(fā)了小米的監(jiān)控系統(tǒng)：open-falcon。open-falcon的目標是做最開放、最好用的互聯(lián)網企業(yè)級監(jiān)控產品。Open-falcon通過十幾個組件結合使用，達到監(jiān)控告警目的。是由于監(jiān)控windows主機時，windows主機的網卡信息很可能有中文。我們使用64位Linux作為開發(fā)環(huán)境，與線上環(huán)境保持一致。每個壓縮包對應一個組件，創(chuàng)建獨立組件目錄，將壓縮包解壓到相應目錄即可。收用戶手工push的一些數(shù)據，然后通過長連接迅速轉發(fā)給Transfer。

　　

【正文】 改 monitor 配置、使 task 模塊能夠自檢控 OpenFalon 的各組件 (當前支持 transfer、 graph、 query、 judge 等 )。 gateway 如果您沒有遇到機房分區(qū)問題，請直接忽略此組件。 如果您已經遇到機房分區(qū)問題、并急需解決機房分區(qū)時監(jiān)控數(shù)據回傳的問題，請使用該組件。更多的資料 在： nodata nodata 用于檢測監(jiān)控數(shù)據的上報異常。 nodata 和實時報警 judge 模塊協(xié)同工作，過程為 : 配置了 nodata 的采集項超時未上報數(shù)據， nodata 生成一條默認的模擬數(shù)據；用戶配置相應的報警策略，收到 mock 數(shù)據就產生報警。采集項上報異常檢測，作為 judge 模塊的一個必要補充，能夠使 judge 的實時報警功能更加可靠、完善。 這一節(jié)是寫給 OpenFalcon 老用戶的，新用戶請忽略本小節(jié)、直接跳到 源碼編譯 部分即可。如果你已經使用 OpenFalcon 有一段時間，本次只是新增加一個nodata 服務，那么你需要依次完成如下工作 : ? 確 保 已 經 建 立 mysql 數(shù) 據 表 。 其 中 ，falcon_portal 為 portal 組件的 mysql 數(shù)據庫， mockcfg 為存放 nodata 配置的數(shù)據表。 mockcfg 的建表語句，如下。 ? 確保已經更新了 portal 組件。 portal 組件中，新增了對 nodata 配置的UI支持。 ? 安裝 nodata 后端服務。即本文的 后續(xù)部分 。 USE falcon_portal。SET NAMES 39。utf839。 /** * nodata mock config */DROP TABLE IF EXISTS `mockcfg`。CREATE TABLE `mockcfg` ( `id` BIGINT(20) UNSIGNED NOT NULL AUTO_INCREMENT, `name` VARCHAR(255) NOT NULL DEFAULT 39。39。 COMMENT 39。name of mockcfg, used for uuid39。, `obj` VARCHAR(10240) NOT NULL DEFAULT 39。39。 COMMENT 39。desc of object39。, `obj_type` VARCHAR(255) NOT NULL DEFAULT 39。39。 COMMENT 39。type of object, host or group or other39。, `metric` VARCHAR(128) NOT NULL DEFAULT 39。39。, `tags` VARCHAR(1024) NOT NULL DEFAULT 39。39。, `dstype` VARCHAR(32) NOT NULL DEFAULT 39。GAUGE39。, `step` INT(11) UNSIGNED NOT NULL DEFAULT 60, `mock` DOUBLE NOT NULL DEFAULT 0 COMMENT 39。mocked value when nodata occurs39。, `creator` VARCHAR(64) NOT NULL DEFAULT 39。39。, `t_create` DATETIME NOT NULL COMMENT 39。create time39。, `t_modify` TIMESTAMP NOT NULL DEFAULT CURRENT_TIMESTAMP ON UPDATE CURRENT_TIMESTAMP COMMENT 39。last modify time39。, PRIMARY KEY (`id`), UNIQUE KEY `uniq_name` (`name`) ) ENGINE=InnoDB DEFAULT CHARSET=utf8 COLLATE=utf8_unicode_ci。 配置說明 Configuration { debug: true, : { enabled: true, listen: :6090 nodata 的 服務監(jiān)聽地址 }, query:{ query組件相關的配置 connectTimeout: 5000, 查詢數(shù)據時 連接超時時間 ,單位 ms requestTimeout: 30000, 查詢數(shù)據時 請求處理超時時間 ,單位 ms queryAddr: :9966 query 組件的 監(jiān)聽地址 ,一般形如 :9966 }, config: { 配置信息 enabled: true, dsn: root:passwd@tcp(:3306)/falcon_portal?loc=Localamp。parseTime=trueamp。wait_timeout=604800, portal 的數(shù)據庫連接信息 ,默認數(shù)據庫為falcon_portal maxIdle: 4 mysql 連接池空閑連接數(shù) }, collector:{ nodata 數(shù)據采集相關的配置 enabled: true, batch: 200, 一次數(shù)據采集的條數(shù) ,建議使用默認值 concurrent: 10 采集并發(fā)度 ,建議使用默認值 }, sender:{ nodata 發(fā)送 mock 數(shù)據相關的配置 enabled: true, connectTimeout: 5000, 發(fā)送數(shù)據時 連接超時時間 ,單位 ms requestTimeout: 30000, 發(fā)送數(shù)據時 請求超時時間 ,單位ms transferAddr: :6060, transfer 的 監(jiān)聽地址 ,一般形如 :6060 batch: 500, 發(fā)送數(shù)據時 ,每包數(shù)據包含的監(jiān)控數(shù)據條數(shù) block: { nodata 阻塞設置 enabled: false, 是否開啟阻塞功能 .默認不開啟此功能 threshold: 32 觸發(fā) nodata 阻塞操作的閾值上限 .當配置了nodata 的數(shù)據項 ,數(shù)據上報中斷的百分比 ,大于此閾值上限時 ,nodata 阻塞mock 數(shù)據的發(fā)送 } } } Aggregator 如果你已經安裝過 openfalcon 了，那么請檢查： 檢查你的 portal 中是否有這個代碼：del/， 如果有了，說明版本 OK，否則，需要升級原來的 portal為最新版代碼。 falcon_portal數(shù)據庫中加入了一張新表： USE falcon_portal。SET NAMES 39。utf839。 DROP TABLE IF EXISTS cluster。CREATE TABLE cluster ( id INT UNSIGNED NOT NULL AUTO_INCREMENT, grp_id INT NOT NULL, numerator VARCHAR(10240) NOT NULL, denominator VARCHAR(10240) NOT NULL, endpoint VARCHAR(255) NOT NULL, metric VARCHAR(255) NOT NULL, tags VARCHAR(255) NOT NULL, ds_type VARCHAR(255) NOT NULL, step INT NOT NULL, last_update TIMESTAMP NOT NULL DEFAULT CURRENT_TIMESTAMP ON UPDATE CURRENT_TIMESTAMP, creator VARCHAR(255) NOT NULL, PRIMARY KEY (id) ) ENGINE =InnoDB DEFAULT CHARSET =latin1。 配置說明 Configuration { debug: true, : { enabled: true, listen: :6055 }, database: { addr: root:@tcp(:3306)/falcon_portal?loc=Localamp。parseTime=true, idle: 10, ids: [1,1], aggregator 模塊可以部署多個實例，這個配置表示當前實例要處理的數(shù)據庫中 cluster 表的 id 范圍 interval: 55 }, api: { hostnames: 注意修改為你的portal 的 ip:port push: 注意修改為你的transfer 的 ip:port graphLast: 注意修改為你的 query 的 ip:port } } Agentupdater 每臺機器都要部署 falconagent，如果公司機器量比較少，用 pssh、 ansible、fabric 之類的工具手工安裝問題也不大。但是公司機器量多了之后，手工安裝、升級、回滾 falconagent 將成為噩夢。 個人開發(fā)了 agentupdater 這個工具，用于管理 falconagent， agentupdater也有一個 agent： opsupdater，可以看做是一個超級 agent，用于管理其他agent 的 agent，呵呵， opsupdater 推薦在裝機的時候一起安裝上。opsupdater 通 常是不會升級的。 具體參看： grafana安裝 wget rpm ivh (grafana 編譯似乎不太好使， godep store需要下載 golang的 lib庫，有些下不下來，一直無法通過 ) grafanacli安裝 Openfalcon插件 grafanacli plugins install fastwebopenfalcondatasource chown R grafana:grafana /var/lib/grafana /etc/grafana/，添加插件 PATH [] 。path = /var/lib/grafana/plugins/fastwebopenfalcondatasource (path前面 。一定要有，一開始沒加，坑爹了很久 ) grafana [root@linux plugins] /etc/OKopping Grafana Server ... [ OK ] Starting Grafana Server: .... OK 數(shù)據源地址： falcon主機 query地址，例如當前 dashboard 添加完 ctrl + S保存 graph ctrl + S保存 總結： 因為總是不出圖，花費了大量時間和精力在 Openfalcon 上面 ,以為 Openfalcon 的 query接口有問題 這是 grafanaserver的報錯日志 2020/05/30 16:00:27 [I] Database: sqlite3 2020/05/30 16:00:27 [I] Migrator: Starting DB migration 2020/05/30 16:00:27 [I] Plugins: Scan starting 2020/05/30 16:00:27 [I] Plugins: Registering plugin OpenFalcon 2020/05/30 16:00:27 [:127 walker()] [E] Plugins: Fail