前段时间，CTO下达了一个brief，需要搭建monit日志监控应用，匹配日志中的异常信息，自动发送邮件/微信告警。具体的要求如下：
1.监控***项目的各个应用，nginx的日志，匹配到错误时发送告警
2.监控***项目的各个应用，NGINX的日志，匹配到错误时发送告警
3.搭建mmonit的商业版本dashboard，开放到内网可以访问
于是，开始了我的monit搭建和使用。首先简单介绍下monit的特点:
Monit是一款功能非常丰富的进程、文件、目录和设备的监测软件，适用于Linux/Unix平台。 它可以自动修复那些已经停止运作的程序,特使适合处理那些由于多种原因导致的软件错误，同时Monit 包含一个内嵌的 HTTP(S) Web 界面，你可以使用浏览器方便地查看 Monit 所监视的服务器
日志告警的需求：
定期监控日志文件，如每个3s一次；
检查日志文件是否有匹配某些关键词的内容，如 error, warning, exception；
每次只做增量检查，满足检查条件时发送告警;
告警条件可以排除某些条件，减少误报；
避免泛洪式告警：每一个周期的检查，即使命中多行，也只发送一次告警，告警中把当前周期检查到的匹配内容全部发出；
告警同时发送到邮件，以及实时IM，如Slack；在centos7下安装monit也特别简单。
yum -y install monit
需要注意的是CentOS 可能需要安装epel源才能有这个软件包，所以这里加入一个epel源。
查看默认配置文件：
# vim /etc/monitrcset daemon 120 # 默认每隔两分钟检测一次set logfile syslog facility log_daemon #默认monit日志为syslogset idfile /var/.monit.id #设置Monit监控项目的唯一id文件位置，默认在$HOME/.monit.idset statefile /var/.monit.state #默认存储每个周期内monitorinig 状态的文件set mailserver mail.bar.baz, # 默认的主邮件服务器mailserver 支持格式为：SET MAILSERVER <hostname|ip-address [PORT number] [USERNAME string] [PASSWORD string] [using SSLAUTO|SSLV2|SSLV3|TLSV1|TLSV11|TLSV12] [CERTMD5 checksum]>, ... [with TIMEOUT X SECONDS] [using HOSTNAME hostname]例如:set mailserver smtp.gmail.com port 587 username "user@domain.com" password "password" using tlsv1 with timeout 30 secondsset eventqueue #默认当邮件服务器不可用时使用eventqueue存储报警事件 basedir /var/monit slots 100 #限制队列大小set mail-format { from: monit@foo.bar reply-to: support@domain.com subject: $SERVICE $EVENT at $DATE message: Monit $ACTION $SERVICE at $DATE on $HOST: $DESCRIPTION. Yours sincerely, monit }set alert sysadm@foo.bar # receive all alertsset httpd port 2812 and # 引用monit自己封装的web server来监控monit的监控项目状态； use address localhost # only accept connection from localhost allow localhost # allow localhost to connect to the server and allow admin:monit # require user 'admin' with password 'monit' allow @monit # allow users of group 'monit' to connect (rw) allow @users readonly # allow users of group 'users' to connect readonlyinclude /etc/monit.d/*# cat /etc/monitrc
set daemon 15 # check services at 2-minute intervals
set logfile /var/log/monit.log
set idfile /var/.monit.id
set statefile /var/.monit.state
set mailserver smtp.bsitt.cn
username "bs_monitor@bsitt.cn" password "*****"
with timeout 15 seconds
set eventqueue
basedir /var/monit # set the base directory where events will be stored
slots 100 # optionally limit the queue size
set mail-format {
from: bs_monitor@bsitt.cn
subject: Monit Alert -- Host $HOST 's $SERVICE $DESCRIPTION
message:
Date: $DATE
Action: $ACTION
Host: $HOST
Description:
Host $HOST 's $SERVICE $DESCRIPTION
$EVENT Service $SERVICE
$DESCRIPTION
}
#set alert 821903919@qq.com # receive all alerts
#set alert 1683804030@qq.com
set alert pmp.operating@boldseas.com
set httpd port 2812 and
allow localhost
allow 116.90.**.**
allow 116.90.**.**
# allow 192.168.3.0/24
allow boldseas:boldseas
include /etc/monit.d/*
这里需要注意的是，上面配置的邮件服务server需要用到用户名密码认证，能力强的同学可以内网搭建一个邮件系统，觉得麻烦的同学可以用腾讯邮箱或者126...balabala
最后一项include /etc/monit.d/* 是定义监控项目配置文件放置的位置；我们需要监控哪些项目其配置文件就可以放在这里
下面是各个monit.d下的配置
# cat /etc/monit.d/pmp_web.conf
check file nginx_pmpweb_error_log with path /data/logs/nginx/pmp_web_error.log
ignore match "^monit"
if match "(warning|error)" then alert
# cat /etc/monit.d/nginx.conf
#check file nginxlog with path /data/tengine/logs/access.log
check file nginx_error_log with path /data/tengine/logs/error.log
ignore match "^monit"
if match "(warn|error)" then alert
配置文件有了，接下来检测一下语法对不对呢：
[root@PMP-DB pmpuser]# monit -t
Control file syntax OK
启动monit：
[root@PMP-DB pmpuser]# systemctl restart monit
注意：
如果你的系统里有防火墙，这里需要添加防火墙规则；
monit的配置文件中有一个自带的web server用来监控monit里面的监控项目的状态，有个默认端口2812，如果没修改的话就添加2812端口的规则，如果修改了就添加你修改后的端口防火墙规则；
monit默认2812端口规则：# vim /etc/sysconfig/iptables-A INPUT -p tcp --dport 2812 -j ACCEPT接下来在浏览器里测试访问monit的状态：
http://192.168.3.5:11111/ 输入配置文件中的账号和密码：username password
尽情enjoy吧！
附带一张monit 日志报警邮件
