[发明专利]日志监控方法、系统、装置和存储介质

说明书

本公开提供了一种日志监控方法、系统、装置和存储介质，其中，所述监控方法包括：根据预设的采集规则采集应用系统的日志数据；根据预设的解析规则解析所述日志数据；将解析后的所述日志数据与预设的告警策略进行匹配，根据匹配结果生成告警事件；将所述告警事件与预设的压制和清除策略进行匹配，若匹配成功，则存储所述告警事件并发送给用户。本公开通过对采集、解析过程进行规则配置从而实现从海量日志数据中精准的采集、解析出有价值的日志数据，避免了成本的浪费。同时，对告警事件进行压制和清除，减少冗余的告警事件和短信的产生，并降低误报率。

技术领域

本发明涉及通信领域，更为具体而言，涉及一种适用于分布式系统的日志监控方法、系统、装置和存储介质。

背景技术

随着应用系统数量和规模的扩展，对应用日志的采集、解析、存储、分析和告警是大型企业尤其是银行业交易系统不可或缺的监控业务。目前，对于日志数据的监控，往往采用全量采集的方式进行采集、解析和存储，进行分析后生成告警并通过邮件与短信的形式发送给用户。

但是，此方法对日志的采集缺乏规则配置，全量采集的模式对日志的采集、存储和解析均造成了资源上的浪费。同时，现有技术中针对日志数据中异常事件进行匹配并告警机制并不够完善，缺少对告警事件的压制和清除策略，由此，会产生很多冗余的告警事件和短信，并存在一定的误报率。

发明内容

为了解决现有技术中存在的上述问题，本发明提供了一种日志监控方法、系统、装置和存储介质，实现针对有价值的日志数据进行采集，并对生成的告警进行压制和清除。

根据本发明的第一方面，本发明的实施方式提供了一种日志监控方法，所述监控方法包括：根据预设的采集规则采集应用系统的日志数据；根据预设的解析规则解析所述日志数据；将解析后的所述日志数据与预设的告警策略进行匹配，根据匹配结果生成告警事件；将所述告警事件与预设的压制和清除策略进行匹配，若匹配成功，则存储所述告警事件并发送给用户。

在本发明的一些实施方式中，所述根据预设的采集规则采集应用系统的日志数据包括：轮询日志目录，标记所述日志目录中日志名称满足采集配置文件要求的日志数据作为第一数据；轮询所述第一数据，标记所述第一数据中文件名时间戳和最后修改时间数据满足所述采集配置文件要求的日志数据作为第二数据；采集所述第二数据。

在本发明的一些实施方式中，所述将解析后的所述日志数据与预设的告警策略进行匹配，根据匹配结果生成告警事件包括：根据所述日志数据从所述告警策略中匹配对应的门限规则；根据所述门限规则的阈值对所述日志数据进行告警判断；若判断结果为需要告警，则生成所述告警事件。

在本发明的一些实施方式中，若从所述告警策略中未匹配到对应的门限规则，则结束对所述日志数据的处理。

在本发明的一些实施方式中，所述将所述告警事件与预设的压制和清除策略进行匹配，若匹配成功，则存储所述告警事件并发送给用户包括：读取所述告警事件的次数数据，与所述压制和清除策略中的压制次数进行对比；若所述次数数据大于所述压制次数，则存储所述告警事件并发送给用户；否则，清除所述告警事件。

根据本发明的第二方面，本发明的实施方式提供了一种日志监控系统，所述监控系统包括：采集模块，用于根据预设的采集规则采集应用系统的日志数据；解析模块，用于根据预设的解析规则解析所述日志数据；告警模块，用于将解析后的所述日志数据与预设的告警策略进行匹配，根据匹配结果生成告警事件；压制与清除模块，用于将所述告警事件与预设的压制和清除策略进行匹配，若匹配成功，则存储所述告警事件并发送给用户。

在本发明的一些实施方式中，所述采集模块用于：轮询日志目录，标记所述日志目录中日志名称满足采集配置文件要求的日志数据作为第一数据；轮询所述第一数据，标记所述第一数据中文件名时间戳和最后修改时间数据满足所述采集配置文件要求的日志数据作为第二数据；采集所述第二数据。