[发明专利]一种基于流式处理的日志告警系统

说明书

基于流式处理的日志告警系统，包括：项目匹配模块：配置需要接收的数据源、配置系统接警人、配置日志匹配的规则；日志匹配模块：用于加载接收的数据源、日志格式化、根据日志匹配规则进行日志匹配，并将匹配的日志传递给日志动作模块；日志告警条件配置模块：配置日志的告警条件；日志动作模块：则触发对应于该日志信息的告警动作发送告警给系统接警人，并清空触发之前记录的该日志的消息记录。本系统实现了对海量日志的实时匹配告警、对多源数据同步监听、更有高效的接警人管理、丰富的告警实现、强大的自我修复功能。

技术领域

本发明涉及计算机技术领域，尤其涉及一种基于流式处理的日志告警系统。

背景技术

随着企业业务的发展，应用部署越来越多，随之产生海量日志。日志作为一种有效记录应用运行状态的工具，能够对外部的调用封装、状态变化、系统的入口与出口、业务异常、非预期执行的情况进行记录。对日志进行实时分析，能够提升对系统运行掌控，增强对于异常系统状态、异常业务的处理效率。极大程度的加快危情处理速度，提升企业服务的响应速度，保障应用的稳定性。

运行中的应用产出的海量日志，已经通过无法人工进行实时监控。日志的常规使用都只在异常发生后，技术人员与运维人员才会通过日志查找异常点，无法在第一时间快速的定位问题、处理问题。如果尝试针对异常情况做及时处理，需要在应用中埋点，虽然能够快速响应，但是这种处理极大的增大了应用的耦合度，增加了代码的复杂度。目前很多企业已经使用ELK做日志管理，虽然kibana能够对日志进行分析，触发响应的告警，但是告警方式相对单一，告警分组功能简单，无法高效管理接警人。

发明内容

本发明所要解决的技术问题在于针对上述现有技术中的不足，提供一种基于流式处理的日志告警系统。

为解决上述技术问题，本发明采用的技术方案是：

本发明第一个方面是提供一种基于流式处理的日志告警方法，包括以下步骤：

步骤1：接收数据源；

步骤2：对数据源中的日志进行格式化处理，形成对应于每个应用的标准数据格式的标准日志；

步骤3：对每个应用的每条标准日志按照配置的日志匹配规则进行匹配，若匹配成功，则生成一条匹配成功记录信息；

步骤4：针对每个应用生成的匹配成功记录信息进行统计，如果匹配成功的记录信息符合配置的日志告警条件，则生成告警信息。

进一步地、还包括步骤5：将步骤4中生成的告警信息发送至系统接警人。

本发明还公开了一种装置/终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序所述处理器执行所述计算机程序时实现如上述一种基于流式处理的日志告警方法的步骤。

本发明还公开了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如上述一种基于流式处理的日志告警方法的步骤。

本发明第二个方面是提供一种基于流式处理的日志告警系统，包括：

项目匹配模块：配置需要接收的数据源、配置系统接警人、配置日志匹配的规则；

日志匹配模块：用于加载接收的数据源、日志格式化、根据日志匹配规则进行日志匹配，并将匹配的日志传递给日志动作模块；

日志告警条件配置模块：配置日志的告警条件；

日志动作模块：判断单位时间内统计的匹配成功的日志信息是否符合日志的告警条件，如果判断为是，则触发对应于该日志信息的告警动作发送告警给系统接警人，并清空触发之前记录的该日志的消息。

在一种优选实施例中，如果判断为否，则日志动作模块不触发告警动作。