[发明专利]日志文件的实时监控及报警的方法和系统

说明书

技术领域

本发明涉及日志文件的处理领域，具体地说是一种日志文件的实时监控及报警的方法和系统。

背景技术

随着各个行业的IT业务系统的迅速发展，网络规模迅速扩大，主机、网络、设备、应用软件数量不断增多，尤其是云计算的发展，一些应用于各行各业的大型的分布式集群系统在运行过程中，产生了大量的日志，这些日志不但占用了大量的存储资源，还影响系统高效稳定的运行，因此对这些日志的处理就显得尤为重要。

现有的一些处理方式为：在服务器上用脚本写一个定时任务作业，定时的去处理这些日志文件，这种处理方式不易于集中管理，控制不灵活，不易于扩展；还有一种方式是，利用规范的日志监控系统监控这些日志，发出告警通知，比如，邮件或者短信通知运维人员去手动处理，这种处理方式给运维人员增加了运维的难度。

鉴于以上问题，如何提供一种易于集中管理和扩展的日志文件处理方法，是需要解决的及时问题。

发明内容

本发明的技术任务是针对以上不足，提供一种日志文件的实时监控及报警的方法和系统，来解决现有日志文件处理不易于集中管理以及不易于扩展的问题。

本发明的技术任务是按以下方式实现的；

日志文件的实时监控及报警的方法，基于服务端、客户端和日志库实现，服务端以日志库为单位，根据设置的需要监控的日志文件的文件类型，通过正则表达式匹配，实时监控日志文件，并实时统计日志库的大小，当日志库的大小超出设定的阈值时，服务端向客户端发送告警信号，客户端对日志库中的日志文件进行删除或删减操作。

进一步地，步骤为：

（S1）、通过客户端注册监控项，每个监控项的参数包括日志库、监控指标、周期以及日志文件的文件类型，监控指标包括阈值和告警重复次数；

（S1）、通过RabitMQ将监控项发送到服务端；

（S3）、服务端接收监控项后，以日志文件的文件类型为匹配规则，通过正则表达式匹配，周期性地实时监控日志文件的大小、新建、重命名和删除，并周期性地实时统计日志库的大小，当日志库的大小超过阈值时，根据告警重复次数发出告警信号，并通过RabitMQ将告警信号发送至客户端；

（S4）、客户端接收到告警信号后，对日志库中的日志文件进行删除或删减操作。

进一步地，步骤（S1）中，日志库的参数包括日志库的ID、服务器的ID和日志目录。

进一步地，步骤（S1）中，周期的单位为秒。

进一步地，步骤（S1）中，当需要监控日志库中的多个日志文件时，匹配规则包括多个扩展名，多个扩展名之间通过“|”分割；当需要监控日志库中的全部日志文件时，匹配规则设置为“*.*”。

进一步地，步骤（S4）中，对日志文件进行删除或删减操作的步骤为：对日志库中新生成的历史文件进行删除操作，或者，对日志库中每个原日志文件进行删减操作，每个日志文件保留最新的数据。

进一步地，步骤（S3）中，日志库的大小以kb为单位；步骤（S4）中，对日志库中每个原日志文件进行删减操作后，每个日志文件保留的最新数据的大小不超过1kb。

日志文件的实时监控及报警的系统，包括客户端、服务端和至少一个日志库，客户端包括注册模块和告警处理模块，注册模块与服务端连接，服务端与告警处理模块连接，每个日志库均分别与服务端和告警处理模块连接；日志库存储有多个日志文件，注册模块用于注册监控项，每个监控项的参数包括日志库、监控指标、周期以及日志文件的文件类型，监控指标包括阈值和告警重复次数；告警处理模块用于对日志库中的日志文件进行删除或删减操作；服务端用于实施监控日志文件的大小、新建、重命名和删除，并实时统计日志库的大小。

本发明的日志文件的实时监控及报警的方法和系统具有以下优点：

（1）、对日志文件实时监控和报警，保证了日志文件处理的高效性，使得日志文件易于集中管理，扩展灵活；

（2）、对于几个GB的超大日志文件的处理非常有效，不但提高了日志文件的可读性，保证了软件的高效运行，还大大减少了日志文件对存储空间的占用，节省了存储资源；

（3）、不需要人为的手动去删除一些垃圾日志文件，大大降低了运维的难度。

附图说明

下面结合附图对本发明进一步说明。

附图1为实施例1日志文件的实时监控及报警的方法的流程框图；

附图2为实施例2日志文件的实时监控及报警系统的原理框图。

具体实施方式