[发明专利]一种日志处理方法及系统

说明书

本申请公开了一种日志处理方法及系统，该方法包括：按照日志来源和/或日志格式，对所采集的源日志进行分类，并根据分类结果将源日志传递至相应的处理通道；根据预设的配置文件，在处理通道中对源日志进行处理，获取处理后的目标日志；根据配置文件中的第一规则，将处理后的目标日志分发到不同的目的地址。该系统主要包括分类模块、处理模块和分发模块。通过该方法和系统，能够大大减少日志处理在管理平台中的资源占用，有利于节省管理平台的资源，从而有利于管理平台的稳定运行。

技术领域

本申请涉及数据处理技术领域，特别是涉及一种日志处理方法及系统。

背景技术

日志作为一种重要的信息载体，其应用于网络的各个角落。一个系统通常会从很多不同来源的日志中获取信息，例如：syslog,http，文本日志，netcat等。这些不同来源的日志中包含着各种有用或无用的信息。因此，对日志进行处理，保留有效的日志，删除无效的日志，是个重要的工作。

目前对日志进行处理的方法，通常是：将所有的日志都搜集到管理平台，由管理平台对这些日志进行数据的格式化、过滤等工作，最终获取到有效的日志。

然而，目前对日志进行处理的方法中，由于日志采集端只进行所有日志的搜集，日志数据的格式化、过滤等工作全部由管理平台来执行，这就会占用管理平台较多的资源，给管理平台的运行带来很大的压力。而管理平台是整个系统中的核心部件，其资源占用较多，容易影响其安全稳定运行。因此，目前的日志处理方法占用管理平台资源较多，不利于管理平台的稳定运行。

发明内容

本申请提供了一种日志处理方法及系统，以解决现有技术中的日志处理方法占用管理平台资源较多，不利于管理平台稳定运行的问题。

为了解决上述技术问题，本申请实施例公开了如下技术方案：

一种日志处理方法，所述方法包括：

按照日志来源和/或日志格式，对所采集的源日志进行分类，并将分类后的源日志传递至不同的处理通道，其中，每一类日志对应一个处理通道；

根据预设的配置文件，在处理通道中对源日志进行处理，获取处理后的目标日志，其中，所述配置文件中至少包括一用于对源日志进行格式化的范式化文件，且所述配置文件与处理通道一一对应；

根据配置文件中的第一规则，将处理后的目标日志分发到不同的目的地址，所述第一规则用于指定分发地址、分发端口以及分发方式。

可选地，所述按照日志来源和/或日志格式，对所采集的源日志进行分类，并将分类后的源日志传递至不同的处理通道，包括：

按照日志来源，将不同来源的源日志传递至不同的处理通道；和/或，

根据日志格式，将符合准入范式的源日志传递至相应的处理通道，其中，每条处理通道设置一组准入范式，且准入范式中包括多种日志格式。

可选地，所述根据预设的配置文件，在处理通道中对源日志进行处理，获取处理后的目标日志，包括：

根据预设的配置文件，在处理通道中对源日志进行格式化，获取格式化后的日志。

可选地，根据预设的配置文件，在处理通道中对源日志进行格式化，获取格式化后的日志之后，所述方法还包括：

在处理通道中根据配置文件中的第二规则，将格式化后的日志进行过滤，获取过滤后的日志，所述第二规则用于过滤掉无效日志。

可选地，在处理通道中根据配置文件中的第二规则，将格式化后的日志进行过滤，获取过滤后的日志之后，所述方法还包括：

在处理通道中根据配置文件中的第三规则，将过滤后的日志进行归并，获取归并后的日志，所述第三规则用于归并一定时间内的相同日志。