[发明专利]一种分布式日志归集方法、计算机设备及存储介质

说明书

本发明提供一种分布式日志归集方法、计算机设备及存储介质，其中，所述方法包括：接收服务器下发的新配置模板，并判断所述新配置模板是否与归集规则库中的旧配置模板相同；若否，则将所述新配置模板新增至所述归集规则库中；若是，则将所述新配置模板替换所述旧配置模板；根据所述归集规则库中的所有配置模板归集对应的日志文件；将归集后的所述日志文件上传至所述服务器。解决主动模式下日志归集繁琐且效率与时效性低下的问题。

技术领域

本发明涉及一种日志收集技术领域，具体地，涉及一种分布式日志归集方法、计算机设备及存储介质。

背景技术

在使用设备及服务的过程中，设备及服务都会生成大量的日志数据，运维人员需要归集所有这些设备的日志，在海量日志中有效的提取关键信息，以找到相关安全事件、故障原因，例如用户存取、不寻常的活动、用户行为异常、违反政策、内部威胁、外部攻击、数据盗窃等进行维护。

而传统的日志归集系统均采用主动模式，首先由分布于各个节点上的归集程序根据保存在本地的配置文件搜集相关日志、数据，经过信息提取、格式整理、数据过滤等处理后发送给远端服务器上，服务器接收日志数据后保存，供用户查询、操作，但是在这种模式下会存在下列缺点：

1)节点上的归集程序按照配置文件进行日志数据的搜集和处理，不利于大规模设备的维护。当设备日志更新、日志搜集路径改变、日志数据处理规则更改、日志服务器变更、新设备上架等操作，均需更新海量节点上的配置文件，繁琐且容易出错，时效性也不尽理想；

2)服务器对海量的日志数据进行筛选、格式化等处理，需要配置高性能的硬件设备，实现成本较高。

发明内容

本发明旨在克服现有技术中至少一种缺陷，提供一种分布式日志归集方法、计算机设备及存储介质，解决主动模式下日志归集繁琐且时效性低的问题。

第一方面，提供一种分布式日志归集方法，包括：

接收服务器下发的新配置模板，并判断所述新配置模板是否与归集规则库中的旧配置模板相同；

若否，则将所述新配置模板新增至所述归集规则库中；

若是，则将所述新配置模板替换所述旧配置模板；

根据所述归集规则库中的所有配置模板归集对应的日志文件，将归集后的所述日志文件上传至所述服务器。

在接收到服务器下发的新配置模板后，将新配置模板新增至归集规则库中或替换归集规则库中与新配置模板相同的旧配置模板，并根据归集规则库中的所有配置模板归集对应的日志文件，通过这种被动模式的日志归集方法可快速收集数量繁多、分布广泛、日志格式不统一的各类终端节点设备日志文件，可快速根据业务情况、运维要求调整日志文件收集内容。

进一步地，配置模板的内容包括归集周期和归集规则；根据所述归集规则库中的所有配置模板归集对应的日志文件，将归集后的所述日志文件上传至所述服务器，包括：

读取配置模板的归集周期，并在每个所述归集周期内读取一次配置模板的归集规则；

读取未上传至所述服务器的日志文件；

选取一个所述日志文件作为当前日志文件，根据所读取的所述归集规则归集日志文件，得到当前日志文件的归集结果，并将当前日志文件的归集结果上传至所述服务器；

判断是否所读取的所述日志文件均已上传至所述服务器，若否，则继续根据所读取的所述归集规则归集下一个日志文件，直至所读取的所述日志文件均已上传至所述服务器为止。

进一步地，所述归集规则包括拆分规则和若干个按顺序排列的匹配规则；

根据所读取的所述归集规则当前归集日志文件，得到当前日志文件的归集结果，包括：