[发明专利]日志文件处理方法及装置

说明书

本发明提供了一种日志文件处理方法及装置，该方法包括：当接收到CMBD发送的每个应用系统对应的日志配置信息时，确定各个数据维度；基于每个应用系统对应的日志配置信息，检查每个应用系统的各个日志文件是否满足各个数据维度，若是，采集各个日志文件；读取每个日志文件的日志数据，并检查日志数据中是否包含敏感字段；若是，对敏感字段进行脱敏处理；确定每个日志文件对应的存储策略，并基于各个存储策略，对各个日志文件进行存储，完成各个应用系统中各个日志文件的处理过程。应用本发明提供的方法，可以通过各个数据维度采集日志文件，并对日志文件进行脱敏后按照存储策略存储日志文件，防止日志文件中的敏感数据泄露。

技术领域

本发明涉及日志文件处理技术领域，特别是涉及一种日志文件处理方法及装置。

背景技术

在银行的交易系统中，存在许多个应用系统，各个应用系统在执行不同的应用业务过程中均会产生不同类型的日志文件。随着分布式、微服务、容器等新型技术应用和推进，对应用日志的集中收集、动态存储和实时检索是大型企业尤其是银行业交易系统不可或缺的监控业务。

在现有技术中，通常在各个应用系统中设置日志的发送和接收机制，采集不同应用系统中的各个日志文件。但是现有技术需要针对每个应用系统均设置对应的发送和接收机制，当应用系统的数量增多时，日志文件也随之增多，无法按需采集各个日志文件，且各个日志文件中通常会包含许多用户相关的敏感数据。若通过发送和接收机制实现对日志文件的采集，不仅不能根据实际需求采集日志文件，也无法对日志文件中的敏感数据相关的处理。

发明内容

有鉴于此，本发明提供一种日志文件处理方法，通过该方法，可以通过各个数据维度采集日志文件，并对日志文件进行脱敏后按照存储策略存储日志文件，防止日志文件中的敏感数据泄露。

本发明还提供了一种日志文件处理装置，用以保证上述方法在实际中的实现及应用。

一种日志文件处理方法，包括：

当接收到预先设置的配置管理数据库CMBD发送的每个应用系统对应的日志配置信息时，确定预先设置的各个数据维度；

基于每个应用系统对应的日志配置信息，检查每个所述应用系统的各个日志文件是否满足各个所述数据维度，并在确定任意的应用系统的各个日志文件满足各个所述数据维度时，采集该应用系统中的各个日志文件；

读取每个所述日志文件中的日志数据，并检查各个所述日志数据中是否包含敏感字段；

当任意的日志数据中包含敏感字段时，按照预先设置的脱敏规则，对所述日志数据中的敏感字段进行脱敏处理，并将已脱敏的日志数据所属的日志文件设定为第一日志文件；

当任意的日志数据中不含敏感字段时，将所述日志数据所属的日志文件设定为第二日志文件；

确定每个所述第一日志文件及第二日志文件对应的存储策略，并按照每个所述第一日志文件及第二日志文件对应的存储策略，对各个第一日志文件及第二日志文件进行存储，完成各个所述应用系统中各个日志文件的处理过程。

上述的方法，可选的，所述基于每个应用系统对应的日志配置信息，检查每个所述应用系统的各个日志文件是否满足各个所述数据维度，并在确定任意的应用系统的各个日志文件满足各个所述数据维度时，采集该应用系统中的各个日志文件，包括：

设置各个所述应用系统对应的日志采集顺序；

基于所述日志采集顺序及每个所述应用系统对应的日志配置信息，依次执行每个所述应用系统对应的日志采集过程，以基于每个所述应用系统对应的日志采集过程，获得每个所述应用系统对应的各个日志文件；