[发明专利]日志处理方法、装置、存储介质及电子设备

说明书

本申请公开了一种日志处理方法、装置、存储介质及电子设备，属于计算机技术领域。所述日志处理方法包括：从日志组件库中确定目标日志数据对应的目标输入组件和目标处理组件，通过所述目标输入组件接收所述目标日志数据，以及基于所述目标处理组件处理所述目标日志数据，从日志组件库中确定所述目标日志数据对应的目标输出组件，以及通过所述目标输出组件发送处理后的所述目标日志数据。故本申请可以灵活高效地实现对日志数据的传输解析处理。

技术领域

本申请涉及计算机技术领域，具体涉及一种日志处理方法、装置、存储介质及电子设备。

背景技术

随着信息技术的发展，数据量迅速增长，数据的积累也越来越大。在进行数据的传输、交换和处理时，安全性是一个重要的考虑因素，为此，许多与信息处理相关的设备都会产生日志，其中记录了设备上和网络中的日期、时间、使用者及动作等相关操作，可以通过对日志的查询和统计来了解各个设备和整个网络的运行状态。

现有技术中主要通过logstash系统对日志数据进行传输和解析，但随着业务量的增加以及分布式设备的部署，logstash系统在日志数据清理转化过程中会出现占用物理中央处理器资源较高的情况，以及在日志处理高峰时段经常出现消费kafka系统延迟高，甚至崩溃等现象，无法满足用户需求。

发明内容

本申请实施例提供了一种日志处理方法、装置、存储介质及电子设备，可解决日志处理过程中效率低、资源占用率高等技术问题。所述技术方案如下：

第一方面，本申请实施例提供了一种日志处理方法，包括：

从日志组件库中确定目标日志数据对应的目标输入组件和目标处理组件；

通过所述目标输入组件接收所述目标日志数据，以及基于所述目标处理组件处理所述目标日志数据；

从日志组件库中确定所述目标日志数据对应的目标输出组件，以及通过所述目标输出组件发送处理后的所述目标日志数据。

第二方面，本申请实施例提供了一种日志处理装置，所述装置包括：

确定模块，用于从日志组件库中确定目标日志数据对应的目标输入组件和目标处理组件；

接收模块，用于通过所述目标输入组件接收所述目标日志数据，以及基于所述目标处理组件处理所述目标日志数据；

发送模块，用于从日志组件库中确定所述目标日志数据对应的目标输出组件，以及通过所述目标输出组件发送处理后的所述目标日志数据。

第三方面，本申请实施例提供了一种计算机存储介质，所述计算机存储介质存储有多条指令，所述指令适于由处理器加载并执行上述的方法步骤。

第四方面，本申请实施例提供了一种电子设备，包括：存储器和处理器；其中，所述存储器存储有计算机程序，所述计算机程序适用于由所述处理器加载并执行上述的方法步骤。

本申请一些实施例提供的技术方案带来的有益效果至少包括：

上述日志处理方法、装置、存储介质及电子设备工作时，从日志组件库中确定目标日志数据对应的目标输入组件和目标处理组件，通过所述目标输入组件接收所述目标日志数据，以及基于所述目标处理组件处理所述目标日志数据，从日志组件库中确定所述目标日志数据对应的目标输出组件，以及通过所述目标输出组件发送处理后的所述目标日志数据。本申请中电子设备根据日志数据的输入源和输出源，预先生成不同的输入组件、处理组件和输出组件，在处理不同输入源和输出源的日志数据时，调用相对应的组件，相对于调用统一的日志处理模块，可以灵活高效地实现对日志数据的传输解析处理。

附图说明