[发明专利]一种日志处理方法、系统、装置、客户端及存储介质

说明书

本发明实施例公开了一种日志处理方法、系统、装置、客户端及存储介质。该方法应用于日志处理客户端，该方法包括：基于中间件获取变更操作日志，其中，变更操作日志是日志获取服务端在基于中间件监听到预先设置的关系型数据库的二进制日志进行日志变更时发送的相应的日志；根据变更操作日志中各消息体的类型从变更操作日志中筛选出隶属于同一事务的目标消息体，对目标消息体进行处理，并将处理结果存储于日志数据库中，处理结果包括变更操作前的数据和变更操作后的数据。本发明实施例的技术方案，达到了同时获取到变更操作前的数据和变更操作后的数据的效果。

技术领域

本发明实施例涉及计算机应用技术领域，尤其涉及一种日志处理方法、系统、装置、客户端及存储介质。

背景技术

目前各大系统多是采用MySQL来管理数据，如商品系统对应的MySQL中存储有上亿数据，这些数据涵盖了商品信息、类目信息等等。面对如此大量的数据，为了清晰记录用户对这些数据的操作过程，商品日志处理系统应运而生。

目前已有的商品日志系统的架构是ELK(Elasticsearch+Logstash+Kibana)架构，其中，Logstash作为管道从MySQL读取日志数据，并将读取结果存储于Elasticsearch中，Kibana是一个基于Web的图形界面，其可将存储在Elasticsearch中的日志数据进行可视化。

在实现本发明的过程中，发明人发现现有技术中存在以下技术问题：现有的商品日志处理系统无法获取到变更操作前的数据，用户体验较差。

发明内容

本发明实施例提供了一种日志处理方法、系统、装置、客户端及存储介质，解决了日志处理系统无法获取到变更操作前的数据的问题。

第一方面，本发明实施例提供了一种日志处理方法，应用于日志处理客户端，该方法可以包括：

基于中间件获取变更操作日志，其中，变更操作日志是日志获取服务端在基于中间件监听到预先设置的关系型数据库的二进制日志进行日志变更时发送的相应的日志；

根据变更操作日志中各消息体的类型从变更操作日志中筛选出隶属于同一事务的目标消息体，对目标消息体进行处理，并将处理结果存储于日志数据库中，处理结果包括变更操作前的数据和变更操作后的数据。

第二方面，本发明实施例还提供了一种日志处理系统，可包括：日志数据库、以及配置有中间件的日志处理客户端和日志获取服务端，其中，日志处理客户端，用于执行本发明任意实施例所提供的日志处理方法。

第三方面，本发明实施例还提供了一种日志处理装置，配置于日志处理客户端，该装置可以包括：

日志获取模块，用于基于中间件获取变更操作日志，其中，变更操作日志是日志获取服务端在基于中间件监听到预先设置的关系型数据库的二进制日志进行日志变更时发送的相应的日志；

日志处理模块，用于根据变更操作日志中各消息体的类型从变更操作日志中筛选出隶属于同一事务的目标消息体，对目标消息体进行处理，并将处理结果存储于日志数据库中，处理结果包括变更操作前的数据和变更操作后的数据。

第四方面，本发明实施例还提供了一种日志处理客户端，可以包括：

一个或多个处理器；

存储器，用于存储一个或多个程序；

当一个或多个程序被一个或多个处理器执行，使得一个或多个处理器实现本发明任意实施例所提供的日志处理方法。

第五方面，本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现本发明任意实施例所提供的日志处理方法。