[发明专利]数据库日志的处理方法、装置以及电子设备、存储介质

说明书

本发明公开了一种数据库日志的处理方法、装置以及电子设备、存储介质。其中，数据库日志的处理方法包括：获取各数据库中每个数据库的binlog日志；根据预设的转换协议对每个binlog日志中的日志事件进行序列化转换，得到对应于每个binlog日志的目标格式数据；将每个binlog日志的目标格式数据写入预设的数据模型，以便通过数据模型实现对各数据库的统一监听。该处理方法，可以实现将不同的数据库中的日志事件同步到统一消息队列，从而实现当多种数据库同时存在时对其进行统一的监听。

技术领域

本发明涉及计算机网络技术领域，尤其涉及一种数据库日志的处理方法、装置以及电子设备、存储介质。

背景技术

相关技术中，不同业务数据可能存储于不同类型的数据库，比如Mysql、TiDB、PolarDB、 MongoDB等，而对于数据变化的监听，则提供了针对不同数据库的Binlog解析工具，能解决单类型数据库的日志监听。例如，Mysql数据库的数据监听的方法如图1所示，具体为：主节点将日志改变记录到二进制日志中；从节点通过I/O线程读取主节点的二进制日志事件并将其写入到它的中继日志；从节点通过SQL线程读取中继日志中的事件，将改变在它自己的数据中重现。然而，由于一种数据库的监听工具只能监听与其对应的数据库，当多种数据库同时存在时，无法通过一个工具实现统一监听。

发明内容

本发明旨在至少在一定程度上解决相关技术中的技术问题之一。为此，本发明的第一个目的在于提出一种数据库日志的处理方法，该处理方法可以实现将不同的数据库中的日志事件同步到统一消息队列，从而实现当多种数据库同时存在时对其进行统一的监听。

本发明的第二个目的在于提出一种数据库日志的处理装置。

本发明的第三个目的在于提出一种电子设备。

本发明的第四个目的在于提出一种非暂态计算机可读存储介质。

为达到上述目的，本发明第一方面实施例提出了一种数据库日志的处理方法，所述方法包括以下步骤：获取各数据库中每个数据库的binlog日志；根据预设的转换协议对每个所述binlog日志中的日志事件进行序列化转换，得到对应于每个所述binlog日志的目标格式数据；将每个所述binlog日志的目标格式数据写入预设的数据模型，以便通过所述数据模型实现对各数据库的统一监听。

本发明实施例的数据库日志的处理方法，通过获取各数据库中每个数据库的binlog日志，进而根据预设的转换协议对每个binlog日志中的日志事件进行序列化转换，得到对应于每个binlog日志的目标格式数据，从而将每个binlog日志的目标格式数据写入预设的数据模型，以便通过数据模型实现对各数据库的统一监听。由此，可以实现将不同的数据库中的日志事件同步到统一消息队列，从而实现当多种数据库同时存在时对其进行统一的监听。

另外，本发明上述的数据库日志的处理方法还可以具有如下附加的技术特征：

根据本发明的一个实施例，所述数据库日志的处理方法还包括：同步各数据库中每个数据库的binlog日志。

根据本发明的一个实施例，所述数据库日志的处理方法还包括：根据Protobuf格式转换协议、Thrift格式转换协议或Kyro格式转换协议中的至少一种，将每个所述binlog日志中的日志事件进行序列化转换。

根据本发明的一个实施例，所述数据模型包括多个数据对象，其中，将每个所述binlog 日志的目标格式数据写入预设的数据模型，包括：获取每个所述binlog日志的目标格式数据与所述数据模型的各数据对象之间的对应关系；根据所述对应关系，将每个所述binlog 日志的目标格式数据写入所述数据模型中对应的数据对象。

根据本发明的一个实施例，所述数据库日志的处理方法还包括：所述数据模型为根据各数据库的概念抽象得到，所述概念至少包括事务处理、新增、删除、修改和查询操作。