[发明专利]分布式数据库的数据处理方法、系统、设备和存储介质

说明书

本申请实施例提供了一种分布式数据库的数据处理方法、系统、设备和存储介质，采用所述全局时间戳TSO对所述transQueue中的Transaction进行排序，通过transQueue中的所述XA Event和所述waitTrans创建局部事务列表，并根据所述局部事务列表生成一级排序队列；针对各DN的一级排序队列进行多路归并排序，生成全局排序队列；针对所述全局排序队列，合并具有相同全局时间戳TSO的局部事务Transaction，并生成全局二进制日志Binlog。从而保证了在分布式数据库的数据处理复制过程中，事务的全局有序性和完整性。

技术领域

本申请涉及计算机技术领域，特别是涉及一种分布式数据库的数据处理方法和系统、一种电子设备和一种存储介质。

背景技术

MySQL是一种开源关系数据库系统，在全球大多数企业技术栈中占有一席之地。估计每天有数以万计的下载次数，MySQL数据库因为其具备了可靠性高、实惠且易于使用等特点，被很多高性能数据库的开发者、管理员和IT经理的作为第一选择。MySQL拥有开放而强大的CDC(Change Data Capture，变动数据捕获)能力，基于MySQL的Binlog可以构建出各种复制链路，通过将变更数据同步到缓存系统、索引系统、大数据平台等等系统中，可以支撑各种各样业务场景。

现有技术中，针对分布式数据库的CDC方案以以下多种形态呈现：

1、行级有序的复制方案，保证单行数据的复制顺序和上游的变更顺序一致，一般以主键为基准进行Hash(Hash，散列函数运算)，并配合消息中间件进行数据的分发订阅；

2、表级有序的复制方案，保证单张表中所有数据的复制顺序和上游的变更顺序一致，一般以表名TableName为基准进行Hash，并配合消息中间件进行数据的分发订阅；

3、节点级有序的复制方案，保证单个存储节点中所有数据的复制顺序和上游的变更顺序一致，一般在分布式MySQL Sharding场景下使用；

4、全局有序的复制方案，保证数据库中所有数据的复制顺序和上游分布式事务的执行顺序一致，一般需要引入全局时间戳。

对于上述行级有序、表级有序和节点级有序这三种复制方案，虽然对高并发和高吞吐友好，对DDL(Data Definition Language，数据库模式定义语言)非常不友好，无法实现DDL复制，对数据一致性的保障能力弱。

对于全局有序的复制方案，当前绝大部分分布式数据库仍不具备全局有序的复制能力，在订阅方式上大多以消息中间件为媒介为主，在数据交换格式上也各不相同，导致CDC服务能力较弱、接入成本很高。

发明内容

本申请实施例提供了一种分布式数据库的数据处理方法，以解决在针对分布式数据库的数据复制过程中，无法保证事务的全局有序性和完整性问题，并做到了完全兼容MySQL的数据复制标准。

相应的，本申请实施例还提供了一种分布式数据库的数据处理系统、一种电子设备以及一种存储介质，用以保证上述方法的实现及应用。

为了解决上述问题，本申请实施例公开了一种分布式数据库的数据处理方法，所述分布式数据库具有多个存储节点DN，所述DN具有对应的物理二进制日志Binlog，所述物理二进制日志Binlog用于储存分布式事务XA的局部事务操作信息XA Event，所述XA至少包含一个局部事务Transaction，所述局部事务Transaction由所述XA Event组成，所述XA具有对应的全局时间戳TSO，所述方法可以包括：

采用所述全局时间戳TSO对所述transQueue中的Transaction进行排序，通过transQueue中的所述XA Event和所述waitTrans创建局部事务列表，并根据所述局部事务列表生成一级排序队列；

针对各DN的一级排序队列进行多路归并排序，生成全局排序队列；