[发明专利]一种保持分布式数据一致性的方法

说明书

本发明公开了一种保持数据一致性的方法，包括以下步骤：步骤1、初始化数据分片版本；步骤2、数据分片更新；步骤3、生成基线；步骤4、读取数据；其中，步骤1包括：(1)当数据分片组的所有数据分片第一次进行处理时，先对每一个数据分片赋予一个版本标识；(2)除上述情况(1)之外，当对数据分片组进行处理时，获得所有分片的版本标识。

技术领域

本发明涉及数据库和数据处理技术领域，尤其涉及一种保持分布式数据一致性的方法。

背景技术

数据库作为企业数据的存储平台，在企业IT系统中的重要性越来越突出，随着业务量的不断增大，数据量也必然随之增加，单机mysql已无法满足业务的存储需求，基于XA协议的分布式架构mysql数据库解决了单机存储大小不足以满足业务需求的问题。但是，目前市面上的分布式数据库大多不支持分布式一致性读，所谓分布式一致性读，是指一个事务需要在不同分片读取数据时，读取返回后汇总的数据需要一致。为此，XA协议要求分布式事务在每个对象上都必须以串行化隔离级别执行，目的是为了保证分布式读的一致性。但是串行化隔离级别会导致性能的退化，原因是此时普通的SELECT操作也需要加S锁，如果其它事务已经先对数据加了X锁(排它锁，写锁)，SELECT操作将会被阻塞，不能再通过MVCC非阻塞的回溯读取老的版本。串行化隔离级别导致的性能退化是生产环境中无法接受的，实际上原生的mysql无法实现高效的分布式一致性读。

发明内容

为此本发明提供了一种保持分布式数据一致性的方法，能够很好的解决上述问题，通过本发明的技术方案，在可重复读隔离级别下，能够实现多分片数据的分布式一致性读。

为实现本发明之目的，采用以下技术方案予以实现：

一种保持数据一致性的方法，包括以下步骤：

步骤1、初始化数据分片版本；

步骤2、数据分片更新；

步骤3、生成基线；

步骤4、读取数据；

其中，步骤1包括：

(1)当数据分片组的所有数据分片第一次进行处理时，先对每一个数据分片赋予一个版本标识；

(2)除上述情况(1)之外，当对数据分片组进行处理时，获得所有分片的版本标识。

所述的保持数据一致性的方法，其中步骤2包括：(1)数据处理提交；(2)事务处理确认。

所述的保持数据一致性的方法，其中：所述数据处理包括对数据分片中记录的增加、删除和修改，不包括读操作。

所述的保持数据一致性的方法，其中步骤2的数据分片更新按以下方式进行处理：

假设当同一时刻或某一时间段内，有2个事务同时访问数据分片组，并对该数据分片组进行数据处理。

判断该2个事务要进行数据处理的目标数据分片是否有重复分片，当2个事务要进行数据处理的目标数据分片之间没有重复分片，则判断某个事务的至少一个子事务是否执行完数据处理提交操作，该数据处理提交操作用于更新目标数据分片的记录和更新目标数据分片的版本标识。

所述的保持数据一致性的方法，其中：当2个事务的目标数据分片之间有重复分片，则判断某个事务对其全部目标数据分片的处理是否都执行了数据处理提交操作。

所述的保持数据一致性的方法，其中：步骤3在步骤2的数据分片更新后才开始执行，以生成基线，所述基线是包括数据分片组的版本标识的一组数。

所述的保持数据一致性的方法，其中步骤3包括：判断数据分片组中的分片是否发生了版本标识更新，如果是，则用发生版本更新的分片的版本标识替换当前基线中对应分片的版本标识，生成新的基线并进行记录。