[发明专利]分布式数据库数据处理方法、装置、存储介质及电子装置

说明书

本发明提供了一种分布式数据库数据处理方法、装置、存储介质及电子装置，该方法包括：数据库导入导出管理节点在接收到用于导出分布式数据库中的数据的导出请求后，获取当前时刻活跃事务列表以及导出表分布信息；数据库导入导出管理节点根据导出表分布信息通知对应数据库执行数据导出操作；数据库导入导出管理节点在确定对应数据库执行完所述数据导出操作之后，将活跃事务列表发送给对应数据库的数据库代理节点；数据库导入导出管理节点在接收到数据库代理节点返回的数据一致性反向补偿语句之后，将对应数据库导出的数据导入到预定数据库中，并指示预定数据库执行数据一致性反向补偿语句。

技术领域

本发明涉及通信领域，具体而言，涉及一种分布式数据库数据处理方法、装置、存储介质及电子装置。

背景技术

在相关技术中，分布式数据库数据导出方法主要有两种，一种是通过单节点数据导出后合并成一份数据，一种是从分布式数据库代理中将数据选取出来，并重定向输出到数据文件中，然而在这些机制下分布式数据库导出存在明显的缺陷和局限性。

目前分布式数据库最常用的一种数据导出方案是首先通知数据库代理将要进行数据导出工作，请求数据库代理不接收新的事务且等待当前活跃事务完成后，返回分布式数据库线上禁用成功后，开始向各数据库节点发起数据导出任务，任务开始执行即导出语句获得一致性快照后，数据库代理解禁并开始处理新事务。

由于分布式数据库涉及大量数据库实例，各数据库实例独自保证数据事务ACID特性(为Atomic原子性，Consistency一致性，Isolation隔离性，Durability持久性的全称)，但分布式数据库也要面临不同于单机的数据导出问题----分布式事务数据一致性。所谓分布式事务数据一致性是指，处于分布式数据库代理发出的分布式事务，要么全部执行并提交成功，要么全部不执行(即处于执行之前状态)。以银行转账为例，假设A用户相关数据存在数据库节点G1，B用户相关数据存在G2节点中，现需要从A账户转出100元到B用户，所谓分布式事务一致性是指，G1节点A用户账户扣除和G2节点B用户账户转入需逻辑绑定为一次操作，只能处于执行成功或者未执行状态。

分布式数据导出关键的一个难题是如何保证各数据库节点数据一致性；在分布式数据库运行过程中，存在分布式事务分发到各节点语句数不同，同时存在不同节点执行语句速度不一致问题，会存在分布式事务在各数据库节点状态不同(已提交和未提交)，此时若进行数据导出，就会存在数据不一致问题；而线下数据导出方案，由于必须禁止数据库代理对外提供服务，人为使各数据库节点处于数据一致性状态的方法，不是业界的主流方式，且对在线业务影响较大。采用相关技术中的分布式数据导出有着明显的局限性，整个数据导出过程过长，数据库代理逻辑处理过于复杂，异常流程过多，不利于分布式数据库运维；不支持存在长事务场景，若存在长事务将会对现场业务存在较大的影响，其可使用性接近于线下数据导出；通过从单节点数据库执行选择命令，将结果集返回到数据库代理，数据库代理将数据写入到文件中，此方案会大量占用数据库代理和数据库之间的网络I/O并占用数据库代理系统资源，进而严重影响分布式数据库性能。

针对相关技术中存在的在进行分布式数据库数据导出时，各数据库中数据不一致的问题，目前尚未提出有效的解决方案。

发明内容

本发明实施例提供了一种分布式数据库数据处理方法、装置、存储介质及电子装置，以至少解决相关技术中存在的在进行分布式数据库数据导出时，各数据库中数据不一致的问题。