[发明专利]一种降低大规模数据库集群DML资源消耗的方法

说明书

本发明公开了一种降低大规模数据库集群DML资源消耗的方法，具体方法包括以下步骤：步骤一、在主副本分片所在节点中动态选取当前资源相对比较空闲的节点去执行DML操作；步骤二、DML操作只在这一个分片端执行而其他副本分片端不执行；步骤三、执行分片端负责将执行结果分发到其他分片上去。选取相对空闲节点去执行DML操作，可以减少执行时间；降低集群执行DML操作时整体的资源消耗，提升集群效率；对执行DML结果的分发机制，还可以有效保证主副本分片数据的一致性。

技术领域

本发明属于数据库技术领域，尤其是一种降低大规模数据库集群DML资源消耗的方法。

背景技术

大规模数据库集群为了支持高可用，为每一个物理表(主分片)创建了一个或者多个备份(副本分片)，主副本分片分布在集群中不同的节点上，主副本分片中数据必须相同，且存储顺序必须一致。当集群执行DML进行数据变更操作时一般同时对所有的主副本分片执行相同的DML语句，在查询条件复杂、数据量大的情况下，各个节点资源消耗都很大。

如图1所示，假设Node 1上有3个主分片，分别是t1_n1、t2_n1、t3_n1；这3个主分片有两份副本分别在Node 2和Node 3上。当集群执行数据变更的DML语句的时候，需要同时将该语句下发到相关表所有的主分片和副本分片上，同一个表的所有主副本分片都将执行DML语句，都需要消耗相同的资源，存在资源浪费的情况。

发明内容

本发明要解决的问题是提供了一种降低大规模数据库集群DML资源消耗的方法。

为实现上述目的，本发明提供如下技术方案：一种降低大规模数据库集群DML资源消耗的方法包括以下步骤：步骤一、在主副本分片所在节点中动态选取当前资源相对比较空闲的节点去执行DML操作；

步骤二、DML操作只在这一个分片端执行而其他副本分片端不执行；

步骤三、执行分片端负责将执行结果分发到其他分片上去。

与现有技术相比，本发明的有益效果是：1.选取相对空闲节点去执行DML操作，可以减少执行时间；

2.降低集群执行DML操作时整体的资源消耗，提升集群效率；

3.对执行DML结果的分发机制，还可以有效保证主副本分片数据的一致性。

附图说明

图1是背景技术中现有的集群执行DML机制示意图；

图2是本实施例中集群执行DML机制流程图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

实施例

本实施例一种降低大规模数据库集群DML资源消耗的方法，流程图如图2所示，Node 1上有3个主分片，分别是t1_n1、t2_n1、t3_n1；这3个主分片有两份副本分别在Node 2和Node 3上。当集群执行数据变更DML操作的时候，首先动态评估当前三个节点的资源占用情况，选择资源相对空闲的节点去执行DML操作(假设为Node2)；集群将DML语句下发到Node2相关表的分片上去执行；执行完后由Node2负责将执行结果分发到Node1和Node3对应的分片上去，从而完成所有主副本分片数据的一致性；