[发明专利]一种数据重分布方法及电子设备

说明书

本申请实施例公开一种数据重分布方法及电子设备，该方法应用于协调节点，该协调节点用于管理多个数据节点，该方法包括：确定在多个数据节点中，在待重分布数据表中存在对应的数据量大于或等于第一阈值的数据表；确定该多个数据节点的当前磁盘IO资源使用率；根据当前磁盘IO资源使用率，将待重分布数据表的数据重分布到该多个数据节点中的部分或全部数据节点；其中，当前磁盘IO资源使用率根据该多个数据节点中的部分或全部数据节点的当前磁盘IO资源使用率确定，待重分布数据表为该多个数据节点包括的数据表中待重分布的数据表。本申请实施例，可以有效利用当前剩余的磁盘IO资源，从而可以提高数据重分布效率。

技术领域

本发明涉及计算机技术领域，尤其涉及一种数据重分布方法及电子设备。

背景技术

随着网络、通信技术的快速发展，海量数据正以前所未有的增长趋势冲击着各个行业。为了有效地管理、维护这些数据，以及对这些数据进行处理，用户对数据库存储容量的需求越来越大，对数据库性能的要求也越来越高。其中，分布式集群数据库由于其高可用性、可伸缩性、负载均衡的特点，在实际应用上越来越广泛。

由于分布式集群数据库的可伸缩性，分布式集群数据库中节点的数量可以根据业务需求进行调整。例如，随着数据的不断增加，为了支持更大规模的数据存储和查询，可以对数据库集群进行扩容，即添加新的节点到数据库集群中。并且，为了可以充分利用新增节点以及实现每个节点的负载均衡，在将新的节点加入到数据库集群中之后，可以将原始节点存储的数据重分布到扩容后的所有节点上。

与此同时，如何设计合适的重分布策略，充分利用磁盘输入输出(input/output，IO)资源，提高数据重分布效率是技术人员关注的问题。

发明内容

本申请实施例公开了一种数据重分布方法及电子设备，用于提高数据重分布效率。

第一方面公开一种数据重分布方法，该数据重分布方法可以应用于协调节点，也可以应用于协调节点中的模块(例如，芯片)，还可以应用于能实现全部或部分协调节点功能的逻辑模块或软件。该协调节点可以用于管理多个数据节点，下面以应用于协调节点为例进行描述。该数据重分布方法可以包括：确定在该多个数据节点中，在待重分布数据表中存在对应的数据量大于或等于第一阈值的数据表；确定该多个数据节点的当前磁盘输入输出IO资源使用率；根据该当前磁盘IO资源使用率，将该待重分布数据表的数据重分布到该多个数据节点中的部分或全部数据节点；其中，该当前磁盘IO资源使用率根据该多个数据节点中的部分或全部数据节点的当前磁盘IO资源使用率确定，该待重分布数据表为该多个数据节点包括的数据表中待重分布的数据表。

本申请实施例中，由于数据表的数据量不同，数据重分布时占用的磁盘IO资源不同。同时，数据量小于第一阈值的数据表可以为小表，数据重分布时基本上不占用磁盘IO资源。因此，在待重分布数据表中存在对应的数据量大于或等于第一阈值的数据表时，协调节点可以根据当前磁盘输入输出IO资源使用率，将待重分布数据表的数据重分布到该多个数据节点中的部分或全部数据节点。这样，可以有效利用当前剩余的磁盘IO资源，从而可以提高数据重分布效率。

作为一种可能的实施方式，在该确定在该多个数据节点中，在待重分布数据表中存在对应的数据量大于或等于第一阈值的数据表之前，该方法还可以包括：创建M个线程，M为大于或等于1的整数；该将该待重分布数据表的数据重分布到该多个数据节点中的部分或全部数据节点包括：通过该M个线程将该待重分布数据表的数据重分布到该多个数据节点中的部分或全部数据节点。

本申请实施例中，协调节点可以通过M个线程并行进行待重分布数据表的数据重分布，这样，可以提高数据重分布的效率。