[发明专利]一种在数据同步过程中实现流量控制的方法

说明书

本发明公开了一种在数据同步过程中实现流量控制的方法，包括：获取客户端发送的数据同步任务；按照预设的IOPS从数据同步任务中的对象存储桶中获取待同步列表，并将待同步列表添加至同步队列，待同步列表中未包含待同步数据；在预设的带宽范围内通过多个同步线程同步待同步数据。该方法在数据同步过程中，实现了流量的灵活控制，能够避免数据丢失，还减小了流量控制对数据同步的影响。相应地，本发明公开的一种在数据同步过程中实现流量控制的装置、设备及可读存储介质，也同样具有上述技术效果。

技术领域

本发明涉及数据存储技术领域，更具体地说，涉及一种在数据同步过程 中实现流量控制的方法、装置、设备及可读存储介质。

背景技术

在分布式对象存储集群中，为了使不同分布式对象存储集群存储的数据 一致，需要进行数据同步。而在数据同步过程中，为了避免数据丢失，需要 在数据同步过程中进行流量控制。

在现有的数据同步方案中，在数据同步过程中实现流量控制的方案一般 为：在数据同步线程执行时，在原分布式对象存储集群和目的分布式对象存 储集群中设置数据传输时的IOPS或带宽的阈值，来控制原分布式对象存储集 群的数据发送速率和目的分布式对象存储集群的数据接收速率。其中，在两 端分别设置IOPS或带宽的阈值来实现流量控制时，需要协调两端的数据传输 速率，例如：当数据发送速率较快时，目的分布式对象存储集群的数据接收 速率的限制将不能过小，否则可能导致数据丢失或同步过程报错。

且在现有的在数据同步过程中实现流量控制的方案中，当阈值设置的较 小时，存在争抢资源的问题，无法保持良好的并发性。

因此，在数据同步过程中，如何灵活控制流量，以避免数据丢失，是本 领域技术人员需要解决的问题。

发明内容

本发明的目的在于提供一种在数据同步过程中实现流量控制的方法、装 置、设备及可读存储介质，以实现在数据同步过程中灵活控制流量，避免数 据丢失。

为实现上述目的，本发明实施例提供了如下技术方案：

一种在数据同步过程中实现流量控制的方法，包括：

获取客户端发送的数据同步任务；

按照预设的IOPS从所述数据同步任务中的对象存储桶中获取待同步列 表，并将所述待同步列表添加至同步队列，所述待同步列表中未包含待同步 数据；

在预设的带宽范围内通过多个同步线程同步所述同步队列中各个待同步 列表对应的待同步数据。

其中，所述在预设的带宽范围内通过多个同步线程同步所述同步队列中 各个待同步列表对应的待同步数据，包括：

从所述同步队列中获取所述待同步列表，并根据获取到的待同步列表获 取对应的待同步数据；

在预设的带宽范围内通过多个同步线程同步所述待同步数据。

其中，所述从所述同步队列中获取所述待同步列表，包括：

按照所述待同步列表添加至所述同步队列的时间顺序从所述同步队列中 获取所述待同步列表。

其中，所述将所述待同步列表添加至同步队列，包括：

按照所述待同步列表的时间顺序将所述待同步列表添加至所述同步队 列。

其中，所述获取客户端发送的数据同步任务之后，还包括：

提取所述数据同步任务携带的同步信息，并根据所述同步信息验证所述 数据同步任务；

当所述数据同步任务验证通过后，执行所述按照预设的IOPS从所述数据 同步任务中的对象存储桶中获取待同步列表的步骤。