[发明专利]数据传输方法、装置、设备及存储介质

说明书

本发明公开了一种数据传输方法、装置、设备及存储介质，该数据传输方法包括：根据传输数据块的历史信息，确定单个数据块的传输延迟时间lat以及在目标状态下单位时间内传输的数据块块数count；其中，目标状态为满足第一条件和第二条件的状态，第一条件为在并发传输数据块所使用的带宽小于或等于总带宽上限的情况下传输最多数据块，第二条件为等待可用带宽的数据块个数小于预定阈值；根据传输延迟时间lat以及数据块块数count，确定待并发传输的数据块个数N；基于待并发传输的数据块个数N进行数据块的并发传输。根据本发明实施例，在等待的数据块个数尽可能少的情况下，能够尽可能多地并发传输数据块避免了资源浪费。

技术领域

本发明属于计算机领域，尤其涉及一种数据传输方法、装置、设备及存储介质。

背景技术

磁盘快照主要用于备份和容灾。用户在不同时间点，可以对一块磁盘创建若干快照，成为一条快照链。如需恢复磁盘数据，可以进行磁盘数据回滚，把磁盘上的数据恢复为快照链上任一个快照的内容。

实际应用场景里，一块磁盘往往会定时创建快照，比如每天创建一次快照。因为磁盘数据有冷热之分，很多磁盘数据很久才会改动。因此，一个快照链中的各个快照的数据内容往往只有少量区别。为了节省空间，现有的快照系统都使用了去重存储的功能。

目前，对磁盘按偏移分成多个区间，比如2MB为一个区间，区间数据作为快照的一个切片(切片又称数据块)进行去重存放。

快照创建过程，一般分为以下两个步骤。

步骤1：元数据构建。分析磁盘上相对于已有快照有改动的区间，这些区间将标记为需要备份的区间，在快照元数据中记录好。

步骤2：数据传输。将上述元数据构建过程中标记为需要备份的区间的数据块传输到快照存储系统中，作为新快照的数据块存放。

在进行数据传输时，设定可并发传输的数据块个数N，该数据块个数N固定不变。而且设定并发传输的总带宽上限为T。

为了充分利用带宽，工程设计上往往会设定N为一个比较大的值，即尽可能多的传输数据块。如果N过大，会出现带宽不够用的情况，很多数据块排队等待可用的带宽。

然而系统中如果有过多的数据块排队，由于每个数据块会占用一点的内存资源，数量过多又一直等着不能传输，是对系统资源的极大浪费，给系统加大负担。另外，过多的数据块排队等待可用的带宽，在系统维护、做重置、清理的时候消耗更多的时间，往往意味着运维时不可用时间变多。

比如一个机器有50个快照在进行，如果设定每个快照有20个数据块并发传输，则最坏情况下会有1000个数据块在系统中排队，这样会带来较可观的内存、中央处理器(Central Processing Unit，CPU)消耗，尤其在低成本低功耗的设备上，资源需要极致利用的情况下，资源造成极大的浪费。

发明内容

本发明实施例提供一种数据传输方法、装置、设备及存储介质，能够在传输时合理设定并发传输数据块的个数，既保证了数据块传输的速率，又减少了资源浪费。

一方面，本发明实施例提供一种数据传输方法，包括：

根据传输数据块的历史信息，确定单个数据块的传输延迟时间lat以及在目标状态下单位时间内传输的数据块块数count；其中，所述目标状态为满足第一条件和第二条件的状态，第一条件为在并发传输数据块所使用的带宽小于或等于总带宽上限的情况下传输最多数据块，第二条件为等待可用带宽的数据块个数小于预定阈值；

根据所述传输延迟时间lat以及所述数据块块数count，确定待并发传输的数据块个数N，N为正数；

基于所述待并发传输的数据块个数N进行数据块的并发传输。

另一方面，本发明实施例提供了一种数据传输装置，包括：