[发明专利]数据迁移方法、装置及存储介质

说明书

本申请提供一种数据迁移方法、装置及存储介质，涉及分布式技术，大数据技术领域，能够在保证高效率迁移数据的基础上，对数据迁移任务所占用的带宽进行有效控制。该方法包括：确定M个数据迁移任务中每个数据迁移任务的信息；数据迁移任务的信息包括：文件数量和文件大小中至少一项；根据每个数据迁移任务的信息，确定N种类型任务中每种类型任务的任务并行度；任一类型任务的任务并行度与任一类型任务中的一个或多个数据迁移任务的文件数量正相关，和/或，任一类型任务的任务并行度与类型任务中的一个或多个数据迁移任务的文件大小负相关；根据N种类型任务中每种类型任务的任务并行度，迁移M个数据迁移任务。本申请实施例用于数据迁移过程中。

技术领域

本申请涉及分布式技术，大数据技术领域，尤其涉及一种数据迁移方法、装置及存储介质。

背景技术

在将一个城域网中的数据迁移至另外一个城域网的过程中，任务服务器会生成至少一个数据迁移任务。在不为上述数据迁移任务提供专线支持(即为上述数据迁移任务配置专用的带宽)的情况下，数据迁移任务和其他任务需要共享同一宽带。为了避免数据迁移任务占用太多带宽，任务服务器可以为数据迁移任务设置带宽限制，这样避免了数据迁移任务影响其他任务的正常运行。

目前，在数据迁移的过程中，只要满足传输的条件(例如，资源条件、时间条件等)，任务服务器就会发起数据迁移任务，无法对数据迁移任务的占用的带宽进行合理的规划，这样很有可能出现数据迁移任务的传输效率较低的情况，或者数据迁移任务所占用的带宽超过带宽限制的情况。

发明内容

本申请提供一种数据迁移方法、装置及存储介质，能够在保证高效率迁移数据的基础上，对数据迁移任务所占用的带宽进行有效控制。

为达到上述目的，本申请采用如下技术方案：

第一方面，本申请提供一种数据迁移方法，该方法包括：确定M个数据迁移任务中每个数据迁移任务的信息；数据迁移任务的信息包括：文件数量和文件大小中至少一项，M为正整数；根据每个数据迁移任务的信息，确定N种类型任务中每种类型任务的任务并行度；任务并行度用于指示并行迁移的数据迁移任务的数量；任一类型任务的任务并行度与任一类型任务中的一个或多个数据迁移任务的文件数量正相关，和/或，任一类型任务的任务并行度与类型任务中的一个或多个数据迁移任务的文件大小负相关；N为小于M的正整数；根据N种类型任务中每种类型任务的任务并行度，迁移M个数据迁移任务。

上述技术方案至少带来以下有益效果：本申请提供的数据迁移方法，先确定每个数据迁移任务的信息，再根据上述每个数据迁移任务的信息，合理的为N种类型任务中每种类型任务设置任务并行度，使得当任务服务器进行数据迁移时，需要参考每种类型任务的任务并行度迁移数据迁移任务，这样基于任务并行度进行并行迁移，可以在保证高效率传输的基础上，避免了多个占用带宽较大的数据迁移任务同时迁移，导致多个数据迁移任务占用的带宽之和超出带宽限制的问题，并且还可以通过提高任务并行度，提高带宽利用率，进而有效控制并行迁移的数据迁移任务占用的带宽。。

在一种可能的实现方式中，根据每个数据迁移任务的信息，确定N种类型任务中每种类型任务的任务并行度，包括：根据每个数据迁移任务的信息，将M个数据迁移任务划分为N种类型任务；根据目标类型任务中的一个或多个数据迁移任务的信息，确定目标类型任务的任务并行度；目标类型任务为N种类型任务中的任一种类型任务。