[发明专利]迁移文件列表的生成方法、装置、电子设备及计算机可读介质

说明书

本申请实施例提供了一种迁移文件列表的生成方法、装置、电子设备及计算机可读介质，涉及数据存储领域。其中，所述方法包括：获取迁移任务中的数据源所包括的待扫描目录中的多个目录分区的信息；启动多个扫描任务对所述多个目录分区的信息指示的多个目标分区进行并发扫描；对并发扫描的扫描结果进行过滤处理，根据过滤处理结果生成所述数据源的迁移文件列表。通过本申请实施例，启动多个扫描任务对多个目录分区的信息指示的多个目标分区进行并发扫描，加快了对数据源的扫描速度，极大地提高了数据源的扫描性能，实现快速生成迁移文件列表，从而有效提高迁移文件列表的生成效率。

技术领域

本申请实施例涉及数据存储领域，尤其涉及一种迁移文件列表的生成方法、装置、电子设备及计算机可读介质。

背景技术

随着云计算对各个行业的渗透，上云已是大势所趋，特别是存储系统迁移到云存储，例如，应用于云存储中的对象存储服务。单用户迁移上云，数据量已达百PB级别，文件数已达百亿级别。数据迁移首先需要生成迁移文件列表，然后逐文件迁移。迁移文件列表通过扫描数据源生成，迁移文件列表的生成效率，直接影响数据迁移效率。特别是增量迁移时，时间都消耗在扫描数据源，找出增量文件，生成增量迁移文件列表。对于百亿级文件，按照常规方法，通过单线程扫描数据源生成迁移文件列表，迁移文件列表的生成效率较低，根本无法满足用户高效上云的需求，增量迁移更是无从谈起。由此可见，如何有效提高迁移文件列表的生成效率成为当前亟待解决的技术问题。

发明内容

本申请的目的在于提出一种迁移文件列表的生成方法、装置、电子设备及计算机可读介质，用于解决现有技术中存在的如何有效提高迁移文件列表的生成效率的技术问题。

根据本申请实施例的第一方面，提供了一种迁移文件列表的生成方法。所述方法包括：获取迁移任务中的数据源所包括的待扫描目录中的多个目录分区的信息；启动多个扫描任务对所述多个目录分区的信息指示的多个目标分区进行并发扫描；对并发扫描的扫描结果进行过滤处理，根据过滤处理结果生成所述数据源的迁移文件列表。

根据本申请实施例的第二方面，提供了一种迁移文件列表的生成装置。所述装置包括：获取模块，用于获取迁移任务中的数据源所包括的待扫描目录中的多个目录分区的信息；启动模块，用于启动多个扫描任务对所述多个目录分区的信息指示的多个目标分区进行并发扫描；第一生成模块，用于对并发扫描的扫描结果进行过滤处理，根据过滤处理结果生成所述数据源的迁移文件列表。

根据本申请实施例的第三方面，提供了一种电子设备，包括：一个或多个处理器；计算机可读介质，配置为存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如上述实施例的第一方面所述的迁移文件列表的生成方法。

根据本申请实施例的第四方面，提供了一种计算机可读介质，其上存储有计算机程序，该程序被处理器执行时实现如上述实施例的第一方面所述的迁移文件列表的生成方法。

通过本申请实施例提供的迁移文件列表的生成方案，获取迁移任务中的数据源所包括的待扫描目录中的多个目录分区的信息，并启动多个扫描任务对多个目录分区的信息指示的多个目标分区进行并发扫描，再对并发扫描的扫描结果进行过滤处理，根据过滤处理结果生成数据源的迁移文件列表，与现有的其它方式相比，启动多个扫描任务对数据源所包括的待扫描目录中的多个目录分区的信息指示的多个目标分区进行并发扫描，加快了对数据源的扫描速度，极大地提高了数据源的扫描性能，实现快速生成迁移文件列表，从而有效提高迁移文件列表的生成效率。

附图说明

通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显：

图1A为本申请实施例一中迁移文件列表的生成方法的步骤流程图；

图1B为根据本申请实施例一提供的迁移文件列表的生成过程的示意图；

图1C为根据本申请实施例一提供的扫描代价树的示意图；