[发明专利]一种元数据迁移方法、装置、系统及设备

说明书

本申请实施例公开了一种元数据迁移方法、装置、系统及设备，该方法包括：确定待迁移目录中的待迁移条目；根据所述待迁移条目所对应的数据块数量，生成迁移任务，为所述迁移任务划分所述待迁移条目；将所述迁移任务分配至执行服务器以对所述待迁移条目进行元数据迁移。利用本申请实施例，可以实现待迁移条目在各个迁移任务中的均衡分布，从而避免出现可能分配到很大数据量的迁移任务的执行服务器，可以缩短执行服务器完成迁移任务需要耗费的时间，从而可以提高元数据迁移的整体工作效率。

技术领域

本申请涉及计算机技术领域，尤其涉及一种元数据迁移方法、装置、系统及设备。

背景技术

目前大规模分布式存储系统应用比较广泛，分布式存储系统由元数据服务器管理文件系统命名空间和文件各种属性，提供文件访问权限和文件存储位置等信息，同时由数据存储服务器存储文件，处理客户端对文件数据的各种读写请求。多数分布式存储系统中的元数据服务器通常由多个构成一组提供服务，每组服务器构成一个元数据服务器组(即volume)，分布式存储系统通常会配置多个元数据服务器组，将元数据压力分散到各元数据服务器组上。

在系统运行过程中，元数据会不断存储到各元数据服务器组上，随着运行时间的增加，各元数据服务器组上存储的元数据也会逐渐出现不均衡。为均衡各元数据服务器组的负载，需要对各元数据服务器组进行元数据迁移。

目前，通常采用在元数据服务器组间进行元数据迁移的方式，即在元数据服务器组上对源目录进行拆分，获取待迁移条目，根据每个待迁移条目中包含的文件数量生成迁移任务，再将迁移任务分发到各个执行服务器进行元数据迁移。

在对现有技术进行研究后，发明人发现，在元数据服务器组间进行元数据迁移的过程中，基于待迁移条目中包含的文件数量生成迁移任务，由于文件粒度不均，因此生成的迁移任务中包含的数据量也不均，从而导致部分执行服务器可能分配到很大数据量的迁移任务，使得执行服务器完成该迁移任务需要耗费大量时间，致使元数据迁移的整体工作效率较低。

发明内容

本申请实施例的目的是提供一种元数据迁移方法、装置、系统及设备，以实现生成的迁移任务中包含的数据量相对均衡，提高元数据迁移的整体工作效率。

为解决上述技术问题，本申请实施例是这样实现的：

本申请实施例提供一种元数据迁移方法，所述方法包括：

确定待迁移目录中的待迁移条目；

根据所述待迁移条目所对应的数据块数量，生成迁移任务，为所述迁移任务划分所述待迁移条目；

将所述迁移任务分配至执行服务器以对所述待迁移条目对应的元数据进行元数据迁移。

本申请实施例提供一种元数据迁移装置，所述装置包括：

待迁移条目确定模块，用于确定待迁移目录中的待迁移条目；

迁移任务生成模块，用于根据所述待迁移条目所对应的数据块数量，生成迁移任务，为所述迁移任务划分所述待迁移条目；

迁移任务分配模块，用于将所述迁移任务分配至执行服务器以对所述待迁移条目进行元数据迁移。

本申请实施例提供一种元数据迁移系统，包括如上述实施例提供的元数据迁移装置、执行服务器和多个元数据服务器组，其中：

所述执行服务器，用于接收所述元数据迁移装置分配的迁移任务，根据所述迁移任务，在所述元数据服务器组之间进行数据迁移。

本申请实施例提供一种元数据迁移设备，所述元数据迁移设备包括：

处理器；以及

被安排成存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器：