[发明专利]小文件迁移方法、装置、设备及计算机可读存储介质

说明书

本发明公开了一种小文件迁移方法、装置、设备及计算机可读存储介质，包括：加载待迁移的小文件；根据预设迁移策略迁移待迁移的小文件并判断正在迁移的小文件是否达到迁移上限，若是，则停止加载待迁移的小文件，当达到预设恢复条件时，恢复加载待迁移的小文件；若否，则继续加载待迁移的小文件。利用本发明，在加载待迁移的小文件达到迁移上限时，停止加载待迁移的小文件，避免了无限制加载待迁移的小文件导致的分布式存储系统阻塞瘫痪的问题，提高了分布式存储能力的利用率和海量小文件的迁移效率。

技术领域

本发明涉及分布式存储技术领域，特别是涉及一种小文件迁移方法。本发明还涉及一种小文件迁移装置、设备及计算机可读存储介质。

背景技术

在互联网大数据时代，海量大文件传输需要占用超大的带宽，海量小文件传输需要占用超大的IOPS(Input Output Operations Per Second，每秒进行读写操作的次数)，海量小文件传输带来的超大的IOPS会给分布式存储系统带来前所未有的挑战，尤其是海量小文件在不同的分布式存储系统间迁移，能不能充分发挥分布式存储能力显得尤为重要。

现有技术中海量小文件的迁移方法在迁移小文件的时候会无限制的加载待迁移的小文件，当加载的小文件数量超出分布式存储系统单次迁移小文件的最大数量时，会导致分布式存储阻塞瘫痪，降低了迁移效率。

因此，如何提供一种能够提高迁移效率的海量小文件迁移方法、装置、设备及计算机可读存储介质是本领域技术人员需要解决的问题。

发明内容

本发明的目的是提供一种小文件迁移方法，其能够避免无限制加载待迁移的小文件导致的分布式存储系统阻塞瘫痪的问题，提高分布式存储能力的利用率和海量小文件的迁移效率；本发明的另一目的是提供一种包括上述方法的小文件迁移装置、设备及计算机可读存储介质，其也能够避免无限制加载待迁移的小文件导致的分布式存储系统阻塞瘫痪的问题，提高分布式存储能力的利用率和海量小文件的迁移效率。

为解决上述技术问题，本发明提供了一种小文件迁移方法，包括：

加载待迁移的小文件；

根据预设迁移策略迁移所述待迁移的小文件并判断正在迁移的小文件是否达到迁移上限，若是，则停止加载所述待迁移的小文件，当达到预设恢复条件时，恢复加载所述待迁移的小文件；若否，则继续加载所述待迁移的小文件。

优选地，所述预设恢复条件为所述正在迁移的小文件的数量降低到预设阈值。

优选地，所述预设阈值为所述迁移上限的90％。

优选地，生成所述预设迁移策略的过程具体包括：

根据所述待迁移的小文件的起始地址和终止地址生成迁移路径；

根据单个元数据服务MDS的处理能力获取分布式存储系统的存储能力；

获取所述待迁移的小文件所在目录的目录结构树以及所述待迁移的小文件的个数；

根据所述迁移路径、所述分布式存储系统的存储能力、所述目录结构树以及单个目录的文件个数，生成迁移策略。

优选地，所述迁移所述待迁移的小文件之后还包括：

记录已经完成迁移的小文件，并生成迁移记录表。

优选地，所述根据预设迁移策略迁移所述待迁移的小文件的过程中，还包括：

显示迁移的进度。

为解决上述技术问题，本发明还提供了一种小文件迁移装置，包括：

加载单元，用于加载待迁移的小文件；

迁移单元，用于根据预设迁移策略迁移所述待迁移的小文件；