[发明专利]一种数据迁移方法、装置和系统

说明书

本发明实施例公开了一种数据迁移方法、装置和系统，元数据端依据存储介质的类型以及存储介质上文件的访问热度，构建待迁移文件列表；当待迁移文件的数据量大于或等于预设阈值时，则依据各客户端的当前负载量，向满足负载要求的目标客户端下发文件迁移任务。元数据端在下发文件迁移任务时，根据客户端当前负载量，智能的分配迁移任务，保证每个客户端迁移数据的动态平衡。在客户端节点上可以启动多个客户端执行文件迁移，且每个客户端可以启动多个迁移进程。通过多客户端多任务协同并发迁移数据，智能的把待迁移文件在低速存储介质和高速存储介质之间来回迁移，保证了系统对热点数据访问的响应速度，提升了整个系统的读写响应性能。

技术领域

本发明涉及数据存储技术领域，特别是涉及一种数据迁移方法、装置和系统。

背景技术

在分布式存储系统中，需要根据文件访问热度不同，在快速存储介质和慢速存储介质之间迁移文件数据。数据迁移性能的高低，成为影响分布式系统读写性能的一种重要因素。

现有文件数据迁移方式，采用单客户端的串行迁移，迁移数据性能和效率较低，不能充分利用客户端硬件资源，单客户端串行迁移成为海量文件数据迁移的性能瓶颈。

可见，如何提升数据迁移的效率，是本领域技术人员需要解决的问题。

发明内容

本发明实施例的目的是提供一种数据迁移方法、装置和系统，可以提升数据迁移的效率。

为解决上述技术问题，本发明实施例提供一种数据迁移方法，适用于元数据端，所述方法包括：

依据存储介质的类型以及所述存储介质上文件的访问热度，构建待迁移文件列表；

当待迁移文件的数据量大于或等于预设阈值时，则依据各客户端的当前负载量，向满足负载要求的目标客户端下发文件迁移任务，直至所述待迁移文件列表中的所有文件完成迁移，则结束操作。

可选地，所述依据存储介质的类型以及所述存储介质上文件的访问热度，构建待迁移文件列表包括：

统计存储在慢速存储介质上且访问热度大于第一阈值的文件，以构建第一待迁移文件列表；

统计存储在快速存储介质上且访问热度小于第二阈值的文件，以构建第二待迁移文件列表。

可选地，在所述依据各客户端的当前负载量，向满足负载要求的目标客户端下发文件迁移任务之后还包括：

当检测到所述待迁移文件列表中的当前文件正在被访问时，则停止对所述当前文件执行迁移操作。

可选地，在依据各客户端的当前负载量，向满足负载要求的目标客户端下发文件迁移任务之前还包括：

将所述待迁移文件列表记录到日志中；

相应的，在所述依据各客户端的当前负载量，向满足负载要求的目标客户端下发文件迁移任务之后还包括：

当接收到所述目标客户端反馈的迁移成功的消息时，将已完成迁移的文件列表记录到日志中。

本发明实施例还提供了一种数据迁移装置，适用于元数据端，所述装置包括构建单元和下发单元；

所述构建单元，用于依据存储介质的类型以及所述存储介质上文件的访问热度，构建待迁移文件列表；

所述下发单元，用于当待迁移文件的数据量大于或等于预设阈值时，则依据各客户端的当前负载量，向满足负载要求的目标客户端下发文件迁移任务，直至所述待迁移文件列表中的所有文件完成迁移，则结束操作。

可选地，所构建单元具体用于统计存储在慢速存储介质上且访问热度大于第一阈值的文件，以构建第一待迁移文件列表；统计存储在快速存储介质上且访问热度小于第二阈值的文件，以构建第二待迁移文件列表。