[发明专利]一种数据动态迁移方法及装置

说明书

本发明提供一种数据动态迁移方法及装置，该方法包括：获取至少一个数据节点的相对负载值，以及所有数据节点的平均负载值；若数据节点的相对负载值不小于平均负载值，确定数据节点为重负载节点并按照降序排列方式加入重负载节点集合中；否则，确定数据节点为轻负载节点并按照升序排列方式加入轻负载节点集合中；将重负载节点集合中各重负载节点中的数据迁移到轻负载节点集合中各轻负载节点上。本发明能够对各个数据节点的负载进行动态的调整，从而将负载较重的数据节点上的数据动态迁移到负载较轻的数据节点上，从而使云存储系统中的各个数据节点的负载更加均衡。

技术领域

本发明涉及数据存储技术领域，具体涉及一种数据动态迁移方法及装置。

背景技术

随着互联网的高速发展，当今社会所产生的数据量在急速增长。在互联网中的信息数据大多是以高频率的小文件形式表现出来的，且在一般用户的信息存储访问中对小文件的存储访问的操作相对较多。

在云存储系统中，海量的数据存储、高性能、高扩展性是其主要特点，但是当小文件的数量达到一定程度之后，存储海量小文件会对数据节点带来巨大的内存空间的压力，对海量小文件的频繁且重复的访问也会给数据节点带来性能及负载均衡方面的影响。

在云存储系统中，当各数据节点在经过一段时间的运行之后，小文件的频繁访问会导致数据节点的负载出现不均衡的情况。并且，当云存储系统中存储了海量小文件时，对各数据节点进行负载均衡时需要对大量小文件执行迁移操作，如果迁移的目标选择不合理的时候，大规模的小文件迁移操作将会导致更多的网络带宽消耗。

发明内容

本发明提供一种数据动态迁移方法及装置，以解决现有技术中海量小文件的频繁访问会导致数据节点的负载出现不均衡，且在迁移操作时会导致更多的网络带宽消耗的问题。

第一方面，本发明实施例提供一种数据动态迁移方法，包括：

获取至少一个数据节点的相对负载值，以及所有数据节点的平均负载值；

若所述数据节点的相对负载值不小于所述平均负载值，确定所述数据节点为重负载节点并按照降序排列方式加入重负载节点集合中；否则，确定所述数据节点为轻负载节点并按照升序排列方式加入轻负载节点集合中；

将所述重负载节点集合中各所述重负载节点中的数据迁移到所述轻负载节点集合中各所述轻负载节点上。

作为本发明第一方面的优选方式，所述将所述重负载节点集合中各所述重负载节点中的数据迁移到所述轻负载节点集合中各所述轻负载节点上包括：

读取所述重负载节点集合中排在前面的重负载节点，并将所述排在前面的重负载节点中的数据块按照负载值降序排列的方式加入数据块队列中，然后依次将所述数据块队列中排在前面的数据块的负载值添加到所述轻负载节点集合中排在前面的轻负载节点上；

若所述排在前面的轻负载节点的相对负载值小于所述平均负载值，则将所述排在前面的数据块迁移到所述排在前面的轻负载节点上，并将所述排在前面的数据块从所述数据块队列中删除；否则，继续执行读取所述数据块队列中排在前面的数据块的步骤，直到所述排在前面的重负载节点的相对负载值小于所述平均负载值或者所述排在前面的轻负载节点的相对负载值不小于所述平均负载值，则对应从所述重负载节点集合或者所述轻负载节点集合中删除；

判断所述重负载节点集合或者所述轻负载节点集合是否为空；若否，则继续执行读取所述重负载节点集合中排在前面的重负载节点的步骤。

作为本发明第一方面的优选方式，所述将所述数据块队列中排在前面的数据块的负载值添加到所述轻负载节点集合中排在前面的轻负载节点上包括：

读取所述数据块队列中排在前面的数据块；