[发明专利]一种预测式数据迁移方法及系统

说明书

技术领域

本发明涉及存储技术领域，特别是涉及一种预测式数据迁移方法及系统。

背景技术

数据量的爆炸式增长以及数据类型的日益细化，让数据分级和冷热数据分治成为降低单位容量数据成本、提升数据存储效率和密度的有效方式。在企业的数据中心中，只有10％～15％的数据是被经常访问的，IOPS要求100k级别，剩余的则访问频率急剧下降，在10k甚至以下。

根据数据的访问需求，现有的方法会将读写频繁的数据放到缓存中或者高速存储区，例如SSD中，将读写不频繁的数据放到缓存或者低速存储区，例如HDD中。这种实现方式是为了使得对访问量多的数据尽快提供服务，对访问量少的数据无需提供过快的服务。

但是，这种以访问热度为统计量的方法在热度增长的初期不能很好的满足用户的需求，当热度增长到一定程度，才能触发数据的迁移。也许数据迁移后，原本热度很高的数据不再访问频繁了。经过一段时间的热度统计后，又要重新迁移。这种迁移方法不能很好的处理热度变化很快的情况，会导致迁移经常触发。

发明内容

有鉴于此，本发明的目的在于提供一种预测式数据迁移方法，可以有效减少迁移的开销，提高数据的访问速度。其具体方案如下：

一种预测式数据迁移方法，包括：

将不同时间段内的数据访问信息作为训练集，训练出预测模型；

根据所述预测模型，预测出待访问频繁的数据并迁移到高速存储区。

优选地，在本发明实施例提供的上述预测式数据迁移方法中，根据所述预测模型，预测出待访问频繁的数据并迁移到高速存储区，具体包括：

根据所述预测模型，计算出数据访问热度；

根据计算出的所述数据访问热度，将预测到的热度高的数据迁移到高速存储区；所述预测到的热度高的数据为待访问频繁的数据。

优选地，在本发明实施例提供的上述预测式数据迁移方法中，在将预测到的热度高的数据迁移到高速存储区之后，还包括：

若迁移到所述高速存储区的数据在设定时间内不是访问频繁的数据，则标记为访问不频繁，并降低所述预测模型的权重；

若迁移到所述高速存储区的数据在设定时间内是访问频繁的数据，则增加所述预测模型的权重。

优选地，在本发明实施例提供的上述预测式数据迁移方法中，在降低所述预测模型的权重之后，还包括：

通过定时器定时确定所述预测模型的权重；

若所述预测模型的权重低于设定阈值时，则按照设定的百分比调整所述训练集，重新训练所述预测模型；

若所述预测模型的权重不低于设定阈值时，则所述预测模型准确。

优选地，在本发明实施例提供的上述预测式数据迁移方法中，在将预测到的热度高的数据迁移到高速存储区之前，还包括：

判断高速存储区是否被占满；

若是，则将预测到的热度低的数据迁出所述高速存储区并迁移到低速存储区。

优选地，在本发明实施例提供的上述预测式数据迁移方法中，将不同时间段内的数据访问信息作为训练集，训练出预测模型，具体包括：

使用机器学习的方法将不同时间段内的数据访问信息作为训练集，训练出预测模型。

本发明实施例还提供了一种预测式数据迁移系统，包括：

模型训练模块，用于将不同时间段内的数据访问信息作为训练集，训练出预测模型；

数据迁移模块，用于根据所述预测模型，预测出待访问频繁的数据并迁移到高速存储区。

优选地，在本发明实施例提供的上述预测式数据迁移系统中，所述数据迁移模块，具体包括：

计算单元，用于根据所述预测模型，计算出数据访问热度；

迁移单元，用于根据计算出的所述数据访问热度，将预测到的热度高的数据迁移到高速存储区；所述预测到的热度高的数据为待访问频繁的数据。

优选地，在本发明实施例提供的上述预测式数据迁移系统中，还包括：

数据判断模块，用于若迁移到所述高速存储区的数据在设定时间内不是访问频繁的数据，则标记为访问不频繁，并降低所述预测模型的权重；若迁移到所述高速存储区的数据在设定时间内是访问频繁的数据，则增加所述预测模型的权重。

优选地，在本发明实施例提供的上述预测式数据迁移系统中，还包括：

权重确定模块，用于通过定时器定时确定所述预测模型的权重；若所述预测模型的权重低于设定阈值时，则按照设定的百分比调整所述训练集，重新训练所述预测模型；若所述预测模型的权重不低于设定阈值时，则所述预测模型准确。