[发明专利]存储释放模型的训练方法、存储释放方法及设备

说明书

本发明揭示了一种存储释放模型的训练方法、存储释放方法及设备，所述方法包括：获取多组样本数据及其标签，每组样本数据包括多个存储对象的访问频率以及存储对象的代价，标签为各组样本数据中的目标释放存储对象；将各组样本数据输入存储释放模型中，输出各组样本数据对应预测释放存储对象；基于预测释放存储对象与对应的目标释放存储对象进行损失函数计算，对存储释放模型的参数进行更新，以确定目标存储释放模型。本发明构建的目标存储释放模型，优化alluxio跨介质分层存储时的文件释放策略，在考虑释放空间内文件使用频率的基础上，增加对存储介质空间释放代价以及不同介质数据存取效率的考虑，降低块释放代价，提升系统运行效率。

技术领域

本发明涉及数据存储处理技术领域，具体涉及一种存储释放模型的训练方法、存储释放方法及设备。

背景技术

Alluxio是一种在大数据平台内常用的基于内存的虚拟分布式存储系统，该系统的数据通常以文件块的形式存储在计算层与存储层之间，从而便于计算层通过Alluxio更快速高效的访问相关数据，在实际应用中，Alluxio跨存储介质(例如MEM，SSD，HDD等)的分层存储是其较为典型的应用场景之一，其过程一般为：

1.将Alluxio设置为目标释放存储对象依次为MEM，SSD与HDD的三级存储模式；

2.采用自高至低级别的存储规则，当高级目标释放存储对象空间足够时，默认将数据存放在高级别的目标释放存储对象当中。

3.高级目标释放存储对象空间溢出时，在次级目标释放存储对象中寻找存储空间。若MEM，SSD与HDD均无存储空间，调用Alluxio系统默认的空间释放算法来释放目标释放存储对象，为新的数据分配存储空间。

Alluxio系统默认的空间释放算法具体为：

依据访问频率来顺序地对最近最少使用的存储对象进行释放。写操作发起后，若Alluxio的master节点感知到三层目标释放存储对象均无足够空间用于分配，空间释放算法将不区分目标释放存储对象的释放最少使用的存储对象所占用的存储空间并为写操作所需的数据分配该空间，只考虑存储对象的访问频率。

然而，仅仅考虑访问频率对目标释放存储对象中的数据进行释放，当有待存储的数据时，将待存储数据随机存储值其中目标释放对象中，导致数据释放的代价增大，也导致存储释放的可靠性较低。

发明内容

有鉴于此，本发明实施例提供了一种存储释放模型的训练方法、存储释放方法及设备，旨在解决存储释放的可靠性较低的问题。

根据第一方面，本发明实施例提供了一种存储释放模型的训练方法，包括：

获取多组样本数据及其标签，每组所述样本数据包括多个存储对象的访问频率以及所述存储对象的代价，所述标签为各组所述样本数据中的目标释放存储对象；

将各组所述样本数据输入存储释放模型中，输出各组所述样本数据对应预测释放存储对象；

基于所述预测释放存储对象与对应的所述目标释放存储对象进行损失函数计算，对所述存储释放模型的参数进行更新，以确定目标存储释放模型。

本发明实施例提供的存储释放模型的训练方法，应用于Alluxio系统，该系统的数据通常以存储对象的形式存储在计算层与存储层之间，从而便于计算层通过Alluxio系统，基于深度学习在通过多组样本数据及标签生成的目标存储释放模型，可以根据存储对象的访问频率以及存储对象的代价计算出预测释放存储对象，再将预测释放对象与目标释放对象进行损失函数计算，基于计算结果对存储释放模型的参数进行更新，最终确定目标存储释放模型，参考访问频率和代价两种影响因素，可以提高目标释放对象释放样本数据的准确性，使得目标释放对象的释放代价最低，将目标存储释放模型输入到Alluxio系统中，从而便于计算层通过Alluxio系统更快速高效的访问相关数据。