[发明专利]面向神经网络检查点数据的智能压缩存储方法和系统

说明书

本发明提供了一种面向神经网络检查点数据的智能压缩存储方法，所述神经网络检查点数据包括权重浮点数数据和优化器浮点数数据；该方法具体为：利用增量压缩方法对神经网络每轮训练后的权重浮点数数据进行压缩并存储；和/或利用索引值映射代替神经网络每轮训练后的部分或全部优化器浮点数数据的前n位后进行存储。其中，索引值的位数小于n。本发明利用深度学习检查点数据的特征并结合模型训练流程，设计了智能压缩方法与系统，对检查点不同类别数据高效压缩，从而有效提高了存储系统的存储量和寿命。

技术领域

本发明涉及计算机科学人工智能领域，尤其涉及一种针对于神经网络检查点数据的智能压缩方法及系统。

背景技术

深度学习技术的革新大大推动了计算机视觉，自然语言处理，医学等领域的发展，并在学术界和工业界都受到了极大的关注。为了获得较高的准确率，深度学习模型需要训练很长时间进行迭代更新。在模型训练过程中会产生大量的参数(部分模型能达到GB甚至TB级别的数据量)，而训练过程一旦崩溃，则需要重新启动任务。为了防止数据丢失，深度学习模型训练的参数需要以检查点的形式周期性地存储到高速持久设备中(包括SSD以及非易失性内存)。然而大量的参数持久化操作会使得设备面临严重的寿命问题，因此如何针对深度学习检查点数据设计一种智能压缩方法及系统，以降低检查点数据的写入量，变得尤为重要。

发明内容

为了解决大量检查点写操作而引起的设备寿命不足的问题，本发明提出一种针对检查点数据的智能压缩方法及系统，通过设计不同的机制对检查点文件中不同类别的浮点数据进行压缩，以降低持久设备的数据写入量，缓解设备的寿命损耗情况。

本发明针对的场景为使用GPU进行模型训练，并使用快速持久性设备(SSD或者非易失性内存)对检查点文件进行保存，采用的技术方案具体为：

一种面向神经网络检查点数据的智能压缩存储方法，其中，所述神经网络检查点数据包括权重浮点数数据和优化器浮点数数据；该方法具体为：

利用增量压缩方法对神经网络每轮训练后的权重浮点数数据进行压缩并存储；

和/或利用索引值映射代替神经网络每轮训练后的部分或全部优化器浮点数数据的前n位后进行存储。其中，索引值的位数小于n。

具体地，在深度学习训练过程中权重浮点数数据满足如下更新规则：

W_i＝W_i-1+ΔW_i

其中，W_i表示第i轮的所有权重浮点数数据集合；W_i-1表示第i-1轮的所有权重浮点数数据集合；ΔW_i表示第i轮的梯度更新值。在深度学习计算过程中，每一轮需要更新的ΔW_i值较小，即针对同一层的权重浮点数数据，当前轮浮点数与上一轮浮点数在数值上变化较小，在浮点数的表示格式下，大部分比特位数并没有变化，从而可以使用增量压缩的方式，即保存一份基准检查点文件，后续检查点文件仅保存异或后的增量文件(增量文件远小于原始文件)。

优化器浮点数数据与权重参数数量相同，用于存储深度学习优化器中的动量(momentum)数据，由于该数据没有权重一样的增量特性，所以不能套用增量压缩。然而此类数据的值较小，且分布极其均匀。优化器浮点数数据使用浮点数格式，所有浮点数的前n位仅有少量的表示模式，从而可以使用少量位数的索引值h来代替前n位数据(hn)，进行模式映射压缩方案，降低数据的存储量。

当系统崩溃时，系统会从持久介质中读入权重浮点数数据以及优化器浮点数数据。对于权重浮点数数据，系统会加载基准检查点文件以及每轮存储的数据，并使用链式运算进行恢复。对于优化器浮点数数据，系统会加载压缩后的数据，并根据各个浮点数的索引值进行数据恢复。

进一步地，所述利用增量压缩方法对神经网络每轮训练后的权重浮点数数据进行压缩并存储，具体为：