[发明专利]面向神经网络检查点数据的智能压缩存储方法和系统

权利要求书

1.一种面向神经网络检查点数据的智能压缩存储方法，所述神经网络检查点数据包括权重浮点数数据和优化器浮点数数据；其特征在于，该方法具体为：

利用增量压缩方法对神经网络每轮训练后的权重浮点数数据进行压缩并存储；

和/或利用索引值映射代替神经网络每轮训练后的部分或全部优化器浮点数数据的前n位后进行存储；其中，索引值的位数小于n；

所述利用增量压缩方法对神经网络每轮训练后的权重浮点数数据进行压缩并存储，具体为：

将神经网络每轮训练后的所有权重浮点数数据与上一轮训练后的权重浮点数数据按位异或操作获取每轮权重浮点数数据的增量文件压缩并存储，同时定期保存一份权重浮点数数据作为数据解压缩恢复的基准检查点文件；

所述增量文件表示为：

S = W_i ⊕ W_i-1

其中，i表示训练轮数，⊕为按位异或操作；W_i为第i轮的所有权重浮点数数据集合；

压缩后每个权重浮点数数据表示为：c=z+r；其中z是一个s位二进制数，表示该权重浮点数数据按位异或操作后的前导0个数k；r是一个（32-k）位二进制数，表示权重浮点数数据去掉前k位后的位数值，+表示拼接；

其中，每轮存储的数据包括每个权重浮点数数据压缩后的数据c和二进制数的位数s；s根据该轮训练所有权重浮点数数据的按位异或操作后的最大前导0个数确定；

数据解压缩恢复时，先读取基准文件中每个权重浮点数数据对应的前s位，得到前s位的数值大小k；再读取接下来的32-k位，获取r值；得到解压后的浮点数uc = uz+r；其中uz为基准文件对应浮点数的前k位；

利用索引值映射代替神经网络每轮训练后的优化器浮点数数据的前n位后进行存储，具体为：

建立优化器浮点数数据的前n位数据与索引值的映射表；

根据建立的映射表将每轮训练后的优化器浮点数数据的前n位进行索引值映射代替后存储；其中，若索引值的位数大于n则不替换压缩；

数据解压缩恢复时，根据前n位数据与索引值的映射表进行恢复。

2.根据权利要求1所述的智能压缩存储方法，其特征在于，若该轮训练所有权重浮点数数据的按位异或操作后的最大前导0个数为32时，采用k=31，r=1的方式进行压缩。

3.根据权利要求1所述的智能压缩存储方法，其特征在于，所述n取值为9~14，针对不同的n，选择压缩率最高的一种情况。

4.根据权利要求1所述的智能压缩存储方法，其特征在于，还包括删除优化器浮点数数据的最后一位，数据恢复时以0补全。

5.一种基于权利要求1-4任一项所述方法的面向神经网络检查点数据的智能压缩存储系统，其特征在于，包括互相连接的数据压缩/解压缩模块和检查点数据保存模块；其中，所述数据压缩/解压缩模块的输入端与模型训练系统相连，用于实时获取神经网络每轮训练后的检查点数据，并利用增量压缩方法对神经网络每轮训练后的权重浮点数数据进行压缩并存储至检查点数据保存模块；和/或利用索引值映射代替神经网络每轮训练后的部分或全部优化器浮点数数据的前n位后进行存储至检查点数据保存模块；其中，索引值的位数小于n；

当系统崩溃时，数据压缩/解压缩模块从检查点数据保存模块中读入每轮存储的数据进行数据恢复，其中：对于权重浮点数数据，数据压缩/解压缩模块从检查点数据保存模块中读入基准检查点文件以及每轮存储的数据，并使用链式运算进行恢复；对于优化器浮点数数据，数据压缩/解压缩模块从检查点数据保存模块中读入压缩后的数据，并根据各个浮点数的索引值进行数据恢复。