[发明专利]一种多机制混合的递归神经网络模型压缩方法

摘要

本发明公开了一种多机制混合的递归神经网络模型压缩方法。方法包括A、循环矩阵约束将递归神经网络中部分参数矩阵限制为循环矩阵，并更新后向梯度传播算法使网络可以进行循环矩阵的批量训练；B、前向激活函数近似前向运算时将非线性的激活函数替换为硬件友好的线性函数，后向梯度更新过程保持不变；C、混合量化根据递归神经网络中不同参数对误差可容忍度的差异，针对不同参数采用不同的量化机制；D、二次训练机制将网络模型的训练分为初始训练和重训练两个阶段，每个阶段侧重不同的模型压缩方法，很好地避免了不同模型压缩方法间的相互影响，最大程度上减少了模型压缩方法带来的精度损失。本发明通过灵活地运用多种模型压缩机制来压缩递归神经网络模型，可以大大减少模型参数，适用于需要使用递归神经网络的存储受限、低延迟嵌入式系统，具有很好的创新性和应用前景。

主权项

混合多种模型压缩机制对递归神经网络模型进行压缩的方法，其特征在于通过二次训练机制，弱化不同模型压缩机制间的相互影响，在尽量不损失网络模型精度的条件下最大化模型压缩率，包括以下步骤：步骤一，在初始训练阶段，根据实际需要灵活结合循环矩阵约束和前向激活函数近似压缩递归神经网络模型；步骤二，在所述步骤一的基础上，增加混合量化机制进行递归神经网络模型的重训练，进一步提高模型的压缩率；所述步骤一包括以下步骤：步骤(11)，使用循环矩阵约束，针对递归神经网络中不同参数矩阵对误差敏感程度的差异，将对误差不敏感的部分参数矩阵限制为循环矩阵；步骤(12)，若步骤(11)所选参数矩阵非方阵，则通过缺失部分补零或拼接的方式使其满足循环矩阵需为方阵的约束，并更新后向梯度传播算法使递归神经网络模型可以进行循环矩阵的批量训练；步骤(13)，使用前向激活函数近似，进一步更新后向梯度传播算法，使得神经网络模型在前向运算时将网络中的非线性激活函数替换为硬件友好的线性函数，同时保持后向梯度更新过程不变；所述步骤二包括以下步骤：步骤(21)，分析步骤一训练出的递归神经网络模型中不同参数矩阵对误差敏感程度的差异，并结合递归神经网络模型在结构上的特点，将模型中的参数分为多组，每组选用不同的量化方法；步骤(22)，根据步骤(21)中模型参数的分组情况进行混合量化，并对递归神经网路模型进行重训练以恢复模型精度。