[发明专利]神经网络模型压缩方法、装置、电子设备及可读存储介质

权利要求书

1.一种神经网络压缩方法，其特征在于，包括：

将待压缩神经网络输入至预先训练完成的压缩模型，其中，所述压缩模型包括通道剪枝模块以及自蒸馏量化模块；

通过所述通道剪枝模块对所述待压缩神经网络进行通道剪枝操作，以得到第一输出；

通过所述自蒸馏量化模块对所述第一输出进行自蒸馏量化操作，以得到目标神经网络；

所述第一输出包括第一神经网络，其中，通过所述自蒸馏量化模块对所述第一输出进行自蒸馏量化操作，以得到目标神经网络，包括：

在所述第一神经网络中插入伪量化算子，以及，对所述第一神经网络进行量化模拟，以得到第二神经网络；

对所述第二神经网络进行迭代训练，以得到量化误差函数以及自蒸馏损失函数；

根据所述量化误差函数以及所述自蒸馏损失函数，对所述待压缩神经网络进行压缩，以得到所述目标神经网络；

其中，根据所述量化误差函数以及所述自蒸馏损失函数，对所述待压缩神经网络进行压缩，包括：

获取目标部署设备的设备参数；所述目标部署设备为服务器、移动设备或AIoT芯片之一；

根据所述设备参数、所述量化误差函数以及所述自蒸馏损失函数对所述待压缩神经网络进行压缩，具体包括：基于所述目标部署设备的类型，对所述待压缩神经网络，进行对应的层融合操作；获取所述压缩模型输出的压缩参数，同步至所述目标部署设备完成对应的参数设置；根据所述参数设置，完成对所述待压缩神经网络的算子编译优化。

2.根据权利要求1所述的方法，其特征在于，在所述第一神经网络中插入伪量化算子，以及，对所述第一神经网络进行量化模拟，以得到第二神经网络，包括：

对所述待压缩神经网络中的权重参数以及所述待压缩神经网络输出的网络特征，分别进行阈值截断以及分布规则化处理；

对所述权重参数以及所述网络特征进行量化处理，以得到所述第二神经网络。

3.根据权利要求2所述的方法，其特征在于，根据所述待压缩神经网络的量化模拟结果确定量化误差函数以及自蒸馏损失函数，包括：

根据所述第二神经网络当前训练次数对应的输出结果以及上一训练次数对应的输出结果，确定所述自蒸馏损失函数；

根据所述输出结果以及预设量化参数确定所述量化误差函数。

4.根据权利要求1所述的方法，其特征在于，将待压缩神经网络输入至预先训练完成的压缩模型之后，还包括执行以下步骤：

(1)根据预设初始化参数初始化所述通道剪枝模块的剪枝参数；

(2)根据所述剪枝参数对所述待压缩神经网络进行通道剪枝操作，确定与所述通道剪枝操作对应的第一信息损失；

(3)根据所述第一信息损失对所述待压缩神经网络进行自蒸馏量化操作，根据所述蒸馏量化操作对应的量化结果以及预设信息损失期望确定期望差值，根据所述期望差值更新所述剪枝参数；

(4)重复执行步骤(2)-(3)，以使所述压缩模型收敛至所述预设信息损失期望。