[发明专利]神经网络压缩方法、图像处理方法及装置

权利要求书

1.一种神经网络压缩方法，其中，所述方法包括：

特征提取步骤，输入训练样本，基于所述神经网络的每个特征提取层的输出以及所述特征提取层对应的偏好参数，得到调整输出，并正向传播得到网络输出结果，其中，所述偏好参数与所述神经网络的多个所述特征提取层一一对应；

损失获取步骤，根据所述训练样本对应的标识以及所述网络输出结果，通过损失函数得到损失值；

参数调整步骤，基于所述损失值，调整所述神经网络的权重以及所述偏好参数；

压缩步骤，删除小于或等于第一阈值的所述偏好参数及其对应的所述特征提取层，得到压缩后的神经网络。

2.根据权利要求1所述的方法，其中，全部所述偏好参数形成一个偏好向量，所述损失函数包括：所述偏好向量的L1范数。

3.根据权利要求2所述的方法，其中，所述损失函数还包括：正则化系数，所述正则化系数对所述L1范数正则化。

4.根据权利要求1所述的方法，其中，在所述压缩步骤之前，所述方法还包括：第一判断步骤，若所述损失值大于第二阈值，则返回所述特征提取步骤，若所述损失值小于或等于所述第二阈值，则执行所述压缩步骤。

5.根据权利要求1-4任一项所述的方法，其中，在所述压缩步骤之后，所述方法还包括：第二判断步骤，若所述神经网络未达到压缩目标，则返回所述特征提取步骤。

6.根据权利要求5所述的方法，其中，所述神经网络未达到压缩目标，包括：所述神经网络运算速度小于速度阈值。

7.根据权利要求5所述的方法，其中，所述神经网络未达到压缩目标，包括：所述神经网络剩余的所述特征提取层的数量大于层数阈值。

8.根据权利要求5所述的方法，其中，所述第二判断步骤还包括：若所述神经网络达到所述压缩目标，则执行微调步骤；其中所述微调步骤包括：基于所述训练样本以及所述标识，调整所述神经网络的所述权重，使所述神经网络的损失值小于或等于第三阈值。

9.一种图像处理方法，其中，所述方法包括：

输入步骤，输入待测图像；

处理步骤，通过神经网络对所述待测图像进行特征提取，其中，所述神经网络通过如权利要求1-8任一项所述的神经网络压缩方法压缩得到；

输出步骤，输出所述待测图像的检测结果。

10.一种神经网络压缩装置，其中，所述装置包括：

特征提取模块，用于输入训练样本，基于所述神经网络的每个特征提取层的输出以及所述特征提取层对应的偏好参数，得到调整输出，并正向传播得到网络输出结果，其中，所述偏好参数与所述神经网络的多个所述特征提取层一一对应；

损失获取模块，用于根据所述训练样本对应的标识以及所述网络输出结果，通过损失函数得到损失值；

参数调整模块，用于基于所述损失值，调整所述神经网络的权重以及所述偏好参数；

压缩模块，用于删除小于或等于第一阈值的所述偏好参数及其对应的所述特征提取层，得到压缩后的神经网络。

11.一种图像处理装置，其中，所述装置包括：

输入模块，用于输入待测图像；

处理模块，用于通过神经网络对所述待测图像进行特征提取，其中，所述神经网络通过如权利要求1-8任一项所述的神经网络压缩方法压缩得到；

输出模块，用于输出所述待测图像的检测结果。

12.一种电子设备，其中，所述电子设备包括：

存储器，用于存储指令；以及

处理器，用于调用所述存储器存储的指令执行如权利要求1-8中任一项所述的神经网络压缩方法或如权利要求9所述的图像处理方法。

13.一种计算机可读存储介质，其中存储有指令，所述指令被处理器执行时，执行如权利要求1-8中任一项所述的神经网络压缩方法或如权利要求9所述的图像处理方法。