[发明专利]一种应用于图像处理的渐进式权值量化方法、装置、介质及设备

权利要求书

1.一种应用于图像处理的渐进式权值量化方法，其特征在于，包括：

为深度神经网络模型中的每个待量化的权值参数确定对应的一个软掩码，所述软掩码用于表示所述权值参数的重要程度；

迭代执行以下步骤，直至所述权值参数完成量化：

基于所述权值参数的重要程度对待量化的权值参数进行分组，得到若干待量化权值组；

对若干待量化权值组中重要程度最高的一组进行量化；

基于量化后的权值参数以及待量化的权值参数重新训练所述深度神经网络模型，得到更新后的待量化的权值参数。

2.根据权利要求1所述的应用于图像处理的渐进式权值量化方法，其特征在于，所述软掩码的取值范围为0～1。

3.根据权利要求1所述的应用于图像处理的渐进式权值量化方法，其特征在于，在对待量化权值组进行量化时，将待量化权值参数量化到2的整数次幂。

4.根据权利要求1所述的应用于图像处理的渐进式权值量化方法，其特征在于，还包括：对所述软掩码进行优化，具体包括：

构建基准网络模型，所述基准网络模型为待量化的所述深度神经网络模型；

为所述基准网络模型中的待量化的权值参数设置一个初始软掩码以构成剪枝网络模型；

以基准网络模型为基准，训练所述剪枝网络模型，训练的过程为：

通过调整剪枝网络模型中权值参数对应的软掩码，使得所述基准网络模型的输出与所述剪枝网络模型的输出之间具有最小的均方误差，将此时的软掩码作为优化后的软掩码。

5.根据权利要求4所述的应用于图像处理的渐进式权值量化方法，其特征在于，还包括：对优化后的软掩码进行进一步优化，包括：

以训练得到的剪枝网络模型作为生成器网络，构建一包括生成器网络和判别器网络的生成对抗网络；

将训练得到的剪枝网络模型的输出与所述基准网络模型的输出作为生成对抗网络的输入，以对所述生成对抗网络进行迭代训练，直至生成对抗网络的损失函数收敛；

将此时的软掩码作为最优的软掩码。

6.一种应用于图像处理的渐进式权值量化装置，其特征在于，包括：

软掩码确定模块，用于为深度神经网络模型中的每个待量化的权值参数确定对应的一个软掩码，所述软掩码用于表示所述权值参数的重要程度；

量化模块，用于迭代执行以下步骤，直至所述权值参数完成量化：

基于所述权值参数的重要程度对待量化的权值参数进行分组，得到若干待量化权值组；

对若干待量化权值组中重要程度最高的一组进行量化；

基于量化后的权值参数以及待量化的权值参数重新训练所述深度神经网络模型，得到更新后的待量化的权值参数。

7.根据权利要求6所述的应用于图像处理的渐进式权值量化装置，其特征在于，所述软掩码的取值范围为0～1。

8.根据权利要求6所述的应用于图像处理的渐进式权值量化装置，其特征在于，所述量化模块在对待量化权值组进行量化时，将待量化权值参数量化到2的整数次幂。

9.根据权利要求6所述的应用于图像处理的渐进式权值量化装置，其特征在于，还包括：第一软掩码优化模块，用于对所述软掩码进行优化；所述第一软掩码优化模块包括：

第一模型构建子模块，用于构建基准网络模型，所述基准网络模型为待量化的深度神经网络模型；

第二模型构建子模块，用于为所述基准网络模型中的待量化的权值参数设置一个软掩码以构成剪枝网络模型；

第一训练子模块，用于以基准网络模型为基准，训练所述剪枝网络模型，训练的过程为：通过调整剪枝网络模型中权值参数对应的软掩码，使得所述基准网络模型的输出与所述剪枝网络模型的输出之间具有最小的均方误差，将此时的软掩码作为第一目标软掩码。