[发明专利]一种应用于图像处理的渐进式权值量化方法、装置、介质及设备

说明书

本发明公开了一种应用于图像处理的渐进式权值量化方法，包括：为深度神经网络模型中的每个待量化的权值参数确定对应的一个软掩码，软掩码用于表示所述权值参数的重要程度；迭代执行以下步骤，直至权值参数完成量化：基于权值参数的重要程度对待量化的权值参数进行分组，得到若干待量化权值组；对若干待量化权值组中重要程度最高的一组进行量化；基于量化后的权值参数以及待量化的权值参数重新训练深度神经网络模型，得到更新后的待量化的权值参数。本发明为权值参数设置一个软掩码，并基于软掩码对权值参数进行分组，然后采用渐进式的分组量化策略，先量化相对重要的权值参数，然后利用量化后的权值参数与待量化的权值参数重新训练所述深度神经网络，以弥补量化误差，避免了一次性量化所有网络参数带来的不可弥补的性能损失。

技术领域

本发明涉及机器学习技术领域，具体涉及一种应用于图像处理的渐进式权值量化方法、装置、介质及设备。

背景技术

目前深度神经网络参数表征的主要数字格式是32位浮点数，然而降低带宽的和减少深度学习模型计算量的需求，促进了使用低精度数字格式的研究，即权值量化研究。权值量化本质上指减少表示一个权值所需的比特位宽的过程。权值量化技术不仅可以大幅度地减少深度神经网络的模型大小，还可以加速网络的运算过程。现有的权值量化方法在诸多神经网络架构上取得了突出的成果，但是或多或少存在以下几个问题：

保留部分网络结构不量化：现有的权值量化算法，尤其是超低比特的量化算法，为了减少权值量化带来的性能损耗，往往将第一层和最后一层的参数保持全精度浮点数，只量化中间层。这样不仅量化压缩比不高，整个网络的优化过程还需要利用两套数值精度的参数进行计算，大大的影响了神经网络的运算速度。然而一次性量化全部待量化参数带来的性能损失较大：现有的权值量化算法基本上是基于一定的量化准则，一次性将神经网络中的所有待量化的参数进行量化处理，这种做法没有循序渐进的过程，导致量化后的神经网络表达能力不强。

权值参数的分组不合理：为了克服一次性量化全部待量化参数带来的弊端，提出了渐进式权值量化的思想，但是其权值参数分组策略过于简单，如随机分组和按照L1-norm进行分组。这些分组策略并没有去充分探讨权值参数的重要性，所以基于这些分组思想的渐进式权值量化算法的性能还有待提升。

发明内容

鉴于以上所述现有技术的缺点，本发明的目的在于提供一种应用于图像处理的渐进式权值量化方法、装置、介质及设备，用于解决现有技术中的至少一个缺陷。

为实现上述目的及其他相关目的，本发明提供一种应用于图像处理的渐进式权值量化方法，包括：

为深度神经网络模型中的每个待量化的权值参数确定对应的一个软掩码，所述软掩码用于表示所述权值参数的重要程度；

迭代执行以下步骤，直至所述权值参数完成量化：

基于所述权值参数的重要程度对待量化的权值参数进行分组，得到若干待量化权值组；

对若干待量化权值组中重要程度最高的一组进行量化；

基于量化后的权值参数以及待量化的权值参数重新训练所述深度神经网络模型，得到更新后的待量化的权值参数。

可选地，所述软掩码的取值范围为0～1。

可选地，在对待量化权值组进行量化时，将待量化权值参数量化到2的整数次幂。

可选地，还包括：对所述软掩码进行优化，具体包括：

构建基准网络模型，所述基准网络模型为待量化的所述深度神经网络模型；

为所述基准网络模型中的待量化的权值参数设置一个初始软掩码以构成剪枝网络模型；

以基准网络模型为基准，训练所述剪枝网络模型，训练的过程为：