[发明专利]基于神经网络差分的量化方法及系统

说明书

本发明涉及数字信号处理领域，特别涉及一种基于神经网络差分的量化方法及系统。具体包括：训练网络模型，将网络模型进行初始化；将网络模型的训练参数表达形式做为在初始化模型参数基础上的改变量；对网络模型的训练参数表达形式的改变量进行聚类量化处理，得到对应的网络模型紧凑表达形式。本发明解决预训练模型存在的条件下，如何在低比特量化的情况下尽可能提升神经网络模型的性能。

技术领域

本发明涉及数字信号处理领域，特别涉及一种基于神经网络差分的量化方法及系统。

背景技术

随着深度学习的不断发展，在计算机视觉与自然语言处理领域的应用越来越广泛。在图像分类、图像识别与目标检测和图像质量增强等众多的问题上获得了广泛的应用。另一方面，随着网络模型应用的日渐增多，网络模型的分发与传输也逐渐成为重要的研究课题。在视频编码等相关领域，为了最大程度提升网络模型的性能，相关的技术提案指出在编码得到的码流中传输网络模型能够获得明显的性能提升，在众多应用中也涉及到网络模型的分发部署，因此如何降低网络模型的存储大小是一个重要的问题。另一方面，深度神经网络模型的参数量大，精度要求高，在降低网络模型存储的过程中性能损失比较严重。如何能够保持网络模型的性能是一个关键的问题。

在压缩网络模型的过程中，量化是非常重要的一个环节。因为网络模型往往使用浮点数表示，精度要求高。量化环节在最大程度保留神经网络模型性能的前提下，降低网络模型参数保存的精度，通过这样的方式能够显著的降低网络模型的大小，增加网络模型的传输鲁棒性。如何能够在低精度的条件下最大程度保持网络模型的性能，是量化环节的一个重要的研究课题。

发明内容

本发明实施例提供了一种基于神经网络差分的量化方法及系统，解决预训练模型存在的条件下，如何在低比特量化的情况下尽可能提升神经网络模型的性能。

根据本发明实施例的第一方面，一种基于神经网络差分的量化方法，具体包括：

训练网络模型，将网络模型进行初始化；

将网络模型的训练参数表达形式做为在初始化模型参数基础上的改变量；

对网络模型的训练参数表达形式的改变量进行聚类量化处理，得到对应的网络模型紧凑表达形式。

所述网络模型的卷积层的运算表示为：

其中，网络模型L⁽ⁱ⁾表示网络模型的第i层的输出结果，L^(i-1)表示网络模型的第i-1层的输出结果，b⁽ⁱ⁾表示偏置项，运算表示卷积，函数σ(x)＝max{x,0}表示激活函数；W⁽ⁱ⁾初始值为0；为预训练模型第i层的卷积参数表达形式，W⁽ⁱ⁾为新训练得到的模型的卷积参数表达形式。

对网络模型的训练参数表达形式的改变量进行聚类量化处理，具体为对每一层的参数W⁽ⁱ⁾进行k-means聚类。

所述对网络模型的训练参数表达形式的改变量进行聚类量化处理的优化，其中，损失函数为：

e(L⁽ⁱ⁾,L_true)＝||L⁽ⁱ⁾-L_true||²

其中，为网络模型的第i层的真实值；L⁽ⁱ⁾为网络模型的第i层的输出结果。

所述网络模型的卷积层，最后一层N的卷积层的运算表示为：