[发明专利]基于生成对抗神经网络的深度网络模型压缩训练方法

说明书

本发明公开了一种基于生成对抗神经网络的深度网络模型压缩训练方法，包括：从训练的数据集中随机选择一张图片作为原网络和初始被压缩网络的输入；将初始被压缩网络的特征提取器作为G网络；计算经过原网络和初始被压缩网络特征提取器提取出的特征图特征分度的JS散度，作为结构性损失函数；基于结构性损失函数和初始被压缩网络的自身损失函数构建综合性损失函数；将经过原网络特征提取器和初始被压缩网络特征提取器提取的特征图分别输入D网络，并根据D网络的判断结果对D网络或者被压缩网络进行更新，最终使得G网络输出的特征图与原网络的特征图无限接近；其中，基于综合性损失函数对被压缩网络进行更新，提高了模型的预测精度和鲁棒性。

技术领域

本发明涉及深度网络模型压缩技术领域，更具体的说是涉及一种基于生 成对抗神经网络的深度网络模型压缩训练方法。

背景技术

伴随着深度学习技术迅猛发展，深度神经网络在计算机视觉、语音识别、 自然处理等领域实现了跨越式的突破。然而深度学习算法在工业、制造业和 航天航海等领域还没得到非常广泛的应用，其中一个原因就是深度学习网络 的模型庞大、计算量巨大，一个CNN网络的权重文件动辄数百兆，例如AlexNet 有着61M的参数、249MB的内存，复杂的VGG16及VGG19的内存容量已经超 过500MB，意味着需要更大的存储容量和更多的浮点运算。由于移动平台和 嵌入式设备局限于其有限的内存和处理单元，导致CNN模型在这些平台上的 部署面临巨大挑战，并且移动平台及嵌入式设备的电池容量受限，运行巨大 的网络模型需要大量的内存带宽来读取权重值和进行大量的矩阵乘积运算， 耗电问题成为CNN模型在嵌入式平台上的部署的又一瓶颈。

深度卷积网络模型量化技术是深度压缩的一个关键步骤，采用量化参数 的手段，降低网络模型参数的规模，使之在保有一定模型预测精度的前提下， 降低模型的存储需求，解决FPGA等嵌入式移动平台计算资源受限的问题。因 为卷积核中的权重通常用float数据类型来表示，Low-bit表示即通过用低精度 的数据来代替高精度的float数据，目前主流有HashNets、权值量化、二值网络、 XNOR-Net、三值网络等方面的研究。其中，权值量化是基于权值聚类，将连 续分布的权值离散化，对权重值使用K-Means算法进行聚类，将原来的float 型权重数据用int型数据(索引)来表示，并建立一个码书(存储各类权重的 质心)，通过索引码书得到实际的权重，用码书来对权值进行量化可以共享 权值，并利用哈夫曼编码对权值进行编码，此类方法极大的减少存储的权重 数量及模型大小。

目前在深度压缩领域，诸多学者还比较关注模型的裁剪，通过修剪参数 或者通道等方式来降低网络模型的规模，近两年的算法可从实施过程角度出 发分为两类：(1)在训练过程中对网络模型进行裁剪，对权重的更新加以正 则项进行诱导，使其更加稀疏，使大部分的权值都为0。近两年效果较好的模 型裁剪方法有结构化稀疏表示、动态模型裁剪、修剪再恢复等；(2)对已经 训练好的模型进行修剪，通常是寻找一种有效的评判手段，来判断参数的重 要性，将不重要的连接或者卷积核进行裁剪来减少模型的冗余。

无论是网络的修剪还是量化，都会为深度网络模型精度和鲁棒性带来或 多或少的下降，随着深度网络模型压缩程度的不断增大，精度和鲁棒性的损 失会急剧下降。所以设计能降低深度网络模型精度损失并能提高鲁棒性的训 练方法显得尤为重要。

因此，如何提供一种能够同时提高预测精度和鲁棒性的深度网络模型压 缩训练方法是本领域技术人员亟需解决的问题。

发明内容

有鉴于此，本发明提供了一种基于生成对抗神经网络的深度网络模型压 缩训练方法，利用生成对抗神经网络的对抗特性，在深度网络模型的训练阶 段增加博弈和对抗的过程，进一步提高压缩后深度网络模型的鲁棒性，使得 深度网络模型的收敛过程更加平滑。本发明提供的网络压缩训练框架可以作 为任意压缩算法的单独附加优化模块，在深度网络模型实现一定程度压缩的 情况下，提高模型的预测精度和鲁棒性。

为了实现上述目的，本发明采用如下技术方案：