[发明专利]一种基于伪孪生网络的网络剪枝方法

说明书

本发明属于神经网络模型压缩技术领域，具体为一种基于伪孪生网络的网络剪枝方法。本发明在传统的三值神经网络的基础上，提出了一种通用的裁剪大型卷积神经网络中冗余连接的方法，具体为：构造一个与被裁减网络N一样架构的三值网络Ternary‑N，用相同的图片进行每一步的训练，训练过程中采用知识蒸馏算法，训练完成后用Ternary‑N中的权值对N中相对应位置的权重进行裁剪，最后对N进行微调，微调后的网络连接数相比于原网络大大减少。

技术领域

本发明属于神经网络模型压缩技术领域，涉及一种基于伪孪生网络的网络剪枝方法。

背景技术

在人工智能发展迅猛的背景下，神经网络已经成为实现人工智能的关键技术。在众多神经网络中，卷积神经网络因其在图像分类、目标检测中优秀的表现而成为人们研究的热点。但是，因为现代卷积神经网络占用过多内存资源和计算资源，影响了其在资源受限的实时硬件系统中的部署。所以，如何压缩卷积神经网络的模型规模和减少其计算量成为了在受限的实时硬件系统中的部署人工智能技术的关键。

实现卷积神经网络的压缩需要来自许多学科的联合解决方案，包括但不限于机器学习，优化，计算机体系结构，数据压缩，索引和硬件设计。本文主要的关注在网络结方面的模型压缩方法，回顾近年来科研工作者在这方面所提出的切实可行的方法，我们可以将这些方法分为四类：参数修剪和共享，低秩分解，转移/紧凑型卷积滤波器和知识蒸馏。

非结构化剪枝是压缩卷积神经网络的模型规模和减少其计算量的重要方法，其通过裁剪卷积神经网络中的权重和连接来达到压缩和加速卷积神经网络的目的。

参数共享是通过让网络模型的权重共享相同的一个参数集，以达到模型压缩的目的。其中一种重要的方法是网络量化，其通过减少表示每个权重所需的比特数来压缩原始网络。有工作将k均值标量量化应用于参数值。也有学者表明，参数的8位量化可以导致显着的加速，并且精度损失最小。也有工作在基于随机舍入的CNN训练中使用了16位固定点表示，这显着降低了内存使用和浮点运算，而且分类精度几乎没有损失。在每个权重的1位表示的极端情况下，即二进制权重神经网络，还有许多工作直接训练具有二进制权重的CNN，例如，BinaryConnect，BinaryNet和XNORNetwork。

网络修剪是通过删除网络中不重要的连接或参数来达到压缩的目的。网络修剪早期方法是基于权重值的大小进行裁剪。有学者提出最佳脑损伤和最佳脑外科医生方法，其用基于损失函数Hessian的裁剪法来减少连接数，实验表明这种修剪比基于重量的修剪(例如重量衰减方法)提供更高的准确性。网络修剪的最新趋势一是在预训练的CNN模型中修剪冗余的非信息量权重，二是基于无数据修剪方法来去除冗余神经元。但是现行的剪枝技术在剪枝率和精度保持方面仍具有较大的问题。

发明内容

本发明的目的是针对上述问题，提出一种基于伪孪生网络的网络剪枝方法。

本发明的技术方案是：

1)读取被剪枝网络的网络结构，然后构造一个与被剪枝32bit网络相同的，但是其网络权重都为三值,激活函数为32bit的网络，即该网络的权重参数W∈{-1,0,1}，这个三值网络被称为伪孪生网络。

2)以目标数据集作为网络的输入，以网络输出向量和目标的真实向量交叉熵作为损失函数，采用传统的随机梯度下降法对被剪枝网络参数进行更新。然后孪生网络采用知识蒸馏的方法进行训练。知识蒸馏中，设被剪枝网络的输出为T(i)，孪生网络的输出为S(i)。目标的真实分布为L(i).被剪枝网络网络的代价函数L_t：

孪生网络的代价函数L_s：

图示见附图1；

3)训练算法主要包括以下三个步骤，图示见附图2：