[发明专利]一种用于二值卷积神经网络的非零填补训练方法

说明书

本发明公开一种用于二值卷积神经网络的非零填补训练方法，首先对普通神经网络训练中的损失函数进行改进，利用知识蒸馏理论构建联合损失函数，实现了零填补二值网络对于非零填补二值网络的引导训练。随后采用渐进式训练的方法来训练非零填补二值网络，以零填补二值网络为基础，逐步增加非零填补二值激活的数量，以此降低了非零填补二值网络的训练难度。本发明纠正了零填补二值网络中的伪二值激活问题，并通过结合联合损失函数与渐进式训练方法有效地降低了非零填补二值网络的训练难度，极大减轻了校正填补数值后带来的非零填补二值网络的性能下降问题。

技术领域

本发明属于图像处理领域，具体是指一种用于二值卷积神经网络的非零填补训练方法。

背景技术

近十年来，深度学习由于在特征提取和模型建构上相较于浅层模型的巨大优势，受到了越来越多研究者的关注，在计算机视觉、文字识别等领域均获得了快速发展。深度学习以深度神经网络作为主要呈现形式，而卷积神经网络(Convolutional Neural Network，CNN)则是其中因生物神经学科启发而生的开创性研究成果。相较于传统方法，卷积神经网络具有权值共享、局部连接、池化操作等特性，因而可有效减少全局优化训练参数、降低模型复杂度，使网络模型对于输入的缩放、平移、扭曲具之一有一定程度的不变性。在这种特性的优势作用下，卷积神经网络在包括图像分类、目标检测与跟踪在内的众多计算机视觉任务中都表现出了卓越的性能。

尽管卷积深度网络在诸多视觉任务中都展现了可靠的效果，然而巨大的存储及计算开销限制了其在目前广为流行的便携式设备上的应用，为了拓展卷积神经网络的应用，模型的压缩和加速成为了计算机视觉领域内的热点问题。目前针对卷积神经网络的压缩方法主要分为三类：

一是网络剪枝方法。该方法的基本思想为：性能较好的卷积神经网络往往具有更复杂的结构，但其中有些参数对最终的输出结果贡献不大而显得冗余，因此对于一个已有的卷积神经网络，可以寻找一种有效的卷积核通道重要性评判手段，剪掉相应冗余卷积核参数，提高神经网络的效率。在该种方法中，评判手段对于模型性能有十分重要的影响。

二是神经网络结构搜索方法。该方法可在一定范围的搜索空间内，通过良好的搜索算法让机器自动搜索出速度快、精度高的网络，实现网络压缩的目的。该方法的关键是建立一个庞大的网络体系结构空间，通过一些有效的网络搜索算法来探索空间，并在训练数据和计算量约束(例如，网络大小和延迟)的特定组合下搜索最佳的卷积神经网络架构。

三是网络量化方法。该方法通过将32位全精度网络权重参数量化为更低位参数(如8-bit，4-bit，1-bit等)，以此获得低比特网络。该方法能够有效降低参数冗余，从而减少存储占用、通信带宽和计算复杂度，有助于深度网络在人工智能芯片等轻量级应用场景下的应用。