[发明专利]一种适用于嵌入式设备的部分二值卷积方法

说明书

本发明公开了一种适用于嵌入式设备的部分二值化卷积方法,属于深度学习的模型压缩方法，它包括步骤1、对给定CNN的每一个卷积层，根据每个输出特征图的统计量测量出每个卷积核的重要性；将每层的卷积核分别构成两组；步骤2、将两组卷积核在存储空间上进行重新排列使同组卷积核的存储位置邻近，记录重排顺序，生成新的卷积层；步骤3、根据步骤2的重排顺序改变下一个卷积层卷积核的通道顺序；步骤4、根据以上步骤处理后的CNN进行微调训练，对划分为非重要的卷积层执行二值量化，整个网络通过量化与训练的迭代操作逐步恢复准确率。本发明确保了给定CNN在大数据集上的准确度的同时，减少了卷积神经网络在嵌入式设备上的计算、存储开销。

技术领域

本发明属于深度学习的模型压缩领域，具体涉及一种适用于嵌入式设备的部分二值卷积方法。

背景技术

随着深度卷积神经网络(CNNs)的快速发展，CNN已经在许多任务领域，如图像分类、物体识别、语义分割中成为了顶尖的技术。传统上，搭载有高端图像处理器(GPU)的数据中心是部署CNN应用的最佳选择，但是这种以云为中心的应用框架通常会引起一些问题，比如用户隐私性问题、响应时间长，在没有互联网的情况下这些应用甚至无法被使用。因此，人们开始采用直接在嵌入式设备上部署CNN。

CNN模型往往需要大量的计算资源和存储资源，比如拥有5个卷积层的AlexNet需要722M的浮点数操作次数(FLOPs)和240MB的存储空间；VGG-16则需要15.8G的FLOPs和552MB的存储空间，这会极大的资源需求会导致系统负载问题，尤其是对于资源受限的嵌入式系统而言。

为了在嵌入式系统上的应用CNN，现有的处理方法大致分为以下几种：网络剪枝、定点数量化、结构优化。在这些处理方法中基于二值量化技术因其良好的网络性能改善能力而备受关注。但是，这些二值量化技术在大规模数据集如ImageNet上降低了CNN基准网络的准确度，表1列出了以AlexNet为基础模型的几种二值量化技术在ImageNet数据集上的准确度对比。

表1不同二值量化技术准确度比较

BWN和XNOR-Net的准确度依据文献：Rastegari M,Ordonez V,and Redmon J,“Xnor-net:Imagenet classification using binary convolutional neuralnetworks,”in European Conference on Computer Vision,2016,pp.525-542.(作者：Rastegari M,Ordonez V,Redmon J，论文题目：Xnor-net：使用二值卷积神经网络进行Imagenet分类，会议名称：欧洲计算机视觉会议，2016，论文集页码：525-542)；

BinaryConnect的准确度依据文献：Courbariaux M,Bengio Y,and David J P,“Binaryconnect:Training deep neural networks with binary weights duringpropagations,”in Advances in neural information processing systems,2015,pp.3123-3131.(作者：Courbariaux M,Bengio Y,David J P，论文题目：Binaryconnect：在传播期间训练二值权重深度神经网络，会议名称：神经信息处理系统进展会议，2015，论文集页码：3123-3131)；