[发明专利]一种基于二值神经网络的图像分类方法及系统

说明书

本发明提出一种基于二值神经网络的图像分类方法和系统，包括：构建包括特征扩增层、二值卷积层、激活层和分段缩放层的神经网络模块，并通过堆叠神经网络模块构建二值神经网络；获取已经标记图像类别标签的图像作为训练数据，将训练数据的浮点特征图输入至二值神经网络中第一个模块的特征扩增层，以扩增浮点特征图的通道数，得到扩增特征图，将扩增特征图转换为二值特征图后输入至卷积层，得到二值特征图的卷积特征图，卷积特征图经归一化处理后输入至分段缩放层，通过分段缩放层的缩放因子调整模块输出的浮点特征图，并将结果作为输入传递给下一个神经网络模块，将最后一个神经网络模块得到的训练数据的图像类别作为训练结果。

技术领域

本发明涉及深度学习和图像分类技术领域，并特别涉及一种基于二值神经网络的图像分类方法及系统。

背景技术

二值神经网络(1-bit CNN)的权重和激活值都是1位二进制数，其卷积计算效率可以达到全精度浮点(fp32)卷积的58倍以上，同时可以节省32倍的模型存储开销，具有很高的应用价值。但激活值的二值化会严重影响特征图的表示能力，使神经网络的中间特征表示能力严重下降；权重的二值化会导致卷积层特征提取方式单一化，导致模型拟合能力下降，因此二值神经网络的难点是在有限的特征表示能力和模型拟合能力下达到较好的效果。由于二值网络与浮点网络或量化网络的差异过大，当前的二值化方法逐渐从通用方法转向专门设计面向二值的网络结构，例如ReaActNet提出了新非线性层的RPReLU，ExpertConvNet通过多组权重和增加通道数的方法提升网络能力等。当前需要一种输出的取值范围和分布稳定，且具有更好特征表示能力和模型拟合能力的二值神经网络，以提高二值神经网络的图片分类效果。

发明内容

面向图像分类的二值神经网络结构设计改进方案的改进点包括：

改进点1、使用卷积、激活和归一化的模块block结构，使不同层block输出的取值范围和分布更稳定。

改进点2、提出了一种高效得到更多通道的二值特征图的方法，在二值卷积前插入特征扩增层提升通道数，在减少计算量的同时增加多通道二值卷积的表示能力，充分利用浮点特征图的信息。

改进点3、在block间添加分通道正负半轴分别独立学习的分段可学习缩放因子，调整网络中传递的浮点特征图，以极少量的浮点计算大幅提高整体网络性能。

改进点4、设计了更合理的网络结构层stage排布，在包含特征扩增层的基础上，网络中分辨率为14x14的特征图使用256通道进行解析，更有效的利用二值卷积计算。

具体来说，本发明提出了一种基于二值神经网络的图像分类方法，其中包括

步骤1、构建包括特征扩增层、二值卷积层、激活层和分段缩放层的神经网络模块，并通过堆叠该神经网络模块构建二值神经网络。

步骤2、获取已经标记图像类别标签的图像作为训练数据，将该训练数据的浮点特征图输入至该二值神经网络中第一个模块的特征扩增层，以扩增该浮点特征图的通道数，得到扩增特征图，将该扩增特征图转换为二值特征图后输入至该卷积层，得到该二值特征图的卷积特征图，卷积特征图经归一化处理后输入至该分段缩放层，通过该分段缩放层的缩放因子调整模块输出的浮点特征图，并将该结果作为输入传递给下一个神经网络模块，将最后一个神经网络模块得到的该训练数据的图像类别作为训练结果。

步骤3、基于该训练结果和该图像类别标签构建损失函数，迭代训练该二值神经网络，直到该损失函数收敛或达到预设迭代次数，保存当前二值神经网络作为图像分类模型，将待分类图像输入至该图像分类模型，得到该待分类图像的图像类别。

所述的基于二值神经网络的图像分类方法，其中该步骤2包括：使用符号函数将该扩增后特征图转换为二值特征图。

所述的基于二值神经网络的图像分类方法，其中该特征扩增层使用对激活值加偏移量的方式对该浮点特征图的通道数进行扩增。