[发明专利]一种平衡二值化神经网络量化方法及系统

说明书

本发明公开了一种平衡二值化神经网络量化方法及系统。该方法包括如下步骤：S1，对于神经网络中的权重进行平衡标准二值化操作，得到二值化权重；S2，对于神经网络中的激活值进行平衡二值化操作，得到二值化激活值；S3，在神经网络的迭代训练过程中对网络中的卷积层执行步骤S1和S2，生成平衡二值化神经网络。本发明使用平衡标准化的二值化网络权重和平衡二值化的网络激活值，使神经网络可以通过训练过程中最小化损失函数，达到激活值信息熵最大化和权重、激活量化损失最小化，从而减少量化损失，提高二值化神经网络的分类性能。

技术领域

本发明涉及一种平衡二值化神经网络量化方法，同时涉及一种实现该方法的神经网络量化系统，属于深度学习技术领域。

背景技术

深度神经网络(DNN)，尤其是深度卷积神经网络(CNN)，已在各种计算机视觉应用中得到充分证明，如图像分类，物体检测和视觉分割。传统的CNN通常具有大量参数和高性能计算要求，针对一个任务训练和推断过程需要耗费大量的时间。造成这一问题的主要原因是目前在各个任务上取得最好成绩的模型普遍采用具有极大的深度和广度的卷积神经网络，使得存储模型需要使用大量的存储资源，并且训练和推断过程中产生数量巨大的浮点数运算操作，需要占用大量计算资源。例如，AlexNet具有大约6.1E7个参数，并且需要多于0.7E9FLOP来处理224×224输入图像。随后，部署最先进的深度CNN模型需要昂贵的存储和计算资源，这在很大程度上限制了DNN在诸如移动电话，相机等便携式设备上的应用。近年来，已经提出了许多方法来学习便携式深度神经网络，包括权重量化，权值修剪，低秩分解，哈希映射，以及轻量级架构设计。

其中，基于量化的方法以非常低的精度表示网络中的权重和激活，可以产生较好的网络推断结果和高度紧凑的深度学习网络模型。因此，人们展开了大量的研究和探索，通过低精度表示网络中的权重和激活，以实现神经网络量化。但在这一过程中网络的表达能力不可避免地下降。

为了解决上述问题，在申请号为201810218916.2的中国专利申请中公开了一种级间激活值量化方法及装置，其中，该方法包括如下步骤：获取神经网络上一级激活层的激活值；采用卷积层预设权重对上一级激活层的激活值进行加权得到当前激活层的加权输入；在当前激活层对加权输入进行量化得到当前激活层的激活值。使得在对当前激活层加权输入进行量化时能够减少后续卷积层的乘法复杂度，相对于现有技术中复杂的卷积运算，能够对神经网络在进行激活值量化时之后减少卷积层乘法运算负担，从而提高了神经网络运行效率。

但是，对于模型的存储占用和模型的计算量引起的消耗并没有很好地处理。

发明内容

针对现有技术的不足，本发明所要解决的首要技术问题在于提供一种平衡二值化神经网络量化方法。

本发明所要解决的另一技术问题在于提供一种平衡二值化神经网络量化系统。

为实现上述发明目的，本发明采用下述的技术方案：

根据本发明实施例的第一方面，提供一种平衡二值化神经网络量化方法，包括如下步骤：

S1，对于神经网络中的权重进行平衡标准二值化操作，得到二值化权重；

S2，对于神经网络中的激活值进行平衡二值化操作，得到二值化激活值；

S3，在神经网络的迭代训练过程中对网络中的卷积层执行步骤S1和S2，生成平衡二值化神经网络。

其中较优地，对于神经网络中的权重进行平衡标准二值化操作，得到二值化权重，包括如下步骤：对于神经网络中的原始权重，以卷积核为单位计算权重的均值；

对各卷积核中的权重做减均值和标准化操作，获得全精度平衡标准化权重后使用符号函数得到二值化权重。

其中较优地，对各卷积核中的权重做减均值和标准化操作，获得全精度平衡标准化权重后使用符号函数得到二值化权重，包括如下步骤：