[发明专利]一种用于二值卷积神经网络的非零填补训练方法

权利要求书

1.一种用于二值卷积神经网络的非零填补训练方法，其特征在于：具体包括如下步骤：

步骤一：准备应用于视觉任务的训练数据集；

步骤二：构建用于视觉任务的深度卷积神经网络，将网络中的权重与激活均二值化为1bit数值，并以预训练的填补为0的零填补二值网络权重对其进行初始化；

步骤三：利用知识蒸馏理论构建用于非零填补二值网络的联合损失函数；

步骤四：在训练数据集上对非零填补二值网络进行逐渐增加填补为1的通道数渐进式训练；

步骤五：将步骤四得到的完全非零填补二值网络络用于任务的测试集，测试其分类效果。

2.如权利要求1所述一种用于二值卷积神经网络的非零填补训练方法，其特征在于：步骤2中构建二值卷积神经网络的具体方法为：

首先以三元组的形式定义一个L层卷积的全精度CNN结构：I，W，Conv；其中I与W为张量集合；令I_l代表第l层的输入特征图；W_l表示第l层的卷积核；则操作符Conv表示输入特征图I_l与同层所有卷积核W_l之间的卷积操作；

构建二值卷积神经网络，需利用符号函数对全精度特征图与卷积核进行二值化操作，具体表述为：

其中，与表示二值化后的特征图与卷积核，对于任意输入a，符号函数sign(·)的表达式为：

进行卷积操作时，由于一些网络结构上的需要，需对进行填补操作，以下式描述：

其中，即为填补数值value后的特征图。

3.如权利要求1所述一种用于二值卷积神经网络的非零填补训练方法，其特征在于：步骤2中，以预训练的填补为0的零填补二值网络权重初始化所构建的二值卷积神经网络权重。

4.如权利要求1所述一种用于二值卷积神经网络的非零填补训练方法，其特征在于：步骤2中，用于非零填补二值网络的联合损失函数的具体方法为：

将填补为0的预训练二值网络作为教师网络，将填补为1的待训练二值网络作为学生网络，将输入图像分别输入两个网络，教师网络的输出作为软目标，计算与学生网络输出的交叉熵损失，具体计算公式为：

其中，x_i为第i个训练样本中的图像数据，W_s为学生网络的权重参数，L_st(x_i；W_s)为学生网络与教师网络输出之间的交叉熵损失，n为分类任务的类别总数，S_j与T_j分别对应于学生网络与教师网络的第j个输出，其中学生网络的总输出S的计算公式为S＝F_s(x；W_s)，即将输入图像输入到参数为W_s的学生网络F_s中所产生的输出；教师网络的总输出T的计算公式为T＝F_t(x；W_t)，即将输入图片输入到参数为W_t的教师网络F_t中所产生的输出，称之为软目标；

对于网络训练过程中的联合损失函数，其具体计算公式为：

L(x；W_s)＝L_s(x；W_s)+θL_st(x；W_s)

等式左侧即为本方法改进后的联合损失函数，等式右侧中L_s(x；W_s)为学生网络与硬目标的交叉损失，θ为蒸馏损失的加权系数。

5.如权利要求4所述一种用于二值卷积神经网络的非零填补训练方法，其特征在于：设计θ数值为0.25。

6.如权利要求4所述一种用于二值卷积神经网络的非零填补训练方法，其特征在于：步骤4中，渐进式训练方法为：

以c表示训练过程中填补为1的特征图通道比例，epoch为当前训练过程对于数据集的迭代次数，训练时c将随着epoch的增加而逐渐增大，其函数可具体描述为：

c＝tanh(epoch/50)

其中对于任意输入a，tanh函数产生的输出可表示为：

在某一特定迭代次数下，二值网络填补为1的特征图通道数表示为：

cnum＝[c₁×c]

c₁为特征图的总通道数，[·]为取整操作。当迭代次数为0即初始时刻时，cnum＝0，表示该网络实际上为零填补二值网络，随着迭代数增大，cnum逐渐增大，网络逐渐向非零填补二值网络演化，最终演变为完全非零填补二值网络。