[发明专利]一种适用于嵌入式平台的二值化卷积神经网络的构建方法

权利要求书

1.一种适用于嵌入式平台的二值化卷积神经网络的构建方法，其特征在于，包括以下步骤：

步骤S1:采集ImageNet数据集，并将得到ImageNet数据集分为训练集、验证集和测试集；

步骤S2:根据得到的训练集和验证集，对XNOR-Net二值化神经网络模型进行训练，并验证，得到训练后的二值化神经网络模型；

步骤S3：将训练好的二值化网络模型中的缩放操作和批归一化操作进行整合，并移植到嵌入式系统中；

步骤S4:将测试集输入嵌入式系统中，对模型进行性能测试；

所述步骤S2具体为：

步骤S21:目标分类采用的二值化神经网络为XNOR-Net网络,XNOR-Net网络模型的基础结构为AlexNet网络，将输入网络的数据和网络中的权重进行二值化操作，二值化操作的公式如下：

其中，x为输入和网络中的权重， 在XNOR-Net中，为了减少二值化所引起的信息损失，采用的块结构顺序为批归一化、二值激活、二值卷积和降采样；

步骤S22:在二值卷积和二值激活层之间引入缩放因子α和批归一化操作；

缩放因子根据如下公式进行求解：

其中n为网络中权重W一个通道中的变量数目，W为网络中的权重；

步骤S23:将训练集和验证集送入XNOR-Net模型，利用反向传播求取梯度值，并对网络中的权重进行更新，具体公式如下：

其中，grad为梯度值，l为学习率，为C通道下的第j个权重元素值；为更新后的权重值；

所述步骤S3在模型移植之前，将原二值化网络中的缩放因子和批归一化操作进行简化并相结合，转为只需进行整数运算的操作，使得在网络的中间层中没有浮点数运算；具体的公式如下；

其中α为缩放因子，x为输入的数据，γ和β为批归一化中的超参数，ε为任意小的正数；E[αx]和Var[αx]分别为αx的期望和方差；

并令则可将式(4)化简为：

其中sign(γ)为求取γ的符号函数；由于sign(γ)为正数，所以对式(5)进行化简：

将向上取整，即将XNOR-Net中的缩放因子和批归一化操作结合成一个只需进行整数运算的操作。

2.根据权利要求1所述的一种适用于嵌入式平台的二值化卷积神经网络的构建方法，其特征在于：所述ImageNet数据集包括1000种类别，分为126万张训练集、5万张验证集和10万张测试集。