[发明专利]一种在边缘节点上部署二值化分类网络的方法

权利要求书

1.一种在边缘节点上部署二值化分类网络的方法，其特征在于：包括以下步骤：

步骤S1：ImageNet数据集的准备，提供训练集和验证集；

步骤S2：对Bi-Real-Net网络进行改进，在改进的Bi-Real-Net网络中使用二值化方法对网络进行压缩和加速；随后在服务器端对改进的Bi-Real-Net网络进行训练，在训练过程中将STE的更新区间从[-1,1]扩大到[-2,2]，用以提升网络的性能，最后在ImageNet验证集上进行性能测试；

步骤S3：提取服务器端训练完的网络权重信息，利用Xilinx SDx将改进后的Bi-Real-Net网络搭建在FPGA上，实现网络在边缘节点上的部署。

2.根据权利要求1所述的一种在边缘节点上部署二值化分类网络的方法，其特征在于：所述步骤S1的具体内容为：改进Bi-Real-Net网络训练及验证所采用的数据集为ImageNet数据集；该数据集共1000种类别，包含126万张训练集和5万张验证集。

3.根据权利要求1所述的一种在边缘节点上部署二值化分类网络的方法，其特征在于：步骤S2中所述对Bi-Real-Net网络进行改进具体包括以下步骤：

步骤SA：在18层Bi-Real-Net的整体架构上进行修改，分解网络中的3×3卷积核：将网络中的每个3×3卷积核用3×1和1×3卷积核的串接进行替换，并且，在替换的基础上，将每个卷积核的输入特征图和卷积核的输出特征图进行逐像素的相加；

步骤SB：将网络中的每两个块结构的输入特征图和输出特征图进行堆叠；其中，这两个块结构中共包含4个3×1卷积核和4个1×3卷积核，并且，每个卷积核的输出通道数相等；通过步骤SA和步骤SB，即得到改进后的Bi-Real-Net网络。

4.根据权利要求1所述的一种在边缘节点上部署二值化分类网络的方法，其特征在于：步骤S2中所述改进的Bi-Real-Net网络中使用二值化方法实现网络的压缩和加速的具体内容为：将输入到卷积层即除第一层卷积层以外的所有卷积层的特征数据和网络权重进行二值化操作，二值化操作的公式如下：

其中，x为输入特征数据和网络权重；在Bi-Real-Net中采用与全精度卷积神经网络不同的块结构顺序，具体顺序为批归一化、二值激活、二值卷积和降采样，用以减少二值化所引起的信息损失；在改进的Bi-Real-Net网络中，第一层卷积层和最后一层全连接层保留为全精度，用以进一步保存原始图像中的信息。

5.根据权利要求1所述的一种在边缘节点上部署二值化分类网络的方法，其特征在于：步骤S2中所述，在改进的Bi-Real-net网络训练过程中，使用STE来近似sign函数的导数；在改进的Bi-Real-Net中，将STE的更新区间从[-1,1]扩大到[-2,2]，用以提高网络的性能；

6.根据权利要求1所述的一种在边缘节点上部署二值化分类网络的方法，其特征在于：步骤S2中所述对改进的Bi-Real-Net网络的具体训练过程如下：基于Bi-Real-Net的整体架构进行修改，得到改进的Bi-Real-Net网络；采用随机梯度下降算法对网络的权重进行更新；将准备好的训练集输入改进后的Bi-Real-Net网络中，利用反向传播求取梯度值，并对网络中的权重进行更新，具体公式如下：

其中，grad为梯度值，l为学习率，为C通道下的第j个权重元素值；为更新后的权重值；并且在训练的过程中，将初始学习率l设置为0.001，用以使得权重的变化更加平坦；网络的总训练轮数为90epochs，在每个epoch结束时，将验证集作为测试集输入到网络中，对网络的性能进行测试，并对网络的性能进行记录。

7.根据权利要求1所述的一种在边缘节点上部署二值化分类网络的方法，其特征在于：步骤S3中所述实现网络在边缘节点上的部署的具体内容如下：首先在服务器端对改进的Bi-Real-Net进行训练，待网络训练完毕后，提取网络中的权重信息，保存到相应的txt文档中；其次，基于C++，读取txt文档，并实现网络的前向传播过程；最后，利用Xilinx SDx开发工具将C++代码转成硬件描述语言，综合编译后生成比特流文件，并将比特流文件移植到FPGA端，实现网络在边缘节点上的部署。