[发明专利]一种基于视觉传感器的路侧车辆识别方法

权利要求书

1.一种基于视觉传感器的路侧车辆识别方法，其特征在于：

(1)首先，构建残差注意力模块；设深层低分辨率语义特征图为S₀，浅层高分辨率特征图为T，生成的注意力特征图为S；在残差注意力模块中，先将特征图S₀进行卷积、上采样处理，得到注意力图S₂；然后，将注意力图S₂与图T依次进行像素级相乘、像素级相加操作，生成最终的注意力特征图S；具体步骤为：

步骤一：对特征图S₀进行核为3×3的卷积处理，得到语义特征权重图S₁；卷积处理过程中采用Sigmoid函数进行非线性激活，Sigmoid函数解析式为：

在式1中，f()是Sigmoid函数表达式，z是特征图中点的语义值，e是自然常数；

步骤二：对语义权重图S₁进行上采样处理，得到与T空间大小相同的注意力图S₂；

步骤三：注意力图S₂与图T像素级相乘，生成的特征图与图T进行像素级相加运算，得到注意力特征图S，表达式如下：

S(x,y,c)＝(1+S₂(x,y,c))·T(x,y,c) (2)

在式2中，x、y、c表示特征图上点的横、纵坐标以及通道数；

(2)其次，将残差注意力模块引入到YOLOv3网络的多尺度特征融合结构，形成基于残差注意力模块的改进YOLOv3路侧车辆识别模型YOLO-A；YOLOv3特征金字塔的特征图按照由浅到深顺序依次设为S_u、S_m、S_d，设多尺度融合后的特征图为S′_u、S′_m；在残差注意力模块引入过程中，先将特征图S_d与S_m利用残差注意力模块进行融合，生成特征图S′_m；然后将特征图S′_m与S_u基于残差注意力模块进行融合，生成特征图S′_u；具体步骤如下：

步骤一：将特征图S_d与S_m利用残差注意力模块进行融合，生成特征图S′_m，具体子步骤如下：

子步骤①：将S_d作为深层低分辨率图、S_m作为浅层高分辨率图，输入到残差注意力模块，生成注意力图S_m0；

子步骤②：将特征图S_d输入到YOLOv3基本卷积组件，然后将结果进行上采样处理，得到特征图S_d0；其中，YOLOv3基本卷积组件由核为3×3的卷积层、批量归一化层以及Leaky RELU激活函数组成；

子步骤③：将特征图S_d0与S_m0进行通道级联，并将融合后的特征图输入到YOLOv3基本卷积组件进行5次卷积操作，得到最终融合结果S′_m；

步骤二：将特征图S′_m与S_u基于残差注意力模块进行融合，生成特征图S′_u，具体子步骤如下：

子步骤①：将S′_m作为深层低分辨率图、S_u作为浅层高分辨率图，输入到残差注意力模块，生成注意力图S_u0；

子步骤②：将特征图S′_m输入到YOLOv3基本卷积组件，将处理后的结果进行上采样操作，得到特征图S_m0；

子步骤③：将特征图S_m0与S_u0进行通道级联，并将融合后的特征图输入到YOLOv3基本卷积组件进行5次卷积操作，得到最终融合结果S′_u；

(3)然后，在YOLO-A网络的基础上加入无锚框特征选择模块，形成改进YOLOv3网络的路侧车辆识别模型YOLO-AF；其中无锚框特征选择模块的加入过程包括监督信号的建立、无锚框预测分支的加入和在线特征层选择三部分，具体步骤如下：

步骤一 监督信号的建立：监督信号是目标真值匹配特征层的依据，由两部分组成：类别输出损失函数、目标框输出损失函数，具体子步骤如下所示：

子步骤①：在YOLOv3网络中，设定l为特征金字塔中特征图的层级，目标真值为I，其矩形框位置信息为b＝[x,y,w,h]，其中(x,y)为矩形框中心点坐标，w、h分别为宽和高，则影响目标类别判断的有效区域、无效区域的计算公式如下：

在式3中，为第l层级的目标框的位置信息，分别为第l层级的有效区域、忽略区域的位置信息，ε_e、ε_i分别为有效区域、忽略区域与目标真值框的面积比；其中，有效区域为目标存在的区域；忽略区域，表示该部分像素梯度值不会传播到网络中；目标I的分类损失函数计算公式如下：

式4中，表示区域的像素点数，F(l,i,j)表示Focal-loss函数，i、j分别表示像素点的横、纵坐标；

子步骤②：设定影响目标框定位的四个因素分别为有效区域像素点距离目标矩形框顶边、左边、底边和右边的位置偏移量和则目标框损失函数的计算公式如下：

式5中，表示区域的像素点数，IoU(l,i,j)表示交并比损失函数，i、j分别表示像素点的横、纵坐标；

步骤二 无锚框预测分支的加入：在YOLOv3网络多尺度预测分支的基础上，将无锚框预测分支加入到YOLOv3网络中，具体子步骤如下所示：

子步骤①：将特征图S′_u输入到YOLOv3基本卷积组件进行卷积操作，然后进行核为1×1、通道数为K+4的卷积操作，得到尺度为52×52×(K+4)的无锚框预测图；其中，52为网格数目，K表示车辆类别数目，4为影响目标框定位的位置偏移量的数目；

子步骤②：将特征图S′_m输入到YOLOv3基本卷积组件进行卷积操作，然后进行核为1×1、通道数为K+4的卷积操作，得到尺度为26×26×(K+4)的无锚框预测图；其中，26为网格数目，K表示车辆类别数目，4为影响目标框定位的位置偏移量的数目；

子步骤③：将特征图S_d输入到YOLOv3基本卷积组件进行卷积操作，然后进行核为1×1、通道数为K+4的卷积操作，得到尺度为13×13×(K+4)的无锚框预测图；其中，13为网格数目，K表示车辆类别数目，4为影响目标框定位的位置偏移量的数目；

步骤三 无锚框模块在线特征层选择：首先，使车辆目标语义信息前向传播经过特征金字塔中所有的层；然后，计算出每个特征层所对应的损失值l^*；接着，选取损失值l^*最小的特征层作为最优特征层；在训练过程中，目标特征依据损失值的大小会匹配到最优特征层；损失值l^*计算公式如下：

(4)接下来，训练设计的基于视觉传感器的路侧车辆识别网络YOLO-AF，获得网络参数；

(5)最后，使用基于视觉传感器的路侧车辆识别网络进行路侧车辆识别。