[发明专利]一种基于深度神经网络的细粒度车辆检测方法

权利要求书

1.一种基于深度神经网络的细粒度车辆检测方法，其特征在于，包括以下步骤：

步骤1：定义输出

给定一个矩形(v,x,y,w,h)，其中v指示的是正负样本，v∈{0,1}，0表示背景，1表示是车辆；x,y,w,h则表示矩形框的位置和宽高，在此基础上，从姿态子类编码和控制点两部分扩展输出，其具体方法如下：

1-1)姿态编码

采用两个子类来编码成像后的9种2D车辆姿态p∈{p₁,...,p₉}，9种姿态分别是9个叶子节点；第一种子类a∈{R,F,N}表示的是车辆的哪些面是可见的，其中R表示后面可见，F表示前面可见，N则表示前面和后面均不可见，只能看到侧面；另一个子类是表示空间配置的s，它决定了侧面在前面或后面的左侧还是右侧；对于a＝N，s则表示侧面的方向；s∈{l,r,n}，其中l表示左侧，r表示右侧，n则表示目标车辆在正前方，只能看见一个矩形面；根据a和s的取值即能够编码出9种不同姿态；

1-2)控制点

在矩形框(x,y,w,h)的基础上定义3个虚拟控制点，形成车辆的每个可见面的轮廓边界；α表示的是两个面之间分界线的位置，β,γ则定义了梯形的上底边的位置；如果s＝l，那么β,γ则定义在最左侧的边界上；对于9种2D姿态，s＝n时不需要控制点，a＝N,s＝l或s＝r时只需要β,γ两个控制点；

输出被定义为(v,a,s,x,y,w,h,α,β,γ)，第三层的输出结果即叶子节点的结果，能够直接用p表示，因此，输出也能够定义为(v,a,p,x,y,w,h,α,β,γ)；

1-3)层次结构

采用层次输出结构，分3层输出检测结果；第一层输出是否为车辆，即类别v，第二层输出车辆的可见面信息，即类别a，第三层输出准确的姿态类别p；

步骤2：检测网络

令(w_f,h_f,c_f)为尺度为f的特征层的宽、高和通道数；如果V,A,P分别为类别v,a,p的个数，则尺度为f的特征层经过卷积，会产生(w_f,h_f,B_f×(V+A+P+4+3))维的检测结果矩阵，检测结果包括了(v,a,p,x,y,w,h,α,β,γ)信息，其中，B_f为每个位置产生的default box的个数；

在检测过程中，检测器在层次结构的每一个节点处预测的是条件概率，将根节点到该节点的条件概率相乘得到联合概率；如果在某一个节点联合概率低于选定的阈值则停止继续往下判断，然后预测车辆最终的类别和几何形状；

步骤3：训练网络

令为第i个default box是否与类别为d的第j个真值框匹配的指示函数；与标注的真实值匹配后得到N个匹配的default box；总的损失函数是分类和定位损失之和：

2.根据权利要求1所述的基于深度神经网络的细粒度车辆检测方法，其特征在于，步骤3的具体方法如下：

3-1)网络分类

分类任务的损失函数如下式；

式中：表示经过softmax后的类别置信度，计算公式如下：

3-2)控制点回归

令(α^x,α^y)表示控制点α的坐标，类似的定义也适用于控制点β和γ；α,β,γ三个点均在矩形框的边界上这一几何约束，需要回归的值只有矩形框的位置和α^x,β^y,γ^y；定义预测值与default box的偏差为：

式中：cx,cy表示default box的中心点的坐标；w,h表示default box的宽和高；表示α控制点的x坐标的真实值；α^x表示α控制点的x坐标的预测值；β^y,γ^y的定义类似；

定位任务的损失如下：

式中：L_box表示目标检测中矩形框回归的损失函数；L表示鲁棒的损失函数smoothL₁；表示指示函数，指示第i个default box是否对坐标t做贡献，当default box匹配到的真值的姿态不包含控制点α时，将不对α^x的回归做贡献，β^y,γ^y也类似。