[发明专利]基于极值点特征增强的FCOS智能目标检测方法

权利要求书

1.一种基于极值点特征增强的FCOS智能目标检测方法，其特征在于包含以下步骤：

步骤一：构建极值点特征增强FCOS检测器，检测器的检测头Head架构为讲FPN中输出都各层特征图输入到回归子网络和分类子网络，最终的总损失为定位损失、分类损失和极值点损失三者之和；

所述回归子网络具体为

经过4个【256,3*3,256】卷积之后得到回归特征reg_feat，回归特征reg_feat进一步经过1个【256,3*3,256】卷积和1个【256,3*3,8】卷积得到极值点Offset；然后将回归特征reg_feat和偏移Offset输入到【256,3*3,256】可变形卷积，并经过【256,3*3,4】卷积得到预测框坐标；

所述极值点Offset的回归目标Offset_Target是来自标注极值点相对基准点的偏移，通过训练Offset与Offset_Target之间的极值点损失来学习Offset；

所述分类子网络具体为

经过4个【256,3*3,256】卷积之后得到分类特征cls_feat，然后将分类特征cls_feat和偏移Offset输入到【256,3*3,256】可变形卷积cls_dcn_feat，cls_dcn_feat并经过【256,3*3,81】卷积得到预测的分类得分，cls_dcn_feat同时经过【256,3*3,1】卷积得到预测的中心度分数；

所述标注极值点相对基准点的偏移计算过程为

目标实例的极值点为4个点，分别为最左点，最上点，最右点，最下点，其坐标分别为(x_l,y_l),(x_t,y_t),(x_r,y_r),(x_b,y_b)；

极值点直接转换为两个角点所有构成的边界框，两个角点即左上角点和右下角点(x₁,y₁)和(x₂,y₂)，对应极值点中的坐标为(x_l,y_t),和(x_r,y_b)；

对于极值点标注信息的获取，采用ExtremeNet检测器中的转换方法，从COCO实例分割Mask标注中提取极值点标注信息，然后经过尺寸缩放Resize和随机水平翻转Flip处理转换得到检测器网络中的极值点标注信息gt_extremes；

把标注框以及标注极值点分配到基准点，将标注框及标注极值点分配到基准点之后，进一步计算极值点到基准点的偏移；

所述进一步计算极值点到基准点的偏移具体过程为

在标准的FCOS检测器中，计算边界框4个边界到基准点的距离(l,t,r,b)，分别表示左边界，上边界，右边界和下边界的距离；

距离(l,t,r,b)的具体计算方法如下：

l＝x-x₁

t＝y-y₁

r＝x₂-x

b＝y₂-x

其中(x,y)为基准点坐标，而(x₁,y₁)和(x₂,y₂)表示边界框左上角点和右下角点坐标；

将边界框左上角点右下角点(x₁,y₁),(x₂,y₂)改写为(x_l,y_t),(x_r,y_b)，则求边界框到基准点的距离(l,t,r,b)变为：

l＝x-x_l

t＝y-y_t

r＝x_r-x

b＝y_b-y

目标实例的4个极值点表示为(x_l,y_l),(x_t,y_t),(x_r,y_r),(x_b,y_b)，可以看出边界框两个角点的4个值【(x_l,y_t),(x_r,y_b)】，实则包含在4个极值点的8个值中；为了训练学习极值点8个值剩余4个值【y_l,x_t,y_r,x_b】，设计其回归目标为【l_h,t_w,r_h,b_w】，

具体计算方法如下：

l_h＝y_l-y

t_w＝x_t-x

r_h＝y_r-y

b_w＝x_b-x

目标实例的4个极值点的坐标如下：

极左点：(x_l,y_l)

极顶点：(x_t,y_t)

极右点：(x_r,y_r)

极底点：(x_b,y_b)

可计算目标实例4个极值点到基准点的偏移Offset如下：

极左点offset：(offset_lx,offset_ly)＝(x_l,y_l)-(x,y)＝【(x_l-x),(y_l-y)】＝(-l,l_h)

极顶点offset：(offset_tx,offset_ty)＝(x_t,y_t)-(x,y)＝【(x_t-x),(y_t-y)】＝(t_w,-t)

极右点offset：(offset_rx,offset_ry)＝(x_r,y_r)-(x,y)＝【(x_r-x),(y_r-y)】＝(r,r_h)

极底点offset：(offset_bx,offset_by)＝(x_b,y_b)-(x,y)＝【(x_b-x),(y_b-y)】＝(b_w,b)

用这4个极值点offset作为可变形卷积DCN的4个偏移输入，DCN的其余5个偏移都设置为0，即指向基准点；

步骤二：通过步骤一建立的极值点特征增强FCOS检测器检测图像中的目标。