[发明专利]一种基于特征对齐和关键点辅助激励的目标检测方法

权利要求书

1.一种基于特征对齐和关键点辅助激励的目标检测方法，用于基于退化热成像图进行目标检测实现目标定位，其特征在于，所述基于特征对齐和关键点辅助激励的目标检测方法，包括：

步骤S1、获取带标签的退化热成像图以及对应的可见光图生成训练集；

步骤S2、构建损失函数，利用所述训练集优化预构建的目标检测模型；

步骤S3、利用优化后的目标检测模型处理待检测的退化热成像图，输出标记目标后的退化热成像图；

其中，所述目标检测模型基于YOLOv3模型构建，所述目标检测模型包括骨干网络、特征对齐单元、网络优化单元和检测网络；

所述骨干网络采用YOLOv3模型的Darknet53网络，所述Darknet53网络共有75层，其中包含53个卷积层，75层依次命名为Layer-0至Layer-74，在Layer-0至Layer-74中，前一层的输出作为后一层的输入，所述退化热成像图作为Darknet53网络的输入；

所述特征对齐单元包括31层，31层与Darknet53网络的前31层，即Layer-0至Layer-30层相同，所述特征对齐单元的输入为与退化热成像图对应的可见光图，所述骨干网络的Layer-30层的输出和特征对齐单元Layer-30层的输出进行对齐，对齐后的特征再输入骨干网络的Layer-31层；

所述网络优化单元包括特征图级联单元，所述特征图级联单元接收骨干网络Layer-4层输出的特征，然后将该特征进行下采样并与骨干网络Layer-11层输出的特征进行通道叠加得到特征C1，接着将叠加后的特征C1送入1×1卷积层，减少通道数至一半，然后进行下采样并与骨干网络Layer-36层输出的特征进行通道叠加特征C2，接着将上一步叠加得到的特征C2送入1×1卷积层，减少通道数至一半，再次下采样并与骨干网络Layer-61层输出的特征进行通道叠加得到特征C3，将特征C1、特征C2、特征C3输入检测网络；

所述检测网络包括3个辅助检测器和3个YOLO检测器，辅助检测器和YOLO检测器输出的检测结果合并后得到标记目标后的退化热成像图；

所述辅助检测器包括关键点辅助激励单元和全卷积一步分类回归单元，所述关键点辅助激励单元接收特征图级联单元输出的对应特征，首先将该特征在通道维度上进行平均，其次将平均后的特征乘以基于目标关键点的二值图，然后将上一步得到的特征乘以系数因子α，接着将乘以系数因子α后的特征叠加到特征图级联单元输出的对应特征的每个通道上，最后得到的特征作为所述关键点辅助激励单元的输出；

所述全卷积一步分类回归单元接收关键点辅助激励单元输出的特征，该特征被送入两个分支中，每个分支包含4个卷积层，第一个分支计算分类和特征上每个位置的中心度，第二个分支回归特征上每个位置到预测的目标矩形框四边的距离(l,t,r,b)，将两个分支预测得到的分类、每个位置的中心度以及每个位置到预测的目标矩形框四边的距离(l,t,r,b)作为辅助检测器的输出。

2.如权利要求1所述的基于特征对齐和关键点辅助激励的目标检测方法，其特征在于，所述YOLO检测器预测(x,y,w,h,c)，其中x为预测目标中心点的横坐标，y为预测目标中心点的纵坐标，w为预测的目标矩形框的宽度，h为预测的目标矩形框的高度，c为预测的目标的分类。

3.如权利要求1所述的基于特征对齐和关键点辅助激励的目标检测方法，其特征在于，所述3个YOLO检测器包括接收Layer-36层通道叠加的特征C2的52×52的检测器，接收Layer-61层通道叠加的特征C3的26×26的检测器，以及接收Layer-4层和Layer-11层通道叠加后的特征C1的104×104的检测器。

4.如权利要求1所述的基于特征对齐和关键点辅助激励的目标检测方法，其特征在于，所述标记目标后的退化热成像图中采用关键点标记目标，每个目标包含5个关键点，5个关键点分别为一个目标的中心点，以及取自目标中心点十字交叉线上的四个点。

5.如权利要求1所述的基于特征对齐和关键点辅助激励的目标检测方法，其特征在于，所述步骤S2中利用所述训练集优化预构建的目标检测模型，包括：基于所述训练集，采用随机梯度下降法优化目标检测模型。

6.如权利要求1所述的基于特征对齐和关键点辅助激励的目标检测方法，其特征在于，所述构建损失函数，包括：

L＝L_fam+L_yolo+L_aux

式中，L为所构建的损失函数，L_fam为特征对齐损失，L_yolo为YOLOv3损失，L_aux为辅助检测器损失；

其中，所述特征对齐损失L_fam的公式如下：

L_fam＝(t_f-v_f)²

式中，t_f是特征对齐单元Layer-30层输出的特征图，v_f是骨干网络Layer-30层输出的特征图；

其中，YOLOv3损失L_yolo定义如下：

L_yolo＝L_x+L_y+L_w+L_h+L_conf+L_cls

式中，(L_x,L_y,L_w,L_h)分别代表预测的目标矩形框中心点坐标(x,y)、预测的目标矩形框宽和高的损失，L_conf代表置信度损失，L_cls代表分类损失；

其中，(L_x,L_y,L_w,L_h)采用均方误差(Mean Square Error，MSE)，公式如下：

式中，t_x为预测的目标矩形框的中心点x坐标相对于该中心点所在网格左上角点x坐标的偏移量，g_x为根据真实标签计算出的目标矩形框的中心点x坐标相对于中心点所在网格左上角点x坐标的偏移量，t_y为预测的目标矩形框的中心点y坐标相对于该中心点所在网格左上角点坐标的偏移量，g_y为根据真实标签计算出的目标矩形框的中心点y坐标的偏移量，t_w为真实标签中目标矩形框的宽度，g_w为预测的目标矩形框的宽度，t_h为真实标签中目标矩形框的高度，g_h为预测的目标矩形框的高度；

其中，L_conf和L_cls采用二分类交叉熵(Binary Cross Entropy，BCE)，具体公式如下：

L_conf、cls＝yⁱlogxⁱ+(1-yⁱ)log(1-xⁱ)

式中，xⁱ表示第i个样本预测为正样本概率，yⁱ表示第i个样本的分类；

其中，所述辅助检测器损失L_aux定义如下：

L_aux＝L_l+L_t+L_r+L_b+L_c+L_ctn

其中，(l,t,r,b)代表特征上每个位置到预测的目标矩形框四边的距离，c代表分类，ctn代表每个位置到目标中心点的中心度；

其中，(l,t,r,b)采用GIoU计算，公式如下：

其中，IoU表示真实标签中目标矩形框和预测的目标矩形框交集和并集的比值(交并比)，A^c表示包围真实标签中目标矩形框和预测的目标矩形框的最小框的面积，U表示真实标签中目标矩形框和预测的目标矩形框的并集面积；

L_ctn采用BCEWithLogitsLoss计算；

L_c采用Focal Loss来计算，L_c定义为：

其中，y为真实值，y′为预测值，α和γ分别取值0.25和2。