[发明专利]基于孪生RPN的异源匹配方法

权利要求书

1.一种基于孪生RPN的异源匹配方法，其特征在于，包括以下步骤：

步骤1、在相同场景下，分别采集可见光图像和红外光图像，以可见光图像为模板帧，以红外光图像为检测帧，在可见光图像中通过锚点框选择目标，转入步骤2；

步骤2、将模板帧和检测帧同时输入到孪生特征提取网络中，通过全卷积网络对应提取模板帧的高层特征以及检测帧的高层特征，转入步骤3；

步骤3、将模板帧的高层特征分别输入到候选区域网络的分类支路和回归支路中，同时将检测帧的高层特征分别输入到候选区域网络的分类支路和回归支路中，

在回归支路中，模板帧的高层特征和检测帧的高层特征进行卷积运算，得到锚点框的偏移量(dx，dy，dw，dh)；

在分类支路中，模板帧的高层特征和检测帧的高层特征进行卷积运算，分类支路得到是否为目标，若为目标，则转入步骤4，否则剔除；

步骤4、根据回归支路中的偏移量(dx，dy，dw，dh)，确定锚点框的中心点(dx，dy)和大小(dw，dh)，其中w表示宽度，h表示高度，转入步骤5；

步骤5、根据得到的目标及其对应的锚点框的中心点(dx，dy)和大小(dw，dh)，实现在红外光图像中框住可见光图像中的目标。

2.根据权利要求1所述的基于孪生RPN的异源匹配方法，其特征在于：上述步骤3中，在分类支路和回归支路中进行卷积运算，具体步骤为：

步骤3-1)、分别计算分类支路和回归支路中的卷积：

分类支路中，

回归支路中，

其中，分类支路中的模板特征图和回归支路中的模板特征图均作为内核，表示分类支路中的检测帧，表示回归支路中的检测帧，cls表示分类支路，reg表示回归支路，k表示锚点框个数，*表示卷积操作，A表示分类支路模板特征图与回归之路模板特征图进行卷积计算得到的卷积结果；

同时转入步骤3-2)和3-3)；

步骤3-2)、对和分别进行归一化处理，得到归一化结果δ[i]，i＝0，1，2，3；

其中，A_x表示锚点框的中心点横坐标，A_y表示锚点框的中心点纵坐标，A_w表示锚点框宽度，A_h表示锚点框的高度，T_x表示正确标注的框的中心点横坐标，T_y表示正确标注的框的中心点纵坐标，T_w表示正确标注的框的宽度，T_h表示正确标注的框的高度；

转入步骤3-4)；

步骤3-3)、计算通过smoothL1的损失函数smooth_L1(x，σ)，用于回归：

其中，x表示距离损失函数坐标轴中轴的距离，σ表示归一化的标准量大小；

转入步骤3-4)；

步骤3-4)、根据归一化结果δ[i]和smooth_L1(x，σ)，得到最终的回归函数L_reg：

3.根据权利要求1所述的基于孪生RPN的异源匹配方法，其特征在于：所述步骤3中，分类支路中，锚点框采用五种不同的长宽比，分别为0.33、0.5、1、2、3，当准确度IOU≥0.6时，为目标；当IOU＜0.6时，为背景，直接剔除。

4.根据权利要求1所述的基于孪生RPN的异源匹配方法，其特征在于：所述步骤5中，使用非极大值抑制的方法对最后输出的锚点框进行筛选，最终得到红外光图中的目标。