[发明专利]基于孪生RPN的异源匹配方法

说明书

本发明公开了一种基于孪生RPN的异源匹配方法，实现在可见光图中选择感兴趣的区域后，能够在红外光图中自动将该区域选中。通过将孪生神经网络与候选区域网络串联，使用孪生神经网络提取目标特征，将目标特征输入到RPN网络中，区分前景和背景并选定目标位置。把第一帧可见光图的锚点框包含内容视为检测的样例，在红外光图里面检测与它相似的目标。本发明通过该网络可利用“图片对”进行端到端的离线训练。将在线跟踪任务转换为一次检测任务，而不是使用低效费时的多尺度测试，在保证准确率的同时，达到了较高的速度，实现了红外光图和可见光图的异源匹配。

技术领域

本发明属于图像匹配技术，具体涉及一种基于孪生RPN的异源匹配方法。

背景技术

视觉目标跟踪已经成为近些年来的一个基本主题，许多基于深度学习的跟踪器已在多个跟踪基准上已经取得了优越的性能。然而，大多数的跟踪器都很难到达顶部性能与实时速度。

现代追踪器大致可分为两个分支。第一个分支是基于相关滤波器，它利用循环相关的性质并在傅里叶域中进行运算来训练回归器。它可以在线跟踪，同时有效地更新滤波器的权值。原始的方法是在傅里叶域中进行，然后广泛地应用于跟踪社区。近年来基于相关滤波的方法利用深度特征来提高精度，但在模型更新过程中大大降低了速度。另一个分支的方法旨在使用非常强大的深层特性，而不更新模型。但是，由于没有使用领域特定的信息，这些方法的性能总是不如基于相关滤波器的方法。

近年来，国内外学者开始关注一种新的全卷积孪生网络(SiamFC)，利用全卷积的结构，使得输入大小不受限制。来定位一个更大的搜索图像中，与范例图像最匹配的区域。

算法原理为：比较搜索区域和目标模板的相似度，最后得到搜索区域的scoremap，将这种逐点平移匹配计算相似度的方法看成是一种卷积，然后在卷积结果中找到相似度值最大的点，作为新的目标的中心，其对应于搜索区域中子窗口的区域，则该区域即为目标区域。但是，Siamese FC有一些问题：首先是bbox的大小一直不会变，视频中的目标由远及近等情况的时候，会在图像中变大，但bbox框并不会变大，其次是容易检测错误对象，比如跟踪人的时候，有另一个人走过来，bbox可能立马框到别人。另外该算法处理的一般是可见光视频。

发明内容

本发明的目的在于提供一种基于孪生RPN的异源匹配方法，用于可见光图和红外光图的图像匹配。

实现本发明目的的技术解决方案为：一种基于孪生RPN的异源匹配方法，包括以下步骤：

步骤1、在相同场景下，分别采集可见光图像和红外光图像，以可见光图像为模板帧，以红外光图像为检测帧，在可见光图像中通过锚点框选择目标，转入步骤2；

步骤2、将模板帧和检测帧同时输入到孪生特征提取网络中，通过全卷积网络对应提取模板帧的高层特征以及检测帧的高层特征，转入步骤3；

步骤3、将模板帧的高层特征分别输入到候选区域网络的分类支路和回归支路中，同时将检测帧的高层特征分别输入到候选区域网络的分类支路和回归支路中，

在回归支路中，模板帧的高层特征和检测帧的高层特征进行卷积运算，得到锚点框的偏移量(dx,dy,dw,dh)；

在分类支路中，模板帧的高层特征和检测帧的高层特征进行卷积运算，分类支路得到是否为目标，若为目标，则转入步骤4，否则剔除；

步骤4、根据回归支路中的偏移量(dx,dy,dw,dh)，确定锚点框的中心点(dx,dy)和大小(dw,dh)，其中w表示宽度，h表示高度，转入步骤5；

步骤5、根据得到的目标及其对应的锚点框的中心点(dx,dy)和大小(dw,dh)，实现在红外光图像中框住可见光图像中的目标。

本发明与现有技术相比，其显著优点在于：