[发明专利]基于注意力和关系检测的孪生网络目标跟踪方法及系统

说明书

本发明公开了基于注意力和关系检测的孪生网络目标跟踪方法及系统，获取视频序列，将第一帧作为模板图像，当前帧作为搜索图像；在模板分支和搜索分支中，将模板图像和搜索图像输入到网络中，进行特征提取；采用注意力模块对最后三层提取的特征分别进行特征增强处理，将增强处理得到的模板和搜索注意力特征，对应输入到目标跟踪模块中得到分类和回归结果；将分类和回归结果分别进行加权融合，得到融合后的分类和回归结果；基于融合后的回归结果，输入到关系检测器中以度量回归结果中目标和预测图像的关系，得到回归分支的分数图；将回归分支的分数图与分类分支的分数图进行点乘，将点乘结果经过卷积操作，得到最后的分类得分，并获取的预测框。

技术领域

本发明涉及计算机视觉技术领域，特别是涉及基于注意力和关系检测的孪生网络目标跟踪方法及系统。

背景技术

本部分的陈述仅仅是提到了与本发明相关的背景技术，并不必然构成现有技术。

随着孪生网络引入到目标跟踪领域，基于孪生网络的跟踪器在单目标跟踪方面不断地取得了优异的成绩。由于兼顾了准确率和速度成为主流的方法之一，但依旧存在着很多问题。

首先，目标跟踪结果受多种因素的影响，如光照变化、视频模糊、遮挡、目标快速移动、尺度变化、出视野等等。这些都让目标跟踪变得非常困难，容易导致目标不能被准确的识别，造成跟踪失败，并对后续任务会造成极大的困难。然而注意力机制可以在某种程度上应对这些挑战。最常用的注意力机制主要分为两种：通道注意力和空间注意力，这两种机制都通过用不同的聚集策略、转换和增强功能聚集来自所有位置的相同特征来增强原始特征。但大多数基于注意力机制的目标跟踪算法依赖于单一注意力机制，没有很好的将通道注意力和空间注意力完美的结合起来。

其次，基于孪生网络的目标跟踪器的分类和回归通常是独立优化的，会导致他们之间会存在不匹配的问题。具体来说，分类置信度最高的位置对应的框并不一定是最准确的，甚至可能是错误。

发明内容

为了解决现有技术的不足，本发明提供了基于注意力和关系检测的孪生网络目标跟踪方法及系统；

第一方面，本发明提供了基于注意力和关系检测的孪生网络目标跟踪方法；

基于注意力和关系检测的孪生网络目标跟踪方法，包括：

获取视频序列，将第一帧作为模板图像，当前帧作为搜索图像；

在模板分支中，将模板图像输入到ResNet-50骨干网络中，进行特征提取；采用注意力模块对最后三层提取的特征分别进行特征增强处理，得到三个模板注意力特征；

在搜索分支中，根据前一帧的跟踪结果裁剪出搜索图像，将搜索图像输入到ResNet-50骨干网络中，进行特征提取；采用注意力模块对最后三层提取的特征分别进行特征增强处理，得到三个搜索注意力特征；

将三个模板注意力特征和三个搜索注意力特征，分别对应输入到目标跟踪模块Siamese RPN中得到三个分类结果和三个回归结果；将三个分类结果和三个回归结果分别进行加权融合，得到融合后的分类结果和融合后的回归结果；

基于融合后的回归结果，输入到关系检测器中以度量回归结果中目标和预测图像的关系，得到回归分支的分数图；将回归分支的分数图与分类分支的分数图进行点乘，以过滤掉背景中的干扰；将过滤掉干扰的分数图经过卷积操作，得到最后的分类得分，并获取最大响应位置对应的预测框。

第二方面，本发明提供了基于注意力和关系检测的孪生网络目标跟踪系统；

基于注意力和关系检测的孪生网络目标跟踪系统，包括：

获取模块，其被配置为：获取视频序列，将第一帧作为模板图像，当前帧作为搜索图像；