[发明专利]一种基于目标检测和特征融合的目标跟踪方法及系统

权利要求书

1.一种基于目标检测和特征融合的目标跟踪方法，其特征是：包括建立双层网络的FTCTrack跟踪器，上层网络用于输入样本图像，采用柔性注意力机制，获取目标特征，使得模型能够区分类内实例；下层网络用于输入当前要查询的图像，添加时间线索模块，获取连续帧之间时间线索，形成带有时间线索的上下文特征，将目标特征和上下文特征进行融合，实现目标的准确跟踪；

FTCTrack跟踪器包括两个主干网络，其中一个主干网络中依次设置第一特征提取模块、柔性注意力机制模块、第一区域特征聚集模块和更新器；另一个主干网络中依次设置第二特征提取模块、第二区域特征聚集模块和时间线索模块；还包括加权模块，所述加权模块的输入端分别连接更新器和时间线索模块；

柔性注意力机制模块用于使网络获取目标的感兴趣区域，时间线索模块用于提取连续视频帧前后的时间线索；

时间线索模块通过双向长短时记忆网络捕获待当前图像连续帧之间的双向依赖关系，在视频帧之间建立双向的上下文信息。

2.如权利要求1所述的一种基于目标检测和特征融合的目标跟踪方法，其特征是，包括如下步骤：

获取样本图像及待识别的当前图像；

将样本图像和待识别图像分别输入FTCTrack跟踪器中，输出目标跟踪结果。

3.如权利要求1所述的一种基于目标检测和特征融合的目标跟踪方法，其特征是：主干网络采用ResNet50网络。

4.如权利要求1所述的一种基于目标检测和特征融合的目标跟踪方法，其特征是：第一特征提取模块和第二特征提取模块分别用于提取输入图像的conv_5特征。

5.如权利要求1所述的一种基于目标检测和特征融合的目标跟踪方法，其特征是：第一区域特征聚集模块和第二区域特征聚集模块，分别采用RoIAlign提取更深层次的特征。

6.如权利要求1所述的一种基于目标检测和特征融合的目标跟踪方法，其特征是：FTCTrack跟踪器还包括卷积网络，卷积网络连接加权模块的输出端，用于将加权模块输出的特征通过采用卷积算法获得目标框的位置。

7.如权利要求6所述的一种基于目标检测和特征融合的目标跟踪方法，其特征是：所述卷积网络后端设置目标框位置提取模块以及目标判断模块。

8.如权利要求6所述的一种基于目标检测和特征融合的目标跟踪方法，其特征是：目标框位置提取模块采用Box Head来求目标框的位置。

9.如权利要求6所述的一种基于目标检测和特征融合的目标跟踪方法，其特征是：目标判断模块采用Class Head用来确定该目标框中目标准确性。

10.如权利要求2所述的一种基于目标检测和特征融合的目标跟踪方法，其特征是：将样本图像和待识别图像分别输入至FTCTrack跟踪器中，输出目标跟踪结果的方法，包括如下步骤：

针对样本图像提取输入图像的conv_5特征；

根据获取的conv_5特征采用柔性注意力机制使网络获取目标的感兴趣区域；

采用RoI Align提取更深层特征，获得正确打标记的RoI对齐的特征数据，获得对样本图像识别后的目标外观数据；

将针对待识别的当前图像提取输入图像的conv_5特征，并进一步采用RoI Align提取更深层特征，通过时间线索模块提取视频帧前后的时间线索，将收集的新目标外观送到更新器中进行更新，获得针对当前图像的待测特征数据；

将待测特征数据与目标外观数据进行加权计算，识别待测当前图像中每帧图像中的目标位置即为目标识别结果。

11.如权利要求1所述的一种基于目标检测和特征融合的目标跟踪方法，其特征是：通过采用MAML算法对FTCTrack跟踪器进行训练。