[发明专利]基于动态标签分配的孪生网络目标跟踪方法及移动设备

说明书

本发明公开了基于动态标签分配的孪生网络目标跟踪方法及移动设备。其中涉及的基于动态标签分配的孪生网络目标跟踪方法，包括：S1.获取与视频相关的视频数据集，并对获取的视频数据集进行处理，得到模板图像和待搜索区域图像；S2.基于孪生网络提取模板图像和待搜索区域图像的深度特征，并计算提取的深度特征的特征响应图；S3.根据计算得到的特征响应图，获得特征响应图所对应的分类得分和预测框坐标；S4.根据获得的分类得分和预测框坐标，采用动态标签分配策略定义目标跟踪的正负样本特征点，并根据特征响应图与目标、背景的匹配对孪生网络进行优化，得到跟踪网络模型；S5.将视频数据输入跟踪网络模型中，跟踪网络模型输出视频当前帧的跟踪结果。

技术领域

本发明涉及计算机视觉技术领域，尤其涉及基于动态标签分配的孪生网络目标跟踪方法及移动设备。

背景技术

近些年来，深度卷积神经网络在计算机视觉各项任务中展现了强大的性能。视觉目标跟踪技术作为计算机视觉中最重要的研究课题之一，有着非常广泛的应用场景，比如智能视频监控、自动驾驶、机器人/无人机导航、人机交互等。由于在准确性和速度方面的良好平衡，基于孪生网络的跟踪器逐渐成为目标跟踪社区的主流框架。这类方法将跟踪问题分解为用于目标定位的前景-背景分类子任务和用于物体状态估计的目标框回归子任务。为了表示不同外观形状的物体，许多基于孪生网络的视觉跟踪器通过区域提议网络(RPN)引入了不同长宽比的锚框来估计准确的目标边界框。随着无锚框物体检测的现代趋势，无锚框孪生跟踪器将特征点当作目标定位的参考点，用来预测物体边界框边界的相对偏移量，并获得了与基于锚框孪生网络的跟踪器相近的性能。

预定义的锚框设置严重依赖于数据分布的启发式先验知识，并且仅通过IoU分数选择正负样本会引入歧义的低质量训练样本，从而可能影响算法的鲁棒性。而无锚框的跟踪方法通过真实目标框中心区域分配正负训练样本，忽略了不同目标的外观和几何结构，也可能造成特征优化的歧义性。此外，孪生网络跟踪方法忽略了分类和边界框回归之间的内在关系，并试图独立优化两个子任务，这从而会导致任务的不一致，即跟踪器可能预测正确的分类但不精确地回归边界框，或生成精确的定位但错误的分类分数。如果能够在训练过程中选择合适的正负样本，显然更有利于优化网络模型参数和特征表示。

因此，如何在孪生网络目标跟踪模型中分配正负训练样本具有很重要的实际意义。

通过上述分析，现有技术存在的问题及缺陷为：

（1）现有的基于锚框的跟踪方法，通常需要启发式先验知识，并且固定的IoU阈值不适用于形状不规则的物体（例如细长的）会引入歧义的低质量训练样本。

（2）现有的基于无锚框的视觉跟踪算法，仅利用真实目标框中心点距离分配正负训练样本，忽略了不同目标的外观和几何结构。

（3）大部分现有的孪生网络跟踪方法忽略了分类任务和边界框回归之间的内在关系，并独立优化这两个子任务，这会导致任务的不一致性。

解决以上问题及缺陷的难度为：如何有效地在不过多的引入超参数情况下下进行正负训练样本选择，以应对不同形状、长宽比的物体场景。

发明内容

本发明的目的是针对现有技术的缺陷，提供了基于动态标签分配的孪生网络目标跟踪方法及移动设备。

为了实现以上目的，本发明采用以下技术方案：

基于动态标签分配的孪生网络目标跟踪方法，包括步骤：

S1.获取与视频相关的视频数据集，并对获取的视频数据集进行处理，得到模板图像和待搜索区域图像；

S2.基于孪生网络提取模板图像和待搜索区域图像的深度特征，并计算提取的深度特征的特征响应图；

S3.根据计算得到的特征响应图，获得特征响应图所对应的分类得分和预测框坐标；