[发明专利]通过模态感知特征学习的跨模态目标跟踪方法及系统

说明书

本发明提供一种通过模态感知特征学习的跨模态目标跟踪方法及系统；在VGG网络原有基础上增加了一个模态感知模块，以自适应地合并来自两个分支的有效特性；开发了一个两阶段的学习算法，以训练该网络的效率和有效性。在培训阶段，任意模态的训练样本的分类损失将被反向传播到两个模态分支。模态信息在训练阶段是可用的，在测试阶段是不可用的；使用一个两阶段的学习算法来有效地训练所提出的网络，重新训练最后的全连接层，模态感知融合模块来自适应的合并来自两个分支的有效特性，将任意模态作为输入以解决RGB和近红外模态之间的外观差距。

技术领域

本发明涉及计算机视觉领域，具体来说是一种通过模态感知特征学习的跨模态目标跟踪方法及系统。

背景技术

视觉跟踪是计算机视觉领域的一个重要问题，在视觉监控、智能交通、机器人等视觉系统中起着至关重要的作用。现有的跟踪方法往往是基于对光照变化敏感的RGB图像序列，导致一些目标在弱光条件下无效，在这种情况下，现有方法的跟踪性能可能会显著降低。引入其他模态数据是解决单个源成像局限性的有效方法，如深度和热红外数据，以克服RGB源的成像限制；深度传感器可以提供有价值的额外深度信息，通过鲁棒的遮挡和模型漂移处理来改善跟踪结果，但受限于范围(最多4-5米)和室内环境。热传感器通常独立于RGB传感器，它们的视觉特性非常不同。因此，在平台设计和框架对齐方面需要做大量的工作，目前还不能应用于许多实际应用中。

近红外成像是许多监控摄像机必不可少的一部分，其成像可以根据光强在RGB和近红外之间切换，如图3所示。该成像系统很好地解决了RGB源在弱光条件下的成像限制，同时避免了现有多模态视觉系统带来的成像和平台问题，图4是近红外相机在成像时的一个典型例子。不过近红外和RGB这两种模态是异质性的，如图3左侧所示，具有非常不同的视觉属性，因此目标物体的外观在不同的模态下是完全不同的。这样的外观差距给视觉跟踪带来了很大的挑战。

如申请号CN201911146615.4公开的一种基于多模态信息感知的人体检测和跟踪方法，彩色相机和深度相机标定与数据滤波处理；基于多模态信息感知的人体检测，分别在彩色图像和深度图像中检测人的身体和头部，依据头部和身体的空间比例信息融合两个检测结果；基于多模态信息感知的人体跟踪，使用核化相关滤波跟踪算法分别在彩色图像和深度图像中跟踪身体和头部，并建立跟踪对象的模型；利用跟踪对象模型和头身比的空间约束完善跟踪机制。本发明方法基于多模态信息感知，克服了仅基于视觉的目标检测和跟踪方法的缺陷，在室内服务机器人领域具有广泛的应用，有益于人机交互作业和用户跟随等功能。但是该方法针对是深度和可见光的，而且是两个相机需要标定对齐，不适用多模态的单相机。

现有的跟踪工作还没有研究这一具有挑战性的问题。因此，我们对跨模态目标这一新课题展开研究，旨在解决以下2个问题：

1)在许多视觉系统中，视觉跟踪往往基于RGB图像序列，其中一些目标在弱光条件下无效，从而严重影响跟踪性能；

2)引入其他模态如深度和红外数据可以解决单个源成像局限性的问题，但多模态成像平台通常需要精心设计，目前还不能应用于许多实际应用中。

基于以上分析，如何创建视频基准数据集，促进跨模态目标跟踪的研究和发展？如何设计一种合适的基线算法，以减少RGB模态和近红外模态之间的外观差距，实现鲁棒的跨模态目标跟踪，减小切换时间对跟踪性能的影响，是本申请的重点研究方法。

发明内容

本发明所要解决的技术问题在于提供一种适应跨模态目标跟踪方法。

本发明通过以下技术手段实现解决上述技术问题的：

通过模态感知特征学习的跨模态目标跟踪方法，包括以下步骤：

S01.获取训练样本数据；所述训练样本数据至少包括第一样本集和第二样本集；所述第一样本集至少包括两种已知模态样本子集；所述第二样本集包括全帧数据，所述全帧数据包括第一样本集的所有模态，每一帧数据模态未知；