[发明专利]一种基于多适配器的可见光红外视觉跟踪方法及装置

说明书

本发明公开了一种基于多适配器的可见光红外视觉跟踪方法及装置，方法包括：1)、预先构建由可见光模态适配器、通用适配器、热红外模态适配器以及实例适配器的初始识别模型；2)、使用预先标定好目标的样本视频训练初始识别模型，得到训练后的识别模型，其中，样本视频包括：若干个可见光‑热红外光样本视频对；3)、使用训练后的初始识别模型跟踪待识别视频中的待识别目标。应用本发明实施例，可以达到良好的多模态视频跟踪效果。

技术领域

本发明涉及一种目标跟踪方法及装置，更具体涉及一种基于多适配器的可见光红外视觉跟踪方法及装置。

背景技术

目标跟踪是计算机视觉一个非常重要的研究领域。目标跟踪在工业界有着广泛的应用领域如安防监控，自动驾驶，行为分析等。

目前基于检测跟踪框架的目标跟踪，实质上是基于一个性能良好的分类器对于目标和背景的一个二分类的问题。先在根据第一帧给定的目标位置上，通过设定一个阈值来确认目标和背景的样本，以此来初始化目标跟踪的模型，在进行后续帧中目标的跟踪。在后续帧中，依然是对上一帧所预测的目标位置附近进行高斯分布采样，并使用分类器来区分目标样本和背景样本，并选择其中最高得分的正样本来作为下一帧目标的预测位置。

传统的目标跟踪一般都是基于单模态的，例如：可见光(波长0.4-0.7μm)图像包含了丰富的几何和纹理细节，但是对于光线比较敏感，在复杂场景中图像所能传递的信息质量会受到较大的影响，如：雾霾与强烈的光照变化等。而热红外(波长3-12μm)图像反映的是场景中表面温度的分布情况，从而对于光照变化不敏感，具有很好的云雾穿透，以及特殊的识别伪装能力。但是该模态的图像存在一些局限性，比如分辨率一般较低，边缘模糊，且容易受温度分布影响。

因此，利用两个模态的互补的特点，从特征融合的角度出发，通过融合多个互补的视觉模态数据，来实现挑战场景和环境下具有更加鲁棒的RGB-T目标跟踪。但是如何很好的融合两个模态的特征是目前所要解决的一个问题。现有的研究主要集中在构造鲁棒的RGB-T特征表示，现有的方法主要是使用模态权重指导两个模态进行自适应的特征融合，以及是构建双流卷积神经网络选择最具有鉴别性的特征图等。这些方法不能够完整的表达每个模态的特征表示，没有将模态特定特征剥离出来，那么在融合时会使得这些差异特征被抑制，增强的则是两种模态间的通用特征。因此，本专利在传统可见光红外跟踪的基础上，通过引入处理模态特定特征和模态通用特征以及实例特征的多适配器结构概念来解决以上问题。

在可见光红外视觉跟踪中如何很好的利用可见光红外特征的问题上，传统方法采用的是通过学习模态权重来指导可见光红外特征融合，以及对可见光红外特征进行选择最具鉴别性的特征等方式，这些方法中前者对两个模态来说往往会抑制两个模态的异质特征，从而使得特征表达不够丰富，而后一种则是对模态约束过强，易引入噪声或误差，且不能充分利用多模态特征的丰富性。

同样在模态特征表达上传统的模型大部分是为对两个模态单独建模，但是对于红外模态缺乏足够的数据情况下，往往不能很好的对该模态的建模，从而使得最后性能表现很难达到最优，进而导致多模态视频跟踪效果不佳的技术问题。

发明内容

本发明所要解决的技术问题在于提供了一种基于多适配器的可见光红外视觉跟踪方法及装置，以解决现有技术中存在的多模态视频跟踪效果不佳的技术问题。

本发明是通过以下技术方案解决上述技术问题的：

本发明实施例提供了一种基于多适配器的可见光红外视觉跟踪方法，所述方法包括：

1)、预先构建由可见光模态适配器、通用适配器、热红外模态适配器以及实例适配器的初始识别模型，其中，可见光模态适配器中的每个第一卷积层均与通用适配器中的对应次序的第二卷积层并联；红外光模态适配器中的每个第三卷积层均与通用适配器中的对应次序的第二卷积层并联；所述实例适配器包括若干个串联的全连接层；