[发明专利]基于多策略融合树的可见光红外视觉跟踪方法

说明书

本发明公开一种基于多策略融合树的可见光红外视觉跟踪方法，所述方法包括：获取可见光图像样本和热红外图像样本；将可见光图像样本和热红外图像样本输入至预先训练好的目标跟踪网络模型，目标跟踪网络模型包括可见光模态适配器、热红外模态适配器、融合树网络和实例适配器，各模态对应的适配器包括多个网络层级；融合树网络当前层级的输出特征与各模态对应的适配器当前层级的输出特征进行矩阵相加融合后传入各模态对应的适配器的下一层级网络中；将各模态对应的适配器最后一层级输出的模态特征图拼接后输入实例适配器，预测目标跟踪结果。本发明引入特殊的多策略融合树结构来实现多种不同融合策略的结合，以在复杂场景中获得稳健融合结果。

技术领域

本发明涉及计算机视觉技术领域，具体涉及一种基于多策略融合树的可见光红外视觉跟踪方法。

背景技术

目标跟踪，其主要就是指通过计算机技术或是其他的专业设备，并根据某一种特殊算法来实现对于目标的跟踪定位处理，将具体的位置以及动向信息作为基础，采取与之对应的处理措施。目标跟踪在工业界有着广泛的应用如安防监控，自动驾驶，行为分析等，如果各类仪器设备能够实现高效的跟踪识别，就能够完成各类较为复杂的任务，也正是由于目标跟踪技术所具备的现代化特征，使其在民用领域以及军事领域当中得到了广泛应用。

目前，基于检测跟踪框架的目标跟踪，实质上是基于一个性能良好的分类器对于目标和背景的一个二分类的问题。先在根据第一帧给定的目标位置上，通过设定一个阈值来确认目标和背景的样本，以此来初始化目标跟踪的模型，在进行后续帧中目标的跟踪。在后续帧中，依然是对上一帧所预测的目标位置附近进行高斯分布采样，并使用分类器来区分目标样本和背景样本，并选择其中最高得分的正样本来作为下一帧目标的预测位置。

传统的目标跟踪一般都是基于单模态的，例如：可见光(波长0.4-0.7)图像包含了丰富的几何和纹理细节，但是对于光线比较敏感，在复杂场景中图像所能传递的信息质量会受到较大的影响，如：雾霾与强烈的光照变化等。而热红外(波长3-12)图像反映的是场景中表面温度的分布情况，从而对于光照变化不敏感，具有很好的云雾穿透，以及特殊的识别伪装能力，但是该模态的图像存在一些局限性，比如分辨率一般较低，边缘模糊，且容易受温度分布影响。

RGBT跟踪利用可见光和热红外数据的互补特性来实现全天候的持续定位目标，作为一个多模态表示学习问题，充分挖掘两个模态之间的互补信息，来实现复杂场景和具有多种挑战环境下具有鲁棒的RGBT跟踪，但是在应对多种复杂问题前提下，如何实现两种模态有效的融合是目前所需要解决的一个问题。

现有的研究工作通常根据输入的两种不同模态图像质量预测模态的权重来整合两种模态的多尺度特征，还有一些采用注意力机制自适应地融合不同层的模态特征。这些方法试图使用单一策略融合方案来处理所有可能的变化，而忽略了对多策略融合机制的探索，这是在复杂场景中获得稳健融合结果的有效方法。

相关技术中，公布号为CN110148104A的中国发明专利申请公开了一种基于显著性分析与低秩表示的红外与可见光图像融合方法，其通过构建输入源图像的分层树形结构，考虑了图像块的特征相似性，得到的树形结构能够反映出目标在图像中的全局显著特性，其通过对输入图像中的部分区域进行处理然后通过简单的融合规则，进行融合。一方面，该方案所关注参数为整个图像中的部分参数，图像融合效果欠佳；另一方面，该方案所采用的简单的融合规则无法复杂场景中所有可能的变化，无法在复杂场景中获得稳健的融合结果。

发明内容

本发明所要解决的技术问题在于如何实现多种不同融合策略的结合，在复杂场景中获得稳健的融合结果。

本发明通过以下技术手段实现解决上述技术问题的：

本发明提出了一种基于多策略融合树的可见光红外视觉跟踪方法，所述方法包括：

获取可见光图像样本和热红外图像样本；