[发明专利]一种用于多模态目标跟踪的对象感知图像融合方法

说明书

本发明公开了一种用于多模态目标跟踪的对象感知图像融合方法，所述方法包括以下步骤：获取自适应融合图像，通过对图像进行显著性检测，级联并连接网络中不同层的输出，将RGB图像和热模态图像分别输入双通道，每个通道包含三个聚集模块，根据连接深层特征，通过评判图像灰度值大小、像素强度、相似性度量和一致性损失来自适应引导网络重建融合图像；特征组合模块使用深度互相关运算将样本提取的特征和搜索图像进行组合，以生成相应的相似性特征用于后续目标定位，然后进行分类和回归进行目标定位；使用无锚框的回归网络进行跟踪训练，它将groundtruth中边界框内所有像素作为训练样本，在一定程度上可以纠正弱预测，修正为正确位置；通过采用可形变卷积改变采样位置，使其与预测边界框对齐，将分类置信度与目标对象对应，因此分类置信度更加可靠。

技术领域

本发明涉及目标跟踪领域，尤其涉及一种用于多模态目标跟踪的对象感知图像融合方法。

背景技术

目标跟踪广泛用于视频监控，自动驾驶和机器人技术中，它一直是计算机视觉的研究重点，其定义如下：给定某视频序列初试帧的目标大小与位置的情况下，预测后续帧中该目标的大小和位置。跟踪的主要挑战在于目标物体可能发生严重遮挡，较大形变以及光照变化。

近年来，人们发现热红外可以提供更稳定信号，并且热红外摄像机的推广，促进了多个领域的发展，例如对象分割，人员Re-ID和行人检测，因此多模态(RGBT)跟踪引起了更多的研究。多模态跟踪可以看作是视频跟踪的扩展，其目标是利用RGB信息和热图像的互补优势来估计目标状态。如何充分利用RGB图像和热图像进行鲁棒的多模态跟踪是一个问题。

现有的工作主要从两个方面着眼于特定模式的信息集成，大多数仍使用稀疏表示(通常具有手工制作的功能)进行多模态跟踪。例如，一种是将模态权重和稀疏表示的计算再联合模型中，并在贝叶斯过滤框架中执行在线对象跟踪。还有的是提出一种跨模态排序算法，以提高计算的鲁棒性，从而产生更加鲁棒的RGBT特征表示。这种方式将两个模态权重相同，然而实际上可能一种模态比另一种具有更好的价值；另一方面，通过将单模态跟踪器扩展到多模态跟踪器，设计了一些基准RGBT跟踪器，通过将RGB和热模态中的特征直接串联到矢量中完成的，然后将其送入跟踪器中，这些权重用于融合RGB和热图像中的互补特征，以便可以有效的部署特定模式的属性，但是忽略了模态共享和对象信息的潜在价值，这对于多模态跟踪至关重要。

这些方法依赖手工制作的特征或单结构适配器深网络来进行目标定位，而难以应对由于目标变形，突然运动，背景杂波和遮挡等引起的外观变化的挑战。

发明内容

本发明提供一种用于多模态目标跟踪的对象感知图像融合方法，将一种无监督融合方法用于多模态跟踪，使融合图像更加明显，并引入一个特征组合模块来提高分类网络的可靠性，同时大大提高了跟踪性能和鲁棒性，详见下文描述：

一种用于多模态目标跟踪的对象感知图像融合方法，所述方法包括以下步骤：

获取自适应融合图像，即通过将RGB图像和热模态图像分别输入双通道，对图像进行显著性检测，级联并连接网络中不同层的输出，每个通道包含三个聚集模块，根据连接深层特征，通过滑动窗口评判图像灰度值大小、像素强度、相似性度量和一致性损失来自适应引导网络重建融合图像；

使用成对的训练集对自适应融合网络进行训练，根据混合损失函数来调节网络参数，和使用验证集对融合网络模型进行测试，通过调节超参数来改善网络权重；

其中，所述混合损失函数具体为：

SSIM为两个图像之间结构相似性度量，其中X，Y表示为两个模态图片，其中C＝9×10⁴，W为滑动窗口，σ为标准偏差，σXY为X与Y之间的互相关。滑动窗口大小为11×11，通过计算窗口中像素的平均强度来测量SSIM得分。