[发明专利]一种跨模态融合目标跟踪方法

说明书

本发明涉及计算机信息技术领域，提供了一种跨模态融合目标跟踪方法。目的在于解决跨模态目标之间的差异过于巨大，单纯使用基于特征的匹配难以获得较好的效果的问题。主要方案包括构建生成由像素对齐模块、特征对齐模块、联合判别模块组成的对抗神经网络，在数据集上训练生成对抗网络，从不同摄像头采集的视频中提取待识别目标，并输入训练好的联合判别模块，得到目标和所有待识别目标之间的特征相似度；使用标注的目标在摄像头之间的转移时间数据集，训练出一个根据转移时间预测目标之间的时间相似度的逻辑回归模型，利用该模型计算出两目标之间的时间相似度；特征相似度和时间相似度相加得到总相似度，总相似度最高的目标对即为同一目标。

技术领域

本发明涉及计算机信息技术领域，提供了一种跨模态融合目标跟踪方法。

背景技术

RGB图像具有包含可见光的颜色信息的三个通道，而IR图像具有包含不可见光信息的一个通道。因此，即使是人类，也难以通过使用颜色信息来很好地识别人。为了解决这个问题，现有的跨模态re-id方法主要致力于通过特征对齐来弥合RGB和IR图像之间的间隙，如图2所示。基本思想就是通过特征表示学习来匹配真实的RGB和IR图像。由于两个模态之间存在较大的交叉模态差异，因此很难在共享特征空间中直接匹配RGB和IR图像。

与通过直接匹配RGB和IR图像的现有方法不同，启发式方法是通过像素对齐模块基于真实RGB图像生成伪IR图像，然后通过特征对齐模块将生成的伪IR图像和真实IR图像进行匹配，如图1所示，采用生成的伪IR图像来弥合RGB和IR图像之间的间隙。这个基本思想可以通过使用图3中的模型来实现，此模型通过使用像素对齐和特征对齐来设计用于RGB-IR交叉模态Re-ID，这与图2中仅使用特征对齐的模型不同。但是，这两种对齐策略是分别采用的，它们可能无法很好地相互补充和增强，以获得一致的特征。这是因为在ReID中，训练和测试集的任务标签是未共享的。对齐的特征无法通过在训练集中安装标签来保持身份一致性。例如，人A可能与人B对齐。

发明内容

本发明的目的在于解决跨模态目标之间的差异过于巨大，单纯使用基于特征的匹配难以获得较好的效果的问题。

未解决上述技术问题，本发明采用以下技术手段：

一种跨模态融合目标跟踪方法,包括以下步骤：

步骤1：构建生成对抗神经网络，对抗神经网络包括以下三个模块：

像素对齐模块：使用多个卷积层将可见光图片转换成红外风格的图片即伪红外图片；

特征对齐模块：使用一个卷积神经网络将红外图片和伪红外图片转换到同一个特征空间以减少模态内的差异；

联合判别模块：一个基于卷积层的分类器作用是促使像素对齐模块和特征对齐模块互相学习；

步骤2：在数据集上训练生成对抗网络

采用标签标识一对红外图片和可见光图片上的同一个目标，得到标记图片组，将标记图片组，输入步骤1构建好的生成对抗神经网络中，将生成对抗神经网络输出的结果与输入图片组中的图片在数据集中的标签带入损失函数进行计算，然后通过反向传播更新网络完成一次训练过程，重复上述过程直到网络性能达到预期即停止训练；

步骤3：使用目标检测算法从不同摄像头采集的视频中提取待识别目标，构成目标和待识别目标集；

步骤4：将目标和待识别目标先后输入训练后的生成对抗神经网络，提取特征对齐模块的输出然后使用余弦距离计算目标向量与待识别目标向量之间的距离，得到目标和所有待识别目标之间的特征相似度；

步骤5：根据摄像头的位置关系建立摄像头之间目标转移的时间空间转移网络模型，使用大量标注的目标在摄像头之间的转移时间数据集，训练出一个可以根据转移时间预测目标之间的时间相似度的逻辑回归模型，利用该模型根据目标出现的时间间隔计算出两目标之间的时间相似度；