[发明专利]一种跨模态融合目标跟踪方法

权利要求书

1.一种跨模态融合目标跟踪方法,其特征在于，包括以下步骤：

步骤1：构建生成对抗神经网络，对抗神经网络包括以下三个模块：

像素对齐模块：使用多个卷积层将可见光图片转换成红外风格的图片即伪红外图片；

特征对齐模块：使用一个卷积神经网络将红外图片和伪红外图片转换到同一个特征空间以减少模态内的差异；

联合判别模块：一个基于卷积层的分类器作用是促使像素对齐模块和特征对齐模块互相学习；

步骤2：在数据集上训练生成对抗网络

采用标签标识一对红外图片和可见光图片上的同一个目标，得到标记图片组，将标记图片组，输入步骤1构建好的生成对抗神经网络中，将生成对抗神经网络输出的结果与输入图片组中的图片在数据集中的标签带入损失函数进行计算，然后通过反向传播更新网络完成一次训练过程，重复上述过程直到网络性能达到预期即停止训练；

步骤3：使用目标检测算法从不同摄像头采集的视频中提取待识别目标，构成目标和待识别目标集；

步骤4：将目标和待识别目标先后输入训练后的生成对抗神经网络，提取特征对齐模块的输出然后使用余弦距离计算目标向量与待识别目标向量之间的距离，得到目标和所有待识别目标之间的特征相似度；

步骤5：根据摄像头的位置关系建立摄像头之间目标转移的时间空间转移网络模型，使用大量标注的目标在摄像头之间的转移时间数据集，训练出一个可以根据转移时间预测目标之间的时间相似度的逻辑回归模型，利用该模型根据目标出现的时间间隔计算出两目标之间的时间相似度；

步骤6：特征相似度和时间相似度相加得到总相似度，总相似度最高的目标对即为同一目标;

步骤7：由步骤6可以得到同一个目标在不同摄像头中的目标id，根据目标id串联出目标跨摄像头的轨迹从而实现跨模态跨摄像头的跟踪；

步骤5包括以下步骤：

步骤5-1：人工标注大量的两个摄像头之间转移目标的转移时间，得到转移时间和转移目标数量的对应关系；

步骤5-2：将转移目标转换成转移概率，即将各时间对应的转移目标数除以总的转移目标数，得到转移时间和转移概率的对应关系；

步骤5-3：构建一个逻辑回归模型，将转移时间和转移概率输入模型进行训练，得到训练后的逻辑回归模型；

步骤5-4：将目标和待识别目标之间的转移时间输入逻辑回归模型，得到目标的转移概率即时间相似度。