[发明专利]多目标行人轨迹预测模型训练方法、预测方法及装置

说明书

本申请提供一种多目标行人轨迹预测模型训练方法、预测方法及装置，方法包括：将预先建立的多目标行人轨迹预测模型置于多任务学习框架下，该多目标行人轨迹预测模型包括多目标行人检测模型以及多目标行人跟踪模型，采用预先存储的训练数据对多目标行人检测模型以及多目标行人跟踪模型进行联合训练，获得训练后的多目标行人轨迹预测模型。在本申请中，在多任务学习框架下对多目标行人跟踪模型以及多目标行人检测模型进行联合训练，可以在训练过程中实现参数共享，从而可以提高模型的训练效果，进而提高多目标行人轨迹预测模型的泛化性和精确度。

技术领域

本申请涉及计算机视觉技术领域，尤其涉及一种多目标行人轨迹预测模型训练方法、预测方法及装置。

背景技术

多目标跟踪是计算机视觉的重要研究方向。多目标跟踪指的是在视频的后续帧中找到在当前帧中定义的多个目标对象，实现多个目标对象的轨迹预测，其广泛应用于视频监控、人机交互、无人驾驶等领域。但是，多目标跟踪由于具有目标遮挡频繁、轨迹起始和终止时间未知、明显相似性、目标间相互作用等问题，因此对于场景复杂的多目标行人轨迹预测准确性不高。因此，可以将多目标跟踪技术与多目标检测技术共同用于多目标行人轨迹预测，提高多目标行人轨迹预测的准确性。

其中，常见的多目标行人跟踪模型为基于图神经网络的模型，常见的多目标行人检测模型为基于残差神经网络的模型。此外，在进行目标行人轨迹预测之前，需要进行模型训练，目前，常见模型训练方法为分别对多目标行人跟踪模型以及多目标行人检测模型进行训练，获得训练后的多目标行人跟踪模型以及多目标行人检测模型。

但是，上述多目标行人跟踪模型以及多目标行人检测模型的准确性较差，且采用上述方法对多目标行人跟踪模型以及多目标行人检测模型进行训练，由于无法实现参数共享，导致训练后的模型泛化性较差且精确度不高，对于实际应用场景的适用性较差。

发明内容

本申请提供一种多目标行人轨迹预测模型训练方法、预测方法及装置，用以提高多目标行人轨迹预测模型的泛化性和精确度。

第一方面，本申请实施例提供一种多目标行人轨迹预测模型训练方法，包括：

将预先建立的多目标行人轨迹预测模型置于多任务学习框架下；其中，所述多目标行人轨迹预测模型包括多目标行人检测模型以及多目标行人跟踪模型；其中，所述多目标行人检测模型包括残差神经网络及其并行的重识别网络分支，用于通过获取重识别特征信息对行人进行多目标检测；所述多目标行人跟踪模型包括图神经网络层、注意力机制层以及门控递归单元层，用于确定重点区域并在所述重点区域中进行多目标行人的轨迹预测；

获取预先存储的训练数据，在所述多任务学习框架下，采用所述训练数据对所述多目标行人检测模型以及所述多目标行人跟踪模型进行联合训练，获得训练后的多目标行人轨迹预测模型；其中，所述训练数据为对具有多个目标行人轨迹的图像进行标注后的数据集；所述数据集为对预先采集的包含有所述多个目标行人的轨迹的视频数据进行扩展处理后获得的。

可选地，如上所述的方法，所述在所述多任务学习框架下，采用所述训练数据对所述多目标行人检测模型以及所述多目标行人跟踪模型进行联合训练，获得训练后的多目标行人轨迹预测模型，包括：

在所述多任务学习框架下，将所述训练数据分别输入所述多目标行人检测模型以及所述多目标行人跟踪模型中；

基于所述训练数据，采用反向传播算法对所述多目标行人检测模型以及所述多目标行人跟踪模型的每一层进行训练，获得所述多目标行人检测模型输出的第一特征图，以及所述多目标行人跟踪模型输出的第二特征图；

根据所述第一特征图、所述第二特征图以及输入的训练数据，采用预设的损失函数计算公式对损失函数进行计算，获得所述多目标行人检测模型的第一损失函数值，以及所述多目标行人跟踪模型的第二损失函数值；

判断所述第一损失函数值与所述第二损失函数值之和是否小于等于预设值；