[发明专利]多目标行人轨迹预测模型训练方法、预测方法及装置

权利要求书

1.一种多目标行人轨迹预测模型训练方法，其特征在于，包括：

将预先建立的多目标行人轨迹预测模型置于多任务学习框架下；其中，所述多目标行人轨迹预测模型包括多目标行人检测模型以及多目标行人跟踪模型；其中，所述多目标行人检测模型包括残差神经网络及其并行的重识别网络分支，用于通过获取重识别特征信息对行人进行多目标检测；所述多目标行人跟踪模型包括图神经网络层、注意力机制层以及门控递归单元层，用于确定重点区域并在所述重点区域中进行多目标行人的轨迹预测；

获取预先存储的训练数据，在所述多任务学习框架下，将所述训练数据分别输入所述多目标行人检测模型以及所述多目标行人跟踪模型中；所述训练数据为对具有多个目标行人轨迹的图像进行标注后的数据集；所述数据集为对预先采集的包含有所述多个目标行人的轨迹的视频数据进行扩展处理后获得的；

基于所述训练数据，采用反向传播算法对所述多目标行人检测模型以及所述多目标行人跟踪模型的每一层进行训练，获得所述多目标行人检测模型输出的第一特征图，以及所述多目标行人跟踪模型输出的第二特征图；

根据所述第一特征图、所述第二特征图以及输入的训练数据，采用同一损失函数计算公式对损失函数进行计算，获得所述多目标行人检测模型的第一损失函数值，以及所述多目标行人跟踪模型的第二损失函数值；

判断所述第一损失函数值与所述第二损失函数值之和是否小于等于预设值；

若否，则返回执行基于所述训练数据，采用反向传播算法对所述多目标行人检测模型以及所述多目标行人跟踪模型的每一层进行训练的步骤；

若是，则保存所述多目标行人检测模型以及所述多目标行人跟踪模型当前的模型参数，获得训练后的多目标行人轨迹预测模型。

2.根据权利要求1所述的方法，其特征在于，所述方法还包括：

采用不确定性函数计算所述多目标行人检测模型的第一训练权重，以及所述多目标行人跟踪模型的第二训练权重；

所述判断所述第一损失函数值与所述第二损失函数值之和是否小于等于预设值，包括：

将所述第一训练权重作用于所述第一损失函数值获得修正后的第一损失函数值，将所述第二训练权重作用于所述第二损失函数值获得修正后的第二损失函数值；

判断所述修正后的第一损失函数值与所述修正后的第二损失函数值之和是否小于等于预设值。

3.根据权利要求2所述的方法，其特征在于，所述将所述第一训练权重作用于所述第一损失函数值获得修正后的第一损失函数值，包括：

将所述第一训练权重与所述第一损失函数值进行乘法处理，获得修正后的第一损失函数值；

所述将所述第二训练权重作用于所述第二损失函数值获得修正后的第二损失函数值，包括：

将所述第二训练权重与所述第二损失函数值进行乘法处理，获得修正后的第二损失函数值。

4.根据权利要求1-3任一项所述的方法，其特征在于，所述获取预先存储的训练数据之前，所述方法还包括：

获取预先采集的包含有多个目标行人的轨迹的视频数据；

对所述视频数据中的每一帧图像进行扩展处理，获得数据集；

对所述数据集中具有所述多个目标行人轨迹的图像进行标注并确定所述标注的标注信息，获得所述训练数据并存储；其中，所述标注信息中包含有所述多个目标行人的标识信息以及所述多个目标行人的目标检测边界框的坐标信息。

5.根据权利要求4所述的方法，其特征在于，所述对所述视频数据中的每一帧图像进行扩展处理，获得数据集，包括：

将所述视频数据中的每一帧图像以随机角度或偏移量进行变换，获得变换后的图像；

将所述变换后的图像加入到所述视频数据中，获得数据集。