[发明专利]一种复杂场景下行人的多模态轨迹预测方法

摘要

本发明公开了一种复杂场景下行人的多模态轨迹预测方法，包括以下步骤：使用视觉几何组16层卷积神经网络进行图片特征提取；使用全连接层对轨迹数据进行特征处理；输入轨迹数据特征向量VS进入生成对抗网络完成编码解码网络功能；输入图片特征数据及轨迹特征数据至物理、社会注意力模块考虑地形限制及行人交互；通过更新完的生成器部分得到更好的轨迹生成预测结果；得到的稳定轨迹预测模型SPM。本发明可以有效的提高预测的精度，并且可以生成多条合理的预测轨迹，不仅能根据原始图片的特征信息提取到相关地形限制信息，而且能够考虑到同一复杂场景下不同行人之间的社交交互情况。本发明能够更加快速和准确地预测行人未来轨迹。

主权项

1.一种复杂场景下行人的多模态轨迹预测方法，其特征在于：包括以下步骤：/nA、使用视觉几何组16层卷积神经网络进行图片特征提取/n视觉几何组16层卷积神经网络把数据集对应的原始背景图片帧作为输入放入端到端的神经网络中进行学习、并把图片数据进行抽象和压缩；具体步骤如下：/nA1、输入的不同数据集的原始图片具有不同的分辨率大小，采用函数transforms.Resize(X,224,224)调整到同一尺寸224*224分辨率，其中transforms代表深度学习pytorch框架中图像预处理包模块；/nA2、将调整后的同一尺寸的原始图片输入到已经预训练过的视觉几何组16层卷积神经网络中，并对视觉几何组16层卷积神经网络最后一层进行维度微调，编码成特征向量V，使之前的224*224高维度变成512*14*14维度，具体如下式所示：/nV＝nn.Sequential(vggmodel()) (1)/n其中，nn代表神经网络函数基类名称，Sequential为有序的容器函数，对视觉几何组16层卷积神经网络进行最后一层的维度微调；/nA3、对上述特征向量V在时间维度上进行维度合并操作，进行连结操作，得到T*N*196*512的物理地形特征向量Vp，其中T代表时间帧数，N代表当前场景行人数目，具体公式如下：/nVp＝nn.Conv2d(V) (2)/n其中，nn代表神经网络函数基类名称，Conv2d为深度学习pytorch框架中的二维卷积神经网络函数；/nB、使用全连接层对轨迹数据进行特征处理/n对数据集中具有时序依赖关系的连续轨迹数据进行处理，得到目标行人与场景内其他行人的相对位移，将此相对位移数据放入端到端的全连接神经网络层中进行学习，进行对应的特征提取，得到用于行人交互分析的轨迹数据特征向量VS，具体公式如下：/n