[发明专利]一种复杂场景下行人的多模态轨迹预测方法

说明书

本发明公开了一种复杂场景下行人的多模态轨迹预测方法，包括以下步骤：使用视觉几何组16层卷积神经网络进行图片特征提取；使用全连接层对轨迹数据进行特征处理；输入轨迹数据特征向量VS进入生成对抗网络完成编码解码网络功能；输入图片特征数据及轨迹特征数据至物理、社会注意力模块考虑地形限制及行人交互；通过更新完的生成器部分得到更好的轨迹生成预测结果；得到的稳定轨迹预测模型SPM。本发明可以有效的提高预测的精度，并且可以生成多条合理的预测轨迹，不仅能根据原始图片的特征信息提取到相关地形限制信息，而且能够考虑到同一复杂场景下不同行人之间的社交交互情况。本发明能够更加快速和准确地预测行人未来轨迹。

技术领域

本发明涉及一种多模态轨迹预测技术，特别是一种复杂场景下行人的多模态轨迹预测方法。

背景技术

在现代中国社会，随着人口的不断增加，由此而来的复杂情况下的场景也越来越普遍发生，如公园集会、火车站广场、大型演唱会出入口、马拉松体育运动等。这些复杂场景中，我们经常要考虑到行人聚集、分散、避险和排队等不同可能的社交甚至公共安防问题，而在如此广阔复杂场景中，如果只靠人工识别对当前场景进行调控管理的话，效率不免太过低下，极大地影响人群导流速度和安全避让效率。所以，复杂场景下的行人轨迹未来趋势的预测必须紧紧贴近最新技术，通过现行最优的机器学习/深度学习等人工智能相关方法对复杂场景下行人轨迹预测进行处理，得到自动快速高效地预测策略，并且可以实时统计复杂场景下行人或人群的流量，甚至对异常目标行为进行检测报警处理，据此再给出相应地调控管理方法(导流/分流，避让/先行等)，就可以极大地提升公共安全研究与预防的效率，更好地保障公共场所的交通疏散和公共行人的人身安全。

近年来随着计算性能及深度学习的发展，基于数据驱动的建模方式成为研究热点，由于行人轨迹本质上就是一个时序序列，由此也提出了主要以循环神经网络为代表的建模方式。但循环神经网络无法进行高层次的空间关系建模，这种技术不仅难以模拟到行人运动时的可能性的聚集与扩散趋势，而且不考虑整体背景地形因素的限制，极大地制约了预测准确性的提高。通常以循环神经网络为代表的建模方式对于行人未来轨迹预测，一般只给出一种大概平均的轨迹预测结果，考虑不到行人未来趋势的多模态可能，不符合行人行走的客观规律。因此到目前为止，对于复杂场景下行人轨迹预测问题，考虑的总体因素并不全面，使用的对应方法并不是完全针对轨迹预测而准备，导致复杂场景下行人轨迹预测问题准确程度没有得到很好的提升。

发明内容

为解决现有技术存在的上述问题，本发明要提出一种能够在复杂场景下提高行人的轨迹预测精度的并考虑到地形背景和行人交互的复杂场景下行人的多模态轨迹预测方法。

为了实现上述目的，本发明的技术方案如下：一种复杂场景下行人的多模态轨迹预测方法，包括以下步骤：

A、使用视觉几何组16层卷积神经网络进行图片特征提取

视觉几何组16层卷积神经网络把数据集对应的原始背景图片帧作为输入放入端到端的神经网络中进行学习、并把图片数据进行抽象和压缩。具体步骤如下：

A1、输入的不同数据集的原始图片具有不同的分辨率大小，采用函数transforms.Resize(X,224,224)调整到同一尺寸224*224分辨率，其中transforms代表深度学习pytorch框架中图像预处理包模块。

A2、将调整后的同一尺寸的原始图片输入到已经预训练过的视觉几何组16层卷积神经网络中，并对视觉几何组16层卷积神经网络最后一层进行维度微调，编码成特征向量V，使之前的224*224高维度变成512*14*14维度，具体如下式所示：

V＝nn.Sequential(vggmodel())   (1)

其中，nn代表神经网络函数基类名称，Sequential为有序的容器函数，对视觉几何组16层卷积神经网络进行最后一层的维度微调。