[发明专利]行人轨迹预测方法、装置、电子设备及存储介质

说明书

本公开提供一种行人轨迹预测方法，包括：获取场景的至少一个行人的观测轨迹信息，将各个行人的观测轨迹信息转换为各个行人的自我视角下的自我视角轨迹信息；基于各个行人的自我视角轨迹信息获取各个行人的运动趋势特征，并获取各个行人与其他行人的交互特征；至少基于各个行人的运动趋势特征以及各个行人与其他行人的交互特征，生成各个行人的自我视角下的未来位置信息；以及至少基于各个行人的自我视角下的未来位置信息生成各个行人的至少一条自我视角下的未来轨迹，并将自我视角下的未来轨迹转换为世界坐标系下的未来轨迹。本公开还提供了一种行人轨迹预测装置、电子设备以及可读存储介质。

技术领域

本公开涉及计算机视觉技术领域及自动驾驶领域。本公开尤其涉及一种基于多视角变换的行人轨迹预测方法、装置、电子设备及存储介质。

背景技术

轨迹预测任务目前主要应用于自动驾驶任务中，在自动驾驶场景中对其他交通参与者进行轨迹预测，对于实现更高级别的无人驾驶具有重要意义。自动驾驶感知系统性能的提升，以及深度学习在时间序列模型上的进一步发展，都为轨迹预测任务的研究奠定了基础。感知系统通过各种传感器获得目标历史位置信息并送入预测模型，模型在各种交通场景中预测其他目标的未来轨迹。完成更精准的预测，就能利用其预测结果服务于自动驾驶的控制和决策系统，从而更好的保证车辆和行人安全，提高道路交通的效率。

目前，行人轨迹预测方法主要还是通过深度学习方法，如循环神经网络(RNN)、长短时记忆网络(LSTM)、门控循环单元(GRU)等网络模型进行序列特征的提取，以上方法作为组件，嵌入到编码器-解码器的网络结构中，实现未来的轨迹预测。至今行人轨迹预测的研究还有许多难点亟待解决，模型方法的学习能力和预测精度还有待进一步提升。

现有技术中有以下典型的轨迹预测方法。

方案一：2016年发表于CVPR会议的论文“Social lstm:Human trajectoryprediction in crowded spaces”是一篇使用LSTM进行轨迹预测的经典方法，其构建的基于数据驱动的模型，每个行人的历史轨迹序列作为LSTM的输入，在LSTM的每次迭代输出过程中都经过其设计的“社交(Social)池化层”，用于去表征和整合与周围其他行人的交互，输出的特征矢量作为下一时刻隐状态输入。此方案非常经典，但是LSTM模型参数较多，且在每次迭代中又加入了处理效率更差的池化层，导致在简单的轨迹信息作为输入的情况下，池化层难以学习到有用的交互特征，也导致模型在训练、参数更新时代价很高。其对于轨迹的表示方法也较为单一，只有轨迹序列的简单输入。

方案二：2018年发表于CVPR会议的论文“Social gan:Socially acceptabletrajectories with generative adversarial networks”采用对抗生成网络的方法来实现轨迹预测，并且采用了序列模型中常用的编码器-解码器(Encoder-Decoder)架构，以LSTM作为时间序列特征提取的组件，嵌入在生成器和判别器的编码部分，每个场景中的轨迹序列送入编码器中，提取的轨迹序列特征作为后续特征叠加的一部分。同时通过设计好的社交池化层对不同行人轨迹之间的交互信息进行表征，这作为特征叠加的另一部分。以上两部分特征送入解码器中进行轨迹预测，此方案采取的方法结构清晰明确，但是在提取轨迹特征方面形式较为单一，在加入交互的池化后预测精度反而有所下降，说明其设计的表征方法捕捉到的行人交互特征不够突出。且解码器在多轨迹生成时由于噪声的参与，生成的多轨迹可能无法保证稳定性。