[发明专利]一种跨模态行人轨迹生成式预测框架、方法和装置

说明书

本发明涉及行人轨迹预测领域，具体涉及一种跨模态行人轨迹生成式预测框架、方法和装置，该框架包括：多模态数据时域特征提取模块对多模态数据提取时域特征，直接传递给基于跨模态Transformer的特征编码模块；所述基于跨模态Transformer的特征编码模块，输入为多模态的时域特征，输出为跨模态的注意力特征，分别传递给条件变分自动编码模块和轨迹预测模块；所述条件变分自动编码模块，输入为跨模态的注意力特征，输出为隐变量，直接传递给轨迹预测模块；所述轨迹预测模块，输入为跨模态的注意力特征和隐变量，输出为预测的轨迹。本发明有效提升了第一人称视角下的行人轨迹预测的准确率。

技术领域

本发明涉及行人轨迹预测领域，具体为一种跨模态行人轨迹生成式预测框架、方法和装置。

背景技术

行人轨迹预测在自动驾驶中是一个重要的任务，因为其预测结果能够给无人车一些指导，帮助无人车判断在未来时刻是否会和行人发生碰撞，有利于减少交通事故的发生，这对于无人车的安全驾驶起到积极作用。在第一人称交通场景下，从安装在车辆上的摄像头拍摄的视频中，除了能估计出行人的轨迹，还能获取到车辆的运动信息（比如GPS信息）和行人的姿态信息。如何巧妙地将行人轨迹、自车运动信息和行人姿态进行建模，是提升行人轨迹预测算法准确率的关键突破点。

发明内容

为了解决现有技术中存在的上述技术问题，本发明提出了一种跨模态行人轨迹生成式预测框架、方法和装置，其具体技术方案如下：

一种跨模态行人轨迹生成式预测框架，包括：多模态数据时域特征提取模块、基于跨模态Transformer的特征编码模块、条件变分自动编码模块和轨迹预测模块，所述多模态数据时域特征提取模块对多模态数据提取时域特征，直接传递给基于跨模态Transformer的特征编码模块；所述基于跨模态Transformer的特征编码模块，输入为多模态的时域特征，输出为跨模态的注意力特征，分别传递给条件变分自动编码模块和轨迹预测模块；所述条件变分自动编码模块，输入为跨模态的注意力特征，输出为隐变量，直接传递给轨迹预测模块；所述轨迹预测模块，输入为跨模态的注意力特征和隐变量，输出为预测的轨迹。

进一步的，所述多模态数据包括行人轨迹信息、自车即搭载摄像头的车辆的运动信息和行人姿态信息；

所述行人轨迹信息的训练数据定义为观测阶段数据和目标阶段数据，其中，观测阶段的时间长度为，目标阶段的时间长度为，目标阶段对应了需要被预测的轨迹的时间阶段，为时刻行人轨迹即二维包围盒的向量表示；

所述自车的运动信息的训练数据定义为观测阶段数据和目标阶段数据，其中，为时刻自车运动信息的向量表示；

所述行人姿态信息的训练数据定义为观测阶段数据和目标阶段数据，其中，，是一个的热图，代表该行人在时刻的第个姿态关节点。

进一步的，所述多模态数据时域特征提取模块在观测阶段和目标阶段，针对行人轨迹和自车运动信息，采用多层感知器与一维卷积层的组合进行特征提取；针对行人姿态信息即姿态热图，采用卷积LSTM与二维卷积网络的组合来进行特征提取。

进一步的，所述基于跨模态Transformer的特征编码模块具体执行以下步骤：

步骤一：分别为阶段下的行人轨迹信息、自车运动信息和行人姿态信息的时域特征添加位置编码，获得、和；将添加了位置编码的时域特征组织成4个特征对、、和，将这4个特征对分别输入到公认的跨模态Transformer中，分别输出4对跨模态特征和权重矩阵的组合、、、；

步骤二：将所述4对跨模态特征和权重矩阵分配到2个不同的分支中，其中、分配到分支1中，、分配到分支2中；对分支1，使用一个多模态注意力模块，计算跨模态配置下的跨模态特征的权重和跨模态配置下的跨模态特征的权重：