[发明专利]目标轨迹预测方法、电子设备及存储介质

说明书

本公开提供了一种基于并行Transformer的目标轨迹预测方法，包括：使用第一Transformer模型基于目标的观测轨迹序列获取目标的第一建议轨迹特征以及建议方向特征；获取目标的观测图像特征以生成特征图，使用第二Transformer模型基于特征图以及建议方向特征生成第二建议轨迹特征；将第一建议轨迹特征以及第二建议轨迹特征进行融合处理，生成多个建议预测轨迹以及各个建议预测轨迹的置信度；以及基于车辆运动学模型对多个建议预测轨迹进行筛选，获得目标的至少一个预测轨迹。本公开还提供了一种基于并行Transformer的目标轨迹预测装置、电子设备以及可读存储介质。

技术领域

本公开涉及计算机视觉和自动驾驶技术领域，本公开尤其涉及一种基于并行Transformer的目标轨迹预测方法、电子设备及存储介质。

背景技术

近年来，车辆轨迹预测逐渐成为计算机视觉领域一个热门的研究方向。

在人类驾驶过程中，司机可以通过判断车辆的运动状态，从而做出正确的决策，避免交通事故的发生。然而，自动驾驶系统若仅通过检测和跟踪车辆(即本车附近车辆)，难以做出合理的决策。如果检测到车辆就停止，会增加交通拥挤程度，而错误地选择继续前行，会导致碰撞的发生。为此，对车辆未来轨迹做出合理的预测，可以提高交通系统的安全性和通畅性。然而，车辆轨迹预测存在很大的挑战性，道路的拓扑结构、交通标志和信号灯、车辆与周边代理之间的交互等都会影响轨迹的预测。

以下为现有技术中的部分车辆轨迹预测技术方案。

方案1：2020年的WACV论文“Uncertainty-aware Short-term Motion Predictionof Traffic Actors for Autonomous Driving”率先使用栅格化的高精地图，提供更加全面和精细的地图信息。模型采用某一时刻车辆的状态(位置、速度、加速度)作为输入，再结合经过卷积神经网络处理后的语义地图预测未来轨迹。虽然语义地图提供的信息非常全面，但是没有加强对重要区域的关注，导致容易忽略重要的语义信息。

方案2：2020年ICPR论文“Transformer Networks for Trajectory Forecasting”基于Transformer进行轨迹预测。Transformer基于自注意力机制，可以有效地提取序列之间的相关性。但是，传统的Transformer只能处理单种类型的数据，难以同时处理序列和图像信息。对于车辆轨迹预测，语义地图起到了巨大的作用，尤其是车道线对轨迹的约束。

方案3：2021年的CVPR论文“Multimodal Motion Prediction with StackedTransformers”基于堆叠的Transformer进行轨迹预测。用三个堆叠的Transformer分别提取轨迹信息、高精地图信息和交互信息，并生成多个建议轨迹特征。第一个Transformer的Decoder用可学习的参数初始化，后面每一个Decoder的输入是前一个Decoder的输出。然后，对每个建议轨迹特征进行解码，生成预测轨迹和置信度。同时，预测轨迹被划分到多个独立的区域，在不同的区域进行优化。堆叠的Transformer单独处理语义地图和轨迹数据，通过堆叠的形式进行融合，减少了不同类型特征之间的相互干扰。但是，轨迹和语义地图之间的关联没有被建立。

方案4：中国专利文献CN110781838A《一种复杂场景下行人的多模态轨迹预测方法》同时考虑地图和轨迹序列，并基于GAN生成多模态轨迹。使用卷积神经网络提取图片特征，通过LSTM提取轨迹序列特征。将图片特征和轨迹序列特征分别送入物理和社会注意力模块来考虑地形限制及行人交互。最后，通过解码器预测轨迹，并送入判别器进行判断。LSTM相较于Transformer而言，无法解决长距离依赖，序列之间的关联性太弱。

另外，现有技术中的绝大部分模型基于神经网络，常用于轨迹预测的神经网络包括LSTM，GRU，Transformer等。神经网络以数据驱动为基础，能预测出较为精确的轨迹，但预测出的轨迹不一定满足车辆动力学约束。