[发明专利]一种异构智能体轨迹预测方法、系统、设备及介质

说明书

本发明公开了一种异构智能体轨迹预测方法、系统、设备及介质，所述方法包括以下步骤：基于异构智能体的轨迹点和类别，对异构智能体的类别和时空轨迹分别进行图表征，获得类别交互图和空间交互图；基于所述类别交互图学习异构注意力，得到类别级的异构注意力；基于所述空间交互图和所述类别级的异构注意力，得到异构智能体级的异构注意力；基于所述异构智能体级的异构注意力，对交互信息建模以及对轨迹的时间趋势建模，获得异构智能体轨迹预测结果。本发明可以有效建模多种类型的异构智能体的交互和轨迹趋势，能够显著提升轨迹预测的准确率。

技术领域

本发明属于计算机视觉技术领域，涉及轨迹预测领域，特别涉及一种异构智能体轨迹预测方法、系统、设备及介质。

背景技术

轨迹预测的目的是根据观测到的轨迹预测交通场景中智能体未来的轨迹序列。轨迹预测是一个具有挑战性的计算机视觉问题，并有许多现实世界的应用(例如，自动驾驶、异常检测和动作识别等)。

目前，阻碍预测准确性的挑战很大程度上源于智能体之间复杂的交互，这方面的最新进展主要分为两类：

(1)基于图(Graphs)的方法，在每个时间步上构建空间图，并对相邻节点的特征进行聚合；

(2)基于循环神经网络的方法，用循环神经网络(RNN、LSTM)建模每个智能体的轨迹，并在周围区域提取隐藏状态。

然而，上述方法具有局限性：

(1)基于图的方法只利用节点之间的成对关系，其他节点是混合和中继的；相比之下，现实世界中的交通交互比以前设想的要复杂得多，比如多边关系(三个或更多代理之间的关系)；也就是说，此方法受到不灵活的交互主体数量的限制。

(2)基于循环神经网络的方法仅仅考虑人工定义的周边区域中智能体之间的局部关系，周边区域之外的潜在互动参与者将被直接地忽视；也就是说，此方法受到人工的交互智能体选择方式的限制。

另外，绝大多数现有方法只关注了同构场景中智能体的轨迹预测，如只存在行人的场景或只存在汽车的场景等，而忽略了异构场景中智能体的轨迹预测，如同时存在行人、轿车、自行车、卡车和手推车等的场景。事实上，后者才是更符合实际的情况，而由于不同类别的智能体在运动模式(如速度、前后距离和对交互作用的响应)上的差异，人们对不同类别的智能体的反应模式也是不同的，异构智能体的轨迹预测相对于同构智能体更具有挑战性。

综上，亟需一种新的异构智能体轨迹预测方法、系统、设备及介质。

发明内容

本发明的目的在于提供一种异构智能体轨迹预测方法、系统、设备及介质，以解决上述存在的一个或多个技术问题。本发明针对现有方法存在的交互参与者数量、距离和类别限制等技术问题，提出了一个有效的无限邻域交互网络，将潜在的被同一交互影响到的所有智能体提取信息，同时针对异构场景内不同类智能体分别建模，可以有效建模多种类型的异构智能体的交互和轨迹趋势，能够显著提升轨迹预测的准确率。

为达到上述目的，本发明采用以下技术方案：

本发明的一种异构智能体轨迹预测方法，包括以下步骤：

基于异构智能体的轨迹点和类别，对异构智能体的类别和时空轨迹分别进行图表征，获得类别交互图和空间交互图；

基于所述类别交互图学习异构注意力，得到类别级的异构注意力；

基于所述空间交互图和所述类别级的异构注意力，得到异构智能体级的异构注意力；

基于所述异构智能体级的异构注意力，对交互信息建模以及对轨迹的时间趋势建模，获得异构智能体轨迹预测结果。

本发明的进一步改进在于，所述基于异构智能体的轨迹点和类别，对异构智能体的类别和时空轨迹分别进行图表征，获得类别交互图和空间交互图的步骤具体包括：