[发明专利]时空交互网络

说明书

用于使用时空交互网络处理点云数据的方法、系统和装置，包括在计算机存储介质上编码的计算机程序。实施例描述了被实现为在一个或更多个位置的一个或更多个计算机上的计算机程序的系统，所述计算机程序处理点云数据输入的时间序列以对由点云数据输入表征的代理(例如，行人、载具、自行车手、摩托车手、或其他移动对象)进行预测。

本申请要求于2019年11月15日提交的第62/936,259号美国临时申请的权益。在先申请的公开被认为是本申请的公开的一部分，并且通过引用并入本申请的公开中。

背景技术

本说明书涉及使用神经网络处理点云数据以生成表征环境中的一个或更多个代理的输出。

环境可以是现实世界环境，并且代理可以是例如环境中的自动驾驶载具附近的行人。对环境中的行人进行预测是例如由自动驾驶载具进行运动规划所需的任务。

自动驾驶载具包括自主驾驶汽车、船和飞机。自动驾驶载具使用各种机载传感器和计算机系统来检测附近的对象，并使用这种检测来做出控制和导航决策。

一些自动驾驶载具具有实现神经网络、其他类型的机器学习模型或两者的机载计算机系统，用于各种预测任务，例如图像内的对象分类。例如，能够使用神经网络来确定由机载相机捕获的图像可能是附近汽车的图像。神经网络(或为简洁起见，网络)是采用多层操作来从一个或更多个输入预测一个或更多个输出的机器学习模型。神经网络通常包括位于输入层和输出层之间的一个或更多个隐藏层。每个层的输出用作网络中的另一层(例如，下一隐藏层或输出层)的输入。

神经网络的每一层指定要对该层的输入执行的一个或更多个变换操作。一些神经网络层具有被称为神经元的操作。每个神经元接收一个或更多个输入并生成由另一神经网络层接收的输出。通常，每个神经元接收来自其他神经元的输入，并且每个神经元向一个或更多个其他神经元提供输出。

神经网络的架构指定网络中包括哪些层及其属性，以及网络的每一层的神经元如何连接。换句话说，架构指定哪些层将其输出作为输入提供给哪些其他层以及如何提供输出。

每一层的变换操作由安装有实现变换操作的软件模块的计算机执行。因此，被描述为执行操作的层意味着实现层的变换操作的计算机执行操作。

每一层使用该层的参数集的当前值生成一个或更多个输出。因此，训练神经网络涉及连续地对输入执行前向传递，计算梯度值，以及使用计算的梯度值(例如，使用梯度下降)更新每个层的参数集的当前值。一旦训练了神经网络，就能够使用参数值的最终集合来在生产系统中进行预测。

发明内容

本说明书总体上描述了在一个或更多个位置中的一个或更多个计算机上实现为计算机程序的系统，所述计算机程序处理点云数据输入的时间序列以对由点云数据输入表征的代理(例如，行人、载具、自行车手、摩托车手或其他移动对象)进行预测。

本说明书中描述的主题能够在特定实施例中实现，以便实现以下优点中的一个或更多个。

检测代理，更具体地，检测行人并预测他们的未来轨迹是许多应用(诸如自动驾驶)的关键任务。特别地，为了安全且平稳地驾驶，自动驾驶载具不仅需要检测对象当前所在的位置(即对象检测)，而且还需要预测它们将来将前往的位置(即轨迹预测)。在自主驾驶汽车经常遇到的不同类型的对象中，行人是现有技术准确检测和预测的重要且困难的类型。困难至少部分地来自行人外观和行为的复杂特性，例如行人身体的可变形形状和行人之间的人际关系。

现有系统将检测和轨迹预测视为单独的任务，或者简单地在对象检测器的顶部添加轨迹回归头(trajectory regression head)。