[发明专利]使用区域外上下文的对象分类

说明书

本文公开的主题的一些方面包括在一个或多个数据处理装置上实现的系统。该系统可以包括：接口，被配置为从一个或多个传感器子系统获得描述车辆环境的传感器数据，并使用传感器数据生成，(i)一个或多个第一神经网络输入，表示环境中特定对象的传感器测量；和(ii)第二神经网络输入，表示至少环境中包含特定对象的部分和环境中未由所述一个或多个第一神经网络输入表示的附加部分的传感器测量；以及卷积神经网络，被配置为处理第二神经网络输入以生成输出，所述输出包括多个特征向量，每个特征向量对应于环境的多个区域中的不同的一个区域。

相关申请的交叉引用

本申请要求2018年12月21日提交的序列号为16/230187的美国申请的优先权权益，其全部内容通过引用全部并入本公开。

背景技术

本说明书涉及自主车辆，更具体地，例如，涉及神经网络系统，所述神经网络系统被配置为生成由车辆上的一个或多个传感器获取的数据所表示的对象的分类。

自主车辆包括自驾驶汽车、船只和飞行器。如本文所用，自主车辆可指全自主车辆或半自主车辆。全自主车辆通常能够完全自主驾驶，不需要人类操作员，而半自主车辆自动进行一些驾驶操作，但在某种程度上仍然允许或需要人工控制或干预。自主车辆使用各种车载传感器和计算机系统来检测附近的对象，并利用这种检测做出控制和导航决策。

一些自主车辆使用神经网络来帮助基于传感器数据识别关于其环境的信息。神经网络是机器学习模型，其采用多层操作从一个或多个输入预测一个或多个输出。神经网络通常包括位于输入层和输出层之间的一个或多个隐藏层。每一层的输出用作网络中另一层，例如下一隐藏层或输出层，的输入。

神经网络的每一层指定了对该层的输入执行的一个或多个转换操作。有些神经网络层具有称为神经元的操作。通常，每个神经元可以接收一个或多个输入，并生成输出，所述输出由另一个神经网络层接收。每一层的转换操作可以由位于一个或多个位置的一个或多个计算机执行，所述计算机安装了实现转换操作的软件模块。

发明内容

本说明书描述用于训练和使用对象分类神经网络系统的系统、方法、设备和技术。该系统可被配置为处理表示在自主车辆附近检测的感兴趣对象的测量的传感器数据，并为该对象生成预测对象分类。该系统可以处理狭窄地聚焦在感兴趣对象上的传感器数据的“补丁”(patch)和表示关于对象周围更宽广的环境的上下文的特征向量两者，以生成预测对象分类。

本文描述的主题的一些方面包括在一个或多个数据处理装置上实现的系统。所述系统可以包括：接口，被配置为从一个或多个传感器子系统获得描述车辆环境的传感器数据，并使用传感器数据生成，(i)一个或多个第一神经网络输入，表示环境中特定对象的传感器测量和(ii)第二神经网络输入，表示至少环境中包含特定对象的部分和环境中未由一个或多个第一神经网络输入表示的附加部分的传感器测量；卷积神经网络，被配置为处理第二神经网络输入以生成输出，所述输出包括多个特征向量，每个特征向量对应于环境的多个区域中的不同的一个区域；以及对象分类器神经网络，被配置为处理一个或多个第一神经网络输入和多个特征向量中的第一特征向量以生成特定对象的预测分类。

这些和其他实现可以选择性地包括以下特性中的一个或多个。

接口可以被配置为从多个对应的传感器子系统获得多个通道的传感器数据，并且第一神经网络输入中的不同第一神经网络输入表示来自多个通道的传感器数据中的不同通道的传感器数据的特定对象的传感器测量。

第二神经网络输入可以表示至少环境中包含特定对象的部分以及环境中未由一个或多个第一神经网络输入表示的附加部分的投影。

由第二神经网络输入表示的投影可以包括从光检测和测距(LIDAR)传感器子系统的测量导出的点云的投影。

第二神经网络输入可以表示一个或多个相机图像，所述一个或多个相机图像具有比一个或多个第一神经网络输入表示的环境的视场更宽广的车辆环境的集合视场。