[发明专利]姿态估计

说明书

本公开提供了“姿态估计”。一种计算系统可以基于图像中的第一车辆的宽度、高度和位置而裁剪所述图像。所述计算系统可以基于将所述裁剪的图像以及所述第一车辆的所述宽度、所述高度和所述位置输入深度神经网络中而估计所述第一车辆的姿态。然后，所述计算系统可以基于所述估计的姿态而操作第二车辆。

技术领域

本公开大体涉及车辆传感器，并且更具体地涉及估计车辆姿态。

背景技术

车辆可以被配备来在自主和乘员导引模式两者下操作。车辆可以被配备有计算装置、网络、传感器和控制器以获取关于车辆环境的信息并基于该信息来操作车辆。车辆的安全和舒适的操作可以取决于获取关于车辆环境的准确和及时的信息。车辆传感器可以提供关于在车辆环境中要行驶的路线和要避开的对象的数据。车辆的安全和有效的操作可以取决于当车辆在道路上操作时获取关于在车辆环境中的路线和对象的准确和及时的信息。存在用于识别造成碰撞风险的对象的现有机制和/或在规划车辆沿路线的路径时应考虑到这些机制。然而，还有改善对象识别和估计技术的空间。

发明内容

在车辆中的计算装置可以被编程为获取关于车辆周围的外部环境的数据并使用该数据来确定用于以自主和半自主模式操作车辆的轨迹。计算装置可以检测和跟踪车辆周围的环境中的交通对象，其中交通对象被定义为占据车辆周围的真实世界中的物理空间的刚性或半刚性三维(3D)实体对象。交通对象的示例包括车辆和行人等，如下面关于图2所讨论。检测和跟踪交通对象可以包括确定交通对象相对于车辆的位置的多个估计以确定运动并由此预测交通对象的未来位置，并且由此允许计算装置确定车辆行驶的避免涉及交通对象的碰撞或其它不期望的事件的路径。计算装置可以使用如下面关于图1所讨论的激光雷达传感器来确定距车辆环境中的交通对象的距离，然而，可能需要随时间的多个激光雷达数据样本来估计交通对象的轨迹并预测未来位置。本文讨论的技术可以在车辆环境中的交通对象的真实世界坐标中估计如下面关于图2所限定的3D位置和定向，并且由此允许计算装置基于车辆环境的彩色视频图像而预测交通对象的未来位置。

本文公开的是一种方法，所述方法包括：基于图像中的第一车辆的宽度、高度和中心而裁剪所述图像以确定图像块；基于将所述图像块以及所述第一车辆的所述宽度、所述高度和所述中心输入深度神经网络中而估计所述第一车辆的3D姿态；以及基于所述估计的3D姿态而操作第二车辆。所述估计的3D姿态可以包括所述第一车辆相对于3D坐标系的估计的3D位置、估计的侧倾、估计的俯仰和估计的横摆。可以基于依据分割所述图像来确定所述图像中的对象来确定所述第一车辆图像块的所述宽度、所述高度和所述中心。可以基于确定所述分割的图像中的矩形边界框而确定所述第一车辆的所述宽度、所述高度和所述中心。可以基于裁剪来自所述矩形边界框的图像数据并调整所述图像数据的大小以适合以经验确定的高度和宽度而确定所述图像块。所述深度神经网络可以包括：多个卷积神经网络层，所述多个卷积神经网络层用于处理所述裁剪的图像；第一多个完全连接的神经网络层，所述第一多个完全连接的神经网络层用于处理所述第一车辆的所述高度、所述宽度和所述位置；以及第二多个完全连接的神经网络层，所述第二多个完全连接的神经网络层用于组合来自所述卷积神经网络层和所述第一完全连接的神经网络层的输出，以确定所述估计的姿态。