[发明专利]用于确定可行驶空间的系统和方法

说明书

本发明题为“用于确定可行驶空间的系统和方法”。本公开提供了用于确定道路的可行驶空间的系统和方法，以用于应用诸如自主导航。为了确定另一车辆下方的不可行驶空间，本公开的实施方案的系统和方法从捕获的道路图像中的对象的2D边界框并从各种几何约束生成3D边界框。可以根据这些3D边界框到其道路表面上的投影，将图像部分标记为可行驶的或不可行驶的。可以编译这些经标记图像以及附带语义信息以形成用于诸如CNN之类的机器学习模型的训练数据集。训练数据集可以训练CNN以将输入图像部分分类为可行驶空间和不可行驶空间，以用于应用诸如自主导航。

技术领域

本公开整体涉及自主导航。更具体地，本公开涉及确定用于自主导航的可行驶空间。

发明内容

自主导航通常依赖于道路表面检测方法来估计道路表面，以用于车辆路径确定的目的。一些当前道路表面检测方法训练机器学习模型诸如卷积神经网络(CNN)，以从输入传感器数据预测道路表面。然而，此类方法具有其限制。例如，一些道路表面检测模型可以检测道路表面，但无法确定这些表面是否是实际上可行驶的。

因此，本文公开了确定可行驶空间的系统和方法，以用于应用诸如自主导航。具体地说，为了确定另一车辆下方的不可行驶空间，本公开的系统和方法从捕获的道路图像中的对象的二维(2D)边界框并从各种几何约束生成三维(3D)边界框。从这些3D边界框的投影确定的不可行驶空间以及附带语义信息可以形成用于机器学习模型的训练数据集，该机器学习模型可以被训练以将输入图像部分分类为可行驶的或不可行驶的，以辅助应用诸如自主导航。

在本公开的一些实施方案中，诸如通过自主车辆的摄像头捕获2D图像。图像可以在其内包含多个对象诸如其他车辆。可以针对图像中的对象中的任何一个或多个对象确定2D边界框。然后，可以针对每个2D边界框生成对应3D边界框，以至少部分地围绕对应对象以及产生由该对象占据的占地面积的估计值。可以通过以下方式来确定3D边界框：将3D边界框的顶点定位在2D边界框的边缘上作为初始估计值，并且随后基于各种其他几何约束优化顶点位置。然后，可以至少部分地从这些3D边界框识别道路的可行驶空间。更具体地，3D边界框到道路表面上的投影可以指示诸如车辆之类的对象下方的空间，该空间可以被视为不可行驶的。

几何约束可以是被选择以允许来自对象的图像的3D边界框以及其对应2D边界框的解决方案的任何合适的约束。例如，可以诸如通过一个或多个机器学习模型来确定或估计对象的取向，该一个或多个机器学习模型被配置为并被训练以输出输入图像中的对象位姿或取向。作为另一示例，可以通过选择或估计来确定对象的某些特征尺寸。例如，可以诸如通过许多基于机器学习的分类方案中的一个分类方案来分类对象，并且可以针对特定类别的对象选择特征尺寸。作为具体示例，可以根据其车辆类型(例如，卡车、轿车、小型货车等)对图像对象进行分类，并且可以根据其类别选择或估计特征尺寸诸如其宽度。

在本公开的一些实施方案中，这些几何约束的应用可以产生用于每个3D边界框顶点的一组方程，该方程可以任何合适的方式进行求解。作为一个示例，这组方程可以被视为优化问题，并且通过采用任何合适的优化方案进行求解，例如，可信约束区域优化方案，该可信约束区域优化方案试图迭代地修正顶点位置，直到一组3D边界框坐标被会聚。

在本公开的一些实施方案中，图像可以包含截断对象，例如在图像中仅部分捕获的对象。可以任何合适的方式实现针对此类截断对象的边界框的确定。在一个示例中，围绕截断对象的部分的2D边界框可以在大小上相继增大，直到其对应3D边界框包括对象的所有语义点或信息。这样，即使整个对象没有出现在输入图像中，也可以针对对象估计3D边界框。

如上所述，可以通过使用机器学习模型来进行可行驶空间确定。更具体地，一个或多个机器学习模型诸如CNN可以被训练以将包含对象的道路图像作为输入，并且可以输出每个图像部分是可行驶空间或不可行驶空间的概率。