[发明专利]确定语义无碰撞空间的方法

说明书

本发明涉及一种确定语义无碰撞空间的方法。确定车辆的环境中的语义无碰撞空间的方法包括：经由摄像头从所述车辆的环境拍摄二维视觉图像；以及在所述视觉图像内确定无碰撞空间的界限。经由传感器，捕获对象的距离数据并将其指派给视觉图像，并且基于所指派的距离数据来将无碰撞空间的界限转移到鸟瞰图。对于在视觉图像中识别到的对象，确定相应的边界框和相应的分类。选择限制无碰撞空间的对象，并将其边界框指派给无碰撞空间在鸟瞰图中的界限。最后，根据所选择的对象的各个边界框的分类，对无碰撞空间的界限的段进行分类。

技术领域

本公开涉及确定车辆环境中的语义无碰撞空间的方法。

背景技术

对于现代车辆中的安全功能和驾驶员辅助系统，重要的是确定车辆前方的可行驶区域。此外，自主驾驶强烈依赖于确定这种可行驶区域的能力。如果可行驶区域的坐标是可用的，则可以对车辆的导航采取适当决定和动作。

为了检测车辆前方的可行驶区域，通常基于由单个摄像头拍摄的图像并通过使用分割技术的直接方法来确定二维无碰撞空间。对于该任务，可以有效地使用深度神经网络。

然而，如果基于单个摄像头的图像或基于来自另一单个传感器的数据来确定车辆前方的无碰撞空间，则存在关于确定深度(即，从安装有摄像头的宿主车辆到车辆环境中的其它要素的距离)的问题。然而，到最近障碍物的距离是正确导航的关键参数。尽管根据摄像头图像来可靠地估计距离的方案是可用的，但结果可能受到例如变化的天气条件和空气透明度的影响。

此外，对于正确的导航，应当知道限制车辆前方的无碰撞空间的障碍物的类型。换言之，车辆环境中的对象的语义分类应当是可用的，即，对象是否是另一车辆、行人或导致车道不可用于行驶的一些碎片。

因此，需要一种能够确定到车辆环境中的对象的准确距离以及该对象的类型的方法和系统。

发明内容

本公开提供了一种计算机实现的方法、计算机系统和非暂时性计算机可读介质。在说明书和附图中给出了实施方式。

在一个方面，本公开涉及一种确定车辆的环境中的语义无碰撞空间的计算机实现的方法，所述车辆包括摄像头和传感器，所述传感器被配置成提供距离信息。根据所述方法，经由所述摄像头从所述车辆的所述环境拍摄二维视觉图像，并且在所述视觉图像内确定无碰撞空间的界限。经由所述传感器，捕获车辆的环境中的对象相对于车辆的三维距离数据。将所述距离数据指派给所述视觉图像，并且基于所指派的距离数据，将所述无碰撞空间的界限从所述视觉图像转移到关于所述车辆的鸟瞰图。在所述视觉图像中识别对象，并且针对各个所识别的对象确定边界框和分类。从所识别的对象选择限制所述无碰撞空间的对象，并且将各个所选择的对象的相应边界框指派给所述无碰撞空间在所述鸟瞰图中的界限。最后，根据所选择的对象的各个边界框的分类，对所述无碰撞空间的所述界限的段进行分类。

在一方面，本方法提供了相对于车辆的可行驶无碰撞空间在鸟瞰图坐标系中的界限。该坐标系包括两个轴，并且可以被限定在与车辆当前行驶的车道相切的平面中。因此，在鸟瞰图中，从上方观看该平面。

另外，该界限包括在语义上分类的段，并且针对该段，识别限制无碰撞空间的对象的类型。因此，段可以被认为是语义段，并且该方法的整个输出可以被称为语义无碰撞空间。

由于在执行该方法之后，到相对于车辆的最接近对象的距离及最接近对象的类型是已知的，所以可以基于语义无碰撞空间提供的信息，关于车辆的导航(例如在自主驾驶中)采取适当的决定和动作。此外，摄像头和传感器可以同时捕获它们各自的数据，即二维视觉图像和三维距离数据。由于同时捕获，可以提高由该方法提供的输出(即语义无碰撞空间)的准确性和可靠性。

摄像头可以是单目摄像头或立体摄像头，其通常在现代车辆中可用。传感器可以是LIDAR或者雷达传感器或者能够提供距离或深度信息的任何其它合适的传感器。因此，关于执行该方法的硬件没有特别的要求。