[发明专利]具有三维对象显示的方法和装置

说明书

提供了具有三维对象显示的方法和装置。一种显示三维(3D)对象的方法包括：从单个相机获取行驶图像；基于道路表面的曲率的变化，将包括道路表面的线段标记分类为一个或多个组；针对该一个或多个组中的每个组估计与道路表面和单个相机之间的倾斜角相对应的俯仰角；生成道路表面的3D信息；以及基于道路表面的3D信息来显示视觉地叠加在道路表面上的3D对象。

相关申请的交叉引用

本申请要求于2019年11月19日在韩国知识产权局提交的韩国专利申请No.10-2019-0148843的权益，其全部公开内容通过引用并入本文以用于所有目的。

技术领域

以下描述涉及具有三维(3D)对象显示的方法和装置。

背景技术

道路表面的三维(3D)信息用于生成供自动驾驶和先进驾驶辅助系统(ADAS)用的信息。例如，可以通过以下方式来获得道路表面的3D信息：通过使用立体相机所获取的左图像和右图像之间的比较来计算视差，并基于视差来估计包括道路表面在内的所有区域的深度信息。然而，当使用单个相机时，难以通过计算视差来估计深度信息。因此，可能难以使用单个相机来获取道路表面的3D信息。

发明内容

提供本发明内容部分以使用简化形式介绍下面在具体实施方式中进一步描述的一些构思。本发明内容部分不意在确认所请求保护的主题的关键特征或基本特征，也不意在用作帮助确定所请求保护的主题的范围。

在一个总体方面，一种显示三维(3D)对象的方法包括：从单个相机获取包括道路表面的行驶图像；基于道路表面的曲率的变化程度，将道路表面的线段标记分类为一个或多个组；针对该一个或多个组中的每个组，估计与道路表面和单个相机之间的倾斜角相对应的道路表面的俯仰角；针对该一个或多个组中的每个组，使用俯仰角来生成道路表面的3D信息；以及基于道路表面的3D信息来显示视觉地叠加在道路表面上的3D对象。

将线段标记分类为一个或多个组可以包括基于线段的曲率的变化程度对线段标记进行分组。

将线段标记分类为一个或多个组可以包括：将线段的曲率的变化程度与参考改变进行比较；以及基于比较的结果，基于曲率的变化程度大于参考改变的点来将线段标记分类为多个组。

该一个或多个组中的每个组可以在道路表面上形成彼此不同的对应平面。

估计俯仰角可以包括：将针对该一个或多个组中每个组的行驶图像的部分图像转换为针对该一个或多个组中每个组的鸟瞰(BEV)图像，并且基于针对该一个或多个组中每个组的BEV图像来估计道路表面的俯仰角。

估计俯仰角可以包括：将满足第一条件和第二条件中至少之一的俯仰角估计为道路表面的俯仰角，该第一条件为针对该一个或多个组中每个组的BEV图像中包括的线段标记彼此平行，该第二条件为这些线段标记具有相同长度。

估计俯仰角可以包括：基于初始俯仰角来计算针对该一个或多个组中每个组的BEV图像中包括的线段标记的位置，重复调整俯仰角直到满足第一条件和第二条件中至少之一，并且将满足第一条件和第二条件中至少之一的俯仰角确定为道路表面的俯仰角。

行驶图像可以包括随时间的图像序列。生成道路表面的3D信息可以包括：针对该一个或多个组中的每个组随时间平滑道路表面的俯仰角，并且使用经平滑的俯仰角来生成行驶图像中包括的道路表面的3D信息。

平滑俯仰角可以包括：使用时间滤波器，针对该一个或多个组中的每个组随时间平滑道路表面的俯仰角。

显示3D对象可以包括：渲染反映道路表面的3D信息的3D道路模型；以及在3D道路模型上显示3D对象。

该方法还可以包括：从行驶图像中提取与行驶车道相对应的道路表面的线段，并计算所提取的线段的曲率。