[发明专利]用于计算机视觉的设备、方法和非暂时性计算机可读记录介质

说明书

一种设备，包括被配置为将从多个不同或相似类型的传感器获得的运动信息传递到共同表示的电路。

技术领域

本公开总体上涉及计算机视觉的领域，具体而言涉及基于相机和雷达的测量系统。这样的技术可例如用于自动驾驶的应用中。

背景技术

在自主驾驶和高级驾驶员辅助系统领域中，周围的风景通常被描述为少量未伸展的接触，每个接触都由至少具有表示运动的2d位置和2d速度的状态描述。

在设计自主驾驶汽车时，许多传感器，诸如相机、雷达和LiDAR，用于提供无需直接接触即可进行自动驾驶所需的信息。例如，现代自动驾驶汽车依靠诸如立体相机、多普勒雷达和/或LiDAR(光检测和测距)之类的技术来估计运动。

立体相机可提供高分辨率信息，并且它们可看到颜色，这使它们在对象分类和纹理解释方面非常有效。立体相机也可有效地用于运动估计。估计场景的密集非刚性三维运动场称为场景流估计(scene flow estimation)。场景流估计(简称“场景流”)显示了两个帧之间每个表面点的三维位移矢量。但是，场景流估计通常提供的运动信息在径向方向上的准确性要比在角度方向上提供的准确性低。

多普勒雷达是一种使用无线电波确定对象的速度、范围和角度的传感器系统。雷达技术在运动测量中非常有效。雷达速度测量在径向方向上提供了良好的准确度，但在角度方向上提供了很少甚至没有的准确度。

因此，基于相机和雷达的测量系统以互补的精度和非常不同的数据表示形式提供有关环境中运动的信息。

已经存在用于不直接接触的远距离对象的运动测量的现有技术和方法，但是它们都存在不确定性并且彼此之间缺乏相似性。

发明内容

根据第一方面，本公开内容提供了一种设备，该设备包括配置成将从多个不同或相似类型的传感器获得的运动信息传递到共同表示的电路。

根据另一方面，本公开提供了一种方法，该方法包括将从多个不同或相似类型的传感器获得的运动信息传递到共同表示。

根据又一方面，本公开内容提供了一种计算机程序，其包括指令，当在处理器上执行时，使得所述处理器将从多个不同或相似类型的传感器获得的运动信息传递到共同表示。

在以下描述和附图中阐述了其他方面。

附图说明

参照附图通过实例的方式说明实施方式，其中：

图1示意性地描述了通过融合多普勒雷达的数据和基于立体相机的图像从场景流估计获得的数据来生成融合的运动图；

图2更详细地示出了来自多普勒雷达的处理后数据的对齐，以产生运动图；

图3更详细地示出了来自立体相机的处理后的数据的对齐，以生成运动图；

图4更详细地示出了融合从多普勒雷达的数据获得的运动图和从立体相机的数据获得的运动图以便获得融合的运动图的处理；

图5a示意性地示出了通过场景流分析(立体相机)看到的单次速度测量的不确定性；

图5b示意性地示出了由多普勒雷达看到的单次速度测量的不确定性；

图5c示出了通过融合多普勒雷达和立体相机的对齐数据而产生的融合运动图中的减小的速度测量不确定性；

图6示出了从多普勒雷达测量值导出的运动图的实例；

图7示出了基于立体相机捕获的图像从场景流测量值导出的运动图的实例；

图8示出了融合的运动图的实例，该融合运动图将多普勒雷达测量值导出的运动图与基于立体相机捕获的图像而从场景流测量值导出的运动图进行组合；