[发明专利]使用动态视觉传感器和图案投影的三维成像和感测

说明书

在一个具体实施中，提供了一种三维图像感测系统，所述三维图像感测系统包括至少一个处理器，所述至少一个处理器从图像传感器检测基于由与多个投影线图案相关联的电磁脉冲引起的反射且与所述图像传感器的一个或多个第一像素相对应的一个或多个第一事件。所述至少一个处理器还：从所述图像传感器检测基于所述反射且与所述图像传感器的一个或多个第二像素相对应的一个或多个第二事件；识别与所述一个或多个第二事件和所述一个或多个第一事件相对应的线；基于所识别的线计算所述一个或多个第一像素和所述一个或多个第二像素的三维射线；以及基于所述三维射线和平面方程计算针对所述一个或多个第一像素和所述一个或多个第二像素的三维图像点。

技术领域

本公开一般涉及图像感测和处理领域。更具体地而非限制地，本公开涉及用于三维成像和感测的计算机实现的系统和方法。另外，本公开还涉及使用基于事件的图像传感器进行的三维图像感测。本文所公开的图像传感器和技术可用于各种应用和视觉系统，诸如安全系统、自主车辆以及其他受益于快速且高效的三维感测和检测的系统。

背景技术

现存的三维图像感测系统包括那些产生场景深度图的系统。此类感测系统具有缺点，包括空间和/或时间分辨率低。此类三维图像感测系统还具有其他缺点，包括计算成本太高和/或具有其他处理限制。

例如，飞行时间相机系统通常直接测量深度。在此类相机中，使用激光投影仪发射调制信号，并通过测量发射信号与从所观察场景中对象的反射之间的时间移位来估计距离。根据具体实施，飞行时间系统通常每秒生成多达60张深度图像。然而，大多数飞行时间相机的空间分辨率低(例如，100,000像素或更低)。此外，激光投影仪的使用不允许在低功率应用中使用飞行时间相机，同时保持高范围和高空间分辨率。

立体相机是基于这样一种想法，即可以将一个视图中的点与另一视图中的点进行匹配。立体相机使用两个相机的相对位置来估计空间中点的三维位置。然而，立体相机通常具有有限的图像密度，因为只能测量来自纹理环境的检测点。此外，立体相机的计算成本很高，因此时间分辨率低，并且在低功率应用中的使用受到限制。

结构光相机的功能类似于立体相机，但使用图案投影仪代替第二相机。通过定义投影图案，结构光相机无需使用第二相机即可执行三角测量。结构光解决方案通常具有更高的空间分辨率(例如，高达300,000像素)。然而，结构光相机的计算成本很高和/或通常具有低时间分辨率(例如，大约30fps)。可增加时间分辨率，但以空间分辨率为代价。与飞行时间相机类似，结构光相机在低功率应用中的使用受限(例如，范围和空间分辨率受限)。

主动立体图像传感器组合了被动立体和结构光技术。具体地，投影仪投影图案，所述图案可被两个相机识别。这两个图像中的图案的匹配允许通过三角测量来估计匹配点处的深度。在图案不易解码的情况下(诸如室外环境、远程模式等)，主动立体可恢复为被动立体。因此，主动立体如结构光技术和立体技术存在时间分辨率低，并且在低功率应用中的使用受到限制。

已开发了一些集成了基于事件的相机的结构光系统。在这些系统中，激光束以给定频率投影单个闪烁点。然后，相机可检测由闪烁点引起的对比度变化，而基于事件的相机可以非常高的时间准确性检测到此类变化。检测给定激光频率下对比度的变化允许系统将闪烁点产生的事件与场景中的其他事件区分开来。在一些具体实施中，由两个相机检测投影点，并且使用三角测量重建与闪烁点相对应的点处的深度。在申请人Prophesee开发的其他系统中，投影仪可对投影到场景中的点脉冲中的图案或符号进行编码。然后，基于事件的图像传感器可检测从场景反射的相同图案或符号，并使用投影图案的位置和检测图案的位置进行三角测量，以确定场景中对应点的深度。

当在图像中的随机位置一次仅投影一个点时，时间分辨率会直接随所用点位置的数量而降低。此外，即使系统被实现为同时投影多个点，场景也可能需要稳定，直到整个时间码被解码。因此，这种方法可能无法重建动态场景。

发明内容