[发明专利]使用事件相机生成静态图像

说明书

根据一些实施方案，在具有处理器和非暂态存储器的图像处理设备处执行一种方法。该方法包括在第一发射持续时间内触发具有作为时间的函数的表征强度的光发射。该方法还包括：对应于第一发射持续时间内的光发射的反射，从事件相机获取相应像素事件，每个相应像素事件对应于越过指示亮度水平的相应比较器阈值，每个相应像素事件通过相应电阈值和越过相应电阈值的时间戳来表征。该方法还包括：通过确定来自相应像素事件的多个亮度估计值来生成静态图像，其中多个亮度估计值分别对应于由事件相机的各部分接收的反射光的量。

相关申请的交叉引用

本专利申请要求2017年9月28日提交的美国临时专利申请62/564,823的优先权，该专利申请据此全文以引用方式并入本文。

技术领域

本公开整体涉及数字图像处理领域，并且更具体地，涉及利用事件相机生成静态图像。

背景技术

传统相机使用时钟图像传感器从场景采集视觉信息。此类方法在一定的帧率下被时间量化。所记录的每帧数据通常以某种方式进行后期处理。在许多传统相机中，每帧数据都承载来自所有像素的信息。承载来自所有像素的信息常常会导致冗余，而冗余通常随着场景中动态内容的量的增加而增加。随着图像传感器利用更高的空间和/或时间分辨率，帧中包括的数据量将很有可能增加。具有更多数据的帧通常需要容量增大的附加硬件，这会增加复杂性、成本和/或功率消耗。当在电池供电的移动设备处执行后期处理时，对具有显著更多数据的帧进行后期处理所消耗的移动设备电池电量通常要快得多。

发明内容

本公开利用事件相机传感器(下文为简洁起见简称“事件相机”)来生成静态图像。在一些实施方案中，事件相机响应于检测到其视场的变化而生成事件图像数据。在一些实施方案中，事件相机指示各个像素的变化。例如，事件相机的输出包括像素级亮度变化(例如，而非标准强度帧)。在一些实施方案中，事件相机的输出生成是受事件控制的。因此，事件相机响应于检测到其视场的变化而输出数据。例如，事件相机响应于检测到处于事件相机的视场中的场景的变化而输出数据。在一些实施方案中，事件相机包括像素事件传感器，该像素事件传感器检测各个像素的变化，从而允许各个像素自主地操作。不登记其强度变化的像素不产生数据。因此，对应于静态对象(例如，不移动的对象)的像素不会触发像素事件传感器的输出，而对应于可变对象(例如，正在移动的对象)的像素触发像素事件传感器的输出。换句话讲，由像素事件传感器提供的数据流指示对应于移动对象的像素。与响应于检测到均一化表面或无运动背景而输出灰度级信息的传统相机不同，当视场包括均一化表面或无运动背景时，事件相机不产生数据。

本公开提供利用事件相机生成高分辨率静态图像的系统、设备和/或方法。根据一些实施方案，本文所述的系统和方法触发受控光源(例如，闪光灯或频闪闪光灯)以发射光。光的反射由事件相机接收，并且输出带时间戳的像素事件。像素事件被发送至亮度估计器，该亮度估计器通过将带时间戳的像素事件拟合到对应于受控光源的表征的曲线来生成多个亮度估计值。然后通过布置多个亮度估计值来形成静态图像。因此，根据本文所述的实施方案的系统和方法有效地增加了由事件相机产生的静态图像的分辨率。

根据一些实施方案，一种设备包括闪光灯控制器、事件相机和图像处理器。闪光灯控制器可连接到可控光源，以向可控光源提供控制信号，从而驱动可控光源在第一发射持续时间内根据控制信号来发射光。事件相机具有多个像素元件，该多个像素元件被布置成接收由可控光源在第一发射持续时间内发射的光的反射。在一些实施方案中，多个像素元件中的每一个响应于越过指示亮度水平的比较器阈值而输出相应像素事件。在一些实施方案中，每个事件通过相应电阈值和越过相应电阈值的时间戳来表征。然后，图像处理器通过从事件相机接收的相应像素事件生成静态图像。在一些实施方案中，图像处理器包括亮度估计器以从相应像素事件生成多个亮度估计值，其中相应像素事件分别对应于由对应的多个像素元件接收的反射光的量，并且静态图像包括多个亮度估计值的对应布置。