[发明专利]事件摄像机

说明书

成像设备充当事件摄像机。设备包括事件传感器和控制器。传感器包括多个光电二极管，这些光电二极管异步输出对应于局部区域内相对强度变化的数据值。控制器部分地基于从传感器异步接收的数据值和与第一时间周期内接收到的数据值相关联的光电二极管位置来填充事件矩阵。控制器部分地基于阈值强度值和与第一时间周期内接收到的数据值相关联的光电二极管来填充变化矩阵，并使用事件矩阵和变化矩阵来生成第一时间周期的图像。

背景

本公开总体上涉及成像系统，并且具体涉及事件摄像机(event camera)。

传统摄像机通过在特定时间周期内集成光线参数来进行操作。这种集成是同步的，并且需要大量数据的吞吐量，这反过来又导致操作摄像机需要大的功率和存储器。此外，图像中的许多像素是静态的，并且不会变化，或者在帧捕获之间仅稍微变化。因此，为这些不变的像素生成了大量不必要的数据。

概述

事件摄像机对局部区域中的对象进行成像。事件摄像机是包括事件传感器和控制器的成像设备。事件传感器包括多个光电二极管，并且被配置成在包括事件模式的一种或更多种模式下操作。在事件模式下操作的事件传感器异步输出对应于局部区域内相对强度变化的数据值。多个光电二极管中的每个相应光电二极管输出的数据值至少部分地基于与强度阈值相比较的、该光电二极管之前输出的值与该光电二极管捕获的强度值的差。控制器部分地基于从传感器异步接收的数据值和与第一时间周期内接收到的数据值相关联的光电二极管的位置来填充事件矩阵。控制器部分地基于阈值强度值和与第一时间周期内接收到的数据值相关联的光电二极管来填充变化矩阵，并使用事件矩阵和变化矩阵来生成第一时间周期的图像。在事件操作模式下，没有图像“帧”，相应地，事件传感器能够以比例如传统成像传感器快得多的速率输出数据，传统成像传感器用同步方式、以图像帧的形式读出对于其传感器中的每个光电二极管的比特值。

在一些实施例中，成像设备还可以在常规模式下操作，并生成常规图像帧。成像设备可以使用常规图像帧来促进使用在事件模式下生成的图像数据生成图像。

事件摄像机可以是，例如，头戴式显示器(HMD)、手机、机器视觉系统、眼睛跟踪系统、深度摄像机组件等的一部分。在一些实施例中，事件摄像机可以是虚拟现实(VR)系统、增强现实(AR)系统、混合现实(MR)系统或它们的某种组合中的HMD的一部分。

在涉及成像设备和存储介质的所附权利要求中具体公开了根据本发明的实施例，其中，在一个权利要求类别(例如成像设备)中提到的任何特征也可以在另一个权利要求类别(例如存储介质、系统和计算机程序产品)中被要求保护。在所附权利要求中的从属性或往回引用仅为了形式原因而被选择。然而，也可以要求保护由对任何前面权利要求的有意往回引用(特别是多项引用)而产生的任何主题，使得权利要求及其特征的任何组合被公开并可被要求保护，而不考虑在所附权利要求中选择的从属性。可以被要求保护的主题不仅包括如在所附权利要求中阐述的特征的组合，而且还包括在权利要求中的特征的任何其他组合，其中，在权利要求中提到的每个特征可以与在权利要求中的任何其他特征或其他特征的组合相结合。此外，本文描述或描绘的实施例和特征中的任一个可以在单独的权利要求中和/或以与本文描述或描绘的任何实施例或特征的任何组合或以与所附权利要求的任何特征的任何组合被要求保护。

在根据本发明的实施例中，成像设备可以包括：

包括多个光电二极管的事件传感器，该事件传感器被配置成在多种模式中的一种模式下操作，该多种模式包括使得多个光电二极管异步输出数据值的事件模式，并且由多个光电二极管中的每个相应光电二极管输出的数据值至少部分地基于与强度阈值相比较的、该光电二极管之前输出的值与该光电二极管所捕获的强度值的差；以及

控制器，其被配置成：

部分地基于从传感器异步接收的数据值和与第一时间周期内接收到的数据值相关联的光电二极管的位置来填充事件矩阵，

部分地基于阈值强度值和与第一时间周期内接收到的数据值相关联的光电二极管来填充变化矩阵，以及