[发明专利]基于事件的视觉传感器的动态感兴趣区域（ROI）

说明书

一种基于事件的像素传感器系统采用感兴趣区域或不感兴趣区域，感兴趣区域和不感兴趣区域优选地是动态的，以隔离变化事件并减少来自不感兴趣事件的数据。

技术领域

本申请要求于2019年7月1日提交的美国临时申请号62/869,311在 35USC 119(e)下的权益，其全部内容通过引用结合于此。

背景技术

今天，机器视觉主要是基于传统相机及其相关的基于帧的空间分辨光学传感器。对于某些机器视觉任务，如目标识别，这些传统的基于帧的相机及其基于图像的光学传感器是非常适合的。然而，对于其他任务，如监视、跟踪或位置和运动估计，传统的图像传感器存在缺陷。

传统相机的主要缺点是产生大量冗余和不必要的数据，这些数据必须被捕获、传送和处理。这种高数据负载通过降低时间分辨率来减慢反应时间，导致功耗增加，并增加机器视觉系统的尺寸和成本。此外，大多数图像传感器存在动态范围有限、弱光性能差和运动模糊等问题。

另一方面，所谓的动态视觉传感器(DVS)克服基于帧的编码的局限性。参见Lichtsteiner等人的题为“用于检测时间依赖的图像数据的光阵列”的美国专利申请公开号US 2008/0135731，其通过引用并入本文。这些空间分辨光学传感器使用像素内数据压缩来消除数据冗余。它们还可以实现高时间分辨率、低延迟、低功耗和高动态范围，且运动模糊很小。因此， DVS型光学传感器非常适合于特别是太阳能或电池供电的压缩感测或移动机器视觉应用，在这些应用中必须估计系统的位置并且由于电池容量有限而处理能力有限。

DVS在本地对视觉信息进行预处理。DVS不生成清晰的图像，而是为计算机应用生成智能数据。传统的图像传感器将电影捕捉为一系列静止图像，而DVS只检测并传输场景中变化的位置。它编码视觉信息的效率比传统相机要高得多，因为它是通过像素内数据压缩来实现的。这意味着可以使用更少的资源、更低的净功率和更快的系统反应时间来处理数据。高时间分辨率允许连续跟踪视觉特征，从而克服对应问题。此外，DVS 的架构允许高动态范围和良好的弱光性能。

基于事件的视觉传感器(EVBS)通常是但并不总是原始DVS架构的变体。作为一般规则，EVBS的像素至少在它们的像素的部分中异步地操作而没有周期性采样率，并且一旦它们感知到亮度变化超过可调阈值，就发射所谓的DVS地址事件。在其他示例中，它们产生二值(或三值)图像。ON事件与亮度的增加超过阈值相关联；并且OFF事件与给定像素处亮度超过阈值的降低相关联。

发明内容

基于事件的视觉传感器允许处理效率，因为它们只传输关于场景变化的数据。因此，基于事件的视觉传感器特别擅长跟踪运动或变化的物体。然而，通常并不是场景的所有对象和其他特征都是有趣的/用于进一步处理的。本发明涉及避免无兴趣的场景特征数据的传输，以提高整个系统的性能和效率。

根据一个方面，本发明的传感器仅发送具有一个(或几个)动态感兴趣区域(dROI)内的地址的事件，该动态感兴趣区域小于基于总事件的像素阵列。dROI的位置通常将跟随活动(使用某种活动跟踪和/或对象跟踪算法)。通常，dROI的位置可以由控制器不时地控制/校准。该控制器可以与传感器位于同一芯片上、在片上系统中、在封装系统中、或者可以在单独的设备/组件中实现。此外，控制器可以实现为在处理器上执行的软件代码，或者可以在硬件中实现。可以通过诸如卡尔曼滤波的预测算法来更新 dROI的位置。并且，dROI的位置可以通过经常更新的简单算法和较不经常运行的较复杂算法的组合来控制。此外，dROI的大小往往会随着被跟踪对象位置不确定性的增加而增加。通常，dROI可以具有任意的形状和分辨率，并且可以是连续的、也可以不是连续的。

一般而言，本发明的特征在于基于事件的像素传感器系统，该系统采用感兴趣区域和/或不感兴趣区域，这些区域优选地是动态的，以隔离变化事件并减少来自不感兴趣事件的数据。