[发明专利]用于智能监视和入侵者检测的EBS/TOF/RGB相机

说明书

提出一种具有多个传感器或传感器功能件的传感器系统。传感器能够包括事件检测传感器、飞行时间传感器和成像传感器。不同的传感器能够实现在同一或不同的基板上。因此，具有不同或共用功能的像素的传感器能够被包括在传感器系统中。在工作中，来自事件检测传感器的事件检测信号使飞行时间传感器的操作启动。响应于飞行时间传感器检测到物体在临界范围内，成像传感器被激活。图像感测像素和事件检测像素能够被设置为不同像素阵列的一部分，或能够被包括在共同像素阵列内。

技术领域

本发明涉及具有基于事件的传感器性能、飞行时间传感器性能和图像传感器性能的相机，且涉及对相机的工作模式的控制。

背景技术

在相关技术中，与诸如垂直同步信号等同步信号同步地拍摄图像数据的同步型固态成像装置已被用于成像装置等中。在典型的同步型固态成像装置中，需要以高的帧速率工作，以准确获取高速移动的物体。然而，从成像装置读出所有成像元件所需的时间将限制成像装置能够工作的最高帧速率。这继而又会限制成像装置拍摄快速移动物体的能力。因此，难以应对需要相对高速和低延迟处理的情况，诸如在需要高速(例如，实时)处理的领域，例如自动驾驶汽车、机器人技术等。对此，提出了一种非同步型固态成像装置，其中，为每个像素设置检测电路以实时检测作为地址事件的光接收量的变化超过阈值的情况。为每个像素检测地址事件的非同步型固态成像装置也称为基于事件的传感器(EBS)。

已开发了飞行时间(ToF)传感器来确定从相机到物体的距离。在典型的实施方式中，输出选定波长或波长范围的光的光源以及可选的光带通或长通滤波器被包括作为传感器系统的一部分。从光源输出光，在相机视场内的物体反射，然后返回到传感器所需的时间能够用于计算到物体的距离。然而，飞行时间传感器的运行的耗电量相对较大。

具有获得场景的灰度图像或彩色图像的图像传感器的相机是众所周知的。尽管此类图像传感器与飞行时间传感器相比耗电量相似或更低，但是它们通常比EBS传感器耗电量高。此外，图像传感器通常以预定的帧速率工作，因此，无法提供EBS传感器可提供的高速和低延迟响应。

能够提供结合了EBS和基于常规帧成像的相机。在这样的系统中，使用相机的EBS功能的事件检测能够用作启动相机的成像功能的操作的触发器。然而，由于没有考虑物体与相机的距离，因此此类系统导致相机的数据传输和物体跟踪的效率低下。

发明内容

本发明要解决的技术问题

一种结合了EBS和基于常规帧成像的相机(其中成像功能的操作响应于相机选定范围内的事件检测和物体检测而被触发)能够克服单独使用常规成像型装置时或与EBS传感器结合地使用常规成像装置时的某些限制，以在提供高效工作的同时可靠地检测事件。然而，这样的系统继续受到各种缺陷的影响，特别是在某些工作场景中。例如，在不验证物体是否实际存在或物体在相机视场内的距离的情况下就响应于EBS传感器检测到的事件而激活成像传感器的整个区域，这可能会导致数据传输和处理效率低下。例如，相机可能检测移动的火车。如果移动的火车离相机太远，它可能不用被关注。此外，激活成像传感器的整个区域会导致提高耗电量效率。尽管可以使用能够确定与物体的距离的ToF传感器，但是此类传感器尚未与其他传感器有效集成以提供有效的监视或入侵者检测系统。

因此，本发明提出能够提供成像功能、物体接近检测功能和事件检测功能的相机、传感器系统、装置和方法，它们相比于其他构造具有改进的图像传感器效率和效果。

技术问题的解决方案