[发明专利]基于事件的空间变换

说明书

相关申请的交叉引用

本申请根据35U.S.C.§119(e)要求于2014年9月16日提交的题为“EVENT BASED SPATIAL TRANSFORMATION(基于事件的空间变换)”的美国临时专利申请号62/051,187的权益，其公开通过引用整体明确地纳入于此。

背景

领域

本公开的某些方面一般涉及神经系统工程，尤其涉及用于基于事件的下采样的系统和方法。

背景技术

机器视觉使得机器能够看见和感知。在常规系统中，传感器(诸如摄像机)被用于机器视觉。摄像机可被称为基于帧的视觉传感器，因为摄像机从光敏元件的二维阵列周期性地采样视觉数据。相反，人类视网膜是基于事件的视觉传感器的示例。也就是说，视网膜中的个体神经元对视场的一部分是灵敏的以使得在视场的该部分存在变化时，每个神经元向大脑发送信号。与常规的基于帧的摄像机不同，不存在对视网膜中的所有神经元的周期性采样。相反，每当存在瞬态视觉事件时，视觉数据就由视网膜传送。

与视网膜类似，动态视觉传感器(DVS)包括检测和传送视觉事件的光敏元件阵列。当视觉场景的一部分处的亮度存在变化时，动态视觉传感器的个体光敏元件传送信号。作为示例，事件驱动的对象检测系统可使用动态视觉传感器来检测移动的对象(诸如面部或汽车)，并且基于先前训练来实时地对检测到的对象进行分类。

在一些情形中，基于事件的采样被指定成提高时间灵敏度。也就是说，基于帧的传感器可被限于以基于帧的传感器能藉以读取图像数据帧的速度为基础来采样视觉信息。相反，动态视觉传感器内的光敏元件可基于该光敏元件能藉以检测视场的一部分的变化的速度来采样视觉信息。除了提高的时间灵敏度以外，光敏元件与基于帧的传感器相比可平均上消耗更少的功率，因为光敏元件在视觉场景不存在变化时保持不活跃。

尽管如此，提高的时间灵敏度和更低的功耗尚未在常规的基于事件的视觉系统中完全实现。具体地，用于基于事件的传感器输出的已知处理技术的数目小于用于基于帧的视觉传感器的机器视觉技术的数目。为基于帧的传感器开发的常用技术包括高效下采样、亚采样、内插、快速傅里叶变换、以及基于神经网络的对象分类。

在一些情形中，为了改进已为基于帧的机器视觉系统开发出的技术，动态视觉传感器的输出可被用于周期性地重构图像帧。此外，常规图像处理技术可被应用于结果所得的帧。然而，向图像帧的转换可能降低基于事件的视觉系统的性能。由此，将基于帧的技术转换成基于事件的系统而不降低基于事件的传感器的性能是合乎期望的。

概述

在本公开的一个方面，公开了一种计算空间傅里叶变换以用于基于事件的系统的方法。该方法包括从传感器接收包括一个或多个事件的异步事件输出流。该方法还包括基于传感器的维度来计算离散傅里叶变换(DFT)矩阵。该方法进一步包括基于DFT矩阵来计算输出。该方法再进一步包括将输出应用于事件处理器。

本公开的另一方面涉及一种包括用于从传感器接收包括一个或多个事件的异步事件输出流的装置的设备。该设备还包括用于基于传感器的维度来计算DFT矩阵的装置。该设备进一步包括用于基于DFT矩阵来计算输出的装置。该设备再进一步包括用于将输出应用于事件处理器的装置。

在本公开的另一方面，公开了一种其上记录有非瞬态程序代码的非瞬态计算机可读介质。用于计算空间傅里叶变换以用于基于事件的系统的该程序代码由处理器执行并且包括用于从传感器接收包括一个或多个事件的异步事件输出流的程序代码。该程序代码还包括用于基于传感器的维度来计算DFT矩阵的程序代码。该程序代码进一步包括用于基于DFT矩阵来计算输出的程序代码。该程序代码再进一步包括用于将输出应用于事件处理器的程序代码。

本公开的另一方面涉及一种用于计算空间傅里叶变换以用于基于事件的系统的装置。该装置具有存储器以及耦合至该存储器的一个或多个处理器。该(诸)处理器被配置成从传感器接收包括一个或多个事件的异步事件输出流。该(诸)处理器还被配置成基于传感器的维度来计算DFT矩阵。该(诸)处理器被进一步配置成基于DFT矩阵来计算输出。该(诸)处理器被再进一步配置成将输出应用于事件处理器。