[发明专利]一种高分辨率动态视觉观测方法及装置

说明书

本发明公开了一种高分辨率动态视觉观测方法，包括：步骤1、获取低分辨率事件流数据，从事件相机获取低空间分辨率的事件流数据；步骤2、进行数据预处理，根据输入低分辨率事件数据的空间分辨率尺寸和期望得到高分辨率事件数据的空间分辨率尺寸，计算得到所需要提升分辨率的倍数；步骤3、构建脉冲神经网络，使用Spike Response模型作为神经元动力学模型，构建全连接脉冲神经网络；步骤4、完成高分辨率时空脉冲信号计算；步骤5、进行数据后处理，实现高分辨率动态视觉观测。本方法可以从低分辨率的稀疏事件数据获得更高空间分辨率的事件数据，实现高分辨率动态视觉观测的效果。

技术领域

本发明涉及计算机视觉及神经形态计算领域，尤其涉及一种高分辨率动态视觉观测方法及装置。

背景技术

事件相机是一种受生物启发的传感器，工作原理与传统的相机有很大的差别。与传统相机以固定帧率采集场景绝对光强不同，这种相机当且仅当场景光强变化时输出数据，这种输出的数据称为事件流。与传统相机相比，事件相机有着高动态范围、高时间分辨率、无动态模糊等优点。

事件相机作为一种新型视觉传感器，其输出数据的形式与传统相机完全不同，无法直接应用传统相机及图像的各种算法。传统相机以固定速率(即帧率)采集场景的光强值，并以固定速率输出为图片数据。事件相机则没有帧率的概念，其每个像素点异步工作，当检测到光强变化时输出一条事件。每条事件为一个四元组(x,y,t,p)，包含像素横纵坐标(x,y)、时间戳t和事件极性p(其中，p＝-1表示该像素点光强减小，p＝1表示该像素点光强增大)。所有像素点输出的事件数据汇总起来，形成由一条条事件组成的事件列表，作为相机输出的事件流数据。一个长度为20秒传统相机获得的视频数据，和与之对应的事件相机输出的事件流数据的实例如图1所示。因此，传统相机及传统图像处理领域中适用的各种算法及方法，均无法直接使用于事件相机及事件数据。

脉冲神经网络是第三代人工神经网络，它把时间信息的影响也考虑其中。脉冲神经网络中的神经元不是在每一次迭代传播中都被激活，而是在它的膜电位达到某一个特定值才被激活。当一个神经元被激活，它会产生一个信号传递给其他神经元，提高或降低其膜电位。脉冲神经网络模拟神经元更加接近实际，更加适用于处理时序脉冲信号。

相比于传统相机，事件相机可以获得极高的时间分辨率，但由于事件相机受限于功率及响应时间等因素，空间分辨率较低，空间分辨率与事件分辨率形成一对矛盾。如何提升事件流数据的空间分辨率，实现高分辨率动态观测是亟待解决的问题。现有方法采用非齐次泊松过程建模每个像素点的事件触发的过程，利用每个像素点周围8个像素点的事件数预估该像素点的事件数。这种方法仅考虑每个像素点周围的信息，缺乏对于场景整体动态信息的使用。同时，对于每个像素点的非齐次泊松过程建模较为耗费时间，效率极低。

发明内容

为解决现有事件相机空间分辨率低的问题，本发明提供了一种高分辨率动态视觉观测方法及装置，可以在现有事件相机所获取的低空间分辨率事件数据的基础上得到更高空间高分辨率的事件数据。

本发明的技术方案是提供了一种高分辨率动态视觉观测方法，包括如下步骤：

步骤1、获取低分辨率事件流数据，从事件相机获取低空间分辨率的事件流数据；

步骤2、进行数据预处理，根据输入低分辨率事件数据的空间分辨率尺寸和期望得到高分辨率事件数据的空间分辨率尺寸，计算得到所需要提升分辨率的倍数；将输入低分辨率事件流数据中每个事件的空间坐标与需要提升分辨率的倍数相乘，得到空间稀疏的事件流数据ε′；将稀疏的事件流数据根据空间坐标、极性及时间戳信息编码为对应的二进制四维张量V，再重排成平面二维张量V′，两个维度分别对应空间及时间维度；

步骤3、构建脉冲神经网络，使用Spike Response模型作为神经元动力学模型，构建全连接脉冲神经网络；