[发明专利]光流信息预测方法、装置、电子设备和存储介质

说明书

本发明提供一种光流信息预测方法、装置、电子设备和存储介质，该方法包括：获取DVS脉冲信号；使用SNN提取所述DVS脉冲信号的特征信息；使用所述SNN预测所述特征信息的第一光流信息。本发明可以提高光流信息的时间分辨率。

技术领域

本发明涉及图像处理技术领域，尤其涉及一种光流信息预测方法、装置、电子设备和存储介质。

背景技术

光流信息预测是指利用相机采集的图像信号，预测图像中像素点对应的物体的运动。在图像处理、物体分割、运动探测、导航等领域中发挥着重要作用。目前光流信息预测主要是利用图像信号的模拟放电率信号来预测光流信息，这样导致预测的光流信息的时间分辨率比较低。

发明内容

本发明实施例提供一种光流信息预测方法、装置、电子设备和存储介质，以解决预测的光流信息的时间分辨率比较低的问题。

第一方面，本发明实施例提供一种光流信息预测方法，包括：

获取动态视觉感受器(Dynamic Vision Sensor，DVS)脉冲信号；

使用脉冲神经网络(Spiking Neural Network，SNN)提取所述DVS脉冲信号的特征信息；

使用所述SNN预测所述特征信息的第一光流信息。

所述使用所述SNN预测所述特征信息的第一光流信息之后，所述方法还包括：

使用两个神经元对目标像素的第一光流信息进行编码，以得到第一神经元和第二神经元编码的信息，其中，所述第一神经元用于表示所述目标像素的光流方向，所述第二神经元用于表示所述目标像素的光流强度，所述目标像素为所述DVS脉冲信号对应的任一像素。

可选地，所述第一神经元表示的所述光流方向与放电时间之间存在第一对应关系，所述第二神经元表示的所述光流强度与所述放电时间之间存在第二对应关系，其中，所述放电时间为所述目标像素的光流信息的输出时间。

可选地，所述使用SNN提取所述DVS脉冲信号的特征信息，包括：

将所述DVS脉冲信号输入至所述SNN，并根据输入的脉冲信号更新神经元信息，提取所述神经元信息的特征信息。

可选地，所述将所述DVS脉冲信号输入至所述SNN，并根据输入的脉冲信号更新神经元信息，提取所述神经元信息的特征信息，包括：

通过前馈连接将所述DVS脉冲信号输入至所述SNN，并根据输入的脉冲信号以泄漏积分发放LIF方式更新神经元信息，提取所述神经元信息的特征信息。

可选地，所述SNN包括多个卷积层，所述使用SNN提取所述DVS脉冲信号的特征信息，包括：

使用所述多个卷积层提取所述DVS脉冲信号的特征信息，其中，相邻两个卷积层中后一个卷积层的输入包括前一个卷积层的输出。

可选地，所述SNN包括多个反卷积层，所述使用所述SNN预测所述特征信息的第一光流信息，包括：

使用所述多个反卷积层预测所述特征信息的第一光流信息，其中，相邻两个反卷积层中后一个反卷积层的输入包括前一个反卷积层的预测结果。

可选地，相邻两个反卷积层中前一个反卷积层的采样结果插入到后一个反卷积层的预测结果中，其中，所述采样结果为对所述前一个反卷积层的预测结果进行采样得到的结果。

可选地，所述多个反卷积层至少一个反卷积层的输入还包括卷积层传递的特征信息。