[发明专利]光流信息预测方法、装置、电子设备和存储介质

权利要求书

1.一种光流信息预测方法，其特征在于，包括：

获取动态视觉感受器DVS脉冲信号；

使用脉冲神经网络SNN提取所述DVS脉冲信号的特征信息；

使用所述SNN预测所述特征信息的第一光流信息。

2.如权利要求1所述的方法，其特征在于，所述使用所述SNN预测所述特征信息的第一光流信息之后，所述方法还包括：

使用两个神经元对目标像素的第一光流信息进行编码，以得到第一神经元和第二神经元编码的信息，其中，所述第一神经元用于表示所述目标像素的光流方向，所述第二神经元用于表示所述目标像素的光流强度，所述目标像素为所述DVS脉冲信号对应的任一像素。

3.如权利要求1所述的方法，其特征在于，所述使用SNN提取所述DVS脉冲信号的特征信息，包括：

将所述DVS脉冲信号输入至所述SNN，并根据输入的脉冲信号更新神经元信息，提取所述神经元信息的特征信息。

4.如权利要求3所述的方法，其特征在于，所述将所述DVS脉冲信号输入至所述SNN，并根据输入的脉冲信号更新神经元信息，提取所述神经元信息的特征信息，包括：

通过前馈连接将所述DVS脉冲信号输入至所述SNN，并根据输入的脉冲信号以泄漏积分发放LIF方式更新神经元信息，提取所述神经元信息的特征信息。

5.如权利要求1所述的方法，其特征在于，所述SNN包括多个卷积层，所述使用SNN提取所述DVS脉冲信号的特征信息，包括：

使用所述多个卷积层提取所述DVS脉冲信号的特征信息，其中，相邻两个卷积层中后一个卷积层的输入包括前一个卷积层的输出。

6.如权利要求5所述的方法，其特征在于，所述SNN包括多个反卷积层，所述使用所述SNN预测所述特征信息的第一光流信息，包括：

使用所述多个反卷积层预测所述特征信息的第一光流信息，其中，相邻两个反卷积层中后一个反卷积层的输入包括前一个反卷积层的预测结果。

7.如权利要求1至6中任一项所述的方法，其特征在于，所述获取DVS脉冲信号，包括：

获取相机输出的DVS脉冲信号和激活像素感受器APS信号；

所述方法还包括：

使用模拟神经网络ANN预测所述APS信号的第二光流信息。

8.一种光流信息预测装置，其特征在于，包括：

获取模块，用于获取动态视觉感受器DVS脉冲信号；

提取模块，用于使用脉冲神经网络SNN提取所述DVS脉冲信号的特征信息；

第一预测模块，用于使用所述SNN预测所述特征信息的第一光流信息。

9.一种电子设备，其特征在于，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的程序或者指令，所述程序或者指令被所述处理器执行时实现如权利要求1至8中任一项所述的光流信息预测方法中的步骤。

10.一种可读存储介质，其特征在于，所述可读存储介质上存储有程序或指令，所述程序或指令被处理器执行时实现如权利要求1至8中任一项所述的光流信息预测方法中的步骤。