[发明专利]一种高分辨率动态视觉观测方法及装置

权利要求书

1.一种高分辨率动态视觉观测方法，其特征在于：包括如下步骤：

步骤1、获取低分辨率事件流数据，从事件相机获取低空间分辨率的事件流数据；

步骤2、进行数据预处理，根据输入低分辨率事件数据的空间分辨率尺寸和期望得到高分辨率事件数据的空间分辨率尺寸，计算得到所需要提升分辨率的倍数；将输入低分辨率事件流数据中每个事件的空间坐标与需要提升分辨率的倍数相乘，得到空间稀疏的事件流数据ε′；将稀疏的事件流数据根据空间坐标、极性及时间戳信息编码为对应的二进制四维张量V，再重排成平面二维张量V′，两个维度分别对应空间及时间维度；

步骤3、构建脉冲神经网络，使用Spike Response模型作为神经元动力学模型，构建全连接脉冲神经网络；

步骤4、完成高分辨率时空脉冲信号计算，将步骤2得到的稀疏的时空脉冲信号使用步骤3得到的全连接脉冲神经网络进行前向传播，得到高分辨率的稠密时空脉冲信号；

步骤5、进行数据后处理，统计步骤4得到的稠密时空脉冲信号中，触发脉冲的空间坐标及时间戳，并恢复为高分辨率事件流数据ε_h，实现高分辨率动态视觉观测。

2.如权利要求1所述的高分辨率动态视觉观测方法，其特征在于，步骤2中，空间稀疏的事件流数据ε′采用如下算法获得：

x′_i＝x_i·k,y′_i＝y_i·k

其中，W_h和H_h分别为期望得到高分辨率事件数据的宽和高，W_l和H_l分别为输入低分辨率事件数据的宽和高，k为所需要提升分辨率的倍数，x_i与y_i分别为输入低分辨率事件流中第i个事件的空间横坐标和纵坐标，t_i为输入低分辨率事件流中第i个事件的时间戳，p_i为输入低分辨率事件流中第i个事件的极性，x′_i为所述空间稀疏事件流中第i个事件的横坐标，y′_i为所述空间稀疏事件流中第i个事件的纵坐标。

3.如权利要求2所述的高分辨率动态视觉观测方法，其特征在于，步骤2中，二进制四维张量V及平面二维张量V′采用如下算法获得：

其中，δ(·)为单位脉冲函数。

4.如权利要求2所述的高分辨率动态视觉观测方法，其特征在于，步骤3中，所述全连接脉冲神经网络包含输入层、输出层和三个隐藏层，输入层与输出层的神经元个数均为2×W_h×H_h，三个隐藏层的神经元个数依次为2048、1024和2048。

5.如权利要求2所述的高分辨率动态视觉观测方法，其特征在于，步骤5中，高分辨率事件流数据ε_h采用如下算法获得：

s.t.V_out(x^h_i+y^h_i×W_h+p^h_i×H_h×W_h,t^h_i)＝1

其中，V_out为步骤4得到的稠密时空脉冲信号，x^h_i为高分辨率事件流数据中第i个事件的横坐标，y^h_i为高分辨率事件流数据中第i个事件的纵坐标，t^h_i为高分辨率事件流数据中第i个事件的时间戳，p^h_i为高分辨率事件流数据中第i个事件的极性。