[发明专利]基于事件及视频融合的去遮挡3D成像方法及装置

权利要求书

1.一种基于事件及视频融合的去遮挡3D成像方法，其特征在于，包括以下步骤：

在遮挡环境系下，从事件相机获取遮挡环境下的事件流数据和视频数据；

基于时间，将所述事件流数据均分为第一至第三子事件流数据，并将所述视频数据均分为第一至第三子视频数据，且分别取出每段子视频数据的第一帧图像，得到第一至第三图像；

将所述第一至第三子事件流数据均输入至预设的脉冲神经网络进行前向传播，得到第一至第三事件流数据特征向量；

分别将所述第一至第三事件流数据特征向量和所述第一至第三图像组合，并输入至预设的2D去遮挡成像网络进行前向传播，得到一至第三2D去遮挡成像结果；

拼接所述第一至第三2D去遮挡成像结果，并利用预设的3D深度估计网络进行前向传播，得到3D深度图。

2.根据权利要求1所述的方法，其特征在于，在将所述第一至第三子事件流数据均输入至所述预设的脉冲神经网络进行前向传播之前，还包括：

使用Spike Response模型作为神经元动力学模型，构建所述脉冲神经网络。

3.根据权利要求1所述的方法，其特征在于，所述2D去遮挡成像网络使用第一U-Net结构，输入层的输入通道数为32+k，且输出层的输出通道数为k，其中，k为所述视频数据的图像帧的通道数。

4.根据权利要求3所述的方法，其特征在于，所述3D深度估计网络使用第二U-Net结构，输入层的输入通道数为3×k，且输出层的输出通道数为1。

5.根据权利要求1-4任一项所述的方法，其特征在于，所述第一至第三子事件流数据的计算公式为：

其中，(x，y，t，p)为每条事件的一个四元组，(x，y)为像素横纵坐标、t为时间戳，p为事件极性，T为完整事件流ε的持续时间长度。

6.一种基于事件及视频融合的去遮挡3D成像装置，其特征在于，包括：

第一获取模块，用于在遮挡环境系下，从事件相机获取遮挡环境下的事件流数据和视频数据；

分流模块，用于基于时间，将所述事件流数据均分为第一至第三子事件流数据，并将所述视频数据均分为第一至第三子视频数据，且分别取出每段子视频数据的第一帧图像，得到第一至第三图像；

第二获取模块，用于将所述第一至第三子事件流数据均输入至预设的脉冲神经网络进行前向传播，得到第一至第三事件流数据特征向量；

成像模块，用于分别将所述第一至第三事件流数据特征向量和所述第一至第三图像组合，并输入至预设的2D去遮挡成像网络进行前向传播，得到一至第三2D去遮挡成像结果；

拼接模块，用于拼接所述第一至第三2D去遮挡成像结果，并利用预设的3D深度估计网络进行前向传播，得到3D深度图。

7.根据权利要求6所述的装置，其特征在于，还包括：

构建模块，用于使用Spike Response模型作为神经元动力学模型，构建所述脉冲神经网络。

8.根据权利要求6-7任一项所述的装置，其特征在于，所述第一至第三子事件流数据的计算公式为：

其中，(x，y，t，p)为每条事件的一个四元组，(x，y)为像素横纵坐标、t为时间戳，p为事件极性，T为完整事件流ε的持续时间长度。

9.一种电子设备，其特征在于，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述程序，以实现如权利要求1-5任一项所述的基于事件及视频融合的去遮挡3D成像方法。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行，以用于实现如权利要求1-5任一项所述的基于事件及视频融合的去遮挡3D成像方法。