[发明专利]基于事件及视频融合的去遮挡成像方法及装置

说明书

本申请公开了一种基于事件及视频融合的去遮挡成像方法及装置，其中，方法包括：在遮挡环境系下，从事件相机获取遮挡环境下的事件流数据和视频数据，将视频数据均分为第一至第三子视频数据，且分别取出每段子视频数据的中间帧图像，得到第一至第三图像；将事件流数据输入至预设的脉冲神经网络进行前向传播，得到事件流数据特征向量，并与第一至第三图像组合，输入至预设的去遮挡成像网络进行前向传播，得到去遮挡成像结果。由此，解决了相关技术中仅能从纯视频或者纯事件流生成去遮挡的观测图像，在遮挡场景下，输入数据的信噪比极低，且缺少每个像素点的初始亮度值，仅依靠亮度变化记录进行亮度估计，导致生成的图像质量较差，难以满足成像要求的技术问题。

技术领域

本申请涉及计算机视觉及神经形态计算技术领域，特别涉及一种基于事件及视频融合的去遮挡成像方法及装置。

背景技术

通常，在场景内存在遮挡物的情况下，难以对遮挡物背后的场景进行观测，使用传统相机记录被遮挡的场景，难以获取有效的场景信息。

相关技术仅能使用纯视频或者纯事件流生成去遮挡的观测图像：

一、使用纯视频生成去遮挡的观测图像的方法，由于输入的包含遮挡的视频帧信噪比极低，难以提供有效的被遮挡场景的视觉信息；

二、使用纯事件流作为生成去遮挡的观测图像的方法，使用事件流提供每个像素点的亮度变化记录，但由于缺乏每个像素点的初始亮度值，仅依靠亮度变化记录进行亮度估计是一种欠定问题，也导致生成的图像质量较差。

综上所述，相关技术中输入数据的信噪比极低，且缺少每个像素点的初始亮度值，仅依靠亮度变化记录进行亮度估计，从而导致生成的图像质量较差，难以满足成像要求，降低使用体验，有待改善。

发明内容

本申请提供一种基于事件及视频融合的去遮挡成像方法及装置，以解决相关技术中仅能从纯视频或者纯事件流生成去遮挡的观测图像，在遮挡场景下，输入数据的信噪比极低，且缺少每个像素点的初始亮度值，仅依靠亮度变化记录进行亮度估计，导致生成的图像质量较差的技术问题。

本申请第一方面实施例提供一种基于事件及视频融合的去遮挡成像方法，包括以下步骤：在遮挡环境系下，从事件相机获取遮挡环境下的事件流数据和视频数据；基于时间，将所述视频数据均分为第一至第三子视频数据，且分别取出每段子视频数据的中间帧图像，得到第一至第三图像；将所述事件流数据输入至预设的脉冲神经网络进行前向传播，得到事件流数据特征向量；以及将所述事件流数据特征向量和所述第一至第三图像组合，并输入至预设的去遮挡成像网络进行前向传播，得到去遮挡成像结果。

可选地，在本申请的一个实施例中，在将所述事件流数据输入至所述预设的脉冲神经网络进行前向传播之前，还包括：使用Spike Response模型作为神经元动力学模型，构建所述脉冲神经网络。

可选地，在本申请的一个实施例中，所述去遮挡成像网络使用U-Net结构，输入层的输入通道数为32+3k，且输出层的输出通道数为k，其中，k为所述视频数据的图像帧的通道数。

可选地，在本申请的一个实施例中，所述第一至第三图像的位于时刻的计算公式为：

其中，T为完整事件流ε的持续时间长度。

本申请第二方面实施例提供一种基于事件及视频融合的去遮挡成像装置，包括：第一获取模块，用于在遮挡环境系下，从事件相机获取遮挡环境下的事件流数据和视频数据；分流模块，用于基于时间，将所述视频数据均分为第一至第三子视频数据，且分别取出每段子视频数据的中间帧图像，得到第一至第三图像；第二获取模块，用于将所述事件流数据输入至预设的脉冲神经网络进行前向传播，得到事件流数据特征向量；以及成像模块，用于将所述事件流数据特征向量和所述第一至第三图像组合，并输入至预设的去遮挡成像网络进行前向传播，得到去遮挡成像结果。