[发明专利]基于数据融合的高帧率视频生成方法及装置

说明书

本申请公开了一种基于数据融合的高帧率视频生成方法及装置，其中，方法包括：从事件相机获取低帧率的视频和事件数据；将视频中相邻图像帧进行两两组合，并计算期望得到所有中间帧的时间戳集合，进而截取从两个边界帧到期望中间帧的第一事件流和第二事件流，输入至预设的脉冲神经网络进行前向传播，得到第一事件流数据特征向量和第二事件流数据特征向量，并与相邻图像帧拼接，输入至预设的多模态融合网络进行前向传播，得到所有中间帧；基于所有中间帧，生成高帧率视频。由此，解决了相关技术中仅使用事件流作为数据输入，缺乏每个像素点的初始亮度值，仅依靠亮度变化记录估计亮度的稳定性较差，从而导致生成的图像质量较低的技术问题。

技术领域

本申请涉及计算机视觉及神经形态计算技术领域，特别涉及一种基于数据融合的高帧率视频生成方法及装置。

背景技术

事件相机是一种受生物启发的传感器，工作原理与传统的相机有很大的差别，与传统相机以固定帧率采集场景绝对光强不同，事件相机当且仅当场景光强变化时输出数据，这种输出的数据称为事件流。与传统相机相比，事件相机有着高动态范围、高时间分辨率、无动态模糊等优点。

相关技术中，视频生成方法使用事件相机作为传感器，利用纯事件流生成视频，将事件流通过堆叠的方式转换成为网格状张量表示，进而使用深度学习方法生成图像，相比于传统相机，事件相机可以获得极高的时间分辨率，并完整的记录场景内的运动信息。

然而，相关技术中仅使用事件流作为数据输入，且缺乏每个像素点的初始亮度值，仅依靠亮度变化记录估计亮度的稳定性较差，从而导致生成的图像质量较低，有待改善。

发明内容

本申请提供一种基于数据融合的高帧率视频生成方法及装置，以解决相关技术中仅使用事件流作为数据输入，且缺乏每个像素点的初始亮度值，仅依靠亮度变化记录估计亮度的稳定性较差，从而导致生成的图像质量较低的技术问题。

本申请第一方面实施例提供一种基于数据融合的高帧率视频生成方法，包括以下步骤：从事件相机获取低于预设帧率的视频和事件数据；将所述视频中相邻图像帧进行两两组合，生成多组相邻图像帧，并计算期望得到所有中间帧的时间戳集合；根据所述时间戳集合截取从两个边界帧到期望中间帧的第一事件流和第二事件流，并将所述第一事件流和第二事件流输入至预设的脉冲神经网络进行前向传播，得到第一事件流数据特征向量和第二事件流数据特征向量；拼接所述相邻图像帧、所述第一事件流数据特征向量和所述第二事件流数据特征向量，并输入至预设的多模态融合网络进行前向传播，得到所有中间帧；基于所述所有中间帧，生成高于第二预设帧率的高帧率视频。

可选地，在本申请的一个实施例中，在将所述第一事件流和第二事件流输入至所述预设的脉冲神经网络进行前向传播之前，还包括：基于Spike Response模型作为神经元动力学模型，构建所述脉冲神经网络。

可选地，在本申请的一个实施例中，所述多模态融合网络包含粗合成子网络和微调子网络，其中，所述粗合成子网络使用第一U-Net结构，输入层的输入通道数为64+2×k，输出层的输出通道数为k，且所述微调子网络使用第二U-Net结构，输入层的输入通道数为3×k，输出层的输出通道数为k，k为所述低于预设帧率的视频的图像帧的通道数。

可选地，在本申请的一个实施例中，所述所有中间帧的时间戳集合的计算公式为：

其中，N为输入低帧率视频的总帧数，n为期望帧率提升的倍数，t_j为输入低帧率视频第j帧的时间戳。

可选地，在本申请的一个实施例中，所述第一事件流和所述第二事件流的计算公式为：

其中，τⁱ_j,j+1为期望中间帧的时间戳，t_j和t_j+1为期望中间帧相邻输入低帧率视频帧的时间戳。