[发明专利]基于数据融合的高帧率视频生成方法及装置

摘要

本申请公开了一种基于数据融合的高帧率视频生成方法及装置，其中，方法包括：从事件相机获取低帧率的视频和事件数据；将视频中相邻图像帧进行两两组合，并计算期望得到所有中间帧的时间戳集合，进而截取从两个边界帧到期望中间帧的第一事件流和第二事件流，输入至预设的脉冲神经网络进行前向传播，得到第一事件流数据特征向量和第二事件流数据特征向量，并与相邻图像帧拼接，输入至预设的多模态融合网络进行前向传播，得到所有中间帧；基于所有中间帧，生成高帧率视频。由此，解决了相关技术中仅使用事件流作为数据输入，缺乏每个像素点的初始亮度值，仅依靠亮度变化记录估计亮度的稳定性较差，从而导致生成的图像质量较低的技术问题。