[发明专利]视频帧处理方法、装置、电子设备和存储介质

说明书

本公开提供了一种视频帧处理方法、装置、电子设备和存储介质，所述视频帧处理方法包括：获取第一视频帧序列对应的多个尺度的第二视频帧序列，所述第一视频帧序列包括多个第一视频帧，针对所述多个尺度的每一尺度，所述每一尺度的第二视频帧序列包括各所述第一视频帧对应的尺度为所述每一尺度的第二视频帧；针对所述多个尺度的第一尺度和第二尺度，获取所述第一尺度的第二视频帧相对于所述第一尺度的目标视频帧的运动信息，并根据所述第一尺度的运动信息和所述第二尺度的第二视频帧获取所述第二尺度的目标视频帧，所述第二尺度大于所述第一尺度。

技术领域

本公开涉及视频处理技术领域，尤其涉及一种用于视频插帧的视频帧处理方法、装置、电子设备和存储介质。

背景技术

视频插帧(Video Frame Interpretation,VFI)旨在利用一组连续视频帧作为输入，通过插值合成中间位置帧的图像。VFI在很多应用中扮演着重要的角色，比如慢动作制作，帧率上转换和视频恢复等等。VFI是一项具有挑战性的任务，尤其是对于包含运动较大的物体的情况。大运动情况指的是视频相邻两帧图像中，像素移动的距离较大的情况。不仅因为它是一个约束不足的问题，而且因为复杂的变形和遮挡会严重影响许多依赖于帧间准确对应关系的现有方法的性能。

相关技术的VFI方法可以利用简单的自编码器作为主干网络对两帧输入进行特征提取并进行运动预测，但是该主干网络难以处理大运动情况，在运动较大的情况下会产生重影问题。因此，需要一种可以有效地解决大运动下的视频插帧不准确的问题的方案。

发明内容

根据本公开的第一方面，提供了一种视频处理方法，包括：一种视频处理方法，其特征在于，包括：获取第一视频帧序列对应的多个尺度的第二视频帧序列，所述第一视频帧序列包括多个第一视频帧，针对所述多个尺度的每一尺度，所述每一尺度的第二视频帧序列包括各所述第一视频帧对应的尺度为所述每一尺度的第二视频帧；针对所述多个尺度的第一尺度和第二尺度，获取所述第一尺度的第二视频帧相对于所述第一尺度的目标视频帧的运动信息，并根据所述第一尺度的运动信息和所述第二尺度的第二视频帧获取所述第二尺度的目标视频帧，所述第二尺度大于所述第一尺度。

根据本公开的第一方面，所述方法包括：在所述第二尺度为所述多个尺度的最大尺度时，将所述第二尺度的目标视频帧插入到所述第一视频帧序列。

根据本公开的第一方面，所述方法包括：在所述第二尺度小于所述多个尺度的最大尺度时，以所述第二尺度为新的所述第一尺度、以第三尺度为新的所述第二尺度，重复执行获取所述运动信息、根据所述运动信息和所述第二尺度的第二视频帧获取所述第二尺度的目标视频帧的过程，直至所述第二尺度为所述多个尺度的最大尺度。

根据本公开的第一方面，根据所述第一尺度的运动信息和所述第二尺度的第二视频帧，获取所述第二尺度的目标视频帧，包括：获取所述第二尺度的第二视频帧的融合特征；放大所述第一尺度的运动信息；基于所述第二尺度的第二视频帧、所述第二尺度的第二视频帧的融合特征和放大后的所述第一尺度的运动信息来获取针对放大后的所述第一尺度的运动信息的矫正参数；根据所述第一尺度的运动信息的矫正参数和放大后的所述第一尺度的运动信息来获取所述第二尺度的第二视频帧相对于所述第二尺度的目标视频帧的运动信息；根据所述第二尺度的运动信息和所述第二尺度的第二视频帧来获取所述第二尺度的目标视频帧。

根据本公开的第一方面，获取所述第二尺度的第二视频帧的融合特征，包括：组合所述第二尺度的第二视频帧，并提取组合后的第二尺度的第二视频帧的特征以获得所述第二尺度的第二视频帧的融合特征。