[发明专利]视频的插帧方法、装置及电子设备

说明书

本申请公开了一种视频的插帧方法、装置及电子设备，涉及计算机视觉、深度学习等人工智能技术领域。该方案为：获取第一帧图像的第一视觉语义特征和第一像素信息，以及第二帧图像的第二视觉语义特征和第二像素信息；基于第一视觉语义特征和第二视觉语义特征，生成语义光流信息；基于第一像素信息和第二像素信息，生成像素光流信息；根据语义光流信息和像素光流信息，生成第一帧图像和第二帧图像的插帧，并插入第一帧图像和第二帧图像之间。本申请基于语义光流信息和像素光流信息生成插帧，避免了现有视频的插帧方法中存在的效率低、视频画面具有抖动、模糊以及变形严重等缺点的问题，确保了插帧效果。

技术领域

本申请的实施例总体上涉及图像处理技术领域，并且更具体地涉及计算机视觉、深度学习等人工智能技术领域。

背景技术

随着移动互联网的兴起，用户存储和转发信息的方式逐渐从文字、图片过渡到视频。视频已经成为用户生成内容的主要载体。目前，大部分视频的摄帧率为24-30fps的视频，与高帧率(60，120fps)视频观感体验差距很大。由此，视频插帧技术应运而生。视频插帧技术通过在视频帧之间插入中间帧，增加视频帧率，使视频观看起来更加顺畅，减少跳跃，抖动等现象，极大提升了用户体验。

然而根据现有视频的插帧方法进行插帧时，往往存在计算效率低下、画面变形严重等情况。这样一来，势必导致视频的插帧过程中存在插帧效果差、效率低等问题。因此，如何提高视频的插帧过程中的效率、提升插帧效果，已成为了重要的研究方向之一。

发明内容

本申请提供了一种视频的插帧方法、装置及电子设备。

根据第一方面，提供了一种视频的插帧方法，包括：

获取第一帧图像的第一视觉语义特征和第一像素信息，以及所述第二帧图像的第二视觉语义特征和第二像素信息，其中，所述第一帧图像和所述第二帧图像为视频中的相邻帧；

基于所述第一视觉语义特征和所述第二视觉语义特征，生成语义光流信息；

基于所述第一像素信息和所述第二像素信息，生成像素光流信息；

根据所述语义光流信息和所述像素光流信息，生成所述第一帧图像和所述第二帧图像的插帧，并插入所述第一帧图像和所述第二帧图像之间。

根据第二方面，提供了一种视频的插帧装置，包括：

获取模块，用于获取第一帧图像的第一视觉语义特征和第一像素信息，以及所述第二帧图像的第二视觉语义特征和第二像素信息，其中，所述第一帧图像和所述第二帧图像为视频中的相邻帧；

第一生成模块，用于基于所述第一视觉语义特征和所述第二视觉语义特征，生成语义光流信息；

第二生成模块，用于基于所述第一像素信息和所述第二像素信息，生成像素光流信息；

第三生成模块，用于根据所述语义光流信息和所述像素光流信息，生成所述第一帧图像和所述第二帧图像的插帧，并插入所述第一帧图像和所述第二帧图像之间。

根据第三方面，提供了一种电子设备，包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行本申请第一方面所述的视频的插帧方法。

根据第四方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，所述计算机指令用于使所述计算机执行本申请第一方面所述的视频的插帧方法。

根据第五方面，提供了一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现根据本申请第一方面所述的视频的插帧方法。