[发明专利]视频的插帧方法、装置及电子设备

权利要求书

1.一种视频的插帧方法，包括：

获取第一帧图像的第一深层特征和第二帧图像的第二深层特征，其中，所述第一帧图像和所述第二帧图像为视频中的相邻帧；

基于所述第一深层特征和所述第二深层特征，获取所述第一帧图像与所述第二帧图像之间的正向光流信息和反向光流信息；

基于所述正向光流信息和所述反向光流信息，生成所述第一帧图像和所述第二帧图像的插帧，并插入所述第一帧图像和所述第二帧图像之间；

其中，所述基于所述正向光流信息和所述反向光流信息，生成所述第一帧图像和所述第二帧图像的插帧，包括：

基于所述正向光流信息和所述第一深层特征，生成第四深层特征；

基于所述反向光流信息和所述第二深层特征，生成第五深层特征；

对所述第四深层特征和所述五深层特征进行拼接，生成第六深层特征，并基于所述第六深层特征，生成所述插帧。

2.根据权利要求1所述的视频的插帧方法，其中，所述基于所述第一深层特征和所述第二深层特征，获取所述第一帧图像与所述第二帧图像之间的正向光流信息和反向光流信息，包括：

对所述第一深层特征和所述第二深层特征进行从所述第一帧图像至所述第二帧图像的正向光流学习，得到所述正向光流信息；

对所述第一深层特征和所述第二深层特征进行从所述第二帧图像至所述第一帧图像的反向光流学习，得到所述反向光流信息。

3.根据权利要求2所述的视频的插帧方法，其中，所述基于所述第一深层特征和所述第二深层特征，获取所述第一帧图像与所述第二帧图像之间的正向光流信息和反向光流信息之前，还包括：

将所述第一深层特征和所述第二深层特征进行拼接，生成第三深层特征，其中所述第三深层特征用于进行所述正向光流学习和所述反向光流学习。

4.根据权利要求1所述的视频的插帧方法，其中，所述基于所述正向光流信息和所述第一深层特征，生成第四深层特征，包括：

将所述第一深层特征中的特征信息，按照所述正向光流信息进行轨迹映射，以生成所述第四深层特征。

5.根据权利要求1所述的视频的插帧方法，其中，所述基于所述反向光流信息和所述第二深层特征，生成第五深层特征，包括：

将所述第二深层特征中的特征信息，按照所述反向光流信息进行轨迹映射，以生成所述第五深层特征。

6.一种视频的插帧装置，包括：

第一获取模块，用于获取第一帧图像的第一深层特征和第二帧图像的第二深层特征，其中，所述第一帧图像和所述第二帧图像为视频中的相邻帧；

第二获取模块，用于基于所述第一深层特征和所述第二深层特征，获取所述第一帧图像与所述第二帧图像之间的正向光流信息和反向光流信息；

生成模块，用于基于所述正向光流信息和所述反向光流信息，生成所述第一帧图像和所述第二帧图像的插帧，并插入所述第一帧图像和所述第二帧图像之间；

其中，所述生成模块，包括：

第二生成子模块，用于基于所述正向光流信息和所述第一深层特征，生成第四深层特征；

第三生成子模块，用于基于所述反向光流信息和所述第二深层特征，生成第五深层特征；

第四生成子模块，用于对所述第四深层特征和所述五深层特征进行拼接，生成第六深层特征，并基于所述第六深层特征，生成所述插帧。

7.根据权利要求6所述的视频的插帧装置，其中，所述第二获取模块，包括：

第一光流学习子模块，用于对所述第一深层特征和所述第二深层特征进行从所述第一帧图像至所述第二帧图像的正向光流学习，得到所述正向光流信息；

第二光流学习子模块，用于对所述第一深层特征和所述第二深层特征进行从所述第二帧图像至所述第一帧图像的反向光流学习，得到所述反向光流信息。

8.根据权利要求7所述的视频的插帧装置，其中，所述第二获取模块，还包括：

第一生成子模块，用于将所述第一深层特征和所述第二深层特征进行拼接，生成第三深层特征，其中所述第三深层特征用于进行所述正向光流学习和所述反向光流学习。