[发明专利]视频的插帧方法、装置、电子设备和存储介质

权利要求书

1.一种视频的插帧方法，包括：

获取视频；

获取所述视频之中的第i-1帧图像和第i帧图像，其中，i为正整数；

分别获取所述第i-1帧图像和所述第i帧图像的视觉语义特征图和深度信息图，其中，通过预设的语义分割网络分别获取所述第i-1帧图像和所述第i帧图像的视觉语义特征图；

将所述第i-1帧图像和所述第i帧图像的视觉语义特征图和深度信息图拼接整合到一起，输入到预设的插帧网络以生成插帧信息；以及

根据所述插帧信息和所述第i-1帧图像生成所述第i-1帧图像和所述第i帧图像之间的插帧，并插入所述第i-1帧图像和所述第i帧图像之间。

2.如权利要求1所述的视频的插帧方法，其中，所述根据所述第i-1帧图像和所述第i帧图像的视觉语义特征图和深度信息图生成插帧信息，包括：

根据所述第i-1帧图像和所述第i帧图像的视觉语义特征图生成所述插帧的视觉语义特征图；

根据所述第i-1帧图像和所述第i帧图像的深度信息图生成所述插帧的深度信息图；以及

根据所述插帧的视觉语义特征图和所述深度信息图生成所述插帧信息。

3.如权利要求1或2所述的视频的插帧方法，还包括：

分别获取所述第i-1帧图像和所述第i帧图像的深层特征图；以及

根据所述第i-1帧图像和所述第i帧图像的深层特征图生成所述插帧的深层特征图，其中，所述插帧信息还包括所述插帧的深层特征图。

4.如权利要求3所述的视频的插帧方法，其中，通过插帧模型生成所述插帧的插帧信息。

5.如权利要求4所述的视频的插帧方法，其中，所述插帧模型通过以下方式生成：

获取样本视频；

获取所述样本视频的第t-1帧图像、第t帧图像和第t+1帧图像；

分别获取所述第t-1帧图像、所述第t帧图像和所述第t+1帧图像的视觉语义特征图和深度信息图；以及

将所述第t-1帧图像和所述第t+1帧图像的视觉语义特征图和深度信息图输入所述插帧模型，并将所述第t帧图像作为目标插帧对所述插帧模型进行训练。

6.如权利要求5所述的视频的插帧方法，其中，所述样本视频为第一帧率，所述视频为第二帧率，所述第一帧率大于所述第二帧率，且视频插帧之后为所述第一帧率。

7.一种视频的插帧装置，包括：

第一获取模块，用于获取视频；

第二获取模块，用于获取所述视频之中的第i-1帧图像和第i帧图像，其中，i为正整数；

第三获取模块，用于分别获取所述第i-1帧图像和所述第i帧图像的视觉语义特征图和深度信息图，其中，通过预设的语义分割网络分别获取所述第i-1帧图像和所述第i帧图像的视觉语义特征图；

第一生成模块，用于将所述第i-1帧图像和所述第i帧图像的视觉语义特征图和深度信息图拼接整合到一起，输入到预设的插帧网络以生成插帧信息；以及

插帧模块，用于根据所述插帧信息和所述第i-1帧图像生成所述第i-1帧图像和所述第i帧图像之间的插帧，并插入所述第i-1帧图像和所述第i帧图像之间。

8.如权利要求7所述的视频的插帧装置，其中，所述第一生成模块，包括：

第一生成单元，用于根据所述第i-1帧图像和所述第i帧图像的视觉语义特征图生成所述插帧的视觉语义特征图；

第二生成单元，用于根据所述第i-1帧图像和所述第i帧图像的深度信息图生成所述插帧的深度信息图；以及

第三生成单元，用于根据所述插帧的视觉语义特征图和所述深度信息图生成所述插帧信息。

9.如权利要求7或8所述的视频的插帧装置，还包括：

第四获取模块，用于分别获取所述第i-1帧图像和所述第i帧图像的深层特征图；

第二生成模块，用于根据所述第i-1帧图像和所述第i帧图像的深层特征图生成所述插帧的深层特征图，其中，所述插帧信息还包括所述插帧的深层特征图。