[发明专利]视频的插帧方法、装置及电子设备

权利要求书

1.一种视频的插帧方法，包括：

获取第一帧图像的第一视觉语义特征和第一像素信息，以及第二帧图像的第二视觉语义特征和第二像素信息，其中，所述第一帧图像和所述第二帧图像为视频中的相邻帧；

对所述第一视觉语义特征和所述第二视觉语义特征进行拼接，形成第三视觉语义特征；

对所述第三视觉语义特征进行光流学习，以生成语义光流信息；

对所述第一像素信息和所述第二像素信息进行拼接，形成第三像素信息；

对所述第三像素信息进行光流学习，以生成像素光流信息；

根据所述语义光流信息和所述像素光流信息，生成所述第一帧图像和所述第二帧图像的插帧，并插入所述第一帧图像和所述第二帧图像之间。

2.根据权利要求1所述的视频的插帧方法，其中，所述根据所述语义光流信息和所述像素光流信息，生成所述第一帧图像和所述第二帧图像的插帧，包括：

基于所述语义光流信息和所述第一视觉语义特征和所述第二视觉语义特征，生成第四视觉语义特征；

基于所述像素光流信息和所述第一像素信息和所述第二像素信息，生成第四像素信息；

基于所述第四视觉语义特征和所述第四像素信息，生成所述插帧。

3.根据权利要求2所述的视频的插帧方法，其中，所述基于所述语义光流信息和所述第一视觉语义特征和所述第二视觉语义特征，生成第四视觉语义特征，包括：

对所述第一视觉语义特征和所述第二视觉语义特征拼接，生成第三视觉语义特征；

将所述第三视觉语义特征中的特征信息，按照所述语义光流信息进行轨迹映射，以生成所述第四视觉语义特征。

4.根据权利要求2所述的视频的插帧方法，其中，所述基于所述像素光流信息和所述第一像素信息和所述第二像素信息，生成第四像素信息，包括：

对所述第一像素信息和所述第二像素信息拼接，生成第三像素信息；

将所述第三像素信息中的像素，按照所述像素光流信息进行轨迹映射，以生成所述第四像素信息。

5.一种视频的插帧装置，包括：

获取模块，用于获取第一帧图像的第一视觉语义特征和第一像素信息，以及第二帧图像的第二视觉语义特征和第二像素信息，其中，所述第一帧图像和所述第二帧图像为视频中的相邻帧；

第一生成模块，用于基于所述第一视觉语义特征和所述第二视觉语义特征，生成语义光流信息；

第二生成模块，用于基于所述第一像素信息和所述第二像素信息，生成像素光流信息；

第三生成模块，用于根据所述语义光流信息和所述像素光流信息，生成所述第一帧图像和所述第二帧图像的插帧，并插入所述第一帧图像和所述第二帧图像之间；

所述第一生成模块，包括：

第一拼接子模块，用于对所述第一视觉语义特征和所述第二视觉语义特征进行拼接，形成第三视觉语义特征；

第一生成子模块，用于对所述第三视觉语义特征进行光流学习，以生成所述语义光流信息；

所述第二生成模块，包括：

第二拼接子模块，用于对所述第一像素信息和所述第二像素信息进行拼接，形成第三像素信息；

第二生成子模块，用于对所述第三像素信息进行光流学习，以生成所述像素光流信息。

6.根据权利要求5所述的视频的插帧装置，其中，所述第三生成模块，包括：

第三生成子模块，用于基于所述语义光流信息和所述第一视觉语义特征和所述第二视觉语义特征，生成第四视觉语义特征；

第四生成子模块，用于基于所述像素光流信息和所述第一像素信息和所述第二像素信息，生成第四像素信息；

第五生成子模块，用于基于所述第四视觉语义特征和所述第四像素信息，生成所述插帧。

7.根据权利要求6所述的视频的插帧装置，其中，所述第三生成子模块，包括：

第一生成单元，用于对所述第一视觉语义和所述第二视觉语义特征拼接，生成第三视觉语义特征；

第二生成单元，用于将所述第三视觉语义特征中的特征信息，按照所述语义光流信息进行轨迹映射，以生成所述第四视觉语义特征。