[发明专利]视频插帧方法及装置、电子设备和存储介质

权利要求书

1.一种视频插帧方法，其特征在于，包括：

获取待处理视频对应的初始待插帧，以及所述初始待插帧对应的第一事件信息，所述第一事件信息用于表征所述初始待插帧中物体的运动轨迹，其中，所述初始待插帧是根据所述待处理视频中任意两帧原始视频帧到插帧时刻的光流所生成的待插帧；

分别对所述初始待插帧以及所述第一事件信息进行特征提取，得到所述初始待插帧对应的初始帧特征图以及所述第一事件信息对应的事件特征图；

根据所述初始帧特征图与所述事件特征图，生成目标待插帧；

将所述目标待插帧插入至所述待处理视频中，得到处理后视频；

其中，所述根据所述初始帧特征图与所述事件特征图，生成目标待插帧，包括：

根据所述初始帧特征图与所述事件特征图，生成预估待插帧；

根据所述待处理视频中、与所述初始待插帧的插帧时刻相邻的原始视频帧，以及所述原始视频帧对应的第二事件信息，对所述预估待插帧进行优化，得到所述目标待插帧，所述第二事件信息用于表征所述原始视频帧中物体的运动轨迹；

其中，所述初始帧特征图包括S个尺度，所述事件特征图包括S个尺度，S为正整数，所述根据所述初始帧特征图与所述事件特征图，生成预估待插帧，包括：

根据第0尺度的初始帧特征图与第0尺度的事件特征图，得到第0尺度的融合特征图；

根据第s-1尺度的融合特征图，将第s尺度的初始帧特征图与第s尺度的事件特征图进行空间对齐，得到第s尺度的可融合初始帧特征图与第s尺度的可融合事件特征图；

根据所述第s-1尺度的融合特征图、所述第s尺度的可融合初始帧特征图以及所述第s尺度的可融合事件特征图，得到第s尺度的融合特征图；

对第S-1尺度的融合特征图进行解码处理，得到所述预估待插帧；

其中，s∈[1,S)。

2.根据权利要求1所述的方法，其特征在于，所述根据第s-1尺度的融合特征图，将第s尺度的初始帧特征图与第s尺度的事件特征图进行空间对齐，得到第s尺度的可融合初始帧特征图与第s尺度的可融合事件特征图，包括：

对所述第s-1尺度的融合特征图进行上采样，得到上采样特征图，所述上采样特征图与所述第s尺度的初始帧特征图以及所述第s尺度的事件特征图的尺寸相同；

根据所述上采样特征图与所述第s尺度的初始帧特征图之间的第一空间转换关系，得到所述第s尺度的可融合初始帧特征图；

根据所述上采样特征图与所述第s尺度的事件特征图之间的第二空间转换关系，得到所述第s尺度的可融合事件特征图；

其中，所述第s尺度的可融合初始帧特征图、所述第s尺度的可融合事件特征图与所述上采样特征图处于同一特征空间中。

3.根据权利要求2所述的方法，其特征在于，所述第一空间转换关系是根据所述第s尺度的初始帧特征图在空间转换时的第一像素尺寸缩放信息与第一偏置信息，以及所述上采样特征图的特征信息确定的；

所述第二空间转换关系是根据所述第s尺度的事件特征图在空间转换时的第二像素尺寸缩放信息与第二偏置信息，以及所述上采样特征图的特征信息确定的；

其中，像素尺寸缩放信息表示空间转换中每个像素点的尺寸缩放比例，偏置信息表示空间转换中每个像素点的位置偏移量。

4.根据权利要求1-3任一项所述的方法，其特征在于，所述根据所述第s-1尺度的融合特征图、所述第s尺度的可融合初始帧特征图以及所述第s尺度的可融合事件特征图，得到第s尺度的融合特征图，包括：

对上采样特征图进行卷积处理以及非线性处理，得到所述上采样特征图对应的掩码图，其中，所述上采样特征图是对所述第s-1尺度的融合特征图进行上采样得到的；

根据所述掩码图，将所述第s尺度的可融合初始帧特征图与所述第s尺度的可融合事件特征图进行特征融合，得到所述第s尺度的融合特征图。