[发明专利]视频帧处理方法、装置、电子设备和存储介质

权利要求书

1.一种视频处理方法，其特征在于，包括：

获取第一视频帧序列对应的多个尺度的第二视频帧序列，所述第一视频帧序列包括多个第一视频帧，针对所述多个尺度的每一尺度，所述每一尺度的第二视频帧序列包括各所述第一视频帧对应的尺度为所述每一尺度的第二视频帧；

针对所述多个尺度的第一尺度和第二尺度，获取所述第一尺度的第二视频帧相对于所述第一尺度的目标视频帧的运动信息，并根据所述第一尺度的运动信息和所述第二尺度的第二视频帧获取所述第二尺度的目标视频帧，所述第二尺度大于所述第一尺度。

2.如权利要求1所述的方法，其特征在于，包括：

在所述第二尺度小于所述多个尺度的最大尺度时，以所述第二尺度为新的所述第一尺度、以第三尺度为新的所述第二尺度，重复执行获取所述运动信息、根据所述运动信息和所述第二尺度的第二视频帧获取所述第二尺度的目标视频帧的过程，直至所述第二尺度为所述多个尺度的最大尺度。

3.如权利要求1或2所述的方法，其特征在于，根据所述第一尺度的运动信息和所述第二尺度的第二视频帧，获取所述第二尺度的目标视频帧，包括：

获取所述第二尺度的第二视频帧的融合特征；

放大所述第一尺度的运动信息；

基于所述第二尺度的第二视频帧、所述第二尺度的第二视频帧的融合特征和放大后的所述第一尺度的运动信息来获取针对放大后的所述第一尺度的运动信息的矫正参数；

根据所述第一尺度的运动信息的矫正参数和放大后的所述第一尺度的运动信息来获取所述第二尺度的第二视频帧相对于所述第二尺度的目标视频帧的运动信息；

根据所述第二尺度的运动信息和所述第二尺度的第二视频帧来获取所述第二尺度的目标视频帧。

4.如权利要求3所述的方法，其特征在于，基于所述第二尺度的第二视频帧、所述第二尺度的第二视频帧的融合特征和放大后的所述第一尺度的运动信息来获取针对放大后的所述第一尺度的运动信息的矫正参数，包括：

基于所述第二尺度的第二视频帧、所述第二尺度的第二视频帧的融合特征和放大后的所述第一尺度的可变形卷积核，预测放大后的所述第一尺度的可变形卷积核相对于所述第二尺度的可变形卷积核的残差作为所述矫正参数，其中，每个尺度的可变形卷积核包括所述每个尺度的第二视频帧相对于所述每个尺度的目标视频帧的像素坐标偏移以及所述每个尺度的第二视频帧的像素的权重和卷积核，

根据所述第一尺度的运动信息的矫正参数和放大后的所述第一尺度的运动信息来获取所述第二尺度的第二视频帧相对于所述第二尺度的目标视频帧的运动信息包括：

基于所述残差和放大后的所述第一尺度的可变形卷积核获取所述第二尺度的可变形卷积核。

5.一种视频帧处理装置，包括：

视频帧获取单元，被配置为获取第一视频帧序列对应的多个尺度的第二视频帧序列，所述第一视频帧序列包括多个第一视频帧，针对所述多个尺度的每一尺度，所述每一尺度的第二视频帧序列包括各所述第一视频帧对应的尺度为所述每一尺度的第二视频帧；

视频帧处理单元，被配置为针对所述多个尺度的第一尺度和第二尺度，获取所述第一尺度的第二视频帧相对于所述第一尺度的目标视频帧的运动信息，并根据所述第一尺度的运动信息和所述第二尺度的第二视频帧，获取所述第二尺度的目标视频帧，所述第二尺度大于所述第一尺度。

6.一种视频处理模型的训练方法，其特征在于，包括：

获取第一视频帧序列对应的多个尺度的第二视频帧序列，所述第一视频帧序列包括多个第一视频帧，针对所述多个尺度的每一尺度，所述每一尺度的第二视频帧序列包括各所述第一视频帧对应的尺度为所述每一尺度的第二视频帧；

针对所述多个尺度的第一尺度和第二尺度，通过视频帧处理模型获取所述第一尺度的第二视频帧相对于所述第一尺度的目标视频帧的运动信息，并根据所述第一尺度的运动信息和所述第二尺度的第二视频帧，获取所述第二尺度的目标视频帧，所述第二尺度大于所述第一尺度；

根据获取的所述第二尺度的目标图像帧与所述第二尺度的训练视频帧的对比来训练视频处理模型。