[发明专利]视频帧处理方法、装置、电子设备和可读存储介质

权利要求书

1.一种视频帧处理方法，其特征在于，所述方法包括：

获取初始视频帧以及当前视频帧；

获取所述初始视频帧对应的第一多模数据以及所述当前视频帧对应的第二多模数据；

将所述初始视频帧、所述当前视频帧、所述第一多模数据以及所述第二多模数据输入至预先训练得到的图像处理模型中，以得到所述当前视频帧对应的目标视频帧；

获取所述初始视频帧对应的第一多模数据以及所述当前视频帧对应的第二多模数据，包括：

获取所述初始视频帧与所述当前视频帧分别对应的图像数据、行曝光时间、图像偏置数据以及采集时间；

根据所述图像数据、所述行曝光时间、所述图像偏置数据以及所述采集时间，确定所述初始视频帧对应的第一分量矩阵以及所述当前视频帧对应的第二分量矩阵。

2.根据权利要求1所述的方法，其特征在于，根据所述图像数据、所述行曝光时间、所述图像偏置数据以及所述采集时间，确定所述初始视频帧对应的第一分量矩阵以及所述当前视频帧对应的第二分量矩阵，包括：

对所述图像数据进行BGR转换，以得到所述图像数据对应的图像矩阵；

根据所述图像矩阵以及所述行曝光时间确定第一矩阵；

根据所述图像偏置数据以及所述采集时间确定第二矩阵；

对所述第一矩阵以及所述第二矩阵进行合并，以得到所述第一分量矩阵以及第二分量矩阵。

3.根据权利要求1所述的方法，其特征在于，所述图像处理模型包括编码模块以及解码模块，其中，

将所述初始视频帧、所述当前视频帧、所述第一多模数据以及所述第二多模数据输入至预先训练得到的图像处理模型中，以得到所述当前视频帧对应的目标视频帧，包括：

将所述第一分量矩阵以及所述第二分量矩阵输入至所述图像处理模型的编码模块中，以得到第一目标分量矩阵；

将所述第一目标分量矩阵输入至所述图像处理模型的解码模块中，以得到所述目标视频帧。

4.根据权利要求3所述的方法，其特征在于，所述编码模块包括至少一个编码卷积层以及第一预设卷积层，所述至少一个编码卷积层与所述第一预设卷积层串联，其中，

将所述第一分量矩阵以及所述第二分量矩阵输入至所述图像处理模型的编码模块中，以得到所述第一目标分量矩阵，包括：

将所述第一分量矩阵以及所述第二分量矩阵输入至所述至少一个编码卷积层，以得到所述第一分量矩阵对应的第一输出，所述第二分量矩阵对应的第二输出；

将所述第一输出以及所述第二输出输入至所述第一预设卷积层，以得到所述第一目标分量矩阵。

5.根据权利要求4所述的方法，其特征在于，所述编码卷积层包括与所述第一分量矩阵对应的第一偏置层、与所述第二分量矩阵对应的第二偏置层以及共享卷积层，其中，

将所述第一分量矩阵以及所述第二分量矩阵输入至所述至少一个编码卷积层，包括：

将所述第一分量矩阵输入至所述第一偏置层，以得到第三分量矩阵；

将所述第二分量矩阵输入至所述第二偏置层，以得到第四分量矩阵；

将所述第三分量矩阵以及所述第四分量矩阵分别输入至共享卷积层，以得到与所述第一输出，以及与所述第二输出。

6.根据权利要求4所述的方法，其特征在于，将所述第一输出以及所述第二输出输入至所述第一预设卷积层，以得到所述第一目标分量矩阵，包括：

将所述第一输出以及所述第二输出分别输入至所述第一预设卷积层；

通过所述第一预设卷积层分别对所述第一输出以及所述第二输出进行卷积操作，以得到所述第一目标分量矩阵。

7.根据权利要求3所述的方法，其特征在于，所述解码模块包括串联的至少一个解码卷积层以及一个第二预设卷积层，其中，

将所述第一目标分量矩阵输入至所述图像处理模型的解码模块中，以得到所述目标视频帧，包括：

将所述第一目标分量矩阵输入至所述至少一个解码卷积层中，以得到第二目标分量矩阵；

将所述第二目标分量矩阵输入至所述第二预设卷积层中，以得到所述目标视频帧。