[发明专利]视频图像的处理方法及装置、电子设备、存储介质

权利要求书

1.一种视频图像的处理方法，其特征在于，所述方法包括：

获取N帧第一图像帧；

利用第一网络模块对所述N帧第一图像帧中的每帧第一图像帧进行超分辨率重建，得到N帧第二图像帧；

利用第二网络模块对所述N帧第二图像帧进行对齐融合处理，得到结果帧。

2.根据权利要求1所述的方法，其特征在于，所述方法还包括：

从所述N帧第一图像帧中选取第一关键帧，所述第一关键帧为所述N帧第一图像帧中的一帧图像帧；

其中，所述第一关键帧通过所述第一网络模块进行超分辨重建后得到第二关键帧，所述第二关键帧为所述N帧第二图像帧中的一帧图像帧。

3.根据权利要求2所述的方法，其特征在于，所述利用第二网络模块对所述N帧第二图像帧进行对齐融合处理，得到结果帧，包括：

利用所述第二网络模块将N-1帧第二图像帧中的每一帧第二图像帧分别与所述第二关键帧进行对齐融合处理，得到N-1个第一融合帧；所述N-1帧第二图像帧为所述N帧第二图像帧中除所述第二关键帧以外的图像帧；

利用所述第二网络模块对所述N-1个第一融合帧中的每两个第一融合帧进行对齐融合处理，得到M个第二融合帧；M为大于等于1且小于N-1的整数；

基于所述M个第二融合帧获取结果帧。

4.根据权利要求3所述的方法，其特征在于，所述基于所述M个第二融合帧获取结果帧，包括：

所述M等于1的情况下，将所述第二融合帧确定为结果帧；

所述M大于1的情况下，利用所述第二网络模块对所述M个第二融合帧中的每两个第二融合帧进行对齐融合处理；若获得的融合帧的数目为1，则将获得的融合帧确定为结果帧；若获得的融合帧的数目大于1，则继续利用所述第二网络模块对获得的多个融合帧中的每两个融合帧进行对齐融合处理，直到获得的融合帧的数目为1。

5.根据权利要求1所述的方法，其特征在于，所述第一网络模块包括残差网络；其中，

所述利用第一网络模块对所述N帧第一图像帧中的每帧第一图像帧进行超分辨率重建，得到N帧第二图像帧，包括：

对于所述N帧第一图像帧中的每帧第一图像帧，通过所述残差网络对该帧第一图像帧进行特征学习，得到该帧第一图像帧对应的特征图像；

将该帧第一图像帧与所述特征图像进行拼接处理，得到第二图像帧。

6.根据权利要求1所述的方法，其特征在于，所述第一网络模块包括多级特征提取网络；其中，

所述利用第一网络模块对所述N帧第一图像帧中的每帧第一图像帧进行超分辨率重建，得到N帧第二图像帧，包括：

对于所述N帧第一图像帧中的每帧第一图像帧，通过所述多级特征提取网络分别对该第一图像帧进行特征学习，得到多个具有不同尺度的特征图像；

对所述多个具有不同尺度的特征图像进行拼接处理，得到第二图像帧。

7.根据权利要求1至6中任一项所述的方法，其特征在于，所述第一网络模块中包括第一放大模块，所述第一放大模块用于对输入至所述第一放大模块的图像帧的分辨率进行提高。

8.根据权利要求1至6中任一项所述的方法，其特征在于，所述第二网络模块包括：拼接模块和融合模块；

所述拼接模块用于将输入至所述拼接模块的两帧图像帧在目标维度上进行拼接，输出所述两帧图像帧拼接后的特征数据；

所述融合模块用于将所述拼接后的特征数据进行融合，输出一帧与所述两帧图像帧对应的融合帧。

9.根据权利要求8所述的方法，其特征在于，所述第二网络模块还包括：对齐模块；所述对齐模块位于所述拼接模块和所述融合模块之间，或者，所述对齐模块位于所述拼接模块之前；

所述对齐模块用于将输入至所述对齐模块的两帧图像帧进行对齐，输出所述两帧图像帧对齐后的特征数据。