[发明专利]图像处理方法、装置及终端设备

权利要求书

1.一种图像处理方法，其特征在于，包括：

获取待重建的图像；

提取所述待重建的图像的高频分量和低频分量，得到由所述高频分量组成的第一高频图像和由所述低频分量组成的第一低频图像，其中，所述高频分量是指大于或等于预设频率阈值的频率分量，所述低频分量是指小于所述预设频率阈值的频率分量；

将所述第一高频图像输入训练后的高频图像生成网络，得到所述高频图像生成网络输出的第二高频图像；

将所述第一低频图像输入训练后的低频图像生成网络，得到所述低频图像生成网络输出的第二低频图像；

根据所述第二高频图像和所述第二低频图像生成重建后的图像，所述重建后的图像的分辨率高于所述待重建的图像的分辨率；

所述高频图像生成网络通过以下方式训练：

获取训练样本集合，所述训练样本集合存储的是：终端设备采集的第一图像和与所述第一图像一一对应的第二图像，所述第一图像的分辨率高于所述第二图像的分辨率，且所述终端设备采集所述第一图像和所述第二图像的时间差小于预设阈值；

从所述训练样本集合获取第一图像，提取所述第一图像的高频分量组成的第三高频图像；

从所述训练样本集合获取与所述第一图像对应的第二图像，提取所述第二图像的高频分量组成的第四高频图像；

将所述第四高频图像输入待训练的高频图像生成网络，得到所述待训练的高频图像生成网络输出的第五高频图像；

若所述待训练的高频图像生成网络的损失函数的输出值的变化在预设范围内，则停止对所述待训练的高频图像生成网络的训练，得到训练后的高频图像生成网络，否则，调整所述待训练的高频图像生成网络的参数，并返回执行将所述第四高频图像输入待训练的高频图像生成网络的步骤以及后续步骤，其中，所述待训练的高频图像生成网络的损失函数包括待训练的判别网络，所述待训练的判别网络通过所述待训练的判别网络的损失函数进行训练，且所述待训练的判别网络的损失函数的输入包括所述第三高频图像和所述第五高频图像。

2.如权利要求1所述的图像处理方法，其特征在于，所述提取所述待重建的图像的高频分量和低频分量，得到由所述高频分量组成的第一高频图像和由所述低频分量组成的第一低频图像，包括：

将所述待重建的图像的颜色空间转换为YUV颜色空间，提取所述待重建的图像的Y通道的高频分量和低频分量，得到由Y通道的高频分量组成的第一高频图像，以及由Y通道的低频分量组成的第一低频图像。

3.如权利要求1至2任一项所述的图像处理方法，其特征在于，所述训练后的高频图像生成网络包括：用于提取特征的第一特征提取层、用于组合提取的特征的第一特征转换层、用于放大组合后的特征的放大层以及用于将放大后的至少2个通道的特征融合为一张图像输出的第一融合层；其中，所述放大层通过插值算法实现放大功能，所述第一特征提取层、所述第一特征转换层以及所述第一融合层均通过卷积算法实现对应的功能。

4.如权利要求3所述的图像处理方法，其特征在于，所述第一特征提取层至少包括2层，且后一层的通道数大于前一层的通道数；

所述第一特征转换层至少包括2层，且每一层的通道数保持不变；

所述第一特征提取层的卷积核和所述第一融合层的卷积核均大于所述第一特征转换层的卷积核，且所述第一特征提取层、所述第一融合层以及所述第一特征转换层对应的图像缩放比例均大于或等于1。

5.如权利要求1所述的图像处理方法，其特征在于，所述待训练的高频图像生成网络的损失函数还包括表示内容损失的L_content：

其中G_H为待训练的高频图像生成网络，x_H⁽ⁱ⁾表示第i个第四高频图像，m表示一批第四高频图像的个数，GT_H⁽ⁱ⁾表示第i个第三高频图像，“|| ||”为L1范数。