[发明专利]图像处理方法及装置、图像处理系统及其训练方法

权利要求书

1.一种图像处理方法，包括：

利用上采样卷积网络对输入图像的特征图像执行上采样操作，获得第一上采样特征图像；

利用下采样卷积网络对所述第一上采样特征图像执行下采样操作，获得第一下采样特征图像；

确定所述第一下采样特征图像与所述输入图像的特征图像之间的第一残差图像，其中所述第一残差图像指示所述第一下采样特征图像与所述输入图像的特征图像之间的差别，其中确定所述第一下采样特征图像与所述输入图像的特征图像之间的第一残差图像包括：以预定的方式拼接所述第一下采样特征图像和所述输入图像的特征图像得到拼接图像，其中，拼接图像的尺寸是所述第一下采样特征图像和所述输入图像的特征图像的尺寸的和；利用变换卷积网络对拼接图像进行图像变换，并输出所述第一下采样特征图像与所述输入图像的特征图像的图像之间的第一残差图像，其中所述第一残差图像的尺寸与所述输入图像的特征图像的尺寸相同；

利用上采样卷积网络对所述第一残差图像执行上采样操作，获得第一上采样残差图像；

利用所述第一上采样残差图像对所述第一上采样特征图像进行校正；

根据校正后的第一上采样特征图像生成基于所述输入图像的第一超分辨率图像；

其中所述第一上采样特征图像的分辨率大于所述输入图像的分辨率，所述第一下采样特征图像的分辨率与所述输入图像的分辨率相同。

2.如权利要求1所述的图像处理方法，还包括：

对所述输入图像进行插值，获得基于所述输入图像的第二超分辨率图像，其中所述第二超分辨率图像的分辨率与所述第一超分辨率图像的分辨率相同；

对所述第一超分辨率图像和所述第二超分辨率图像执行叠加操作。

3.如权利要求1所述的图像处理方法，其中利用所述第一上采样残差图像对所述第一上采样特征图像进行校正包括：

对所述第一上采样特征图像和所述第一上采样残差图像执行叠加操作。

4.如权利要求1所述的图像处理方法，其中利用所述第一上采样残差图像对所述第一上采样特征图像进行校正包括：

对所述第一上采样特征图像和所述第一上采样残差执行叠加操作，获得第三上采样特征图像；

利用下采样卷积网络对所述第三上采样特征图像执行下采样操作，获得第二下采样特征图像；

确定所述第二下采样特征图像与所述输入图像的特征图像之间的第二残差图像，其中所述第二残差图像指示所述第二下采样特征图像与所述输入图像的特征图像之间的差别；

利用所述第二下采样特征图像与所述输入图像的特征图像之间的第二残差图像校正所述第三上采样特征图像。

5.如权利要求4所述的图像处理方法，其中利用所述第二下采样特征图像与所述输入图像的特征图像之间的第二残差图像校正所述第三上采样特征图像包括：

比较所述第一残差图像和所述第二残差图像，当所述第二下采样特征图像与所述输入图像的特征图像之间的差别小于所述第一下采样特征图像与所述输入图像的特征图像之间的差别时，利用上采样卷积网络对所述第二残差图像执行上采样操作，获得第二上采样残差；

对所述第三上采样特征图像和第二上采样残差执行叠加操作以获得第四上采样特征图像。

6.如权利要求5所述的图像处理方法，其中比较所述第一残差图像和所述第二残差图像包括：

确定第一残差图像的像素矩阵中每一个元素的绝对值的平均值或所有元素的平方和的算术平方根作为第一残差值；

确定第二残差图像的像素矩阵中每一个元素的绝对值的平均值或所有元素的平方和的算术平方根作为第二残差值；

比较所述第一残差值和所述第二残差值的大小。