[发明专利]图像超分辨率

权利要求书

1.一种计算机实现的方法，包括：

基于输入图像和参考图像的纹理特征来确定第一信息和第二信息，所述第一信息至少指示所述参考图像中按照纹理特征与所述输入图像中的第一像素块最相关的第二像素块，并且所述第二信息至少指示所述第一像素块与所述第二像素块的相关度；

基于所述第一信息和所述参考图像，确定具有目标分辨率的迁移特征图，所述迁移特征图包括与所述第一像素块相对应的特征块并且所述特征块包括所述第二像素块的纹理特征；以及

基于所述迁移特征图和所述第二信息，将所述输入图像变换成具有所述目标分辨率的输出图像，所述输出图像体现所述参考图像的纹理特征。

2.根据权利要求1所述的方法，其中确定所述第一信息和所述第二信息包括：

通过将所述参考图像和所述输入图像应用到经训练的第一神经网络，生成表示所述输入图像的纹理特征的第一特征图和表示所述参考图像的纹理特征的第二特征图；以及

基于所述第一特征图和所述第二特征图，确定所述第一信息和所述第二信息。

3.根据权利要求2所述的方法，其中确定所述第一信息和所述第二信息包括：

针对所述第一特征图中与所述第一像素块相对应的第一特征块，确定所述第一特征块与所述第二特征图中的多个特征块的相关度；

从所述多个特征块中选择与所述第一特征块的所述相关度最高的第二特征块；

基于所述第一像素块和所述参考图像中与所述第二特征块相对应的所述第二像素块，确定所述第一信息；以及

基于所述第二特征块与所述第一特征块的所述相关度，确定所述第二信息。

4.根据权利要求2所述的方法，其中将所述参考图像和所述输入图像应用到所述第一神经网络包括：

通过以预定因子对所述输入图像进行上采样，来预处理所述输入图像；

通过以所述预定因子对所述参考图像顺序进行下采样和上采样，来预处理所述参考图像；以及

将经预处理的所述输入图像和经预处理的所述参考图像应用到所述第一神经网络。

5.根据权利要求1所述的方法，其中将所述输入图像变换成所述输出图像包括：

获得针对所述输入图像的具有第一分辨率的第一合成特征图，所述第一分辨率低于所述目标分辨率，并且所述第一合成特征图包括所述输入图像的图像特征和从所述参考图像迁移的纹理特征；

将所述第一合成特征图变换到所述目标分辨率；

基于所述第二信息、所述迁移特征图和经变换的所述第一合成特征图，生成针对所述输入图像的具有所述目标分辨率的第二合成特征图；以及

基于所述第二合成特征图，确定所述输出图像。

6.根据权利要求5所述的方法，其中基于所述第二合成特征图确定所述输出图像包括：

将所述第二合成特征图和经变换的所述第一合成特征图组合成具有所述目标分辨率的第三合成特征图；

将所述第二合成特征图变换到所述第一分辨率；

将所述第一合成特征图和经变换的所述第二合成特征图组合成具有所述第一分辨率的第四合成特征图；以及

基于所述第三合成特征图和所述第四合成特征图，确定所述输出图像。

7.根据权利要求5所述的方法，其中所述输入图像具有比所述第一分辨率低的第二分辨率，并且获得所述第一合成特征图包括：

利用第二神经网络提取所述输入图像的所述图像特征；

基于所述第一信息、所述第二信息和所述图像特征，生成针对所述输入图像的具有所述第二分辨率的第五合成特征图，所述第五合成特征图包括从所述参考图像迁移的纹理特征；

将所述第五合成特征图变换到所述第一分辨率；以及

基于经变换的所述第五合成特征图，确定所述第一合成特征图。