[发明专利]图像超分辨率

说明书

根据本公开的实现，提出了一种用于图像处理的方案。在该方案中，第一信息和第二信息基于输入图像和参考图像的纹理特征被确定。第一信息至少指示参考图像中按照纹理特征与输入图像中的第一像素块最相关的第二像素块，并且第二信息至少指示第一像素块与第二像素块的相关度。具有目标分辨率的迁移特征图基于该第一信息和参考图像被确定。该迁移特征图包括与第一像素块相对应的特征块并且该特征块包括第二像素块的纹理特征。输入图像基于该迁移特征图和该第二信息被变换成具有目标分辨率的输出图像。该输出图像体现参考图像的纹理特征。以此方式，该方案能够高效且准确地迁移参考图像的纹理，并且获得更清晰、真实的图像变换结果。

背景技术

在图像处理领域中，转换图像的分辨率是常见的需求。图像超分辨率(SR)是指基于低分辨率图像生成具有自然、清晰纹理的高分辨率图像的图像处理过程。图像超分辨率是图像增强领域中一个非常重要的问题。近年来，得益于深度学习技术强大的学习能力，该问题得到了显著的发展。图像超分辨率技术被广泛应用于各个领域，例如数码相机拍照中的数字变焦、游戏重制中的素材增强(例如，纹理素材增强)等。另一方面，图像超分辨率技术还进一步推动了计算机视觉领域中的其他问题的发展，例如医疗影像、监控影像、卫星成像等。当前，图像超分辨率的解决方案主要包括基于单张图像的超分辨率(SISR)技术和基于参考图像的超分辨率(RefSR)技术。

发明内容

根据本公开的实现，提出了一种用于图像处理的方案。在该方案中，第一信息和第二信息基于输入图像和参考图像的纹理特征被确定。第一信息至少指示参考图像中按照纹理特征与输入图像中的第一像素块最相关的第二像素块，并且第二信息至少指示第一像素块与第二像素块的相关度。具有目标分辨率的迁移特征图基于该第一信息和参考图像被确定。该迁移特征图包括与第一像素块相对应的特征块并且该特征块包括第二像素块的纹理特征。输入图像基于该迁移特征图和该第二信息被变换成具有目标分辨率的输出图像。该输出图像体现参考图像的纹理特征。在该方案中，利用像素块级别的与纹理特征有关的信息可以使纹理特征的搜索和迁移更加准确，以减少纹理模糊和纹理失真。以此方式，该方案能够高效且准确地迁移参考图像的纹理，并且获得更清晰、真实的图像处理结果。

提供发明内容部分是为了以简化的形式来介绍对概念的选择，其在下文的具体实施方式中将被进一步描述。发明内容部分无意标识要求保护的主题的关键特征或主要特征，也无意限制要求保护的主题的范围。

附图说明

图1示出了能够实施本公开的多个实现的计算设备的框图；

图2示出了根据本公开的实现的用于图像处理的系统的架构图；

图3示出了根据本公开的一些实现的纹理变换器的框图；

图4示出了根据本公开的一些实现的跨尺度特征整合的框图；以及

图5示出了根据本公开的实现的用于图像处理的方法的流程图。

这些附图中，相同或相似参考符号用于表示相同或相似元素。

具体实施方式

现在将参照若干示例实现来论述本公开。应当理解，论述了这些实现仅是为了使得本领域普通技术人员能够更好地理解且因此实现本公开，而不是暗示对本公开的范围的任何限制。

如本文所使用的，术语“包括”及其变体要被解读为意味着“包括但不限于”的开放式术语。术语“基于”要被解读为“至少部分地基于”。术语“一个实现”和“一种实现”要被解读为“至少一个实现”。术语“另一个实现”要被解读为“至少一个其他实现”。术语“第一”、“第二”等等可以指代不同的或相同的对象。下文还可能包括其他明确的和隐含的定义。