[发明专利]用于处理图像的计算机实现的方法、计算机程序产品以及系统

说明书

提供了一种用于处理图像的计算机实现的方法。该方法包括：对具有第一分辨率的多个第一图像进行下采样，以获得具有第二分辨率的多个第二图像，第一分辨率高于第二分辨率，多个第二图像中的每一个第二图像均为多个第一图像中的一个第一图像的下采样版本；训练人工神经网络ANN模型(40)，以处理输入图像并且输出具有比输入图像更高的分辨率的输出图像，其中，用于训练的训练数据包括图像对，每个图像对均包括：多个第二图像中的一个第二图像，以作为ANN模型(40)的输入；以及在多个第二图像中的一个第二图像输入到ANN模型(40)的情况下，与多个第二图像中的一个第二图像对应的多个第一图像中的一个第一图像，以作为来自ANN模型(40)的期望输出；将多个第一图像中的至少一个第一图像输入到经训练的ANN模型(40)；以及从经训练的ANN模型(40)获得至少一个输出图像，至少一个输出图像具有高于第一分辨率的第三分辨率。

技术领域

本申请涉及一种用于处理图像的计算机实现的方法、计算机程序产品以及系统。

背景技术

超分辨率(SR)领域的目的是将信号分辨率提高至高于传感器分辨率。换句话说，目的是使用更多的采样点(诸如在2D图像的情况下更多数量的像素，或在3D的情况下更多的体素)来近似信号。SR的概念还可以应用于1D或2D频谱或者为其定义空间分辨率的任何类型的数据。

若干启发式方法可用于实现更高分辨率近似。例如，通常用于图像上采样的方法可以包括最近邻插值、双线性插值、双三次插值等。在此类方法中，可以通过应用与上下文无关的上采样操作来从原始像素值得到值的插值。例如，一种这样的算法可以包括插入新像素并且向新像素分配在新像素周围先前存在的像素的平均值。这些启发式方法通常会产生可能被感知为“像素化”或“模糊”的近似，因为图像的实际高分辨率(HR)版本可能看起来不像那些近似。例如，尖锐的线可能不会保持尖锐，因为沿着线边缘的缺失像素可能不具有作为线与周围之间的插值的值，而是属于线或周围。

替代方法可以由深度学习的领域提供，其中训练深度人工神经网络(ANN)模型来以高保真度近似输入的HR版本(例如，参见W.Yang、X.Zhang、Y.Tian、W.Wang和J.-H.Xue的“单图像超分辨率的深度学习：简要综述(Deep Learning for Single Image Super-Resolution:A Brief Review)”，《IEEE多媒体汇刊》，第1-1页，2019年)。通过使用优化算法，可以训练ANN以通过以改善目标HR图像的近似的方式更新其参数来进行这个上采样。对于训练，可能需要提供训练样本的数据集。训练可以是监督式的或非监督式的。在监督式训练中，模型可以访问正在训练模型来增强的输入图像的HR版本(例如，参见C.Dong、C.C.Loy、K.He和X.Tang的“学习图像超分辨率的深度卷积网络(Learning a DeepConvolutional Network for Image Super-Resolution)”，2014年)。在非监督式训练的情况下，模型可以仅访问原始分辨率(OR)图像(例如，参见WO2019/102476A2)，或者在大多数情况下，访问不是原始分辨率的输入图像的实际HR版本的HR图像(例如，参见Y.Yuan、S.Liu、J.Zhang、Y.Zhang、C.Dong和L.Lin的“使用循环生成对抗网络的非监督式图像超分辨率(Unsupervised Image Super-Resolution using Cycle-in-Cycle GenerativeAdversarial Networks)”，ArXiv180900437Cs，2018年9月)。

与如上所述的启发式上采样技术相比，基于ANN的上采样可以域感知和上下文感知的。例如，ANN模型可以以与云和具有平滑线的区域的图像不同的方式学习高复杂性的上采样图像，诸如棋盘和尖锐线的区域。然而，在基于ANN的已知的上采样方法中，训练ANN模型通常需要HR图像，而这些图像并不总是容易得到的。

发明内容

根据一方面，问题涉及促进具有改善质量的图像分辨率外推。通过独立权利要求所公开的特征来解决该问题。此外，示例性实施方式由从属权利要求限定。