[发明专利]图像处理方法、装置及终端设备

说明书

本申请适用于图像处理技术领域，提供了图像处理方法、装置及终端设备，包括：获取待重建的图像；提取所述待重建的图像的高频分量和低频分量，得到由所述高频分量组成的第一高频图像和由所述低频分量组成的第一低频图像；将所述第一高频图像输入训练后的高频图像生成网络，得到所述高频图像生成网络输出的第二高频图像；将所述第一低频图像输入训练后的低频图像生成网络，得到所述低频图像生成网络输出的第二低频图像；根据所述第二高频图像和所述第二低频图像生成重建后的图像，所述重建后的图像的分辨率高于所述待重建的图像的分辨率。通过上述方法能够重建出效果更好的图像。

技术领域

本申请属于图像处理技术领域，尤其涉及图像处理方法、装置、终端设备及计算机可读存储介质。

背景技术

图像分辨率是指传感器观察或测量最小物体的能力，这取决于像素大小。而作为二维信号记录的数字图像，在大多数应用中总是需要具有较高的分辨率。在过去的几十年中，成像技术得到了迅速发展，并且图像分辨率达到了一个新的水平，但许多应用中仍希望能够更好地提升图像分辨率。例如，数字监控产品往往在某种程度上选择牺牲图像分辨率，以保证记录设备的长期稳定运行和动态场景的适当帧速率；在遥感领域也存在类似的情况：在空间，光谱和图像分辨率之间总是存在权衡；而对于医学成像，如何在降低辐射的同时用第一图像提取人体结构的三维模型仍然是一个挑战。

目前，可通过超分辨率方法提高图像的分辨率。

现有的超分辨率方法大致可以分为两类:传统的插值方法和基于深度学习的方法。传统的插值算法已经发展有几十年了,但在单张图像超分辨率(Single Image Super-Resolution,SISR)领域,其效果远不如深度学习的方法。因此,许多新算法都是用数据驱动的深度学习模型来重建图像所需的细节,以获得精确的超分辨率。

目前基于深度学习方法的SISR的改进大多都是针对模型结构或者训练方法，这些方法针对仿真得到的低分辨率(Low Resolution,LR)图像进行超分辨率时效果很好，但当处理真实获取的第二图像时,效果就会显著降低，比如目前的SOTA(state of the art,最先进水平)的超分辨率模型ESRGAN(X.Wang et.al.,ESRGAN:Enhanced Super-ResolutionGenerative Adversarial Networksin ECCV 2018workshop)在处理智能手机获得的图像时,重建后有明显的细节过拟合和模糊,效果甚至不如低分辨率图本身(如图1(a)为原图，图1(b)为超分后的图)。这是因为，当处理类似智能手机获取的第二图像时,由于本身含有大量的噪声和图像处理过程中产生的伪影,而基于深度学习的模型结构会把很多的噪声和伪影当成是细节来增强,因此导致超分辨率之后的图像质量反而会降低,所以我们需要在超分辨处理的源头就先尽量区分需要增强的细节和图像噪声及后处理过程中的伪影,以此提高超分辨率重建后的图像质量。

故，需要提出一种新的技术方案以解决上述技术问题。

发明内容

本申请实施例提供了图像处理方法，可以解决现有方法在重建图像后所产生的伪细节过多的问题。

第一方面，本申请实施例提供了一种图像处理方法，包括：

获取待重建的图像；

提取所述待重建的图像的高频分量和低频分量，得到由所述高频分量组成的第一高频图像和由所述低频分量组成的第一低频图像，其中，所述高频分量是指大于或等于预设频率阈值的频率分量，所述低频分量是指小于所述预设频率阈值的频率分量；

将所述第一高频图像输入训练后的高频图像生成网络，得到所述高频图像生成网络输出的第二高频图像；

将所述第一低频图像输入训练后的低频图像生成网络，得到所述低频图像生成网络输出的第二低频图像；