[发明专利]图像处理方法、装置及其计算机程序产品

说明书

提出了一种通过卷积神经网络(convolutional neural network，CNN)处理图像的方法、装置和计算机程序产品。从图像源接收原始图像。原始图像具有预定义大小和高分辨率，并以图像源支持的第一颜色空间表示。然后，通过缩小第一颜色空间的原始图像来获得中间图像，并从第一颜色空间转换到第二颜色空间。接下来，通过将转换后的中间图像放大到原始图像的预定义大小来获得还原图像。所述放大是通过使用CNN来执行的，原始图像和转换后的中间图像作为输入，并返回还原图像。CNN在三元组集上预训练，该三元组集包括过去的原始图像、转换后的过去的中间图像和过去的还原图像。

技术领域

本发明涉及图像处理领域，更具体地，涉及一种用于使用卷积神经网络(convolutional neural network，CNN)处理图像的方法、装置和计算机程序产品。

背景技术

图像处理管道(image processing pipeline，IPP)通常用于将输入光学传感器生成的原始图像转换为要渲染的所得图像。高性能IPP在消费者类(特别是移动)设备、像科学任务之类的特定领域任务(例如DNA测序)等至关重要。如今，人工智能(artificialintelligence，AI)和深度学习技术在许多IPP中被广泛使用。更具体地，CNN目前是与图像处理相关的大多数深度学习任务中的核心和最先进的技术。因此，高性能IPP需要CNN进行适当的推理。

获得基于CNN的高性能的IPP的一种可能方法是降低图像分辨率。简言之，这种方法包括缩小原始图像，以受控的方式处理缩小的图像，以及通过使用CNN将处理后的缩小的图像放大到原始大小。但是，上述方法针对特定领域，因为可能会对原始图像中的细节级别产生负面影响。特别地，尽管这种方法每降低N倍图像分辨率，就会减少N²倍计算，但它会造成包括严重的细节/质量损失在内的副作用。此外，如果原始图像的分辨率高于1080p(对应于1920×1080像素)，则一些现有的使用缩小的图像的基于CNN的IPP，例如可训练引导滤波器和深度双边学习，可能无法提供足够的实时处理性能。

发明内容

提供本发明内容是为了以简化的形式介绍在以下具体实施方式中进一步描述的一些概念。本发明内容并不旨在识别本发明的关键特征或基本特征，也不旨在用于限制本发明的范围。

本发明的一个目的是提供一种技术方案，用于将图像源的原始图像转换为适合图像渲染器的图像，而不导致严重的细节/质量损失，也不使用复杂的计算概念，如在可训练引导滤波器和深度双边学习中使用的概念。

上述目的是通过所附权利要求中独立权利要求的特征来实现的。进一步的实施例和示例从从属权利要求、具体实施方式和附图中是显而易见的。

根据第一方面，提供了一种图像处理方法，执行过程如下。首先，从图像源接收原始图像。原始图像具有预定义大小和高分辨率，并且原始图像以图像源支持的第一颜色空间表示。然后，通过缩小第一颜色空间的原始图像来获得中间图像，并从第一颜色空间转换到图像渲染器支持的第二颜色空间。接下来，通过将转换后的中间图像放大到原始图像的预定义大小，同时提供还原图像的类似高分辨率，获得还原图像。所述放大是通过使用卷积神经网络(convolutional neural network，CNN)来执行的，卷积神经网络用于接收原始图像和转换后的中间图像作为输入，并基于输入返回还原图像。CNN基于三元组的训练集进行预训练，每个三元组包括图像源的过去的原始图像，以及均与过去的原始图像相对应的转换后的过去的中间图像和过去的还原图像。这样执行的方法可以简化图像源与图像渲染器之间的图像处理，同时提供还原图像的高分辨率。此外，这样执行的方法可以适用于对分辨率高于1080p的原始图像的实时处理。

在第一方面的一个实施例中，原始图像的预定义大小表示为(w，h)，其中，w和h分别是以像素为单位的原始图像的宽度和高度。反过来，执行所述缩小第一颜色空间的原始图像，使得中间图像具有表示为(w/4，h/4)的大小。这可以降低包括颜色空间转换等进一步图像处理的计算成本。