[发明专利]生成基于机器学习的成像算法的图像数据的方法

说明书

公开了一种方法和系统，用于将从线上图像源下载的任意RGB图像转换为光谱图像，并借助于摄像头表征数据进一步处理所述光谱图像成为输入和地面真值图像对，以便用于训练深度神经网络以执行图像处理任务，例如自动白平衡(Auto White Balance，AWB)或颜色阴影校正(Color Shading Correction，CSC)。

技术领域

本公开涉及图像信号处理，尤其涉及一种用于将任意RGB图像转换成光谱图像的方法和系统，所述光谱图像可被进一步处理为用于深度学习算法训练的原始RGB图像。

背景技术

摄像头芯片制造商的最终目标是制造传感器S，以捕获由光源l光照的场景R的图像I，从而提供完美的图像质量。对于手机摄像头芯片制造商而言，因为最好的手机摄像头和高端DSLR摄像头之间仍存在质量差距，所以该目标能以更加适当和实用的方式定义为：提供与高质量DSLR摄像头匹配的质量图像。仅通过传感器硬件不容易实现该目标，但是传感器图像(原始RGB图像)必须由制造商限定的图像信号处理器(Image Signal Processor，ISP)管道进行后处理，该管道包括例如降噪、镜头阴影校正、白平衡(色彩恒常性)校正和拜耳去马赛克等各种算法。由于深度学习的引入，研究所有这些算法是否可以被端到端可学习的深度图像到图像传输架构取代就变得十分重要。

为了训练这些深度架构，需要一大组图像对，其中各图像对包括由摄像头传感器S捕获的原始RGB图像和由表示地面真值S^GT的高端传感器捕获的高质量(理想)图像。

这种方法面临的挑战是需要费力收集大型数据集，并且在对准由摄像头传感器S和表示地面真值S^GT的高端传感器捕获的图像时存在误差。例如，在自动白平衡(Auto WhiteBalance，AWB)校正的情况下，训练图像对的生成成为可能但是非常耗时，因为这将需要在要捕获的每个场景中物理定位白色参照物。在其它情况下，例如颜色阴影校正(ColorShading Correction，CSC)，甚至不可能手动生成训练图像对。

在过去，数据增强已被用于许多基于深度学习的计算机视觉应用。这些应用包括图像转换、风格迁移和生成对抗网络。然而，这些方法通常不适用于ISP相关算法的学习，因为这些方法需要更精确的转换才能用于学习。

为了解决ISP相关算法的问题，RGB到光谱图像转换(RGB到SPEC)是生成由近似传感器观察到的原始RGB图像的必要步骤。然而，现有的RGB到SPEC转换方法假定设备(显示器或摄像头设备)的光谱表征是可用的，因此对于不存在捕获设备详细信息(例如，输入图像从互联网下载)的情况则未提供解决方案。

其它方法包括也可用于反向处理网络图像的摄像头处理模型，但不考虑光谱反射比，也不考虑完全未知的摄像头配置文件。

发明内容

本发明的目的在于提供一种改进的图像信号处理方法，以克服或至少减少上述问题。

通过上述提出的方法将任意图像I_WEB转换为在任意光照l下的捕获场景反射比R的光谱地面真值图像数据I_SPEC来实现该目的。然后，将所述光谱图像数据I_SPEC前向转换为已知传感器S的原始RGB图像数据I_RAW。所述生成的图像I_RAW之后可用于训练自动白平衡(AutoWhite Balance，AWB)和颜色阴影校正(Color Shading Correction，CSC)等ISP算法的深度模型。

上述及其它目的通过独立权利要求的特征来实现。进一步的实现方式在从属权利要求、具体说明和附图中显而易见。

第一方面，提供了一种用于处理图像数据的方法，该方法包括以下步骤：

在存储器中存储表示图像的图像数据I_WEB，其中所述图像数据I_WEB为RGB格式；